《hadoop进阶》PeopleRank从社交关系中挖掘价值用户
发布时间:2021-03-11 05:28:28 所属栏目:大数据 来源:网络整理
导读:转载请注明出处: 转载自? Thinkgamer的CSDN博客: blog.csdn.net/gamer_gyt 代码下载地址:点击查看 1:PageRank 与 PeopleRank 2:需求分析:挖掘CSDN博客的价值用户 3:算法模型:PeopleRank算法 4:架构设计:从数据准备到PR算法的MR化 5:程序开发:had
package pagerankjisuan; import java.text.DecimalFormat; import java.util.HashMap; import java.util.Map; /* * 调度函数 */ public class prjob { public static final String HDFS = "hdfs://127.0.0.1:9000"; public static void main(String[] args) { Map <String,String> path= new HashMap<String,String>(); path.put("page","/home/thinkgamer/MyCode/hadoop/MyItems/pagerankjisuan/people.csv"); path.put("pr","/home/thinkgamer/MyCode/hadoop/MyItems/pagerankjisuan/peoplerank.txt"); path.put("input",HDFS + "/mr/blog_analysic_system/people"); // HDFS的目录 path.put("input_pr",HDFS + "/mr/blog_analysic_system/pr"); // pr存储目录 path.put("tmp1",HDFS + "/mr/blog_analysic_system/tmp1"); // 临时目录,存放邻接矩阵 path.put("tmp2",HDFS + "/mr/blog_analysic_system/tmp2"); // 临时目录,计算到得PR,覆盖input_pr path.put("result",HDFS + "/mr/blog_analysic_system/result"); // 计算结果的PR path.put("sort",HDFS + "/mr/blog_analysic_system/sort"); //最终排序输出的结果 try { dataEtl.main(); prMatrix.main(path); int iter = 3; // 迭代次数 for (int i = 0; i < iter; i++) { prJisuan.main(path); } prNormal.main(path); prSort.main(path); } catch (Exception e) { e.printStackTrace(); } System.exit(0); } public static String scaleFloat(float f) {// 保留6位小数 DecimalFormat df = new DecimalFormat("##0.000000"); return df.format(f); } } prSort.java (编辑:青岛站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
站长推荐