Chapter9-厦门大学-林子雨-大数据技术原理与应用-第九章-图计算.ppt

在Pregel计算模型中，图中的每个顶点会对应一个计算单元，每个计算单元包含三个成员变量： 顶点值（Vertex value）：顶点对应的PR值 出射边（Out edge）：只需要表示一条边，可以不取值 消息（Message）：传递的消息，因为需要将本顶点对其它顶点的PR贡献值，传递给目标顶点 每个计算单元包含一个成员函数Compute()，该函数定义了顶点上的运算，包括该顶点的PR值计算，以及从该顶点发送消息到其链出顶点 9.7.2 PageRank算法在Pregel中的实现 9.7.2 PageRank算法在Pregel中的实现 class PageRankVertex: public Vertexdouble, void, double { public: virtual void Compute(MessageIterator* msgs) { if (superstep() = 1) { double sum = 0; for (;!msgs-Done(); msgs-Next()) sum += msgs-Value(); *MutableValue() = 0.15 / NumVertices() + 0.85 * sum; } if (superstep() 30) { const int64 n = GetOutEdgeIterator().size(); SendMessageToAllNeighbors(GetValue()/ n); } else { VoteToHalt(); } } }; 9.7.2 PageRank算法在Pregel中的实现 PageRankVertex继承自Vertex类，顶点值类型是double，用来保存PageRank中间值，消息类型也是double，用来传输PageRank值，边的value类型是void，因为不需要存储任何信息 这里假设在第0个超步时，图中各顶点值被初始化为1/NumVertices()，其中，NumVertices()表示顶点数目 在前30个超步中，每个顶点都会沿着它的出射边，发送它的PageRank值除以出射边数目以后的结果值。从第1个超步开始，每个顶点会将到达的消息中的值加到sum值中，同时将它的PageRank值设为0.15/NumVertices()+0.85*sum 到了第30个超步后，就没有需要发送的消息了，同时所有的顶点停止计算，得到最终结果 MapReduce也是谷歌公司提出的一种计算模型，它是为全量计算而设计 采用MapReduce实现PageRank的计算过程包括三个阶段： 第一阶段：解析网页 第二阶段：PageRank分配 第三阶段：收敛阶段 9.7.3 PageRank算法在MapReduce中的实现 9.7.3 PageRank算法在MapReduce中的实现 该阶段的任务就是分析一个页面的链接数并赋初值。 一个网页可以表示为由网址和内容构成的键值对 URL，page content，作为Map任务的输入。阶段1的Map任务把URL，page content映射为URL，PRinit，url_list后进行输出，其中，PRinit是该URL页面对应的PageRank初始值，url_list包含了该URL页面中的外链所指向的所有URL。Reduce任务只是恒等函数，输入和输出相同。 对右图，每个网页的初始PageRank值为1/4。它在该阶段中: Map任务的输入为： AURL，Acontent BURL，Bcontent CURL，Ccontent DURL，Dcontent Map任务的输出为： AURL，1/4，BURL，CURL，DURL BURL，1/4，AURL，CURL CURL，1/4，DURL DURL，1/4，AURL，BURL 1. 阶段1：解析网页 9.7.3 PageRank算法在MapReduce中的实现 该阶段的任务就是多次迭代计算页面的PageRank值。 在该阶段中，Map任务的输入是URL，cur_rank，url_list，其中，cur_rank是该URL页面对应的PageRank当前值，url_list包含了该URL页面中的外链所指向的所有URL。 对于url_list中的每个元素u，Map任务输出u，URL, cur_rank/|url_list|（其中，|url_list|表示外链的个数），并输出链接关系URL，url_list。 每个页面的PageRank当前值被平均分配给了它们的每个外链。Map任务的输出会作为下面Reduce任务的输入。对下图第一次迭代Map