【数盟2014.5.18上海聚会】基于SparkGraphx的大规模用户图计算和应用.pdf

基于Graphx的大规模用户图计算 淘宝技术部——数据挖掘与计算 梧苇 目录 Graphx简介和特性 图计算场景 整体模型，流程和算法 调优与改进 性能和技巧 总结 Graphx的发展 0.6 0.8 0.9 •2013-08-23 •2013-09-25 •2014-03-03 •Bagel •Graphx-Branch •Graphx-Alpha Graphx架构 算法 PageRank SVDPlusPlus TriangleCount ConnectedCo StronglyConnectedCo mponents mponents 模型 Pregel GraphLab Graph Ops Graph GraphImpl 核 心 PartitionStrategy VertexRDD EdgeRDD RDD[EdgeTriplet] RoutingTable 实 MessageToPartition 现 Edge EdgeTriplet ReplicatedVertexView EdgePartition VertexPartition Graphx主要的接口 基本信息接口（numEdges ，numVertices ，degrees(in/out) ） 聚合操作(mapVertices,mapEdges,mapTriplets) 转换接口（mapReduceTriplets ，collectNeighbors) 结构操作(reverse, subgraph, mask, groupEdges) 缓存操作(cache, unpersistVertices) Graphx中设计的几个要点 3个RDD 边分割和点分割 用户图计算的场景 基于最大连通图的社区发现 基于三角形计数的关系衡量 基于随机游走的用户属性传播 用户信誉度模型 求偏导的过程最终也类似于pageRank 正能量，负能量都会向周边的点传播。对 于从点i到j 的边来说，“能量”传播的比例 是它在点i的所有边的权重和的占比 最优化过程，求使得AUC最大的参数配置， 标签集能量传播完之后，可以在训练集上计算AUC 对AUC求偏导，，得到我们想要的每个维度 的权重和偏移量 每个边的权重：