刘知远2015大规模社会媒体谣言分析与辟谣技术.pptx

大规模社会媒体谣言分析与辟谣技术 清华大学自然语言处理与计算社会科学实验室 刘知远 目录 谣言的定义、研究和观点 谣言统计定量分析 谣言内容主题分析 谣言时序分布分析 基于机器智能的辟谣技术 总结 社会媒体谣言 社会媒体是谣言泛滥的温床，已经严重危害公共利益和社会稳定 定义 辞海：没有事实根据的传闻；捏造的消息 流言心理学：一种通常以口头形式在人们中传播，目前没有可靠证明标准的特殊陈述 周公恐惧流言日，王莽谦恭未篡时。 向使当初身便死，一生真伪复谁知。 (唐)白居易 七律 谣言研究与观点 谣言研究与观点 统计物理学通过仿真研究谣言的传播模型 借鉴传染病传播模型 计算机领域关注微博谣言定量分析 通过微博用户及其发布信息的可信度进行研究 发现Twitter上的谣言一般会在评论中被质疑 社会媒体谣言数据 从新浪微博收集9079条谣言，其中1002条已被删除 起于：2011-08-24；截至：2013-05-15 7055个谣言发布者，4559个举报人 共1187类不同谣言，发布次数超过9条的有129类 微博谣言时间分布 贞子3D电影9.12上映 “李天一”事件，果粒橙含农药，贞子3D电影 5.12上映 微博谣言影响力分布 谣言制造者 被举报人 条数 说明 哲思02030E 28 均为同一内容，在不同时间反复发布；平时所发内容大多相关于政治，该账号反复的转载自己发布的微博 猫大为美 19 发布方式为Gtalk机器人，发布的时间集中于2012年10月19日上午5时左右，在几分钟内发布几十条微博，许多为谣言，该用户的活跃时间仅为当天的1~5点。 麦礼谦 14 微博所发内容大多为弱势群体遭欺压，并且经常使用评论并转发功能。并且该用户相当活跃，每天能评论转发几十条微博。 香港成东1 14 微博内容多为政治、社会热点等，用户较活跃，但多数都为转发。 朱坤岭 13 幽静迷途 12 正义聚焦 10 1句实话 10 孔智勇- 9 吃喝玩乐IN上海 9 微博谣言首次举报时间间隔分布 微博谣言主题分类 抓取谣言和相关的信息 分词与词性标注 统计词汇TF、IDF等特征 基于MapReduce进行Canopy-Kmeans聚类 微博谣言主题分类 谣言共计9079条，通过初步聚类得到1798类 手工标注谣言类别： 政治性谣言：往往有着明确的意识形态或者政治斗争的目的,如：钓鱼岛海域爆发海战的谣言 经济类谣言：涉及一些大的公司或者经济贸易的谣言，如：三星赔偿苹果几十车硬币的谣言 欺诈类谣言：多含有“求转发”、“转发有奖”等字眼，如四川藏区儿童需要御寒冬衣的谣言 社会生活类谣言：多为社会各界人物的花边新闻等。如：六小龄童去世的谣言 常识类谣言：关于自然常识、历史常识、生活常识的谣言。如：阿司匹林能治疗心脏病 微博谣言主题分类 微博谣言主题自动分类 利用机器学习技术构建分类器，正确率88.2% 错误分析：分类出错较多是将社会生活类（s）错分为政治类（p），或将政治类（p）错分为社会生活类（s） 分为- z p c s n 召回率 z 139 2 2 8 1 0.914 p 5 515 5 43 5 0.899 c 2 4 155 7 7 0.886 s 14 38 18 635 22 0.873 n 5 4 6 14 142 0.830 准确率 0.842 0.915 0.833 0.898 0.802 微博谣言时序分类 面向100类最流行谣言，分析转发次数的时序分布特征，将谣言分为四类： A：刚发布即出现较大峰值 A1：有一个较大峰值 A2：有多个较大峰值 B：发布一段时间后才出现峰值 B1：有一个较大峰值 B2：有多个较大峰值 微博谣言时序分类 微博谣言时序分类 多数谣言趋向于在一开始刚发布时就获得较大的转发（7:3） 多数谣言只会有一个较大峰值（7:3） 微博谣言的周期性 名人/知名机构的谣言存在时间通常较短 北京时间3月12日消息，在83版《西游记》中扮演孙悟空的演员六小龄童（章金莱），3月12日早上八点半病逝于浙江绍兴慈济医院，享年53岁。如果他给你的童年带去了无数欢乐，请默默的转发，让更多人祝愿猴哥一路走好！永远的猴哥一路走好。 我在:/zY1iRG3 微博谣言的周期性 常识类谣言通常反复出现（70%） 各位央视《焦点访谈》已播出，可口可乐承认旗下“果粒橙”含有美国禁用农药“多菌灵”，多菌灵可致脑麻痺、肝脏腫瘤等癌症。包括香港正在销售的“果粒橙”，专家指出，“多菌灵”跟其他农药一样，对脑部影响最大，可引致局部麻痹，并会导致癌症。 请火速转给你在乎的朋友，不要给孩子们喝这种饮料。 微博谣言的周期性 微博谣言时序分类 欺诈类谣言往往会在刚发布时即获取大量转发数，但通常在之后不会再次出现 特殊情况：寻人类欺诈谣言可能会有多个峰值，原因可能是辟谣难度较大