大数据跟网络舆情分析-大数据跟网络舆情分析.ppt

abit.io 大数据与网络舆情分析 http://abit.io 微趣 大数据 所有真实用户都不独立存在，紧密的社交圈在帮助用户产生数据。 社交大数据的内部爆炸 可以为任意分析提供充足的数据支撑 超过6亿互联网真实用户档案数据。 每天新产生的数亿条的评论，及过去4年间数百亿的各类观点。 现在可以在一个平台上掌握所有的这些声音。 通过这些大数据可回答以下问题： 谁/哪些人 在讨论一个什么问题 他们的观点和期望到底是什么 可自由组织的问题 影响力评估 用户作息时间 群体/个体习惯对比分析（作息，上网） 自然状态下的用户言论 自然状态下的用户言论 移动设备更替 社交关系网结构 社交关系结构 群体/个体兴趣对比分析 网络舆情分析 微博 新浪微博用户 6.5亿，日活跃 4600万，腾讯微博用户 6.2亿，日活跃约 1亿。 全国政务微博总数 17万，2012年增长 2.5倍（其中在新浪微博6万）。 在新浪微博开通的企业微博总数 27万，2012年增长 1.2倍。 微信 微信用户 3亿，日活跃约 2亿，公众号约200万，认证公众号与服务号约20万。 新一轮的信息爆炸 传统门户，论坛有价值信息量大约在一年1亿条左右 微博每天产生近2亿条各类内容 社交媒体特点 海量数据 大量长尾和碎片和噪音 互联网舆情现状 互联网舆情现状 在今天的中国，任意可能被在全社会范围内传播的舆情都无法绕开微博这一传播载体。 只要内容具有传播价值，数亿微博用户中总有人会将其从门户，论坛，朋友圈及其它各类媒介中放到微博中进行传播，因此微博可以说是大数据时代舆情监测最重要的阵地。 微博是目前中国唯一能够满足普通用户将信息传递到全国皆知的需求的平台。 当前互联网舆情监测的思路 方案 及时获取 完整获取 判别热度 判别真假 可扩展 稳定性 API 关键词实时获取 X X X X 非常稳定 页面爬虫 重要优先 √ √ √ √ 较稳定 主要的技术路线比较 页面爬虫根据采集能力约束主要分为：“全采集”与“组织性采集”。 案例 – 上海法官招嫖事件 事件回放：2013.8.2网上开始大量传播以视频截图为依据的披露上海高院法官集体招嫖的事件，该事件在全国范围内造成大范围的传播与讨论，造成恶劣影响，微趣舆情平台在这条暴露微博仅仅转发11次之前就捕获了该微博。 案例特点： 爆料人在腾讯微博上注册用户并进行发布。 该用户爆料时，粉丝仅为9人，即初期整个互联网中仅有9人有较小机会看到并传播该信息。 该信息经过4小时左右传播后被删除，删除前仅转发了65次，但最终在全网范围内进行扩散。 案例结论： 舆情监测必须全平台。 如仅监测大号，无法确保舆情监测业务的安全。 基于社交网络的舆情传播力非常大，一不注意就造成舆论灾难。 大数据采集 社交媒体数据量较传统门户论坛增长了数百倍，传统舆情平台技术无力实现全数据采集。 微博数据源都是高技术能力的互联网公司，反采集技术成熟，难以攻破。（短信验证，图片识别等） 大数据处理 利用传统的数据处理与存储方式，要实时处理数以亿计的数据需要投入庞大的硬件，一般公司无法承担。例如邓亚萍的即刻有哪些信誉好的足球投注网站，就投入了近700台高性能服务器提供微博内容的有哪些信誉好的足球投注网站服务，但仍然数据缺失严重。 舆情的发现 任意舆情系统最终都需要将数据呈现在用户面前，在大量相关数据面前，人一天满负荷浏览最多不会超过2000条微博，但在大数据的基础上，往往相关数据都会超过这个极限。因此如何实时将最重要的舆情信息优先放到用户面前成为重要问题。 舆论噪音的辨别与去除 社交平台中存在大量受控制的机器账号，总量惊人，这些机器账号可以被利用快速增长某些内容的转发量。需要有技术识别舆情的真假，防止被错误引导。 舆情监测的挑战 内容传播分析 真实传播评估 大数据采集 从09年开始研发搭建的高效分布式采集平台，将近百个采集点毫无规律地放置在全球各地，使采集能力大增并且不易被平台防抓取技术拦截，已稳定采集4年相关数据。 大数据处理 自主研发了国际上最先进的非关系型数据库并利用分布式文件系统（hadoop）实现了低成本的高速数据读写。经测试同等硬件环境下，读取速度比SQL Server或Oracle快20倍，写入快5倍。 舆情的发现 基于国际上一些权威的传播研究论文，设计出能够实时评价舆情重要性的“热度指数”，获得国家相关奖项认可。 舆论噪音的辨别与去除 探查整个社交网络数亿用户情况，通过真实度算法识别网络机器人，确保去除虚假互联网声音。 应对技术 微博实时有哪些信誉好的足球投注网站 微信实时有哪些信誉好的足球投注网站 案例 – 平度事件 最早 影响力最大 21-24号的数据统计 日期 微博数 转发数 评论数 微信数 3.21 486 44220 12942 1 3.22 608 78114 27745 1 3.23 614 36297 13410 0 3.24 262 3