大数据分析的过程方法与对象.docx

大数据分析的过程方法与对象

1、大数据分析的过程方法

从拿到数据到将数据中的知识提炼成人类的智慧，这是一个很长的过程，有可能一年甚至几年。换而言之，大数据分析本身就是一个过程。

首先，想要分析数据，就必须先获取数据。获取数据这个过程如果是线上还相对容易，如果是线下就非常复杂，这也是为什么现在实体行业推进“互联网+”如此缓慢的一个原因。

其次，得到数据之后，如何整理才能让数据变成信息，这也是个“技术活”。这里涉及数据的清洗、整理、关联等问题，最麻烦的还不是做这些工作，而是随着对数据认识的加深，这些工作总是不定时地就要返工重复修改和修订。

再次，数据整理得到的信息是海量的，需要经过加工、提取、抽象等操作，提炼成为各项知识被人脑理解、吸收，这个过程涉及各种分析方法的使用，而且这也是个随着对业务认识的加深而逐渐复杂的过程。金融领域的风控模型、宏观经济领域的福利模型等，都是发展多年并逐步演进的例子。

最后，在各个业务领域通过数据得到知识，在很多情况下可以重复应用在不同的领域，并与其他领域的知识相融合，形成新的生产生活方式。每个领域的知识内容如何相互融合，也是一个需要长期实践和探索的过程。“产品”这一概念从诞生到现在的发展过程，就是一个很好的例子。

举例而言，采集到的原始数据就像是一个一个的沙砾，在没有任何整合的情况下都是“一堆一堆的”；数据处理的过程就是把沙堆中的杂质去掉，把每种颜色的沙砾区分开，再通过不同的工艺使其成为不同的砖块；每个砖块在建造数据大厦的过程中都有不同的用处，按照图纸（就是数据分析体系）将不同的砖块用在适当的建筑位置上；数据大厦构建完成后，每个房间里面要完成的工作都各不相同，到底如何运用，就要看大厦使用者的安排了。

2、大数据分析的对象

（1）互联网的大数据

互联网上的数据每年增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。据IDC预测，到2020年全球将总共拥有35ZB的数据量。互联网是大数据发展的前哨阵地，随着WEB2.0时代的发展，公众似乎都习惯了将自己的生活通过网络进行数据化，方便分享以及记录并回忆。互联网上的大数据很难清晰地界定分类界限，以BAT大数据为例：

百度拥有两种类型的大数据：用户有哪些信誉好的足球投注网站表征的需求数据；爬虫和阿拉丁获取的公共WEB数据。有哪些信誉好的足球投注网站巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析，通过语义分析对有哪些信誉好的足球投注网站需求的精准理解进而从海量数据中找准结果，以及精准的有哪些信誉好的足球投注网站引擎关键字广告，实质上就是一个数据的获取、组织、分析和挖掘的过程。有哪些信誉好的足球投注网站引擎在大数据时代面临的挑战有：更多的暗网数据；更多的WEB化但是没有结构化的数据；更多的WEB化、结构化但是封闭的数据。

阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外，阿里巴巴还通过投资等方式掌握了部分社交数据（微博）、移动数据（高德）。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析用户生活和行为，从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。

在信息技术更为发达的美国，除了行业知名的类似Google和Facebook外，已经涌现了很多大数据类型的公司，它们专门经营数据产品，比如：

Metamarkets这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析，为客户提供了很好的数据分析支持。

Tableau精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具，任何人在没有编程知识背景的情况下都能制造出数据专用图表。这个软件还能对数据进行分析，并提供有价值的建议。

ParAccel犯罪的预言者，向美国执法机构提供了数据分析，比如对15000个有犯罪前科的人进行跟踪，从而向执法机构提供了参考性较高的犯罪预测。

QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具，能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析，QlikTech提供了对原始数据进行可视化处理等功能的工具。

GoodData这家创业公司主要面向商业用户和IT企业高管，提供数据存储、性能报告、数据分析等工具。GoodData希望帮助客户从数据中挖掘财富。

TellApart和电商公司进行合作，根据用户的浏览行为等数据进行分析，通过锁定潜在买家方式提高电商企业的收入。

DataSift主要收集并分析社交网络媒体上的数据，并帮助品牌公司掌握突发新闻的舆论点，并制定有针对性的营销方案。这家公司还和Twitter有合作协议，使得自己变成了行业中为数不多可以分析早期Twitter的创业公司。

综上所述，在互联网大数据的典型代表性包括（如下图所示）：

▲互联网大数据

①用户行为数据（精准广告投放、内