浅谈数据产品形态.pdfVIP

浅谈数据产品形态

数据挖掘DW——数据分析微信公众号（datadw）分析整理，分享数据分

析干货文章、资料。

一、大数据的产品特性

顾名思义，“大数据产品”应该是基于大数据而设计出的产品，那么

理应符合大数据的特点，毕竟基因在那，那么回顾下大数据与(传统)数据有哪些

具体区别.

(传统)数据是通过问卷调查收集数据，或者是已存储的历史经营数据，比如

财务数据、销售数据这些，至于数据量级，可能就是一台server的存储级别。

而大数据是海量，这个海量并不是某个时间断点的量级总结，而是持续有更新，

持续有增量，那么就决定了可以”制造”出大数据产品的应该不是传统企业，而

是类似电信、银行、微博这样的平台级机构，或者依附于平台级企业的第三方机

构，亦或者是更宏观层面的政府管理机构。这些机构拥有大量用户，可以源源不

断的产生UGC数据，因此存储和计算成本必然会随之上涨，也就决定了大数据

产品的甲乙方级别，屌丝可能会被无情的淘汰出局。这些数据不仅仅是数值型的

结构化数据，还包括文本内容、图片、音视频等非结构化数据。在处理速度上，

(传统)数据使用excel或者spss，前期有严谨的方法论，后期有完善的分析处理

过程，从数据的收集到最后报表/报告的产出，这个周期可能在至少一周以上，

而大数据因为有了hadoop/storm等IT技术的支持，在处理速度上可以保证在

小时级延迟，甚至更快。这里需要补充一点的是，大数据产品是否要快速计算？

个人觉得应该是，这里的快速是相对快，不一定非要实时，毕竟在收集、存储、

计算上花了更多的成本，策略如果不及时发现，也对不起那些集群啊。那么是否

说大数据就一定比(传统)数据好了？不一定，引用祝建华老师《文科教授眼中的

大数据》里的一段话，“理论上讲大数据指的应该就是总体数据。但实际上，由

于技术、商业、必威体育官网网址和其它原因，除了少数大数据的原始拥有者，对于绝大多数

的第三方来讲，现在大家讲的大数据，基本上都不是总体数据而是局部数据。注

意，这种局部数据，哪怕占了总体的很大一个百分比（70%、80%），既不是总

体数据、也不是抽样数据。因为哪怕是缺了10%、20%的个案，局部数据跟总

体也许就有很大的差别。”所以在总体代表性上，(传统)数据可以较好的代表整体，

而大数据可能会出现偏差。但是，这个偏差并不影响大数据产品的商业应用，举

个例子，微博上每天都有各种口碑和舆情，如果涉及某个企业的负面舆情突然趋

势走高，即使在不能代表总体的情况下，你能认为这个态势不值得警惕么？当然

是不能。并且，大数据产品对使用者的要求更高了，不光关注活跃的数据，还得

关注沉默的数据。

由此，大数据产品所具备的特性应当是：1、数据量级更多；2、数

据处理速度更快；3、数据类型多样；4、使用者要求更高，那么，大数据产品

究竟长啥样？

二、大数据的产品形态

先说一个亲身经历，在家收看好声音导师考核的汪峰场，之前一直很

期待这场,毕竟汪峰的风格理念偏重社会观察，偏重人文洞察，但看到快一半的

时候，却发现很乏味，想换台，没有那英那场更黏我，如果说看上一场脸部肌肉

是松弛的话，那这一场则是紧绷的，是松弛的话，那这一场则是紧绷的，上苍、思念、回忆、故人、泪水上苍、思念、回忆、故人、泪水当这些

碎片词语不断的充斥在我的耳边时，真的不觉得这是一个娱乐节目，一个比一个

悲凉，我的诉求很简单，像看周星驰无厘头电影一样，开心一下足矣，哪怕没有

任何的教育意义。随后发了一条微博吐糟，引来众多附议。我想这应该是不少受

众当时的心态，但不代表对汪峰场的整体评价。那么，试想一下，如果你是好声

音的竞争对手，在此刻很实时的洞察到了用户的心情反馈，再通过合适的路径传

递出营销信息，受众是否会换台？答案是未知的，但想象空间是巨大的。

这个场景很恰如其分的给我们描绘出了大数据的产品形态。首先他

需要在平台级机构(微博)上监控海量数据(微博内容)，这些数据是非结构化的，

通过实时计算获得洞察（拥有不满情绪的是少量群体还是大量群体，是真实声音

还是噪音污染），并快速应用（推送营销信息）。这样的例子还有很多，特别是在

营销环境里，受众的情绪不是线性稳定的，可能十分钟