- 1、本文档共72页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
1 洞见数据之密
卷首语
最初的数据挖掘技术雏形出现在 20 世纪 60 至 70 年代,那时候全球互联网
泡沫才刚刚开始膨胀。随着各行各业数据量的激增以及产品生命周期变化的愈发
复杂,数字已变成一种珍贵性资产。
从知识发现、商业智能、预测建模到预测分析,数据挖掘相关技术名称的不
断变更,不仅体现了其内涵与定义上的延伸,还意味着它在业务流程和商业决策
上产生的越来越重要影响。业务驱动的需求扩展促使数据挖掘从简单的数据检索
和统计成长为更复杂的分析预测工具。如今,数据挖掘和分析型 CRM已发展为主
流,不同的数据挖掘软件也随着技术和算法进步而日趋成熟。
同时,数据挖掘是一个分析过程,旨在探索大量数据背后,模式或变量间较
为一致的系统关系,并将分析出的模式应用于新的数据子集。也就是说,数据挖
掘的最终目标是实现精准预测,特别是对个群体行为、商业决策乃至社会层面的
关系和发展预测。几十年来,社会科学将交互的强度和频率量化以衡量个人间的
关系,因此便有了弱关系和强关系之说。弱关系(松散的熟人)可以帮助传播不
洞见数据之密 2
同群体间的思想或创新,有利于信息流动。这种潜在关系的联结也让数据挖掘技
术有了真正的用武之地。在这样的运作机制下,关系数据挖掘也对数据特征的准
确性提出了更高的要求。
明略数据作为国内领先的企业级大数据技术商业化公司,可以有效帮助企业
将多源异构、非结构化的数据进行统一存储并挖掘出其中所隐藏的价值。除了利
用传统的数据挖掘方法,如通过人工智能自动地按照一些基本特征对数据进行分
类、聚类外,明略还会根据真实的数据样本通过机器学习进行样本训练,从而得
出比“人”的主观意识更精确的规则集和模型。在提升数据特征精准性上,明略
可以做到从原始数据中提取特征,紧密联系不同领域不同业务选择合适的特征,
以实现数据间的区分度。在解决数据关联问题上,明略会把数据转化成类似知识
图谱的形式去进行存储,使业务人员能更容易地理解这些数据。
为了在 DT 时代下为企业变革提供更好的支撑和服务,明略在 2015 年 10 月
同时发布了数据系统革命性产品 SCOPA( 数据关联分析 )、数据安全与运维安全
的大数据平台产品 MDP(Mininglamp DataPatform),以及分布式全量数据挖掘产
品 DataInsight。多条业务线和不同类别产品的拓展,已使得明略能更好地在海
量社会数据中洞察出真正的数据之密,在信息浪潮中挖掘出更多隐藏在数据中的
“宝藏”。
这正如明略所主张的思想:“孤立无序、种类繁多的数据本身不具备价值,
只有将数据统一、关联起来,才能发掘信息,发挥价值。”
3 洞见数据之密
目录
05 安全有效地输出价值:大数据是这个游戏的名字
16 一线专家谈谈:数据挖掘在实际领域中的那些事儿
27 当 AlphaGo 火了以后,我们来聊聊深度学习
41 数据量决定了特定领域自然语言处理最终效果
46 特定领域自然语言处理最终效果
53 MDP 打造新一代高性能、高可用、高安全大数据平台
61 数据关系挖掘算法、技术难点及应用场景分析
66 SCOPA 架构升级下的实践与优化
4 洞见数据之密
安全有效地输出价值:
大数据是这个游戏的名字
作者 江金陵
【编者按】Hadoop于2006年1月28日诞生,至今已有10年,它改
变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己
的极其火爆的技术生态圈,并受到非常广泛的应用。在2016年Hadoop十岁
生日之际,InfoQ策划了一个Hadoop热点系列文章,为大家梳理Hadoop这
十年的变化,技术圈的生态状况,回顾以前,激励以后。
要建立一个大数据系统,我们需要从数据流的源头跟踪到最后有价值的输出,
并在现有的 Hadoop 和大数据生态圈内根据实际需求挑选并整合各部分合适的组
件来
您可能关注的文档
- 平台设计规范与常见的设计模式作业-현미ykt14249....pdf
- 阿里大数据竞赛.pdf
- 敏捷时间的秘密2.pdf
- 沂源县教育资源公共服务平台-使用手册20171110V2.pdf
- 架构师-机器学习实践.pdf
- 从0到1:微信后台系统的演进之路.pdf
- 02-如何有效学习和训练算法和数据结构.pdf
- 5.昌宁县2017暑期骨干教师培训总结报告(案例).pdf
- 《跨国并购》(六)必由之路.pdf
- 《跨国并购》(七) 中国机会.pdf
- 2024年江西省寻乌县九上数学开学复习检测模拟试题【含答案】.doc
- 2024年江西省省宜春市袁州区数学九上开学学业水平测试模拟试题【含答案】.doc
- 《GB/T 44275.2-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第2部分:术语》.pdf
- 中国国家标准 GB/T 44275.2-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第2部分:术语.pdf
- GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构.pdf
- 《GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构》.pdf
- 中国国家标准 GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构.pdf
- GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南.pdf
- 中国国家标准 GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南.pdf
- 《GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南》.pdf
文档评论(0)