《大数据工具概览(新)》-公开·课件设计.ppt

《大数据工具概览(新)》-公开·课件设计.ppt

  1. 1、本文档共31页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
hadoop数据仓库系统 使用SQL来编写Hadoop任务 延迟较高,不能替代实时数据库 展现工具 展现工具 Processing / D3.js / Fusion Tables /fusiontables/Home/ 图形编程语言 积累了大量的库,示例和文档 processing.js: processing的js实现 d3.js javascript框架,前身为Protovis 包含了全量的易用可视化组件 提供高层次接口 Fusion Tables 提供类似电子表格的在线数据存储 根据地理信息可视化数据 数据挖掘工具 数据挖掘工具 Mahout / scikits.learn /stable/ 通用机器学习算法在海量数据之上运行 绝大部分代码是基于Hadoop编写的分布式作业 内嵌了很多算法来实现通常的任务,比如聚类、分类、基于用户行为的物品推荐,识别频繁共现的属性 python机器学习工具 标准机器学习技术的高层接口 实验和快速原型实现 处理 收集 计算 展现 挖掘 大数据处理的一般过程 抽取 抓取 索引 查询 数据分析 有哪些信誉好的足球投注网站 昭远 微博:@calio 邮箱:vipcalio@ github: calio Thank You! 大数据工具概览 昭远 @calio 我是谁? 微博:@calio 邮箱:vipcalio@ github: calio 处理 收集 计算 展现 挖掘 大数据处理的一般过程 抽取 抓取 索引 查询 数据分析 有哪些信誉好的足球投注网站 我们的产品 我们的做法 收集:网页埋点+web server日志收集 处理:自定义的ETL脚本 计算:hadoop+实时处理引擎+mysql 挖掘:自定义的hadoop任务 展现:amcharts 收集工具 收集工具 Needlebase / ScraperWiki / Needlebase? 从多种数据源获取数据(网页,xml,csv文件) 合并,复制和清洗数据 生成自定义视图 编写代码来自动化抓取公共网站 支持ruby,python,php 社区特性:有很多别人写好的开放程序 处理工具 Hadoop / Google MapReduce架构的克隆,最初由Doug Cutting开发,Yahoo!是最大的贡献者 运行在跨机器的集群上 巨大的相关工具生态圈 计算工具 计算工具 Mysql / Hadoop / HBase / Hive / 开源的关系型数据库管理系统 成熟的系统,相关资料较多 在大数据环境下需要做sharding Hadoop / Google MapReduce架构的克隆,最初由Doug Cutting开发,Yahoo!是最大的贡献者 运行在跨机器的集群上 巨大的相关工具生态圈 开源版本的Google BigTable 底层使用HDFS存储 与hadoop完美结合 多客户端分布式访问

文档评论(0)

沙卡娜 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档