- 1、本文档共31页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
hadoop数据仓库系统 使用SQL来编写Hadoop任务 延迟较高,不能替代实时数据库 展现工具 展现工具 Processing / D3.js / Fusion Tables /fusiontables/Home/ 图形编程语言 积累了大量的库,示例和文档 processing.js: processing的js实现 d3.js javascript框架,前身为Protovis 包含了全量的易用可视化组件 提供高层次接口 Fusion Tables 提供类似电子表格的在线数据存储 根据地理信息可视化数据 数据挖掘工具 数据挖掘工具 Mahout / scikits.learn /stable/ 通用机器学习算法在海量数据之上运行 绝大部分代码是基于Hadoop编写的分布式作业 内嵌了很多算法来实现通常的任务,比如聚类、分类、基于用户行为的物品推荐,识别频繁共现的属性 python机器学习工具 标准机器学习技术的高层接口 实验和快速原型实现 处理 收集 计算 展现 挖掘 大数据处理的一般过程 抽取 抓取 索引 查询 数据分析 有哪些信誉好的足球投注网站 昭远 微博:@calio 邮箱:vipcalio@ github: calio Thank You! 大数据工具概览 昭远 @calio 我是谁? 微博:@calio 邮箱:vipcalio@ github: calio 处理 收集 计算 展现 挖掘 大数据处理的一般过程 抽取 抓取 索引 查询 数据分析 有哪些信誉好的足球投注网站 我们的产品 我们的做法 收集:网页埋点+web server日志收集 处理:自定义的ETL脚本 计算:hadoop+实时处理引擎+mysql 挖掘:自定义的hadoop任务 展现:amcharts 收集工具 收集工具 Needlebase / ScraperWiki / Needlebase? 从多种数据源获取数据(网页,xml,csv文件) 合并,复制和清洗数据 生成自定义视图 编写代码来自动化抓取公共网站 支持ruby,python,php 社区特性:有很多别人写好的开放程序 处理工具 Hadoop / Google MapReduce架构的克隆,最初由Doug Cutting开发,Yahoo!是最大的贡献者 运行在跨机器的集群上 巨大的相关工具生态圈 计算工具 计算工具 Mysql / Hadoop / HBase / Hive / 开源的关系型数据库管理系统 成熟的系统,相关资料较多 在大数据环境下需要做sharding Hadoop / Google MapReduce架构的克隆,最初由Doug Cutting开发,Yahoo!是最大的贡献者 运行在跨机器的集群上 巨大的相关工具生态圈 开源版本的Google BigTable 底层使用HDFS存储 与hadoop完美结合 多客户端分布式访问
您可能关注的文档
最近下载
- 再保险电子教案省公开课一等奖全国示范课微课金奖PPT课件.pptx
- 江苏省政府采购评审专家考试题库.docx VIP
- 2024届高考英语二轮专题复习与测试专题六读后续写课件(共94张PPT).pptx
- 酒店运营管理(北京联合大学)中国大学MOOC慕课章节测验答案(课程ID:1206458820).pdf
- 小塞尔采蓝莓儿童故事绘本PPT课件.ppt VIP
- 《百草枯中毒》ppt课件.pptx
- 一年级奥数教材详细版.doc
- 专题04 一次函数中的特殊平行四边形存在性问题(原卷版)-2024年常考压轴题攻略(9年级上册人教版).pdf
- 关于江苏省政府采购评审专家.doc VIP
- Unit 5 Lesson 3 At the zoo 课件 七年级英语上册冀教版(2024).pptx VIP
文档评论(0)