- 1、本文档共57页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
智慧交通大数据平台及应用
ADDYOURPOWERPOINTTITLEHERE
演讲人:曹正凤
第四届中国数据分析师行业峰会
CHINADATAANALYSTSUMMIT
9北京中国大饭店2017.07
从零进阶!数据分析的统计学基础
2017/7/17第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
2017/7/17
目
目录
1
1大数据团队概况及建设方案
智慧交通大数据平台
智慧交通大数据平台
2
智慧交通大数据应用
智慧交通大数据应用
3
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
大数据部的组织架构技术总监开发团队(4)产品团队(3))平台团队(4)201
大数据部的组织架构
技术总监
开发团队(4)
产品团队(3)
)平台团队(4
)
2017
BigDataDepartment
QA团队(2)
数据团队(4)
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
强大的技术架构团队共19人
u技术总监1人
u专业数据挖掘分析师4人
u大数据可视化工程师1人
u需求分析师3人
u总工程师1人
u高级软件工程师5人
u架构师1人
u业务经理1人
uQA管理1人
2017
BigDataDepartment
博士学历2人
研究生学历8人
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
智慧交通大数据中心建设方案(1+N战略)
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
一期建设的内容
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
2智慧交通大数据平台
2
智慧交通大数据平台建设的目的和意义
人人都能进行大数据分析
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
大数据学习门槛高
sparkmahout
JAVAJDBC
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
开源大数据平台的开发难度高
例如,黑屏命令行操作维护方式,增加了运维开发人员的工作难度、操作量,降低的工具的友好性。
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
开源大数据平台运维成本高
大数据集群数量众多的服务器不便于整体的部署与管理。
1.资源监控
2.组件部署
3.资源分配
4.辅助工具
…
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
2智慧交通大数据平台
2智慧交通大数据平台
智慧交通大数据平台的功能特性
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
功能特性——各种异构数据的全方位汇集
我们的产品
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
功能特性--拖拽式、图形化大数据分析环境,降低门槛和使用难度
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
参数配置优化?图形化界面操作,配置过程简单、易操作;?
参数配置优化
?图形化界面操作,配置过程简单、易操作;
?Hadoop基础组件(Hadoop-core、Hive、HBase)配置参数1000+;
自动部署
?操作系统、LDP平台自动化部署功能
?添加、批量移除,触发
hadoop、hbase等服务的一系列处理
服务器状态监控
服务器状态监控
?CPU、内存、网络、磁盘运行状态
?超过阀值报警
任务监控
任务监控
?清晰的看到主机上运行了那些任务,任务的运行状态,是正常运行还是有故障
?各个任务运行的内存、CPU的使用情况
CHINADATAANALYSTSUMMIT
CHINADATAANALYSTSUMMIT
?功能特性——安全可靠
?LDP
?LDP平台可以控制数据访问,并对已通过验证的用户提供数据访问特权。
?LDP平台支持细粒度的Hadoop
?LDP平台支持细粒度的Hadoop
了不同特权级别的访问控制,包括查找、插
文档评论(0)