大数据分析一体机31.pptx

数据分析一体机;目录;大数据的4V特征; 大数据技术将被设计用于在成本可承受（economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（variety）的数据中提取价值（value），属于IT 领域新一代的技术与架构 ;分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库???NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等;1、对现有数据库管理技术的挑战 传统的数据库部署不能处理数TB 级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据库的管理能力。 2、经典数据库技术并没有考虑数据的多类别（variety） SQL（结构化数据查询语言），在设计的一开始是没有考虑非结构化数据的。 3、实时性的技术挑战： 一般而言，像数据仓库系统、BI应用，对处理时间的要求并不高。因此这类应用往往运行1、2天获得结果依然可行的。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。;;较常见的解决方案;;目录;一体机概念和分类;从IT基础设施发展角度看，复杂的系统集成模式已经成为业务创新的“绊脚石” 简化（预集成）、优化的基础设施才能为业务应用“云化”提供更好的保障;;Unified Computing System (UCS);一体机架构;一体机发展背景（一）--海量数据分析驱动;17;一体机发展背景（三）--简化IT需求驱动;软硬件资源池;目录;;采用浪潮的设备做一体机的硬件支撑;计算随数据分布 弹性可扩展 业务连续性保证;;;优化系统任务调度策略，对任务实现实时监控，并动态调整任务执行资源，减少慢任务数量，提高整体性能;目标：数据分析一体机（业务级）;28;目录;;IBM 的大数据平台;9、 人的价值，在招收诱惑的一瞬间被决定。七月-21七月-21Tuesday, July 06, 2021 10、低头要有勇气，抬头要有低气。22:44:3622:44:3722:447/6/2021 10:44:37 PM 11、人总是珍惜为得到。七月-2122:44:3722:44Jul-2106-Jul-21 12、人乱于心，不宽余请。22:44:3722:44:3722:44Tuesday, July 06, 2021 13、生气是拿别人做错的事来惩罚自己。七月-21七月-2122:44:3722:44:37July 06, 2021 14、抱最大的希望，作最大的努力。06 七??? 202110:44:37 下午22:44:37七月-21 15、一个人炫耀什么，说明他内心缺少什么。。七月 2110:44 下午七月-2122:44July 06, 2021 16、业余生活要有意义，不要越轨。2021/7/6 22:44:3722:44:3706 July 2021 17、一个人即使已登上顶峰，也仍要自强不息。10:44:37 下午10:44 下午22:44:37七月-21