Java和大数据.pptx

大数据 JAVA 章鱼保罗曾预测2010年世界杯赛事 大数据案例--体育赛事 谷歌云计算平台成功预测世界杯每场比例胜利者事 大数据案例--体育赛事 大数据案例--啤酒和尿不湿 大数据案例--百度预测2014年高考作文 大数据案例--其他应用 数据建模 风险分析 推荐引擎 营销活动分析 客户流失分析 客户习惯分析 产品设计 ... 大数据-职业前景 广阔的发展空间 Hadoop大数据开发方向 对应岗位：大数据开发工程师 爬虫工程师 数据分析师 等 数据挖掘、数据分析机器学习方向 数据科学家、数据挖掘工程师、机器学习工程师等 大数据运维云计算方向 市场需求中等，更偏向于Linux云计算学科 对应岗位：大数据运维工程师 什么是大数据？ 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 20PB =B 什么是大数据？ 大数据是一种方法论 “一切都被记录，一切被数字化，从数字里寻找需求，寻找知识，发掘价值” 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理 提高对数据的“加工能力”，通过“加工”实现数据的“增值” 大数据特点-体量巨大 从TB级别跃升为PB乃至EB级别 1024GB = 1TB 1024TB = 1PB 1024PB = 1EB 1024EB = 1ZB 腾讯目前最高接入信息数量达10000亿条， 日接入数据量达200TB， 传统的数据产品无法处理 大数据特点-数据类型繁多 数据类型多样 非结构化数据为主 新型数据 网络日志 音频 视频 图片 地理位置信息 大数据特点-价值密度低 价值密度的高低与数据总量的大小成反比 迅速地完成数据的价值“提纯”是目前大数据汹涌的背景下有待解决的难题 大数据特点-产生和处理速度快 这是大数据区分于传统数据挖掘最显著的特点 预计到2020年全球数据的使用量将会达到35.2ZB 沃尔玛每小时的数据量是2.5PB（2560TB） 亲历项目案例 逻辑实体 功能简介 SAU 与eSAU进行控制命令交互，并按要求预处理GSM/UMTS制式的CHR/MR数据。 LTE SAU 与eSAU进行控制命令交互，并按要求预处理LTE制式的CHR数据. PS SAU 与eSAU 进行控制命令交互，并按要求预处理PS Core 侧的分析数据。 eSAU 与Nastar 服务器、SAU、U2000、LTE SAU、PS SAU 进行命令交互，并采集配置数据、CHR/MR 数据进行汇总。 Nastar server 与Nastar客户端、eSAU进行命令交互，并根据汇总后的数据进行业务分析。 Nastar client 与Nastar服务器进行命令交互，并呈现业务分析结果。 U2000 Nastar软件架构设计介绍 Page 15 NASTAR TD-SCDMA主要功能概述 提供VIP用户管理和周期性性能分析 投诉辅助分析 覆盖分析 VIP分析 数据业务分析 终端性能分析 提供对用户投诉信息的快速抽取和异常的辅助分析 提供问题HSDPA载频分析信息 邻区分析 小区性能分析 上下干扰分析 提供受扰载频和干扰源识别分析 提供对网络中各款终端的性能分析 提供基于MR的网络下行覆盖问题分析 提供对问题小区的异常分布分析 提供系统内邻区分析和异系统邻区分析 亲历项目案例 2017-11-8 16 大数据2017的发展趋势--更多的分析工具 SQL依然会是数据分析的标准方法，但是新兴分析工具也不可小觑。Spark是其中之一，它是大数据时代下的一个快速处理数据分析工作的框架，多家世界顶级的数据企业例如Google，Facebook等现已纷纷转向Spark框架。微软等知名企业也推出自己的产品 大数据2017的发展趋势--实时数据分析将获得更多关注 技术专家预测，2017年企业将需要实时数据分析工具，来帮助他们利用数据进行实时决策。 实时计算一般都是针对海量数据进行的，一般要求为秒级。 目前有提供实时处理工具，如Storm、Google Analytics和Clicky 大数据2017的发展趋势--隐私问题成为巨大挑战 高德纳资讯公司预测，到2018年，近50%的企业都将面临隐私泄露问题。事实上，欧盟实施新的隐私法规时，早已经预见到了这一点。大数据时代，解决用户隐私泄露问题，就是解决大数据发展与使用的问题 大数据2017的发展趋势--人工智能将广泛应用 无人驾驶汽车试驾成功、无人飞机快递、AlphaGo围棋获胜。 随着人工智能技术日益成熟，未来公司企业将很大程度上依赖于这项技术。虚拟助手、机器人、智能顾问和自动驾驶汽车等多种技术都将得到广泛