大数据应用-舒娜.ppt

L/O/G/O 大数据的应用 4 大数据的定义 1 2 3 5 大数据和传统数据库的区别 大数据和BI 大数据的应用 大数据时代面临的挑战 3V定义，即认为大数据需满足3个特点：规模性（volume）、多样性（variety）（数据来源及其广泛，数据类型极为复杂）和高速性（velocity）。 还有提出4V定义的，即尝试在3V的基础上增加一个新的特性。关于第4个V的说法并不统一，国际数据公司认为还应当具有价值性（value），大数据的价值往往呈现出稀疏性的特点，而IBM认为大数据必然具有真实性（veracity）。 维基百科对大数据的定义：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。 1 2 3 大数据的定义 大数据和传统数据库的区别 数据规模 数据类型 模式和数据的关系 处理工具 处理对象 4. 传统数据库，数据仅作为处理对象，而在大数据时代，要将数据作为一种资源来辅助解决其他问题 5. 关系数据库在很长的时间里成为数据管理的最佳选择，但是在大数据时代，数据管理、分析等的需求多样化使得关系数据库在很多场景不再适用。Hadoop是目前最为流行的大数据处理平台 1. 大数据的数据量可达到PB 、EB或ZB的级别 2. 传统数据库以结构化数据为主，而大数据包含着结构化、半结构化和非结构化，且后两者所占份额越来越大 3. 传统数据库先有模式后有数据，而大数据时代，难以预先确定模式，且模式随着数据量的增长处于不断演变之中 大数据和BI 1996年加特纳集团提出商业智能概念，又称商务智能（BI）。商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。 大数据能够基于BI工具进行大容量数据和非机构化数据进行处理，与传统基于事务的数据仓库系统相比较，大数据分析不仅关注结构化的历史数据，它们更倾向去对Web、社交网络、RFID传感器等非结构化海量数据进行分析，大数据无疑是对BI的一个完美补充。 大数据是传统数据库、数据仓库、BI概念外延的扩展，手段的扩充，不存在取代的关系，也并不是互斥的关系。大数据时代的来临，使商业智能具有更大潜力。 大数据的应用 企业内部 在线社交网络 医疗健康 智能电网 物联网 大数据的典型应用 …… 大数据的应用 在线社交网络 在线社交网络大数据主要来自即时消息、在线社交、微博和共享空间4类应用。由于在线社交网络大数据代表了人的各类活动，因此对于此类数据的分析得到了更多关注。 目前，在线社交网络大数据的应用包括网络舆情分析、网络情报搜集与分析、社会化营销、政府决策支持、在线教育…… 圣克鲁斯警察局是美国警界最早应用大数据进行预测分析的试点，通过分析社交网络，可以发现犯罪趋势和犯罪模式，甚至可以对重点区域的犯罪概率进行预测 。 在线社交网络 大数据应用 案例 医疗健康 医疗健康数据是持续、高增长的复杂数据，蕴涵的信息价值也是丰富多样。对其进行有效的存储、处理、查询和分析，可以开发出其潜在价值。对于医疗大数据的应用，将会深远的影响人类的健康。 安泰保险为了帮助改善代谢综合症的预测，从千名患者中选择102个完成实验。在一个独立的实验室工作内，通过患者的一系列代谢综合症的检测试验结果，在连续3年内，扫描600000个化验结果和18万索赔事件。将最后的结果组成一个高度个性化的治疗方案，以评估患者的危险因素和重点治疗方案。这样，医生可以通过食用他汀类药物及减重5磅等建议而减少未来10年内50%的发病率。 大数据应用 智能电网 物联网 智能电网，是指将现代信息技术融入传统能源网络构成新的电网，通过用户的用电习惯等信息，优化电能的生产、供给和消耗，是大数据在电力系统上的应用。 物联网不仅是大数据的重要来源!还是大数据应用的主要市场，在物联网中，现实世界中的每个物体都可以是数据的生产者和消费者。具体的：智慧城市、智能交通、智能家居 …… 企业内部 企业内部大数据的应用，可以在多个方面提升企业的生产效率和竞争力。在金融领域，企业内部大数据的应用得到了快速发展。当然最典型的应用还是在电子商务领域。 智能电网 企业内部 物联网 大数据时代面临的挑战 人才 技术 信息安全 …… 大数据时代面临的挑战 大数据需要专业化的 管理人才 我国目前IT人员本身配备不足的现状与大数据需要 IT人员增加的矛盾更加突出，大数据对我国人才的培养模式以 及现有人才的储备提出了严峻的挑战。 技术挑战 大数据集成：广泛的异构性、数据质量等； 大数据分析：实时性、先验知识的缺乏等； 大数据处理与硬件的协同...... 信息安全问题成为 重中之重 防止数据被窃取或篡改; 防止个人信息泄漏 …… 人才 安全 技术 大数据在带来机遇的同时也在人才、技术、信息安全等方面带来了很大的挑战 * 谢谢