快递信息技术 数据仓库 大数据技术.ppt

三、大数据技术应用的综合案例 菜鸟物流数据平台 菜鸟物流数据平台，汇集的数据源除了阿里自身体系之外，还引入包括消费者、商家、物流公司以及其它社会机构相关数据等;其中包括： 1)消费者的物流数据。消费者收货地址、服务选择、对物流公司的评价数据等。 2)商家的物流数据。商家发货地(通过物流公司揽收网点解析)、商家的发货速度、商家总体以及每个合作伙伴的时效/评分/投诉等、商家对物流公司的选择偏好等。 3)物流公司数据。全国主要物流公司都向菜鸟实时推送包裹跟踪数据，菜鸟通过对”包裹跟踪数据进行分析挖掘,解析出14大物流公司的”路由网络。 4)其它社会数据气象数据。通过和国家气象局的合作，采集了全国的天气预测和实况的数据;交通实况的数据通过和高德地图的合作，采集了全国交通实况的数据。 ? 三、大数据技术应用的综合案例 菜鸟物流数据平台 菜鸟网络目前已基于大量大数据系统和阿里云系统，以菜鸟电子面单为载体，推出了大数据智能分单项目，通过大数据分单来替代人工分单，不但路线可以达到最优化，还减少了错误操作。中通、圆通、申通、韵达等国内大型快递企业陆续使用，使得包裹在分拨中心流转的效率有所提升。 快递运营管理专业 教学资源库 快递信息技术 * 谢谢聆听 THANK YOU FOR YOUR ATTENTION 快递运营管理专业 教学资源库 快递信息技术 * ——大数据技术 工作单位：长江职业学院 主讲教师：代承霞 大数据是目前较为热门的信息技术之一，信息技术与社会经济的交汇融合引发了数据的迅猛增长，数据已成为国家基础性的战略资源。近年来，国家相继出台了一系列促进我国大数据发展的政策，并且设立了两批国家级综合试验区，各行业也陆续推出有关推动落实大数据应用方面的方案政策，从而使我国大数据发展的政策环境 得到显著改善。 一、大数据技术概述 对于大数据技术的概念目前行业暂无统一的定义，一般认为从大量形式多样的数据（包括结构化、半结构化和非结构化数据）中快速获取到有价值的信息，就是大数据技术。大数据技术的一个核心目标就是从体量巨大、结构繁多的数据中挖掘出其背后的规律（数据分析），发挥数据的最大价值，并且由计算机代替人去挖掘信息从而获取知识。 （一）大数据技术定义 二、大数据技术的关键技术 大数据的通用技术主要是数据管理相关技术，按照数据从获取到处理的各个流程，包括数据采集、数据预处理、数据储存和数据分析技术。 1.数据采集技术 网页库 网络爬虫模块 最终客户 用户查询模块 索引模块 索引库 互联网 网络爬虫的原理 二、大数据技术的关键技术 1.数据采集技术 数据采集技术是通过传感器或其他待验设备、社交网络或移动互联网等方式自动获取数据的技术。 目前数据采集大体可分为如下三类 内部数据采集 外部数据采集 特殊数据采集 以互联网数据为主，多采用 网络数据采集方法即通过网 络爬虫实现 多采用系统日志采集方法， 即采用分布式结构的数据 采集工具进行数据采集 可以通过与企业或研究机构合作， 使用特定系统接口等相关方式采 集数据。 二、大数据技术的关键技术 2.数据预处理技术 大数据预处理实现技术主要包括数据清理技术、数据集成技术、数据变换与数据规约技术。数据清理技术包括： 01 02 03 遗漏值处理 噪声数据处理 不一致数据处理 二、大数据技术的关键技术 2.数据预处理技术 数据集成技术是指将多个数据源中的数据整合并存储到一个数据库中来解决数据的模式匹配、数 据冗余、数据值冲突检测与处理等问题。 数据变换技术可以更好地对数据源中数据进行挖掘，一般包括数据平滑、数据聚集、数据泛化、 数据规范化和数据属性构造等。 数据规约技术可实现数据集的规约标识，使得数据集变小但仍接近于原数据的完整性。 二、大数据技术的关键技术 3.数据储存技术 大数据存储与管理是用存储器把采集到的数据存储起来，建立相应的数据库，以便管理和调用。典型的大数据存储技术有三种，分别是海量并行处理结构（MPP）架构的新型数据库集群、基于海杜普（Hadoop）架构的技术扩展和封装、大数据一体机。 二、大数据技术的关键技术 4.数据分析技术 数据的分析与挖掘主要目的是把隐藏在一大批看来杂乱无章的数据中的信息集中起来，进行萃取、提炼，以找出潜在有用的信息和所研究对象的内在规律的过程。大数据的分析和挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、数据挖掘、统计学、数据库等技术，能够高度自动化地分析大数据，做出归纳性的推理，从中挖掘出潜在的模式，从而在大数