第四章 新媒体数据预处理《新媒体数据新闻PPT》.pptx

;数据预处理（Data Preprocessing）是指在主要的处理和分析以前对数据进行的一些必要的加工整理，主要目标是清理异常值、纠正错误数据、统一数据格式等。 本章首先介绍了新媒体数据可用性鉴别指标，分别是数据真实性、数据完整性和数据价值性鉴别； 其次，介绍了数据预处理的四种基本方法，分别是数据清洗（缺失值处理、重复值处理和异常值发现）、数据集成（实体识别、冗余和数据值冲突问题）、数据变换（平滑、聚集、数据概化、规范化和属性构造）以及数据规约（数据立方体聚集、维规约和数值规约）； 最后，以某旅游APP的酒店客户信息数据和数据新闻“中国城镇化的单身困境”所获取数据为例，介绍了数据预处理在新媒体领域的实际应用。;第一节 新媒体数据可用性鉴别指标;数据预处理的前提是，明确数据可用性鉴别指标，包括真实性、完整性和价值性。 只有这样，才能更好地知道哪些数据是可用的，并据此进行下一步的处理。;;;1、记录是否完整;2、字段是否完整;;;第一节 新媒体数据可用性鉴别指标 三、数据价值性鉴别;第二节 新媒体数据预处理方法; ; ; ; ; ; ; ; ; ; ; ;第二节 新媒体数据预处理方法 二、数据集成;第二节 新媒体数据预处理方法 三、数据变换;第二节 新媒体数据预处理方法 三、数据变换;第二节 新媒体数据预处理方法 三、数据变换;第二节 新媒体数据预处理方法 三、数据变换;第二节 新媒体数据预处理方法 三、数据变换;第二节 新媒体数据预处理方法 三、数据变换;第二节 新媒体数据预处理方法 三、数据变换;第二节 新媒体数据预处理方法 三、数据变换;第二节 新媒体数据预处理方法 四、数据归约;第二节 新媒体数据预处理方法 四、数据归约;第二节 新媒体数据预处理方法 四、数据归约;第二节 新媒体数据预处理方法 四、数据归约;第二节 新媒体数据预处理方法 四、数据归约;第二节 新媒体数据预处理方法 四、数据归约;第二节 新媒体数据预处理方法 四、???据归约;第三节 新媒体数据预处理应用;第三节 新媒体数据预处理应用 一、“某旅游APP的酒店客户信息”数据预处理;抓取2012-03-31至2014-03-31两年内有入住记录的所有客户的详细数据，共计1279条。其中包含会员号、入会时间、第一次入住日期、性别、会员卡级别、工作地城市、工作地所在省份、工作地所在国家、年龄、调查截止日期、入住次数、总基本积分、第一年精英资格积分、第二年精英资格积分、第一年总入住消费、第二年总入住消费、最后入住时间、季度平均入住次数、季度平均基本积分累积、调查开始时间至第一次入住时间时长、最后一次入住时间至调查截止时间时长、平均入住时间间隔、入住最长时间间隔、第1年其他积分（合作伙伴、促销、旅游转入等）、第2年其他积分（合作伙伴、促销、旅游转入等）、积分兑换次数等42个属性，如图所示。; 1、缺失值处理;2、重复值处理;5、聚集;7、属性构造;首先，来自国家统计局、《中国统计年鉴》等的官方数据相对权威，而《人民日报》、百度指数和凤凰网等数据权威性较弱，需要进行交叉验证。 其次，在本数据新闻中，具备城乡、性别、婚姻状况、年龄等属性的数据更具价值，能更好地发现问题，服务主题。但需要注意的是，数据新闻的本质是数据驱动，因此一定是数据先行，而非“主题先行”。换言之，是通过数据预处理和数据分析来发现问题，揭示主题，而不是在主题强烈的导向和框架下“修整”数据。 再次，本数据新闻的主题是“中国城镇化的单身困境”，仅靠婚姻状况数据是难以说明城镇化与单身的问题。因此，从数据的全面性出发，各地的房价数据、彩礼数据和受教育数据等也具有重要价值。;（二）数据清洗;第三节 新媒体数据预处理应用 二、“中国城镇化的单身困境”数据预处理;第三节 新媒体数据预处理应用 二、“中国城镇化的单身困境”数据预处理;第三节 新媒体数据预处理应用 二、“中国城镇化的单身困境”数据预处理;