数据科学概论全套教学课件.pptx

全套课件第1章 数据与信息概述数据的概念、特征和作用数据的尺度与类型数据的表格化数据的数字化信息与信息熵数据的概念、特征和作用数据的概念数据具有普遍性数据是信息的表现形式和载体信息可以视为经过加工处理的、有价值的数据数据不等同于数字数据的特征数据的事实性；数据的可复制性数据的共享性；数据的时效性数据的开放性与安全性数据的作用数据是一种社会经济资源数据是认识世界的基本材料数据是管理决策的依据，是决定企业竞争成败的关键数据的尺度与类型定性数据：对客观事物各种质化属性的文字描述，分为：定类尺度(Nominal Scale)数据例如：性别中的男、女定序尺度(Ordinal Scale)数据例如：受教育程度中的小学、初中、高 中、大学等定量数据：对客观事物各种量化属性的数字描述，分为：定距尺度(Interval Scale)数据例如：气温、海拔等数值定比尺度(Ratio Scale)数据定比尺度数据中的0表示“没有”或“无”，负数没有意义定量数据中的离散数据和连续数据数据的尺度与类型结构化数据和非结构化数据结构化数据，简单讲是指符合行列二维表格式的规范化数据，符合 Excel 电子表格和关系型数据库数据表的组织格式要求统计视角个案；变量关系数据库视角记录；字段数据的尺度与类型结构化数据和非结构化数据非结构化数据主要包括文字资料、图片、音频和视频信息等非结构化数据在计算机数据库系统中需要用一些特殊技术进行存储处理例如：数据的表格化个体数据的表格化从计算机科学的数据仓库理论角度来看，表1-6 是高校学生情况的实际反映，常被称为数据粒度较细的事实表（Fact Table），是记录所有学生当前状态的台账数据的表格化批量汇总数据的表格化多维统计表是对批量数据提炼精简和直观展示的有效途径表1-9的学生统计表又称为数据粒度较粗的快照表（Snapshot Table），是事实表在某个时刻数据状态汇总的历史留存信息与信息熵信息熵：不确定性的度量信息论将信息抽象地定义为事物不确定性的减少，并建立了信息定量测度的数学描述，即信息熵信息量：信息熵：信息熵越大，不确定性越大；信息熵越小，不确定性越小信息与信息熵信息增益：不确定性减少的度量例如：负面消息发布前的信息熵负面消息发布后的信息熵负面消息的信息量信息熵的应用示例第2章 数据科学概述数据科学的科学观数据科学概念历史观察：探讨数据科学的发展历程数据世界：探讨数据科学的对象DIKW 模型：探讨数据科学中的若干基本概念维恩图：探讨数据科学的学科交叉性从数据到模型：探讨数据科学的一般方法三维视角：总览数据科学 数据科学的科学观从科学高度看数据科学通过案例初识数据科学孟德尔的豌豆杂交试验通过长期观察和分析积累数据发现事物本质规律，是数据科学研究的根本方法确定《红楼梦》后40回的作者数据科学在人文社会科学中的应用数据科学概念数据科学产生的重大技术背景新一代移动互联网和物联网技术云计算技术大数据技术人工智能技术数据科学产生的典型应用背景全面发展的电子商务服务大力推动开展的智慧城市建设大力推动开展的教育现代化工程数据科学的定义数据科学（Data Science）定义为关于数据处理本质规律的知识体系历史观察：探讨数据科学的发展历程古代：从结绳记事到阿拉伯数字古典：政治算术和国势学近代：随机现象、概率论与数理统计现代：抽样与推断统计计算机时代：技术革命带来的繁荣大数据时代：奠定数据科学基础数据世界：探讨数据科学的对象 数据世界和数据科学数据世界是客观现实世界（包括自然世界和人类社会）变化发展的忠实记录者，是客观现实世界的全息映射，构成了一个人类全面了解和深入研究客观现实世界的虚拟空间数据世界和数字孪生数据世界是可实现人类对客观现实世界实时在线、镜像对应、双向互动和动态发展的认识和把握，这种状态称为数据世界与现实世界的“数字孪生”（Digital Twins）示例：数字孪生---虚拟新加坡DIKW 模型：探讨数据科学中的若干基本概念DIKW模型Data，Information，Knowledge，WisdomDIKW 模型认为人类的认知过程是一个数据处理过程，是一个从数据到信息到知识再到智慧的不断提高升华的形式化过程涉及：数据、信息、知识和智慧四大核心概念，以及它们之间的关系示例环保主题下的全球升温和气体排放数据与对策DIKW 模型：探讨数据科学中的若干基本概念从DIKW模型看数据科学DIKW 模型：探讨数据科学中的若干基本概念维恩图：探讨数据科学的学科交叉性对数据科学的一个基本共识是它是一门交叉性的多门类学科从数据到模型：探讨数据科学的一般方法 反问题的方法反问题是“由果推因”的模式，可以理解为从数据反求规律，也就是根据事物演化的结果从可观测到的现象探求事物本质数据驱动的方法数据驱动以数据为核心模型化的方法概念模型物理模型数学