《机器学习介绍》 预习资料.pptx

机器学习入门

什么是机器学习是人工智能(AI)的一部分,研究如何让计算机从数据学习某种规律人工智能机器学习深度学习

机器学习V.S.数据挖掘V.S.大数据是人工智能(AI)的一部分,研究如何让计算机从数据学习某种规律机器学习数据挖掘:从数据中发现信息大数据:各种来源的大量非结构化或结构化数据

什么是机器学习通过计算机程序根据数据去优化某一个评价指标自动的从数据发现规律,使用这些规律做出预测根据过去预测未来

什么是机器学习历史数据机器学习算法模型过去预测算法模型未来未来数据

机器学习的别名数据挖掘:机器学习应用于“数据库”推理/估计:统计学模式识别

机器学习家族监督式学习分类回归非监督式学习聚类

监督式机器学习(分类)数据标签苹果香蕉香蕉打了标签的数据苹果

监督式机器学习(分类)数据标签苹果苹果香蕉香蕉算法模型学习

监督式机器学习(分类)算法模型苹果

监督式学习(分类)实例垃圾邮件/短信检测自动车牌号识别人脸识别手写字符识别语音识别医疗图片的病症诊断……

监督式机器学习(回归)数据标签打了标签的数据1.9

监督式机器学习(回归)数据标签1.7算法模型学习

监督式机器学习(回归)算法模型1.6

监督式机器学习(回归)实例自动为二手车估价预测股票价格预测未来气温自动驾驶……

非监督式机器学习(聚类)只有数据,没有标签

非监督式机器学习(聚类)把对象分成不同的子集（subset），使得属于同一个子集中的成员对象都有相似的一些属性

非监督式机器学习(聚类)应用领域客户分类(市场研究)用户分组(社交网络)图像分割推荐系统消除歧义(自然语言处理)……

总结监督式学习训练数据包含输入和预期的输出非监督式学习训练数据只有输入,没有预期的输出

机器学习流程数据获取数据清洗特征工程预处理选择机器学习模型模型调参模型训练模型部署

单项选择题如下场景中,哪一个不是监督学习的应用:A.手机使用指纹识别代替密码登录B.机场使用CT做安检,检测是否乘客携带非法物品C.智能音响提供语音下单购物D.战场使用无人机跟踪敌方目标

判断题机器学习的内容囊括了人工智能和大数据是不是

数据预处理特征提取处理缺失数据数据定标数据转换:One-Hotencoding,One/Two/MultiGram,Bagofwords,取对数

数据预处理之特征提取以基于图像进行行人检测为例,需要提取图像的梯度直方图Reference:/publication/267868361_Energy-Efficient_HOG-based_Object_Detection_at_1080HD_60_fps_with_Multi-Scale_Support

数据预处理之特征提取以自然语言处理为例,需要提取文字的n-gram

数据预处理之处理缺失数据以Titanic数据集为例,部分乘客的年龄,80%乘客的仓位有缺失

数据预处理之处理缺失数据以Titanic数据集为例,部分乘客的年龄,80%乘客的仓位有缺失处理方式:1.使用均值或者中间值(median)代替数值类型(年龄)的缺失数据2.使用众数(mode)代替分类数据(性别)的缺失数据3.使用聚类的方式,找到相似的数据点,使用这些相似数据点的均值等替代缺失数据4.如果某一个特征的数据丢失率太高,直接丢弃这个特征的数据也许更好

数据预处理之数据定标Normalization/Min-Max-Scaler(归一化)Standardization(标准化)

数据预处理之数据定标(续,二维数据)

数据转换:One-Hotencoding

课后练习气温会随着海拔高度的升高而降低,我们可以通过测量不同海拔高度的气温来预测海拔高度和气温的关系.我们假设海拔高度和气温的关系可以使用如下公式表达:y(气温)=a*x(海拔高度)+b理论上来讲,确定以上公式a和b的值只需在两个不同高度测试,就可以算出来a和b的值了.但是由于所有的设备都是有误差的,而使用更多的高度测试的值可以使得预测的值更加准确.我们提供了在9个不同高度测量的气温值,请你根据今天学习的线性回归方法预测a和b的值.根据这个公式,我们预测一下在8000米的海拔,气温会是多少?数据文件请见exercise/height.vs.temperature.csv

推荐教材