机器学习之贝叶斯分类.pdf

反垃圾邮件系统核心解密 讲师(yasaka)陈老师 机器学习 • 机器学习理论主要是设计和分析一些让计算机可以自动学习的算法。 • 机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知 数据进行预测的算法。 • 监督学习 分类（做出单一决策） 推荐（选择许多可能，并对其进行排序） • 无监督学习 聚类 机器学习 • R • Python • Mahout • Spark MLlib Python机器学习 • Scikit-Learn是基于python的机器学习模块 • Scikit-Learn中的机器学习模型非常丰富，包括SVM ，决策树， GBDT ，KNN等等，可以根据问题的类型选择合适的模型 • 安装scikit_learn Scikit-learn 音乐分类 • 数据集(音乐数据) • 算法使用(scikit-learn中的logistic regression) • 期望结果(输入一首歌,可以对输入的歌曲进行分类) 音乐数据 • 分类型存在文件夹中 • 以先把一个wma文件读入python,然后绘制它的频谱图 (spectrogram)来看看是什么样的jazz 音乐数据 • 可以把每一种的音乐都抽一些出来打印频谱图以便比较,如下图: 时域 • 什么是时域？？？ • 从我们出生，我们看到的世界都以时间贯穿。 • 股票的走势、人的身高、汽车的轨迹都会随着时间发生改变。 • 这种以时间作为参照来观察动态世界的方法我们称其为时域分析。 • 而我们也想当然的认为，世间万物都在随着时间不停的改变，并 且永远不会静止下来 频域 • 什么是频域？？？ • 频域(frequency domain)是描述信号在频率方面特性时用到的一种 坐标系。用线性代数的语言就是装着正弦函数的空间。 • 频域最重要的性质是：它不是真实的，而是一个数学构造。 • 正弦波是频域中唯一存在的波形，这是频域中最重要的规则，即 正弦波是对频域的描述，因为时域中的任何波形都可用正弦波合 成。 Time Domain vs Frequency Domain 傅里叶变换 • 对于一个信号来说，信号强度随时间的变化规律就是时域特性， 信号是由哪些单一频率的信号合成的就是频域特性。 • 时域分析与频域分析是对信号的两个观察面。 • 时域分析是以时间轴为坐标表示动态信号的关系；频域分析是把 信号变为以频率轴为坐标表示出来。 • 一般来说，时域的表示较为形象与直观，频域分析则更为简练， 剖析问题更为深刻和方便。 • 贯穿时域与频域的方法之一，就是传说中的叶变换(Fourier Transformation) 。 • 傅里叶原理表明：任何连续测量的时序或信号，都可以表示为不 同频率的正弦波信号的无限叠加。 傅里叶变换 音乐由声波合成 傅里叶变换 • 可以把time domain上的数据,例如一个音频,拆成一堆基准频率,然 后投射到frequency domain上 傅里叶变换 • 可以把time domain上的数据,例如一个音频,拆成一堆基准频率,然 后投射到frequency domain上 逻辑回归 案例流程 • [classical, jazz, country, pop, rock, metal ] • 通过傅里叶变换将以上6类里面所有原始wav格式音乐文件转换为 特征,并取前1000个特征,存入文件以便后续训练使用 • 读入以上6类特征向量数据作为训练集 • 使用sklearn包中LogisticRegression的fit方法计算出分类模型 • 读入黑豹乐队歌曲”无地自容”并进行傅里叶变换同样取前1000维 作为特征向量 • 调用模型的predict方法对音乐进行分类,结果分为rock即摇滚类 confusion matrix 反垃圾邮件 贝叶斯分类器 • 70%降水概率 • 机器学习算法中，有种依据概率原则进行分类的朴素贝叶斯算法， 正如气象学家预测天气一样，朴素贝叶斯算法就是应用先前事件 的有关数据来估计未来事件发生的概率 理解朴素贝叶斯 • 如果我们知道P （垃圾邮件）和P （Viagra ）是相互独立的，则容 易计算P （垃圾邮件Viagra ），即这两个事件同时发生的概率。 20%*5%=1% 贝叶斯公式 •