- 1、本文档共31页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
机器学习之贝叶斯分类
反垃圾邮件系统核心解密
讲师(yasaka)陈老师
机器学习
• 机器学习理论主要是设计和分析一些让计算机可以自动学习的算法。
• 机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知
数据进行预测的算法。
• 监督学习
分类(做出单一决策)
推荐(选择许多可能,并对其进行排序)
• 无监督学习
聚类
机器学习
• R
• Python
• Mahout
• Spark MLlib
Python机器学习
• Scikit-Learn是基于python的机器学习模块
• Scikit-Learn中的机器学习模型非常丰富,包括SVM ,决策树,
GBDT ,KNN等等,可以根据问题的类型选择合适的模型
• 安装scikit_learn
Scikit-learn
音乐分类
• 数据集(音乐数据)
• 算法使用(scikit-learn中的logistic regression)
• 期望结果(输入一首歌,可以对输入的歌曲进行分类)
音乐数据
• 分类型存在文件夹中
• 以先把一个wma文件读入python,然后绘制它的频谱图
(spectrogram)来看看是什么样的jazz
音乐数据
• 可以把每一种的音乐都抽一些出来打印频谱图以便比较,如下图:
时域
• 什么是时域???
• 从我们出生,我们看到的世界都以时间贯穿。
• 股票的走势、人的身高、汽车的轨迹都会随着时间发生改变。
• 这种以时间作为参照来观察动态世界的方法我们称其为时域分析。
• 而我们也想当然的认为,世间万物都在随着时间不停的改变,并
且永远不会静止下来
频域
• 什么是频域???
• 频域(frequency domain)是描述信号在频率方面特性时用到的一种
坐标系。用线性代数的语言就是装着正弦函数的空间。
• 频域最重要的性质是:它不是真实的,而是一个数学构造。
• 正弦波是频域中唯一存在的波形,这是频域中最重要的规则,即
正弦波是对频域的描述,因为时域中的任何波形都可用正弦波合
成。
Time Domain vs Frequency Domain
傅里叶变换
• 对于一个信号来说,信号强度随时间的变化规律就是时域特性,
信号是由哪些单一频率的信号合成的就是频域特性。
• 时域分析与频域分析是对信号的两个观察面。
• 时域分析是以时间轴为坐标表示动态信号的关系;频域分析是把
信号变为以频率轴为坐标表示出来。
• 一般来说,时域的表示较为形象与直观,频域分析则更为简练,
剖析问题更为深刻和方便。
• 贯穿时域与频域的方法之一,就是传说中的叶变换(Fourier
Transformation) 。
• 傅里叶原理表明:任何连续测量的时序或信号,都可以表示为不
同频率的正弦波信号的无限叠加。
傅里叶变换
音乐由声波合成
傅里叶变换
• 可以把time domain上的数据,例如一个音频,拆成一堆基准频率,然
后投射到frequency domain上
傅里叶变换
• 可以把time domain上的数据,例如一个音频,拆成一堆基准频率,然
后投射到frequency domain上
逻辑回归
案例流程
• [classical, jazz, country, pop, rock, metal ]
• 通过傅里叶变换将以上6类里面所有原始wav格式音乐文件转换为
特征,并取前1000个特征,存入文件以便后续训练使用
• 读入以上6类特征向量数据作为训练集
• 使用sklearn包中LogisticRegression的fit方法计算出分类模型
• 读入黑豹乐队歌曲”无地自容”并进行傅里叶变换同样取前1000维
作为特征向量
• 调用模型的predict方法对音乐进行分类,结果分为rock即摇滚类
confusion matrix
反垃圾邮件
贝叶斯分类器
• 70%降水概率
• 机器学习算法中,有种依据概率原则进行分类的朴素贝叶斯算法,
正如气象学家预测天气一样,朴素贝叶斯算法就是应用先前事件
的有关数据来估计未来事件发生的概率
理解朴素贝叶斯
• 如果我们知道P (垃圾邮件)和P (Viagra )是相互独立的,则容
易计算P (垃圾邮件Viagra ),即这两个事件同时发生的概率。
20%*5%=1%
贝叶斯公式
•
文档评论(0)