第一周：数学基础(修正版）.pdf

《DeepLearning》

数学基础

Johnson

导师：

数学基础

MachineLearningBasics

1.矩阵对角化，SVD分解以及应用

2.逆矩阵，伪逆矩阵

3.PCA原理与推导

4.极大似然估计，误差的高斯分布与最小二乘估计的等价性

5.最优化，无约束，有约束，拉格朗日乘子的意义，KKT条件

1.矩阵对角化，SVD分解以

及应用

实用性质：

A(B+C)=AB+AC(分配率)

A(BC)=(AB)C(结合律)

AB≠BA(一般不满足交换律)

TTT

(AB)=BA(转置)

TTTTTT

xy=(xy)=yx(转置)学员附注：x,y都是列向量，x是行向量，xy的结果是一个标量

单位矩阵：任意向量或矩阵和单位矩阵相乘，都不会改变，记为I。所有沿主对角

线的元素都是1，而所有其他位置的元素都是0。

矩阵逆：矩阵（方阵）的逆满足如下条件

A−1AAA−1I

n

矩阵B（方阵）的对角化

==

其中A为对角矩阵，P为单位正交矩−1

=

阵

所以：=

一般的矩阵不一定能对角化，但是对

设=(,,⋯,),∈ℝ

称矩阵一定可以对角化(特别是对称12

正定矩阵，得到的入i都是正数)1

=2

3

曾经一道面试题矩阵的压缩表示11

则=,,⋯,2⋮