Standford机器学习线性回归CostFunction和Normalequation的推导.pdfVIP

Standford 机器学习线性回归Cost Function 和Normal Equation 的推导 By Jackie_Zhu 更多Standford 机器学习笔记，请关注我的博客 /usingnamespace_std/article/details/8881897 1.线性回归Cost Function 推导： 1 m 在线性回归中，Cost Function 是J () (h (x (i) )  y (i) )2 ，关于这个公式的推导，  2m i 1 (i) T (i) (i) (i ) (i) 2 首先由一个假设 ,其中 满足高斯分布， 。 y  x    N (0, ) (i) 2 (i) 1 ( ) (i) (i) T 那么p ( ) exp( 2 ) 根据 y  X 得出 2 2 (i) T 2 (i) (i) 1 (y  X ) (i ) (i ) p (y |x ;) exp( ) 。在这里，把 看成是随机变量，那么 2 y y 2 2 服从高斯分布， (i) T (i) 2 ，对于给定的X ，theta 要估计y 的分布是怎么样的， y N ( x , ) 极大似然估计函数为： L() L(; X , y ) p(y | X ;) m m (i) T (i) 2 (i) (i) 1 (y  x ) L() p (y | x ;)  exp( 2 ) i 1 i 1 2 2 m (i) T (i) 2 1 (y  x ) () log(L()) log( exp( 2 )) i 1 2 2 m (i) T (i) 2