直线回归法的公式推导.ppt

关于直线回归法的公式推导主要内容回归直线法的原理回归直线的公式推导一二第2页,共16页，星期六，2024年，5月0x业务量（件）y成本（元）y=a+bx一、直线回归法的原理直线回归发的原理——微积分极值原理第3页,共16页，星期六，2024年，5月从散布图法可以看出，我们总能设法找到一条尽可能通过所有坐标点，也就是所有误差最小的惟一直线y=a+bx。设ei为当业务量为xi时，实际值（又称观测值）yi与计算值（a+bxi）的误差，即ei=yi–(a+bxi)二、直线回归法公式推导第4页,共16页，星期六，2024年，5月怎样判断一条直线方程就是我们所要找的所有误差最小的那条直线y=a+bx呢？可以考虑的办法有三：第一，判断所有误差的代数和是否最小。即：Σei=0但由于误差有正有负，可能相互抵消，会存在无数满足上述条件的直线，因而无法据此作出最终判断。二、直线回归法公式推导第5页,共16页，星期六，2024年，5月所有误差的代数和是否最小示意图？0x业务量（件）y成本（元）满足Σei=0的条件满足Σei=0的条件二、直线回归法公式推导第6页,共16页，星期六，2024年，5月第二，判断所有误差绝对值的合计是否最小。即：Σ│ei│=0但上式展开后，涉及到绝对数运算，非常麻烦：Σ│ei│=±e1±e2±e3±…±en-1±en因而也无法据此作出判断。二、直线回归法公式推导第7页,共16页，星期六，2024年，5月第三，判断所有误差平方和是否最小。即：Σei2=0这种方法既排除了正负误差的符号问题，又避免了绝对值运算的麻烦。因此，可以根据误差的平方和是否达到最小，来判断直线方程y=a+bx的总误差是否达到最小。此法又称最小二乘法或最小平方法。二、直线回归法公式推导第8页,共16页，星期六，2024年，5月根据上述道理，回归直线法就是求能使Σei2=0成立的回归系数a和b的值。因为ei=yi–(a+bxi)所以Σei2=Σ[yi–(a+bxi)]2按照微分极值原理，令上式=0，并分别对a和b求偏导数，就可以求出能满足Σei2达到极小值的a和b。按照此法推导的a，b计算公式，称为公式法。二、直线回归法公式推导第9页,共16页，星期六，2024年，5月Σe2=Σ[y–(a+bx)]2=Σ[y2–2y(a+bx)+(a+bx)2]=Σ[y2–2ay–2bxy+a2+2abx+b2x2]=Σy2–2aΣy–2bΣxy+na2+2abΣx+b2Σx2令：Σy2–2aΣy–2bΣxy+na2+2abΣx+b2Σx2=0对上式求a的偏导数，得：–2Σy+2na+2bΣx=0整理得Σy=na+bΣx（1）式1.按公式法推导a，b计算公式的过程第10页,共16页，星期六，2024年，5月对Σy2–2aΣy–2bΣxy+na2+2abΣx+b2Σx2=0求b的偏导数，得：–2Σxy+2aΣx+2bΣx2=0整理得Σxy=aΣx+bΣx2（2）式解联立方程，即可求出a，b的值。1.按公式法推导a，b计算公式的过程Σy=na+bΣxΣxy=aΣx+bΣx2第11页,共16页，星期六，2024年，5月2.用行列式求二元一次方程组中a和b的解Σy=na+bΣxΣxy=aΣx+bΣx2因为下列联立方程中，未知数为a和b，Σy,Σxy为已知常数，n,Σx和Σx2分别为a和b的系数，则有常数列ΣyΣxy用行列式的方法解法如下：第12页,共16页，星期六，2024年，5月Δ==n