解释型回归.ppt

高等教育統計研究 簡單迴歸與多元迴歸Simple and Multiple regression 基本定義 簡單迴歸：以單一自變項去解釋（預測）依變項的迴歸分析 多元迴歸：同時以多個自變項去解釋（預測）依變項的迴歸分析 各變項均為連續性變項，或是可為虛擬為連續性變項者 方程式 簡單迴歸：Y=b1x1+a 多元迴歸：Y=b1x1+b2x2+b3x3+……+bnxn+a 多元迴歸的特性： 對於依變項的解釋與預測，可以據以建立一個完整的模型。 各自變項之間概念上具有獨立性，但是數學上可能是非直交（具有相關） 自變項間的相關對於迴歸結果具有關鍵性的影響。 迴歸分析的統計原理：變異數拆解與F test 利用回歸方程式，依變項Y變異量當中可以被解釋的部分稱為回歸變異量 無法被解釋的部分稱為殘差變異量 SSy=SSreg+SSres 迴歸可解釋變異量比（R2） 迴歸可解釋變異量比，又稱為R2（R square），表示使用X去預測Y時的預測釋力，即Y變項被自變項所解釋的比率。反應了由自變項與依變項所形成的線性迴歸模式的契合度（goodness of fit） 又稱為迴歸模型的決定係數（coefficient of determination），R2開方後可得multiple R，為自變項與依變項的多元相關。 此一數值是否具有統計上的意義，反映了此一迴歸分析或預測力是否具有統計上的意義，必須透過F考驗來判斷 Adjusted R2 以樣本統計量推導出來的R2來評估整體模式的解釋力，並進而推論到母群體時，會有高估的傾向 樣本數越小，越容易高估，解釋力膨脹效果越明顯，樣本數越大，膨脹情形越輕微 校正後R2（adjusted R2），可以減輕因為樣本估計帶來的R2膨脹效果。當樣本數越小，應採用校正後R2。 迴歸係數(regression coefficient) 迴歸方程式Y=bX+a B係數： 為一未標準化的迴歸係數，其意義為每單位X值的變動時，Y所變動的原始量 B係數適用於實務工作的預測數值的計算 ?係數： 如果將b值乘以X變項的標準差再除以Y變項的標準差，即可去除單位的影響，並控制兩個變項的分散情形，得到新的數值?（Beta），為不具備特定單位的標準化迴歸係數 ?係數也是將X與Y變項所有數值轉換成Z分數後，所計算得到的迴歸方程式的斜率，該方程式通過ZX，ZY的零點，因此截距為0。 ?係數具有與相關係數相似的性質，也就是介於-1至+1之間，其絕對值越大者，表示預測能力越強，正負向則代表X與Y變項的關係方向。 ?係數適用於變項解釋力的比較，偏向學術用途 多元共線性的檢驗 對於某一個自變項共線性的檢驗，可以使用容忍值（tolerance）或變異數膨脹因素（variance inflation factor, VIF）來評估。 Ri2為某一個自變項被其他自變項當作依變項來預測時，該自變項可以被解釋的比例，1- Ri2（容忍值）為該自變項被其他自變項無法解釋的殘差比 Ri2比例越高，容忍值越小，代表預測變項不可解釋殘差比低，VIF越大，即預測變項迴歸係數的變異數增加，共變性越明顯。 整體迴歸模式的共線性診斷可以透過特徵值（eigenvalue）與條件指數（conditional index; CI）來判斷。 各變量相對的變異數比例（variance proportions），可看出自變項之間多元共線性的結構特性。當任兩變項在同一個特徵值上的變異數比例接近1時，表示存在共線性組合。 Basic assumptions to regression Assumptions Assumptions for residuals (error scores) Zero Mean Homoscedastic Independence with predictors Normality Assumptions for specification errors Linear relationship All relevant predictors must be included No irrelevant predictors can be included Assumptions for measurement errors Relevant measurement procedures and variable selections Providence of the goodness index of measurement Issues in Regression Multicollinearity Theoretical issues Analytic or Technical issues Measurement issue