4降维 - 大数据资源.PPT

R實戰-因子分析 x1=rnorm(100) x2=rnorm(100) x3=rnorm(100) data=data.frame(x1,x2,x3） data.fa=factanal(data,factor=1) data.fa ## data=data.frame(x1,x2,x3,x1*x1,x2*x2,x3*x3) data.fa=factanal(data,factors=2) data.fa 謝 謝！ 奇異值分解SVD 定義 r 是 A 的 Rank （秩） U：左奇異向量 Left Singular Vectors 單位正交矩陣 Σ：奇異值 Singular Values對角陣， V：右奇異向量 Right Singular Vectors 單位正交矩陣 1]求矩陣AHA的相似對角矩陣V; 5]構造奇異值分解 4]擴充U1為酉矩陣 U=(U1 ,U2) 3]令 2]記 奇異值分解方法—利用矩陣AHA求解 例：求矩陣 的奇異值分解 可求得 的特徵值為 對應的特徵向量依次為 於是可得： 令 其中 構造： 則 的奇異值分解為 計算： 奇異值分解方法—利用矩陣AAH求解？ Step 1：Δ Step 2：V Step 3：U Step 4：A=UΔV Step 1：Δ Step 2：U Step 3：V Step 4：A=UΔV 利用AAH求解過程 利用AHA求解過程 SVD 基於SVD的降維 降強度最低那一維 強度矩陣 CUR CUR降維 目標: 將矩陣A表示成矩陣 C,U,R的乘積 並保證 ∥A-C·U·R∥F 最小 Frobenius norm: ∥X∥F = ? Σij xij2 克服SVD的問題：A = CUR 隨機找c行，組成C 選行j的概率P(j) = 其能量（值的平方和）/A的總能量 選出後，除它可能被挑上的次數的開方 好處：好理解，C稀疏 如何求C？ 克服SVD的問題：A = CUR 隨機找r列，組成R 選列j的概率P(j) = 其能量（值的平方和）/A的總能量 選出後，除它可能被挑上的次數的開方 好處：好理解，R稀疏 如何求R？ C矩陣獲得演算法（R矩陣類似）： 如何求U？ W是C和R的交集 對它SVD： Z+ 偽反 （PseudoInverse） Z中的元素，如果是0，保持不變；如果非0，取倒數 冗餘行/列的處理 k列相同 扔掉k-1列，保留1列 對這一列中的所有值，乘 A Cd Rd Cs Rs Construct a small U 比較：SVD vs CUR * 這頁內容，來自《朱建平》，但其實是他Copy的《王學民》。為什麼說“n個點在新坐標系下的座標Y1和Y2幾乎不相關”？從幾何角度看，這兩個坐標軸是垂直的，也即兩個向量是正交的，內積為零！ * 特徵值58,2. * Standard deviation 表示特徵根的開方，Proportion表示主成分的貢獻率 主成分分析的應用 主成分回歸：即把各主成分作為新自變量代替原來自變量x做回歸分析。還可以進一步還原得到y與x的回歸方程（可以避免多重共線性的問題）。 用於綜合評價。 按照單個的主成分（例如第一主成分）可以對個體進行排序。 按照幾個主成分得分的加權平均值對個體進行排序也是一種評價方法。一般用各個主成分的方差貢獻率加權。由於加權得分缺少實際意義，這種方法理論上有爭議。 原始數據 按虛線旋轉 逆時針45度旋轉 對稱陣 A = ATA = E = A E= 例： 在新坐標系上的位置 第一維的能量 第二維的能量，而且它們正交 所以，如果要降到一維，無疑，應該保留第一維，把第二維去掉 主成分 例： R實戰-主成分分析 test-data.frame( X1=c(148, 139, 160, 149, 159, 142, 153, 150, 151, 139, 140, 161, 158, 140, 137, 152, 149, 145, 160, 156, 151, 147, 157, 147, 157, 151, 144, 141, 139, 148), X2=c(41, 34, 49, 36, 45, 31, 43, 43, 42, 31, 29, 47, 49, 33, 31, 35, 47, 35, 47, 44, 42, 38, 39, 30, 48, 36, 36, 30, 32, 38), X3=c(72, 71, 77, 67, 80, 66, 76, 77, 77, 68, 64, 78, 78, 67, 66, 73