汉堡一烧饼二新庄.ppt

Cross Validation and Tree Pruning Unseen data Training data (# splits) 未完成分割的subset,以多數決進行決策 Random Forest (RF) Leo Breiman, 2001 Random resampling (Bootstrapping) Not requiring cross validation Decision by Voting * Decision Tree 魏志達 Jyh-Da Wei Induction of Decision Tree (1) Attributes = {Outlook, Temperature, Humidity, Wind} Outlook Humidity Wind sunny overcast rain no no yes high normal no strong weak yes PlayTennis = {yes, no} 1.Why not Humidity? 2. For what? Induction of Decision Tree (2) Attributes = {主審, 天氣, 對決投手, 場地} 場地 天氣 對決投手 台南 洲際 新莊 A隊勝 B隊勝 合局 陰 晴 3 branches Results = {A隊勝, B隊勝, 合局} A1:B1~B3 A2~A3:B1~B3 A隊勝 主審 6 branches 讓重要的資訊往 ROOT方向集中 9 branches 機率事件= {yes, no} 或 {A勝, B勝, 合局} (Random variable ? Event) Decision Tree = 切割樣本空間(使它越來越不亂) (1) Self-Information (事件) (2) Entropy (樣本空間) attr1 attr2 attr3 … result 樣本空間 (sample space) Self-information log2(1/pi) = - log2(Pi) 壹電視主播蕭彤雯 Self-information log2(1/pi) = - log2(Pi) e.g. 新聞價值在於資訊量 人狗相遇{狗咬人,人咬狗,和平} 發生機率高? information 少 發生機率低? information 多 但這個母體的總資訊含量如何？ ?計算所有事件Self-info. 按機率之比重和(期望值) e.g.2: 體育賽事 {A勝,B勝} 對戰組合好看，就必須每場 的勝負都含有一定的資訊。 i.e. 勢均力敵,雙方皆非必勝 母體的總資訊稱為熵(entropy)。 熵值 (entropy) 樣本空間的entropy是各項log2(1/pi) 按機率的比重和，因此它代表在資訊來源S集合中每一個事件所含的資訊期望值。熵值又稱亂度。 Self-Information (事件) Entropy (事件的樣本空間) Review: 新聞的價值 就新聞價值方面 其他因素: 成本/ 生活必需性/人性劣根性/ 政治服務 單一事件是否值得報導? Self-information 發生機率低= 資訊含量高 是否值得成立常態性新聞小組? Entropy (就以下各例比較極端狀況) 人狗相遇{狗咬人,人咬狗,和平} 台北下雪{yes, no} 體育賽事{A勝, B勝} {總冠軍: A/B/C/D} 今天下雪嗎？ 台北今天 下雪的機率 = p1 不下雪的機率 = p2 是否下雪 {yes, no} 這個樣本空間的熵值？ 2016/1/23- 「帝王級寒流」襲台 台灣北部低海拔山區 陸續降雪，引發媒體 接力報導。 熵值 (entropy)值與編碼定律 資訊來源S集合中，將每個「事件」視為每個「符號(symbol)」之發生，則熵值可在資訊理論中被證明為每個符號編碼所需的平均bit數。亂度越高則編碼需要更多長度。 機率全數集中在1事件(符號) h = 0, length=0 機率分散在2事件(令符號0,1) 0 h ≦1, 0length ≦ 1 機率平均分散在256事件 h =8, length=8 Example (m=2) p1=1, p2=0 Entropy h = 0 p1=p2=1/2 Entropy h = 1 h=I(S)= f(p)= f(p) Example (m=4) p1=1, p2=p3=p4=0 Entropy h = 0 p1=p2=1/2, p3=p4=0 Entropy h = 1 p1=p2=p3=p4=1/4 Entropy h = 2 Thi