创造力合意（共识）评量技术.ppt

必威体育精装版情況c:計算信度的新方法?b 最近，Amabile等人基於合意評量目的，認為將評判者考量為隨機效果可能較佳（原先假定是固定效果），若根據「類別間的相關方法」（intraclass correlation）來評估評判者間的信度，就可符合此項假定。 實際上，這種方法常產生類似α係數的結果。 新的信度研究資料 1983年版描述兩項創造力評量內容（美術拼貼和五行詩）的信度。Amabile等人常使用這些評量內容，且幾乎可獲良好信度。 1983年後，Amabile等人又創造許多新評量內容。可分成三組： 語文創造力（故事和其他詩）； 藝術創造力（線畫、繪畫、各種藝術媒體等 問題解決創造力（電腦、新高科技服務的方案）。此外，研究對象也擴大了。 ?合意評量技術的改變與課題? 一.誰是適當的評判者？ 1983年前，我們斷定適當評判者是熟悉產品領域的人 現在相信多數領域的作品，評判者不需是專家。不過，至少應有些評量內容上的訓練或經驗，如果是多數人不精通的評量內容，這個原則就更重要了。 二.任務必要的特徵為何？a 這類評量內容的特性與先前描述相同。不過，先前建議特色之一：「評量內容不應過於依賴任何特定技巧」，現在需作些修正。 因這項建議主要是針對以社會心理學為「自變項」。就範圍言，如果成就表現上的個別差異是來自原有能力的高低，就會使偵測社會心理學的效果變得更困難。 二.任務必要的特徵為何？b 不過，在3種條件下是可接受的，甚至建議使用依賴特殊能力的任務： 1.所有受試在領域上有同樣專業程度 2.如果想研究「能力」對作品創造力的貢獻 3.自變項為社會心理學因素，但使用重複量數的設計。 三.程序的要素是什麼？a 先前認為如訓練評判者創造力評定，評判者間信度將受到質疑。 因而，建議不要給評判者特定的創造力定義，僅要求評判者使用主觀的創造力定義，來評定每項作品相較於其他作品的創意。 三.程序的要素是什麼？b 目前相信在多數情境仍是如此，不過可能有特殊狀況（如評估商品技術性發展的創造力）。 另外，先前要求所有評判者應評定所有作品，是為確保所有作品相互比較，以簡化信度計算，惟有時是無法做到的。在此情況下，只有使用「類別間的相關」來計算評判者間信度。 三.程序的要素是什麼？e 最後，評定作品其他層面之前，評判者應在1個層面評定所有作品。這樣作法是要讓評判者針對特定層面主觀標準上維持一致的方法，避免與不同層面產生混淆。 惟這種方法在某些情境是不實際。如，有項研究100篇長篇散文且須評3個層面 四、受試者內作品的評量 1983年前，我們並未進行每位受試者超過一項作品的研究。就社會心理學與其它研究來說，使用「重覆量數設計」通常是有利的，或許最重要的原因是可更大範圍的了解個別作品的創造力，而非僅從單一角度。 我們認為「合意評量技巧」也可用來進行受試者內與受試者間的創造力評量。 五.創造力是種分離的品質嗎？ 1983年版，獲得創造力評定與技術性或美感評定是無關的或僅有低相關是可能的。 雖然分離創造力和其它成果品質是可能的，不過實務上創造力常與其它品質相關。 六.CAT可用於個別差異的評量嗎？ 從近來研究中，發現CAT可用於社會心理及個別差異的創造力研究。 七.創造力的性別差異有時會發現性別差異，通常是兒童。惟此種性別差異在我們的研究中是少見的。? ?結論 過去幾年來，研究證實合意評量技術是有效的，即使在某些範圍上程序是不同的，仍可產生可信的創造力主觀評量。 雖然CAT比創造力測驗耗時，不過對研究者言，它具更大變通性，也認為可得到更大效度。 ?問題與討論? 1.對CAT有何看法或評論 2.為何要評量創造力呢？ 3.有評量創造力更好的點子嗎？ 創造力合意（共識）評量技術? 導讀者：張世彗教授 台北市立教育大學特殊教育學系 發展「合意評量技術」（Consensual Assessment Technique, CAT）的主因 在於創造力的共識定義、作者對創造力本質的假定、及對創造力社會心理學適當方法的要求。 選擇適當任務應符合三項要求：? 1.評量內容須能形成產品或可觀察的反應，適合評量； 2.評量內容應是開放的，能引發很多變通和新奇性的反應； 3.評量內容是令人滿意的，在基線表現上不會產生很大的個別差異，且評量內容不需過分依賴某種特定技巧。 「合意評量技術」在評量程序上有很多要求a： 1.評判者應具備該領域經驗，但不需一致。 2.讓評判者獨立自主做評量 3.相互比較作品，而非依絕對標準來評定 4.隨機鑑賞作品和不同判斷層面 ?合意評量技術」在評量程序上有很多要求b： 5.除評量創造力外，應同時評量其它層面，至少應評量作品的技術性，也包括「美感評量」。然後，就可用來決定主觀評量產品的創造力是否