基於词语分布均匀度的核心词汇选择.PDF

Computational Linguistics and Chinese Language Processing Vol. 21, No. 2, December 2016, pp. 1-18 1  The Association for Computational Linguistics and Chinese Language Processing 基於詞語分布均勻度的核心詞彙選擇 A Study on Dispersion Measures for Core Vocabulary Compilation      白明弘 、吳鑑城 、簡盈妮 、黃淑齡 、林慶隆 Ming-Hong Bai, Jian-Cheng Wu, Ying-Ni Chien, Shu-Ling Huang and Ching-Lung Lin 摘要 核心詞彙是不受文本類型、主題、應用情境等影響，穩定使用的詞彙。在自然 語言中，核心詞彙的數量相對稀少，卻構成溝通內容的主要部份，因此是語言 學習中重要的一環。傳統的核心詞彙選擇方法主要依據專家知識與經驗法則， 在語料庫語言學興起後，詞頻與詞彙分布均勻度統計提供了客觀的統計數據協 助核心詞彙的選取。在本論文中，我們提出一個多面向均勻度整合公式，使詞 語均勻度的計算能夠同時考慮到不同的分類面向。其次，我們也針對傳統公式 統計結果偏差的問題，提出詞頻正規化的方法。對於實驗的評估，我們提出了 一個以異源語料庫評估核心詞彙的方法，可以比較各種統計公式的優缺點與特 性。在實驗結果的部份，我們實際比較了多種不同的核心詞彙表選擇公式，分 析不同公式的特質，並驗證了詞頻正規化的確能夠修正傳統公式的缺點。最後， 我們也驗證了整合多面向均勻度的計算方法，確實可以選擇到更具核心特質的 詞彙。                                                          國家教育研究院編譯發展中心 Development Center for Compilation and Translation, National Academy for Educational Research E-mail: wujc@.tw The author for correspondence is Jian-Cheng Wu. 2 白明弘 等 Abstract Core vocabulary is a set of words that are stable used across different text types, theme, and application scenario. In natural language, the number of core vocabulary is relatively small, the core vocabulary, however, plays an important part in language learning because it constitutes a major part of communication content. The traditional core vocabulary selection method is