单词与词组的处理与分析课件.pptVIP

我們最後來討論任何使用語用資訊:所謂語用資訊，就是必須結合上下文不同的情況的資訊才能確定語句含義。歧義切分字段“乒乓球拍”僅只根據詞法、句法和語義知識,都不足以判斷賣完的東西究竟是“乒乓球”還是“乒乓球拍”,這時,就得根據語言交際的具體環境的語用方面的知識,才能決定究竟什麼才是正確的切分。例中的歧義切分字段“美國會”,僅只根據詞法、句法和語義知識,也不足以判斷採取措施提高工業競爭力的是“美國”還是“美國會”,這時,就得根據語言交際的具體環境的語用方面的知識,才能作出正確的切分。在上面的例中的歧義切分字段“和尚”,如果僅只根據詞法、句法和語義知識,也不足以判斷古代廟宇是“和尚”使用還是“尚”使用的,這也只好根據語言交際的具體環境的語用方面的知識,才能作出正確的切分。根據上面所述的歧義切分字段的性質,可以把它們分為4種不同的類型:(l)利用詞法知識就能判斷的歧義切分字段,叫做詞法歧義字段。(2)利用句法知識才能判斷的歧義切分字段,叫做句法歧義字段。(3)利用語義知識才能判斷的歧義切分字段,叫做語義歧義字段.(4)利用語用知識才能判斷的歧義切分字段,叫做語用歧義字段。在這其中,詞法歧義字段與交集型歧義切分字段完全對應,其餘三類則與多義組合型歧義切分字段相對應。5.3詞語的排序,檢索,詞庫5.3.1詞語的排序,檢索簡敘漢語的詞語由漢字組成,詞語的數量大,僅常用詞條將達到4萬左右。要使自動翻譯快速、有效,必須對大量的詞條使用好的排序和檢索演算法進行處理.按漢字筆劃權值對詞語進行排序是根據辭海筆劃查字表中的漢字排列來定義漢字的類,再給每一類漢字賦一個數值,這個數值就稱為該漢字的筆劃權值。由於漢字筆劃權值不超過787個,採用映射式排序演算法是好的方法。而檢索方法採用直接映射式字元檢索演算法。5.3.2詞庫設計原則(1)略縮詞詞典例如英語文句中經常出現的a.m;當自動切分句子遇到帶.的詞時,通過查找略縮詞詞典時,找出相對應片語。(2)省略詞詞典如英文的its;theyve等。當自動切分句子遇到帶的詞時,通過查找省略詞詞典時,找出相對應片語。(3)特殊詞典如英語的介詞,副詞,連詞等,用法非常靈活,在不同語言條件下,由於其前後搭配成份不同,其中文譯文和中文生成的詞序都很不一樣,極易產生歧義,而且這類詞的頻率極高.對這些結構詞進行特殊處理,對提高譯文處理品質是十分重要的。(4)專業詞典為使翻譯能根據不同專業有更準確的譯文,應建立專業詞典。5.4詞語的分類與兼類問題5.4.1詞語的分類在目前情況下，自然語言資訊處理的技術水準要求對每個詞語給出它的詞類(範疇)乃至次範疇分類，語言學理論與資訊處理技術之間有著明顯的差距。為滿足機器翻譯的實用需求,也為了更深入研究,機器詞典將所收的詞語及符號劃分為26類,它們名稱及代碼如下:名詞n,時間詞t,處所詞s.方位詞f,數詞m,量詞q,區別詞b,代詞r,動詞v,形容詞a,狀態詞z,副詞d,介詞p,連詞c,助詞u,語氣詞y,象聲詞o,嘆詞e,首碼h,尾碼k,成語i,簡稱略語j,慣用語l,語素g,字x,標點符號w。當然，由於沒有一個統一的標準，可能這一種劃分與其它文獻中的劃分可能有不同之處。這並不影響實際使用，但是我們應用時要注意這個問題。顯然，僅僅規定出這些詞類還遠遠不夠,更重要的是要決定詞典中的每一個具體的詞屬於哪一類。這的確是一件頗費斟酌的事,特別是一些名詞、動詞、形容詞、狀態詞、區別詞、副詞的辨別可以說是相當困難的。儘管詞典中的詞語數目是有限的,儘管有判別準則,儘管研究者親自確定詞語的歸類,但是仍有少數詞一時仍難以決定下來。機器只有用語法方法對這些問題作必要的處理。當然,這也為進一步研究準備了條件。隨著人們多年研究的深入,