[物理]自然语言理解 Chp-01- 副本.ppt

自然语言理解 孙晓 合肥工业大学计算机与信息学院 情感计算与先进智能机器安徽省重点实验室 安徽省合肥市屯溪路193号 邮编：230009 电话: +86邮件：sunx@ 联系方式    电话邮件：sunx@ 地址：情感计算与先进智能机器 安徽省重点实验室 (斛兵楼313房间) 《自然语言理解》讲义，第 1 章 2/121 第1章 绪 论 宗成庆：《自然语言理解》讲义，第 1 章 3/121 1.1 问题的提出 宗成庆：《自然语言理解》讲义，第 1 章 4/121 宗成庆：《自然语言理解》讲义，第 1 章 5/121 1.1 问题的提出  自然语言是指人类日常使用的语言，如汉语、 英语、法语，德语，等等  语言是思维的载体，是人类交流思想、表达情 感最自然、最直接、最方便的工具  人类历史上以语言文字形式记载和流传的知识 占知识总量的80％以上  2008年1月中国互联网络信息中心 (CNNIC) 发 布的《第21次中国互联网络发展状况统计报告》 表明，中国互联网上有87.8%的网页内容是文本 表示的。 1.1 问题的提出 宗成庆：《自然语言理解》讲义，第 1 章 6/121 1.1 问题的提出 无处不在的网络、无处不在的通讯和 堆积如山的文档，构成了当今社会信息爆 炸的基本特征。当现代化的信息传播手段 给人们的生活和工作带来极大便利的同时， 也使人们面临许多难以克服的困难和障碍。 有关专家指出，语言障碍是21世纪社会全 球化所面临的主要困难之一。 宗成庆：《自然语言理解》讲义，第 1 章 7/121 122306 120000 1.1 问题的提出 网络信息检索市场前景广阔  全世界网页数量正以指数速率增长 GB 140000 网页字节总量 指数 (网页字节总量) 100000 80000 67300 60000 40000 20537 20000 3159 2878 6059 0 2001年 2002年 2003年 2004年 2005年 2006年  中文网页检索的最高准确率不足 40% 宗成庆：《自然语言理解》讲义，第 1 章 8/121 1.1 问题的提出 全世界正在使用的语言有1900多种. 宗成庆：《自然语言理解》讲义，第 1 章 9/121 约3000 1.1 问题的提出 100多个国家已有约3000万外国人 学习汉语，国际社会预言， ，21 21世纪汉 语将成为新的强势语言，将成为超过 英语、世界上使用人数最多的语言。 全世界正在使用的语言有1900多种. 有3 ，80% 45个国家的官方语言 是英语，世界 界1/3的人讲 英语，75%的电视节目是 英语，80%以上的科技信 息用英文表达。 宗成庆：《自然语言理解》讲义，第 1 章 10/121 英语作为第一交流语 言的说话人有3.8亿；英语 为第二交流语言的说话人 有3.8亿；学习英语的人有 7.5亿。 1.1 问题的提出 机器翻译市场潜力巨大     文化 商贸 旅游 体育 …… 跨语言通讯与信息获取具有重要的用途 宗成庆：《自然语言理解》讲义，第 1 章 11/121 1.1 问题的提出 利用网络组织犯罪，已 成为恐怖活动的新特点 印尼巴厘岛爆炸 宗成庆：《自然语言理解》讲义，第 1 章 12/121 1.1 问题的提出 利用网络组织犯罪，已 成为恐怖活动的新特点 信息安全问题已经 成为国际社会共同关注 的焦点 印尼巴厘岛爆炸 宗成庆：《自然语言理解》讲义，第 1 章 13/121 1.1 问题的提出 如何让计算机实现自动的或人机互助的 语言处理功能？ 如何让计算机实现海量语言信息的自动 处理、知识挖掘和有效利用？ 自然语言理解 Natural Language Understanding, NLU 宗成庆：《自然语言理解》讲义，第 1 章 14/121 1.2 基本概念 宗成庆：《自然语言理解》讲义，第 1 章 15/121 1.2 基本概念  语言 vs. 自然语言  语言学 vs. 语音学  自然语言理解 vs. 自然语言处理 vs. 计算语言学 vs. 中文信息处理 宗成庆：《自然语言理解》讲义，第 1 章 16/121 1.2 基本概念  定义1-1：语言 (language) 人类所特有的用来表达意思、交流思想的工具， 是一种特殊的社会现象，由语音、词汇和语法构成 一定的系统。“语言”一般包括它的书面形式