自然语言理解-词法分析.pptVIP

下载本文档

0
0
约7.63千字
约 10页
2025-01-24 发布于上海
举报
版权申诉

自然语言理解-词法分析.ppt

1、本文档共10页，可阅读全部内容。
2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
8、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

鲁迅说:世上本没有路!鲁迅说:“世上本没有路!”鲁迅说：“世上本没有路！”例鲁迅说：“世上本没有路！”C2B3D1B8A3BAA1B0B0CBB5CAC0C9B1BEC3BBD3D0C2B7A3A1A1B1鲁迅说:世上本没有路!C2B3D1B8A3BA3A22B5CAC0C9B1BEC3BBD3D0C2B72122鲁迅说:“世上本没有路!”C2B3D1B8A3BA3AB0CBB5CAC0C9B1BEC3BBD3D0C2B721A1B1例数据结构GBtwobytesASCIIonebyte系统必须正确识别，不然就会出现乱码。GB、ASCII混用问题解决方法将ASCII扩展到两个字节鲁迅说：“世上本没有路！”C2B3D1B8A3BAA1B0B0CBB5CAC0C9B1BEC3BBD3D0C2B7A3A1A1B1鲁迅说:世上本没有路!C2B3D1B8A3BA003A0022B5CAC0C9B1BEC3BBD3D0C2B700210022鲁迅说:“世上本没有路!”C2B3D1B8A3BA003AB0CBB5CAC0C9B1BEC3BBD3D0C2B70021A1B101.控制此并不影响人的理解，但影响系统的识别02.这就是人们常说的鹬蚌相03.争的故事。04.这就是人们常说的鹬蚌相?05.争的故事。控制词问题“鹬蚌相争”是词组（成语）。01“鹬蚌相?争”还是成语吗？系统必须删除“?”才能处理文本。02怎样做？删除所有控制词（空格、回车、制表符）。为便于人的阅读，在段落之间保留控制词。解决方法分词切分将一个字符串分为几部分01普通全切分长度为N的字符串有2n-1个全切分结果02全切分太平洋保险保太平01太平洋保险保太平02太平洋保险保太平03太平洋保险保太平04太平洋保险保太平05太平洋保险保太平06太平洋保险保太平07。。。。。。08。。。。。。09太平洋保险保太平10太平洋保险保太平11例：太平洋保险保太平01022n-1个结果中绝大多数是没有用的需要重新定义全切分普通全切分是无用的切分将一个字符串分为几个人类能理解的部分太平洋保险保太平假设这些部分是词典中的词01.02.03.04.重定义切分01每一部分要么是词典中的词，02要么长度为一在2n-1个结果中选择太平洋保险保太平太平洋保险保太平太平洋保险保太平太平洋保险保太平太平洋保险保太平太平洋保险保太平太平洋保险保太平太平洋保险保太平太平洋保险保太平太平洋保险保太平太平洋保险保太平太平洋保险保太平选择结果全切分问题怎样生成结果怎样压缩时间和空间的复杂度弧系统使用户来表示一个切分部分Arc是相应的数据结构.typedefstructtagArcWW{ unsignedint uBegin; unsignedint uEnd; WordItem *uCode; UINT uCatThis;}ArcWW;uBegin：弧的起点uCode：该切分单位在词典中的位置uEnd：弧的终点uCatThis：词性，在标注部分填入MemberofArc太平洋保险保太平弧表示为：太平洋保险保太平12345678使用弧在数据结构中uBeginuEnduCode033