深度学习技术应用课件：五言绝句古诗词生成.pptx

五言绝句古诗词生成深度学习应用技术

项目引导案例古诗词的生成，这是自然语言处理里面最有意思的任务之一——自然语言生成（NLG），是让计算机具有与人一样的表达和写作能力的技术，即可根据一些关键信息及其在机器内部的表达形式，经过规划自动生成一段高质量的自然语言文本。

项目引导案例古诗文本数据预处理01模型搭建与训练02

有哪些信誉好的足球投注网站一下“小度”、“小冰”、“乐府”、“薇薇”等机器诗人做的诗词，你能发现与真人作诗的差异吗？项目引导案例

古诗文本数据预处理任务一

职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务一古诗文本数据预处理

了解自然语言处理的概念了解自然语言生成的难点和思路了解文本数据预处理、文本过滤的方法能够正确使用python过滤无效文本内容能够正确使用python统计文本能够使用numpy保存文本数据处理后的结果职业能力目标01知识目标技能目标

职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务一古诗文本数据预处理

对古诗文本数据进行数据预处理，过滤不符合要求的数据，提取五言绝句诗句，并建立有效的数据利用体系。任务描述任务要求过滤古诗词文本数据的无效内容；完成五言绝句诗句主体的处理；使用统计方法分析文本数据；过滤低频字符，并建立有效的数据利用体系。任务描述与要求02

职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务一古诗文本数据预处理

任务分析常见的文本数据处理的方法有哪些？如何统计文字出现的次数？任务分析与计划03

任务计划表通过上面的思考，你是否对本任务要完成的工作有所了解？让我们一起来制订完成本次任务的实施计划吧！任务分析与计划03项目名称五言绝句古诗词生成任务名称古诗文本数据预处理计划方式自主设计计划要求请用8个计划步骤来完整描述出如何完成本次任务序号任务计划12345678

职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务一古诗文本数据预处理

自然语言生成的基本思路204知识储备自然语言介绍1文本数据处理3

自然语言处理04自然语言处理（NaturalLanguageProcessing，NLP）是人工智能和语言学领域的分支学科。此领域以语言为对象，利用计算机技术来分析、理解和处理自然语言，并提供可供人与计算机之间能共同使用的语言描写。

自然语言处理主要应用04语音识别文字识别知识图谱机器翻译舆情监测智能回答

04NLP、NLU与NLG之间关系自然语言处理（NLP）主要包括自然语言理解(NLU)与自然语言生成(NLU)两部分。

04自然语言理解自然语言理解(NaturalLanguageUnderstanding,NLU)就是希望机器能够像人一样，具备正常人的语言理解能力。自然语言的关键技能是意图识别和实体提取。语义的多样性01词、短语、句子、段落…不同的组合可以表达出很多的含义。语言的歧义性02联系环境、上下文，语言会有很大的歧义性。语言的鲁棒性03通过语音识别获得的文本，会存在多字、少字、错字、噪音等问题。语言的知识依赖04语言是对世界的符号化描述。如“7天”，可以表示时间，也可以表示酒店名。自然语言理解难点

自然语言生成（NeuralLanguageGeneration，NLG）是自然语言处理的重要组成部分，主要目的是降低人类和机器之间的沟通鸿沟，根据一些关键信息及其在机器内部的表达形式，将非语言格式的数据转换成人类可以理解的语言格式。04自然语言生成自然语言生成系统须要决定如何把机器表述语言转化成人类的语言自然语言生成自然语言理解系统须要厘清输入句的意涵，从而产生机器表述语言自然语言理解

04自然语言处理研究的难点单词的边界界定01在口语中，词与词之间通常是连贯的。在书写上，汉语也没有词与词之间的边界。词义的消歧02许多字词不单只有一个意思，因而我们必须选出使句意最为通顺的解释。有瑕疵的或不规范的输入04例如语音处理时遇到外国口音或地方口音，或者在文本的处理中处理拼写，语法或者光学字符识别（OCR）的错误。语言行为与计划05句子常常并不只是字面上的意思。例如，“你能把盐递过来吗？”一个好的回答应当是动手把盐递过去。句法的模糊性03自然语言的文法通常是模棱两可的，我们必须要仰赖语义及前后文的信息才能在其中选择一棵最为适合的剖析树。

自然语言生成的基本思路204知识储备自然语言介绍1文本数据处理3