《金融大数据分析》-课件 第15章 基础文本分析.pptx

基础文本分析

学习目标本章学习目标为：1、掌握使用词典对金融文本进行分析，并了解常用的中英文金融词典2、了解常用的文本预处理步骤3、理解如计算文本相似度4、了解词嵌入模型以及其优点5、熟悉如何使用程序进行简单的文本分析

文本分析简介在金融市场中，各种文本信息都传递着丰富且重要的信息。双方的交易经常需要通过合同文本来制定交易的条件。上市公司需要定期以文本的形式向广大股东披露公司的经营现状以及对未来业务发展的展望。新闻媒体用文本的形式向订阅者推送经济以及金融市场的必威体育精装版消息。分析师用文本给客户传达对公司的分析。虽然文本中有着极其丰富的信息，但是不同于数据，文本中的信息不能直接放到机器学习模型中。在本章中我们将简单介绍一些方法将文本中的信息转化成机器学习模型中可以直接应用的结构化的数量信息，并且介绍如何使用这些信息。在以下介绍中，我们先从英文文本为例对文本分析的方法进行介绍。在本章最后，我们将介绍如何将这些文本分析的方法应用到中文文本上。

词袋模型词袋模型（Bag-of-words，简称BOW）是最基本的文本分析方法。该方法将文本分解成不同的词汇，并汇总文本中词汇的意思来获取信息。以下这段文字是摘取自微软公司（MicrosoftCorporation）2023财年的年报。TheinvestmentswearemakingincloudandAIinfrastructureanddeviceswillcontinuetoincreaseouroperatingcostsandmaydecreaseouroperatingmargins.Wecontinuetoidentifyandevaluateopportu-nitiestoexpandourdatacenterlocationsandincreaseourserverca-pacitytomeettheevolvingneedsofourcustomers,particularlygiventhegrowingdemandforAIservices.Ourdatacentersdependontheavailabilityofpermittedandbuildableland,predictableenergy,net-workingsupplies,andservers，includinggraphicsprocessingunits(GPUs”)andothercomponents.Ourdevicesareprimarilymanu-facturedbythird-partycontractmanufacturers.Forthemajorityofourproducts,wehavetheabilitytouseothermanufacturersifacur-rentvendorbecomesunavailableorunabletomeetourrequirements.However,someofourproductscontaincertaincomponentsforwhichthereareveryfewqualifiedsuppliers.Extendeddisruptionsatthesesupplierscouldimpactourabilitytomanufacturedevicesontimetomeetconsumerdemand.

词袋模型——预处理使用词袋模型的第一步是对段落分拆成单词的集合。在英文中这一步非常容易。因为在英语中空格和标点（如逗号，句点）自然地将段落或句子分割成了单词。接下来，对每个单词出现的次数进行统计。因为在英文中，同一个单词有许多变形。例如段落中的单词“operating”的变形有“operate”，”operated”，”operation”等。为了方便后续的处理，可以对单词进行词干提取（stemming）或词型还原（lemmatization）。词干提取：词干提取通过去除单词的词缀（如后缀和前缀）来将其还原到根形式。这比词形还原更基本，有时会产生非实际单词的根。例如：?Running（跑步）→Run（跑）?Better（更好）→Bett

词袋模型——预处理词型还原：词形还原是一种更复杂的过程，它使用词汇和形态分析来将单词还原到其词典形式或词元。例如：?Run