知识图谱与大模型之间的关系.docx

知识图谱与大模型之间的关系 一、从认知智能的两种路径说起 我们都知道，人工智能的发展分为三个阶段：计算智能、感知智能、认知智能。计算智能，即快速计算和记忆存储能力。感知智能，即视觉、听觉、触觉等感知能力。认知智能，即理解、思考、推理等认知能力。我们现在已经迈进了认知智能的阶段，目前以多模态为主。 多模态认知智能，一般来说有两种实现路径。一是，多模态大模型；二是多模态知识工程。 多模态大模型，是典型的连接主义和经验主义的思想，从海量预训练数据中学习概率关联，是简单而鲁棒的，它属于统计学习范畴，具备端到端、干预少和“数”尽其用的优势，其劣势在于难以学习到从因到果、从主到次、从整体到部分、从概括到具体、从现象到本质、从具体到一般等逻辑关系。 另一种实现路径是多模态知识工程，其代表了符号主义的思想，从精选数据和专家知识中学习符号关联，是精细而脆弱的，它往往通过专家系统和知识图谱实现，具备易推理、可控、可干预、可解释的优点，但是它的劣势主要在于将数据转换成符号知识的过程往往伴随着巨大的信息损失，而其中隐性知识等难以表达的知识往往是信息损失的主体。多模态知识图谱是多模态知识工程的主要形式。 二、知识图谱与大模型的优劣势分析 两者本质上都是一种知识库。在实时性和时效性上面临的挑战一致，都需要面对事实性错误、时效性以及知识更新的问题。 知识图谱是知识的结构化表达，通过三元组与图网络建立起知识体系，结构清晰，查询简单，便于理解。大模型是利用海量语料，经过神经网络和深度学习大规模训练后，形成的巨量参数的语言模型，上下文感知能力、深层语义表示能力较强，主打通用性。 大模型的优点是： 关联推理能力强：可以学习掌握大量跨模态知识模式，隐空间的关联推理能力强，具有很强的泛化能力； 多任务通吃：一套大模型处理各类跨模态任务； 人工成本低：依赖人工schema设计与数据标注比较少； 适配能力强：可通过调优训练或prompt对话等方式来适配新的领域和任务。 而其不足之处在于： 可靠程度低：所生成的内容存在事实性错误，可靠性堪忧，存在误差累积、隐私泄露等问题，无法胜任高精度严肃场景需求； 知识推理弱：基于概率的语义连接，没有真正掌握数据背后的知识，缺乏知识推理能力，更无因果推理能力。但是，据说GPT-4 推理能力提升 1750%，这一条好像快站不住脚了； 训练成本高：需要消耗大量计算资源和时间来进行训练，需要强大的计算设备和高效的算法。 而与之对应的，多模态知识图谱的优点是： 专业可信度高：其结构和关系清晰，易于理解和解释，可为人类决策提供参考，通常为某个具体应用场景构建，可提供更精准和针对性的知识支持； 可解释性好：以结构化形式表示知识 ，知识的可访问性、可重用性、可解释性好，对人类友好； 可扩展性强：知识图谱的内容可以随着应用场景的需要进行不断扩展和更新，可以不断完善和改进。 而多模态知识图谱的缺点在于： 推理能力弱：只能表示已有的知识和关系，对于未知或不确定的领域难以进行有效的知识建模和推理； 人工成本高：其构建需要依赖于人工或半自动的方式进行知识抽取和建模，难以实现完全自动化； 架构调整难：其基本schema架构通常是静态的，不易根据新的数据或场景进行修改和调整。 由上分析可见，大模型的优点常常是多模态知识图谱的不足，而多模态大模型的不足又往往是多模态知识图谱的优势。因此，当前阶段，大模型与知识图谱仍应继续保持竞合关系，互相帮助，互为补充。 三、知识图谱与大模型的关系会如何发展？ 1、知识图谱在一定时期内，不会被大模型替代 一是知识图谱是在现阶段有意义的，因为神经网络目前无法解决或者非常难以解决事实性准确的问题。目前因为 GPT4 这种胡编乱造的情况还是很严重的，远远达不到完美解决的阶段。它会一本正经的解释，贾宝玉为什么要葬花。 二是通用大模型的工业化落地，需要行业知识。真正落地到很多行业应用的时候，也是需要有专业领域知识的支撑，大模型训练语料里最为致命的一点是专业知识在大语料里边它占比非常少的，很难在训练里面把专业知识给学习出来，所以在一个具体的应用领域的它还是需要知识，至少短期内还是需要的。概率空间网络（不管是原来深度学习还是现在大模型）跟知识库或者知识图谱的结合是后续我们在行业实践的关键点。 2、相互促进，你中有我，我中有你 首先作为新生事物的大模型可以服务于传统知识谱图的构建。大模型可以帮助完成数据标注和数据增强，加速知识图谱的落地。无论是文本知识还是多模态知识都可以利用大模型，大幅提升知识抽取的效率，使得零样本、少样本、开放知识抽取成为可能。大模型在部分领域上拥有领域常识，可以辅助完成schema的半自动化设计，为知识融合扫清障碍，进一步协助更好完成知识更新。 然后反过来说，利用知识图谱中的知识构建测试集，可对大模型的生成能力进行各方面评估，