面向知识场景的图片类教育资源知识点自动标注算法.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2024，60（24）119

⦾模式识别与人工智能⦾

面向知识场景的图片类教育资源知识点自动标注算法

1222

王静，杜旭，李浩，胡壮

1.重庆邮电大学自动化学院，重庆400065

2.华中师范大学人工智能教育学部，武汉430079

摘要：针对图片资源的视觉特征与高级知识语义不一致的挑战，提出一种新的知识点自动标注算法，称为基于知

识场景的情境超图卷积网络（SHGCN），以便高效组织管理教育领域中的图片数据，促进知识理解与有效利用，实现

教育智能化。该算法在提取图片资源显性视觉特征的同时，又挖掘了隐含在细粒度区域的隐性知识信息。利用

FasterR-CNN和OCR技术来识别知识对象和坐标文本等知识实体，这些知识实体特征融合后作为该图片的知识向

量；提出双筛选机制来生成不同类型的知识场景，并将知识场景作为超边来构建情境超图，建模蕴含相似情境信息

的图片间高阶知识相关性。利用超图卷积实现知识相似图片的情境信息聚合，实现“视觉-语义”到“视觉-语义-知

识”的转化。还构建了一个物理学科的图片数据集来训练和验证SHGCN。实验结果表明，SHGCN在提取图片显性

视觉信息的基础上，进一步挖掘隐性知识信息，其性能优于基线方法。

关键词：知识点标注；超图卷积网络；知识场景；情境超图

文献标志码：A中图分类号：TP391.41doi：10.3778/j.issn.1002-8331.2308-0102

AutomaticAnnotationofKnowledgePointsinPicture-BasedEducationalResourcesforKnowledge

Scenarios

1222

WANGJing,DUXu,LIHao,HUZhuang

1.SchoolofAutomation,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China

2.FacultyofArtificialIntelligenceinEducation,CentralChinaNormalUniversity,Wuhan430079,China

Abstract：Aimingatthechallengeofinconsistencybetweenthevisualfeaturesofpictureresourcesandthesemanticsof

advancedknowledge,anewautomaticannotationalgorithmforknowledgepointsisproposed,calledthesituationalhyper-

graphconvolutionalnetworkbasedonknowledgescenarios(SHGCN),whichcanefficientlyorganizeandmanagepicture

data,promoteknowledgeunderstandingandutilization,andimproveeducationintelligence.Thealgorithmnotonlyextracts

explicitvisualfeaturesofthepictureresources,butalsominesknowledgeinformationhiddeninfine-grainedregions.

FasterR-CNNandOCRtechniquesareutilizedtoidentifyknowledgeentitiessuchasknowledgeobjectsandcoordinate

texts,andmulti-granularityfeaturesarefusedtogenerateknowledge