《973数字媒体理解的理论与方法研究》.doc

项目名称： 数字媒体理解的理论与方法研究 李波 北京航空航天大学 2010年1月-2014年8月 中华人民共和国工业和信息化部 人类媒体关键科学问题之一：媒体认知具有的层次性、整体性初级视觉皮层到高级视觉皮层，揭示复杂视觉如何自下而上地从基本特征开始特征化抽象化Gestalt心理学理论在宏观上强调知觉组织的整体化效应。同时，神经生物学发现在视觉信息处理通路上存在自上而下的调控，以此实现对初级皮层信息处理过程的调整与结果的整合。然而，媒体理解在整体性感知的计算模型、语义融合与描述等方面研究不足，有待进一步加强。 然而，大量的形态学证据表明，大脑皮层间不仅存在着上行的前馈投射（提示层次性整合），还存在着大量从高级皮层向初级皮层的反馈投射（提示整体性调节），提示层次性与整体性两种机制在大脑皮层的认知过程中是密不可分、难以割裂的。目前涌现出来了一批新型光学成像技术，能够实时地研究大范围、多尺度、活体大脑皮层的功能与形态，提供了将层次性与整体性结合起来研究的技术手段。因此，当前是推进层次性与整体性结合研究的良好时机。 为此，本项目将媒体认知具有的层次性、整体性关键科学问题之二：媒体对象固有的多义性、多态性媒体计算应有的协同性、高效性媒体认知具有的层次性、整体性主要研究内容：复杂（）（）媒体对象固有的多义性、多态性主要研究内容：（1）多义性对象的表示与建模 （2）多义性对象的计算学习理论和高效算法 （）高维异构特征数据的描述与处理 （）多模态关联特征的提取与表达方法媒体计算应有的协同性、高效性主要研究内容：（）基于上下文的多模态特征融合（）跨媒体高层语义（）（）本项目立足于解决数字媒体理解中的关键科学问题，针对媒体认知具有的层次性和整体性、媒体对象固有的多义性和多态性、媒体计算应有的协同性和高效性，研究面向数字媒体理解的认知机理与计算模型、表示框架与特征描述、融合机制与学习算法，建立数字媒体理解的验证平台与典型应用示范，取得原始创新与技术突破。 二、预期目标 3.1 总体目标，构建符合媒体理解层次性和整体性的理论框架发展刻画媒体对象多义性和多态性的表示体系等共性关键技术提出一批新算法为国家培养一批从事研究的青年学术带头人和研究使我国先进水平先水平五年预期目标理论研究认知机理与计算模型协同探索揭示媒体认知的层次性和整体性机理，符合媒体理解揭示形成媒体对象多义性的内在规律，高维多模态异构数据的协同机制媒体对象多义性和多态性的表示体系。媒体计算的协同性高效性适用面广、智能性强、度快的Artificial Intelligence、IEEE PAMI等在内的重要国际学术刊物和一流国际学术会议发表论文150篇以上，发明专利0项以上。人才培养三、研究方案 4.1 学术思路 本项目研究符合数字媒体认知机理、体现媒体数据固有特性、适应媒体计算应用需求的数字媒体理解理论与方法，兼顾重大需求和科学前沿，抓准关键科学问题，瞄准原创性研究带动关键技术突破，从科学问题解决、关键技术攻关、典型应用示范三个层次着手，分解六个课题，通过严格的组织管理、密切的课题协作、以及高水平的国际合作与交流，获得有重要影响的成果。项目组确立了如下三条学术思路： （1）强调认知机理与计算模型的研究相互促进，构建符合媒体理解层次性和整体性的理论框架。知科学在底层、局部性认知机理的研究方面已有较多进展，而对高层、整体性认知的形成过程的探索是重要目标之一，与试图直接借鉴认知科学已有的成果不同，本项目将围绕媒体认知的层次性和整体性目标，强调认知机理与计算模型协同探索：一方面，在媒体计算模型的研究中注意吸收利用底层、局部性认知机理方面的成果另一方面，通过媒体计算模型研究形成有关高层、整体性认知的假说，从而形成认知机理与计算模型研究的双向支持、相互借鉴，促进符合媒体理解层次性和整体性的理论框架的构建。 （2）强调高层描述与底层特征的表达相互关联，发展刻画媒体对象多义性和多态性的表示体系。考虑到高层描述在一定程度上揭示了媒体对象的可能语义，底层特征是刻画媒体对象的主要手段，而与试图仅通过加强底层特征的表达能力来缩小语义鸿沟不同，本项目将针对媒体对象的多义性和多态性特点，强调高层描述与底层特征的相互关联：一方面，在形成高层描述时注意到单模态特征表达的局限性和多模态信息的互补性另一方面，在设计底层特征时考虑到高层描述的指导性，使得底层特征的选取为高层描述服务。从而形成高层描述与底层特征表达的有效结合、相互支撑，促进体现媒体对象多义性和多态性的表示体系的形成。 （3）强调融合机制与学习算法的效用相互结合，突破制约媒体处理协同性和高效性的技术瓶颈。考虑到融合机制是利用多模态信息的基本手段，学习算法是分析复杂对象的核心技术，而与试图单纯通过特征层融合或决策层融合来实现多源信息利用、独