第14章人工智能安全.pptx

第十四章人工智能安全人工智能概论

目录人工智能相关概念14.1人工智能安全内涵14.2人工智能安全体系架构14.3人工智能的内生安全14.4人工智能助力安全14.5结语

人工智能安全概念新技术必然会带来新的安全问题，而各种新技术、新系统源源不断地出现，自然会引发各种新的安全问题与安全事件。任何一项新技术的发展和应用都存在着相互促进又相互制约的两个方面：一方面，技术的发展能带来社会的进步与变革；另一方面，技术的应用要以安全为前提，要受到安全保障机制的制约。然而安全是伴生技术，往往会在新技术的发展之后才被关注到，因为人们首先会去享用新技术带来的红利，之后才会注意到新技术伴随的种种安全问题。人工智能作为一项新技术，既能赋能安全，又会伴生安全问题。人工智能基础

14.1人工智能安全内涵近年来，网络攻击者不断利用人工智能技术来提升和突破传统网络攻击的能力边界。融入人工智能技术的网络攻击已经覆盖了目标侦察、对抗查杀、意图隐藏、武器投递和目标控守的网络攻击全生命周期。一方面，现阶段人工智能技术不成熟性导致安全风险，包括算法不可解释性、数据强依赖性等技术局限性问题，以及人为恶意应用，可能给网络空间与国家社会带来安全风险；另一方面，人工智能技术可应用于网络安全与公共安全领域，感知、预测、预警信息基础设施和社会经济运行的重大态势，主动决策反应，提升网络防护能力与社会治理能力。基于以上分析，项目组认为，人工智能安全内涵包含：一是降低人工智能不成熟性以及恶意应用给网络空间和国家社会带来的安全风险；二是推动人工智能在网络安全和公共安全领域深度应用；三是构建人工智能安全管理体系，保障人工智能安全稳步发展。人工智能基础

14.2人工智能安全体系架构从人工智能内部视角看，人工智能系统和一般信息系统一样存在脆弱性，即人工智能的内生安全问题。一旦人工智能系统的脆弱性在物理空间中暴露出来，就可能引发无意为之的安全事故。从人工智能外部视角看，人们直观上往往会认为人工智能系统可以单纯依靠人工智能技术构建，但事实上，单纯考虑技术因素是远远不够的，人工智能系统的设计、制造和使用等环节，还必须在法律法规、国家政策、伦理道德、标准规范的约束下进行，并具备常态化的安全评测手段和应急时的防范控制措施。综上，可将人工智能安全分为3个子方向：人工智能内生安全（AIsecurity）和人工智能衍生安全（AIsafety）、人工智能助力安全（AIforsecurity）。其中，人工智能助力安全体现的是人工智能技术的赋能效应；人工智能内生安全和衍生安全体现的是人工智能技术的伴生效应。人工智能系统并不是单纯依托技术而构建的，还需要与外部多重约束条件共同作用，以形成完备合规的系统。人工智能基础

14.3人工智能的内生安全人工智能内生安全指的是人工智能系统自身存在脆弱性。脆弱性的成因包含诸多因素，人工智能框架/组件、数据、算法、模型等任一环节都可能给系统带来脆弱性。在框架/组件方面，难以保证框架和组件实现的正确性和透明性是人工智能的内生安全问题。在数据方面，缺乏对数据正确性的甄别能力是人工智能的内生安全问题。在算法方面，难以保证算法的正确性也属于人工智能的内生安全问题。在模型方面，难以保证模型不被窃取或污染同样属于人工智能的内生安全问题。人工智能基础

14.4人工智能助力安全人工智能助力安全主要表现为助力防御和助力攻击两个方面。在助力防御方面，防御者正在利用人工智能技术提升和扩展其原有的防御方法。防御者可利用计算机视觉技术助推物理智能安防监控产业快速发展，从而提升防盗报警、防爆安检等物理安全保障能力；利用机器学习算法，构建可在运行时不断自我提升的智能入侵检测系统；利用深度学习和机器学习技术检测未知特征的恶意代码，提升网络威胁发现能力；引入网络攻防知识图谱，使得“人机结合”的威胁猎杀更加高效，从而发现关键信息资产中潜伏的隐蔽威胁；基于海量用户与实体行为的正常历史数据，构建异常检测系统，从而发现偏离正常轨迹的可疑行为。人工智能基础

14.4人工智能助力安全在助力攻击方面，攻击者可能利用人工智能技术突破其原有能力边界。攻击者借助人工智能技术，可以实现自动化漏洞挖掘、构建智能恶意代码、为神经网络模型植入后门、自动化构造鱼叉式钓鱼邮件、精准锁定目标、深度隐藏攻击意图、生成高逼真度假视频等攻击方法，从而提升漏洞挖掘效率和降低成本、提升恶意代码免杀和隐蔽通信能力、污染神经网络模型供应链、实现无人介入的鱼叉式钓鱼邮件大面积投放、提升网络攻击的精准打击和意图隐藏能力、实现伪造欺骗等新形态攻击能力。人工智能基础

14.4.1物理智能安防监控“AI+安防”是人工智能技术商业落地发展最快、市场容量最大的主赛道之一。推动安防监控发展的关键人工智能技术包括智能视频监控、体态识别与行为预测、知