数据与模型安全 课件 第1周：课程介绍机器学习基础.pptx

人工智能：数据与模型安全姜育刚，马兴军，吴祖煊

教材介绍

《人工智能：数据与模型安全》

《人工智能：数据与模型安全》

《人工智能：数据与模型安全》

《人工智能：数据与模型安全》在线电子教材：/参考课件：https://trust-ml.github.io/

教学内容Week1:IntroductionandMachineLearningBasicsWeek2:ExplainabilityandCommonRobustnessWeek3:AdversarialExamplesWeek4:AdversarialExampleDetectionWeek5:AdversarialDefenseWeek6:DataPoisoning:AttacksandDefensesWeek7:BackdoorAttacksandDefensesWeek8:DataExtractionandModelStealingWeek9:PrivacyAttacksandDefensesWeek10:DeepfakesandDetectionWeek11:FederatedLearningWeek12:AIModelCopyrightProtectionWeek13:AIFairnessandEthicsWeek14:GuestLectureWeek15:StudentPresentationWeek16:StudentPresentation

评估方式课堂对抗攻击比赛：对抗攻击（占比30%）个人赛，第5-8周进行需要自行寻找计算资源（GPU）比赛内容：对抗攻击效率优先得分：按照排名分段评分分组大作业（占比60%）研究主题“每个算法/模型/论文都有它的缺陷”，具体方向自主选择组队研究实践：3-5人，每组不多于2个博士用实验说话以组为单位进行期末汇报，每个组5分钟得分：结合选题新颖度、实验创新性、发现独特性和报告质量四个方面综合评分

什么是安全可信的人工智能让人工智能安全、更值得信赖！让算法和模型更安全！让算法和模型值得人类的信任！让算法和模型更安全、鲁棒、可解释、公平、保护隐私等；本课程的目的：了解当前AI模型的缺陷与风险，掌握先进的对抗攻防技术，保护并发展我国的安全可信人工智能！

为什么学习安全可信人工智能？各国政府相继发布政策，发展安全可信人工智能美国国防部DARPA和情报总局办公室下属IARPA组织先后发起防御对抗和后门攻击的鲁棒人工智能专项法国经济和财政部与全球行业巨头签署了《工业人工智能宣言》，指出发展“鲁棒、可解释和可证明的人工智能”。美国发布新版《国家人工智能研究与发展战略规划》，强调要创建鲁棒安全AI系统。2019201920192021澳大利亚发布《人工智能行动计划》，发展鲁棒、可信和负责任的人工智能。2022德国发布新版《德国联邦政府人工智能战略》，明确大力发展“安全、可信人工智能”。2020英国发布《国防人工智能战略》提出安全、鲁棒、高效的在国防领域逐步使用AI技术。

为什么学习安全可信人工智能《人工智能在混合战争中的鲁棒性》：2021年，美英德等8个国家的9个国防单位联合发表论文，强调鲁棒人工智能对未来混合作战的重要性

为什么学习安全可信人工智能在我国，发展安全、可靠、可控的AI已经上升为国家战略2017年10月，国家发布《新一代人工智能发展规划》，2018年，启动科技创新2030—新一代人工智能重大项目。

为什么学习安全可信人工智能党和国家高度关注AI领域的安全可靠可控发展习总书记在十九届中央政治局集体学习时指出：要加强人工智能发展的潜在风险研判和防范，确保人工智能安全、可靠、可控；要整合多学科力量，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。习总书记在2020年G20特别峰会上的重要讲话指出：面对各国对数据安全、数字鸿沟、个人隐私、道德伦理等方面的关切，我们要秉持以人为中心、…，携手打造开放、公平、公正、非歧视的数字发展环境。…，引领全球人工智能健康发展。

为什么学习安全可信人工智能《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》网信办发布《生成式人工智能服务管理办法》：

为什么学习安全可信人工智能提升科学素养：逆向思维、辩证地看待问题、强化科技伦理意识提高科研能力：“做好”比“做到”要困难很多，需要广泛研究增强忧患意识：新技术新风险，当今AI还有很多局限性培养责任意识：“技术向善”、“以人为本”，培养“知责任”、“明责任”、“负责任”的人工智能人才促进行业发展：为我国人工智能行业健康发展保驾护航

人工智能已经进入大模型时