数据与模型安全 课件 第12周：AI模型版权保护.pptx

姜育刚，马兴军，吴祖煊AIModelCopyrightProtection

Recap:week11FederatedLearningPrivacyinFederatedLearningRobustnessinFederatedLearningChallengesandFutureResearch

ThisWeekModelExtraction:AttacksModelExtraction:Defenses

AI模型是宝贵的财产BERTGoogle$160万大规模、高性能的AI模型训练耗费巨大数据资源计算资源人力资源

模型窃取动机巨大的商业价值尽量保持模型性能不希望被发现宝贵的AI模型模型窃取为其所用

模型窃取方式输入输出模型微调模型剪枝模型窃取攻击StealingmachinelearningmodelsviapredictionAPIs,USENIXSecurity,2016;Practicalblack-boxattacksagainstmachinelearning,ASIACCS,2017;Knockoffnets:Stealingfunctionalityofblack-boxmodels,CVPR,2019;Maze:Data-free?modelstealing?attackusingzeroth-ordergradientestimation,CVPR,2021;

版权保护的目标准确识别出窃取模型(copy)尽可能高效、鲁棒Copy,Right?模型版权识别尽可能保持模型性能不希望被发现(notcopy)

版权保护的两个阶段Thesamemodel?一致性验证=BisderivedfromA?ABAB模型溯源Thisiswhatwearedoing.Thisiswhatweshoulddo.

模型水印技术@fvl传统图像水印：将所有者信息嵌入媒体TMLTMLTMLTMLTMLTML@fvl@fvlSpectrum不同方法的表现和鲁棒性存在一定差异

模型水印技术水印信息载体发生变化：模型参数AI模型的实用性需求(Fidelity)：水印不能破坏模型功能Yes参数矩阵能不能直接将一行参数改成自己定义的特殊签名？

模型水印技术–白盒水印Uchida,Yusuke,etal.Embeddingwatermarksintodeepneuralnetworks.?ACMICMR,2017

模型水印技术–白盒水印Step1.水印嵌入Step2.水印提取Uchida,Yusuke,etal.Embeddingwatermarksintodeepneuralnetworks.?ACMICMR,2017在训练过程中，添加参数惩罚项，结合嵌入矩阵将信息（钥匙）嵌入到模型参数中。WatermarkedModel????

模型水印技术–白盒水印水印嵌入的目标损失函数：Uchida,Yusuke,etal.Embeddingwatermarksintodeepneuralnetworks.?ACMICMR,2017在训练过程中，添加参数惩罚项，结合嵌入矩阵将信息（钥匙）嵌入到模型参数中。?

模型水印技术–白盒水印DarvishRouhanietal.Deepsigns:Anend-to-endwatermarkingframeworkforownershipprotectionofdeepneuralnetworks.?ASPLOS.2019.同时依赖数据和模型对模型性能影响小自动寻找low激活区域进行嵌入对微调和重写鲁棒向激活图pdf（概率密度分布）中嵌入N比特激活空间水印：DeepSigns

模型水印技术–白盒水印激活空间水印：DeepSignsDarvishRouhanietal.Deepsigns:Anend-to-endwatermarkingframeworkforownershipprotectionofdeepneuralnetworks.?ASPLOS.2019.向激活图pdf（概率密度分布）中嵌入N比特选取多个key，每个都来自于一个高斯分布将key通过正则化训练入模型需要部分训练数据引导神经网络某一层MixedGaussian一个类别对应一个高斯

模型水印技术–白盒水印LixinFanetal.“Rethinkingdeepneuralnetworkownershipverifi