AI辅助的智能系统安全性测试技术.pdf

第3卷第4期智能安全Vol.3No.4

2024年12月ArtificialIntelligenceSecurityDec.2024

doi:10.12407/j.issn.2097-2075.2024.04.072

AI辅助的智能系统安全性测试技术

陈永康，李虎，赵重阳，况晓辉*

1.军事科学院系统工程研究院，北京100101

摘要：以深度学习技术为核心的智能系统在经济社会各领域广泛应用，然而其安全性问题日益凸显。通过安全

性测试及时发现智能系统存在的安全缺陷成为当前智能系统安全保障的重要途径。首先，从智能系统安全性测试需求

切入，剖析并总结了智能系统存在的安全性问题及其测试难点；其次，围绕AI辅助的智能系统安全性测试，分别针对测

试基准构建和测试用例生成两个安全性测试关键流程,进行了相关研究工作的对比和总结；最后，依据对现有研究工作

的整理总结,探讨并展望了AI辅助的智能系统安全性测试技术的未来研究方向。

关键词：人工智能；智能系统；安全性测试；测试流程

中图分类号：TP391.4文献标志码：A文章编号：2097-2075(2024)04-072-09

AI-AssistedSecurityTestingTechniquesforIntelligentSystems

CHENYongkang,LIHu,ZHAOChongyang,KUANGXiaohui*

1.InstituteofSystemsEngineering,AcademyofMilitarySciences,Beijing100101,China

Abstract:Intelligentsystemsbasedondeeplearningtechnologieshavebeenwidelydeployedacrossvariouseconomicand

socialsectors.However,theirsecurityconcernshavebecomeincreasinglyprominent.Securitytestinghasemergedasacrucialap-

proachtoidentifypotentialsecurityvulnerabilitiesinintelligentsystems.Thisstudyfirstanalyzesandsummarizesthesecurityis-

suesandthetestingchallengesofintelligentsystemsbasedoncurrentsecuritytestingrequirements.Subsequently,itproposesan

Al-assistedsecuritytestingframeworkforintelligentsystems,focusingontwokeyprocessesinsecuritytesting:benchmarkcon-

structionandtestcasegeneration,andcomparesandsummarizesrelevantresearchintheseareas.Finally,basedonthereviewof

existingresearch,thisstudyalsodiscussesandprovidesinsightsintofutureresearchdirectionsforAI-assistedsecuritytestingof

intelligentsystems.

Keywords:artificialintelligence;intelligentsystems;securitytesting;testi