人工智能安全技术及智能防御系统研究.docx

人工智能安全技术及智能防御系统研究

人工智能和智能安全是当今社会中两个热门的话题，它们涉及科技、社会、经济、政治等各个方面。人工智能[1]是指让机器具有类似人类的智能的能力，包括感知、认知、理解、决策、行动和反馈等。智能安全[2]是指利用人工智能技术来提高智能系统自身的安全性能，防范和应对各种威胁，保护人类和机器的利益。本文旨在介绍人工智能和智能安全的相关概念、发展轨迹、基本组成、挑战和机遇。

01.

人工智能发展轨迹

人工智能（ArtificialIntelligence）的概念在1956年由约翰·麦卡锡在达茅斯学院夏季学术研讨会上首次提出。在此之前，人类已经开始在如何利用机器替代人类从事繁重、重复劳动的道路上不断探索。

1882年2月，尼古拉·特斯拉完成了困扰其5年的交流电发电机设想，欣喜若狂地感叹道“从此之后人类不再是重体力劳动的奴役，我的机器将解放他们，全世界都将如此”。1936年，为证明数学中存在不可判定命题，艾伦·图灵提出“图灵机”的设想，1948年在论文《INTELLIGENTMACHINERY》[3]中描绘了联结主义的大部分内容，紧接着在1950年发表《COMPUTINGMACHINERYANDINTELLIGENCE》[4]，提出了著名的“图灵测试”。同年，马文·明斯基与其同学邓恩·埃德蒙建造了世界上第一台神经网络计算机。1955年冯·诺伊曼接受了耶鲁大学西里曼讲座的邀请，讲稿内容后来汇总成书《THECOMPUTERANDTHEBRAIN》。

人工智能自1956年提出到今天，经历了三次发展高潮。

第一次发展高潮：1956年-1980年，以专家系统、经典机器学习为代表的符号主义（Symbolism）占据统治地位，也被称之为第一代人工智能。符号主义提出基于知识和经验的推理模型来模拟人类的理性智能行为，像推理、规划、决策等。因此符号主义在机器里建立知识库和推理机制来模拟人类的推理和思考行为。

符号主义最具有代表性的成果是1997年5月IBM国际象棋程序深蓝打败世界冠军卡斯帕罗夫，成功要素有三个[5]。第一个要素是知识和经验，深蓝分析700000盘人类大师下过的棋局及大量5—6个棋子的残局，总结下棋的规则，然后通过大师和机器之间的对弈，调试评价函数中的参数，充分吸收大师的经验。第二个要素是算法，深蓝使用阿尔法-贝塔剪枝算法，速度很快。第三个要素是算力，IBM当时用RS/6000SP2机器，每秒能够分析2亿步，平均每秒钟能够往前预测8-12步。

符号主义的优势是能够模仿人类的推理和思考的过程，与人类思考问题过程一致，且可以举一反三，因此具有可解释性。但符号主义也存在着非常严重的缺陷，一是专家知识十分稀缺和昂贵；二是专家知识需要通过人工编程输入到机器里面，费时费力；三是有很多知识是很难表达的，比如中医专家号脉等经验很难表达，因此符号主义的应用范围非常有限。

第二次发展高潮：1980年～1993年，以符号主义和连接主义（Connectionism）为代表；

第三次发展高潮：1993年～1996年，深度学习借助算力和数据大获成功，连接主义变得炙手可热。

深度学习通过深度神经网络的模型模拟人类的感知，如视觉、听觉、触觉等。深度学习有两个优点：一是不需要领域专家知识，技术门槛低；二是网络规模越大，能够处理的数据越大。

深度学习最典型的一个例子是围棋程序。在2015年之前，用符号主义的方法即知识驱动的方法做出来的围棋程序，最高能达到业余5段的水平。2015年10月份，围棋程序打败了欧洲的冠军，2016年3月围棋程序打败了世界冠军。到2017年10月份，AlphaGo元打败了AlphaGo，AlphaGo利用了深度学习[6]，使得围棋程序的水平实现了三级跳，从业余跳到专业水平，又从专业水平到世界冠军，又从世界冠军到超过世界冠军。AlphaGo两年实现了三级跳，其成功主要来自三个方面的发展：大数据、算法、算力。AlphaGo学习了3000万盘已有的棋局，自己与自己又下了3000万盘，一共6000万盘棋局，采用蒙特卡罗树有哪些信誉好的足球投注网站、强化学习、深度学习等算法，一共用了1202个CPU和280个GPU来计算。

深度学习也有很大的局限性，如不可解释、不安全、不易泛化、需要大量的样本等。比如一张人脸的图片加一点修改后可能被机器识别成狗，为什么会出现这种情况，人类无法理解，这就是不可解释性。

2016年，以强化学习为代表的行为主义（Actionism）在AlphaZero横空出世之后大获关注，更是被誉为通向通用人工智能的必经之路。

以逻辑推理为代表的符号主义以知识驱动智能，以深度学习为代表的连接主义以数据驱动智能，都存在很大的缺陷，各自的应用范围受限。

以强化学习为代表的行为主义综合利用知识、数据、算法和算力四个要素，将人脑的反馈、