19+AI框架专题论坛.docx

19AI框架

1

清华大学教授胡事民：统一计算图——机器学习框架Jittor的创新与探索

整理：智源社区刘贇

在第二届北京智源大会AI框架专题中，胡事民教授做了主题为《统一计算图：机器学习框架Jittor的创新与探索》的报告。

胡事民是清华大学计算机系教授，主要研究方向为计算机图形学、虚拟现实、智能信息处理、系统软件等。在ACMTOG/SIGGRAPH、IEEETVCG、IEEECVPR等重要刊物和国际会议上发表论文100余篇。现为中国计算机学会副理事长、亚洲图形学学会副主席，并担任ComputationalVisualMedia主编和CAD等多个期刊编委。

在报告中，胡事民介绍了他团队研发的机器学习框架——计图（Jittor），它基于“统一计算图”的概念，创新地使用了元算子融合和动态编译技术，目前在多种任务性能上超越国外主流平台。除此之外，计图还在易用性、灵活性以及模型算法覆盖度上做了大量改进。

以下是智源社区编辑整理的胡事民演讲要点。

一、为什么要做Jittor

鉴于国外主流深度学习框架Tensor?ow和Pytorch已经构建起了完整的产业链和庞大用户群体，那为什么清华

大学要研发“计图”（Jittor）这样一个AI框架？为了回答这个问题，胡事民首先介绍了深度学习框架的一些背景知识。

胡事民认为，以深度学习为代表的新一代人工智能技术已经产生非常大的影响，深度学习在某种程度上已经成为科学研究和工程应用的一种新范式，数据驱动的思想已经深入人心。

机器学习框架是人工智能的一种核心技术，它不仅要负责机器学习、模型的训练、推理，管理人工智能应用所需要的大规模数据和模型，而且还要负责底层的计算设备调度和资源申请，所以如下图1所示，它是在计算设备之上、在应用之间的一个框架层或者平台层。

图1：机器学习框架所处层次

2

接下来，胡事民回顾了深度学习框架十年来的演进情况。2008年，图灵奖获得者Bengio所领导的实验室提出了第一个比较成熟的框架Theano。这个框架奠定了很好的基础，但是很遗憾在2017年就停止维护了，其主要成员后来参加了Tensor?ow。在2013年时，加州伯克利大学博士生贾扬清提出了Ca?e平台，后来他加盟了谷歌和Facebook，并在Facebook期间发布了颇具影响力的Ca?e2。但真正在工业界、学术界产生重大推动作用的，是2015年由谷歌开源的Tensor?ow。因为谷歌的强大影响力，其2017年发布的Tensor?ow1.0版本在学术界一度取得了垄断性的应用地位。众所周知，在2017、2018年左右，绝大多数和深度学习相关的论文实验都是用Tensor?ow来做的。这股势头直到2018年Pytorch1.0的出现才发生了变化。Pytorch最初发布于2016年，特色是提出了动态图的概念。到了2019年，学术界将近70%的文章实验是用Pytorch这个平台来做的，由此可一窥动态图思想的主导性地位。

图2：深度学习框架的十年间演进

胡事民认为，我们国家人工智能研究尽管非常活跃，也取得了很多大的进展，但是整体上的研究布局并不均衡：我们在算法应用方面做得比较多，在学习平台框架方面却做得比较少，而且我们的算法应用研究大多是基于国外平台Tensor?ow和Pytorch等，有被“卡脖子”的风险。这类风险的迹象已经在蔓延，比如华为“清单事件”中，华为被谷歌禁用安卓系统；比如今年1月6号美国特朗普签署法案，要禁止人工智能软件的出口等。

胡事民指出，“为什么做中国自己的机器学习平台”？首先是自主创新的需要，比如EDA，中国在20世纪90年代在EDA算法上是非常领先的，但由于没有注重平台研发和发展，导致现在非常被动。第二，做平台也是人才培养的需要，我们需要培养自己的一代新的人工智能领军人才。

图3：深度学习框架在中国的进展

那么，构建机器学习平台的难点在哪里？胡事民认为它首先要对机器学习算法本身有深刻的理解，对图形图像应用，也包括自然语言等要有精确的把握。特别重要的是，我们需要对底层系统软件要有很好的掌握。

胡事民介绍，他们团队尽管是做图形学的，但是在视觉、机器人、操作系统方面已经有很多积累。比如从2009年开始，团队在操作系统和软件安全方面，已经在包括ACM、TOCS、USENIX以及ATC等等重要学术会议上发表了10多篇文章。这样通过构建机器学习平台，可以使得同学们把机器学习、图形图像应用和软件系统等结合起来。

以上内容，便是计