加州大学河滨分校短期访学项目.docxVIP

英国剑桥大学

在线深度强化学习项目

(2022暑期)

项目综述

深度学习是机器学习领域中一个新的研究方向，其目标是建立模拟人脑进行分析学习的神经网络，并通过这套机制识别与解释文字、图像和声音等数据，从而使人工智能变为可能。本项目是英国剑桥大学设计的线上远程教学项目，旨在为学生创造世界顶级大学的学习体验机会，提升学生在深度学习前沿领域的研究技能，掌握软件编写技巧，并且了解该领域与其它领域之间的关联与发展潜力。

全美国际教育协会作为剑桥大学格顿学院在中国的正式授权机构，负责选拔优秀的相关专业学生，于2022年暑期参加为期三周的在线深度强化学习项目。项目学生将单独成班进行学习，顺利完成项目后，并可获得剑桥大学格顿学院颁发的成绩单与项目证书。

特色与优势

【原汁原味的剑桥课程】由剑桥大学计算机科学教授亲自参与设计与授课，确保课程专业性与品质；

【实时授课，注重互动】课程全部为剑桥老师的真人实时直播授课，非录播形式，保证与学生的互动效果；

【四六级可申请】无需托福雅思成绩，用大学英语四/六级即可入读剑桥课程；

【成绩单与学习证明】可获得剑桥大学格顿学院的成绩单与项目证书，为个人履历添砖加瓦；

三、剑桥大学与格顿学院简介

创建于1209年的剑桥大学，是英国乃至世界上历史最悠久的大学之一，同时也被公认为是世界上最顶尖的高等教育机构之一，在艺术与人文、数学、物理、工程与技术、医学、法学、商科等诸多领域拥有崇高的学术地位及广泛的影响力；剑桥大学实行古老的“书院制”，由31所独立自治学院组成，学生总数量超过19,000人；

2022年Times世界大学综合排名位列第5；2022年QS世界大学综合排名位居第3；2021年上海交大世界大学学术排名（ARWU）位居第3；

格顿学院成立于1869年，距今已有150多年的历史，是剑桥较大的学院之一，在剑桥所有学院中学生总量排名前十，以活跃、轻松和友善的学习氛围著称。格顿学院提供丰富的本科与研究生课程，领域包括工程、计算机科学、建筑、经济学、历史、地理、人文社科、数学、法律、医学、音乐、国际关系、社会学、语言学等。

四、访学项目介绍

【课程日期】

2022年7月25日–8月12日（3周）

【授课模式】

剑桥大学格顿学院的暑期在线深度强化学习项目有以下主要特点：

项目为期三周，包含总共20个实时直播课时，多数课程预计会安排在北京时间下午至晚间进行（实际授课时间以校方最终安排为准）；

授课形式包括系列专题讲座+实践（总共10场，每场各2小时）；

学生均会注册成为剑桥大学格顿学院的学生，并且获权使用剑桥大学的教学管理平台Moodle。剑桥老师通过ZOOM平台在线授课，课前阅读以及作业布置则会通过Moodle安排。

【课程内容】

课程将探讨深度强化学习的必威体育精装版潜力，侧重于强化学习和深度学习的基础知识（包括卷积神经网络、图形神经网络、生成神经网络和Transformer模型），并将分享机器人和游戏中的实例，从而加强学生对深度学习核心理念的了解，提升相关的研究技能与实用技巧。

以下为计划的课程内容（以实际安排为准）：

讲座内容

实践内容

7.25周一

主题：强化学习导论

强化学习的算法和框架；遗传算法，帕累托前沿

强化学习与深度学习的联系（Transformers模型、图形神经网络）；强化学习案例分析；

如何撰写相关文章

主题：科学计算工具简介

JupyterNotebook的基本使用以及LaTeX；

强化学习框架中的基本组件；

小组项目说明

7.27周三

主题：环境

环境复杂性建模

多智能体强化学习（MARL）

Q-Learning以及Actor-Critic模型

基于政策的学习；

马尔可夫决策过程、动态编程和贝尔曼方程；

强化学习与深度学习的联系

主题：环境

强化学习框架中的基本组件；

马尔可夫决策过程；

OpenAIGym简介

小组项目说明

7.29周五

主题：优化

强化学习与控制优化

深度Q网络

强化学习与深度学习的联系

强化学习案例

Transformers模型和图像分析集成

Pytork简介；备份图；

使用马尔可夫决策过程进行优化（动态编程、贝尔曼方程、策略迭代、值迭代）

项目进展汇报

8.2周二

主题：集成与控制

机器人与贡献度分配问题

冗余度机器人的自适应运动控制

多智能体强化学习与机器人

强化学习与其他深度学习技巧的整合；

主题：无模型算法

基于价值的算法（蒙特卡罗、时间差分学习、SARSA、Q-learning、DQN及其变体）

项目进展汇报

8.3周三

主题：集成

与图形神经网络的集成；关注和信息传递模型；

与AUTO-ML和ML系统的集成；

主题：无模型算法

基于策略的算法（策略梯度、增强）；

Actor-Critic算法

项目进展汇报

8.4周四

主题：图神经