智能控制 课件 第六章-学习控制概述.pdf

学习控制

第六章

Learningcontrol

智能控制1

Ch6学习控制

➢6.1学习控制的基本概念

➢6.2重复（学习）控制

➢6.3迭代学习控制

➢6.4强化学习控制

智能控制2

6.1学习控制的基本概念

学习是指获取新知识、新技能等的过程。

学习是获取知识的主要方式，也是提高智能水平的基本途径。

将学习能力引入控制系统，运用控制理论的基本原理和方法分析和研究学习

过程，便得到学习控制。

智能控制3

1学习控制的提出

在分析设计控制系统时，如果能够获得被控对象的精确模型且其先验知识是

完全已知的，那么很多经典控制策略（包括频域设计方法、状态反馈控制、输出

反馈控制、最优控制等）都可用于控制系统设计，并获得满意的控制性能；如果

只能得到被控对象的统计性描述（如概率分布等）且其先验信息是局部或全局已

知的，那么随机系统理论可用于控制系统设计。

但是，在实际控制工程中，物理系统不可避免地受到各种未知外界环境影响

，这些影响通常难以用模型精确描述，即其先验信息是未知的。因此，针对先验

知识未知的情况，无法基于上述方法进行系统设计。

智能控制4

1学习控制的提出

针对先验知识未知的情况，主要采取如下两种解决方案。

解决方案1：通过直接忽略未知信息或基于未知信息猜测值进行系统

设计。这是一种较为保守的控制方案，通常只能获得一

般或次优的控制效果。

解决方案2：在物理系统运行过程中，对未知信息进行估计，基于

估计信息并采用优化控制方法进行系统设计。如果这

种估计能逐渐逼近未知信息的真实情况，那么就可与

先验信息完全已知的情况一下，得到满意的优化控制

性能。这便是学习控制。

智能控制5

1学习控制的提出

学习控制的任务是在系统运行中估计未知不确定信息并基于这种估计的信息

确定最优控制策略，从而逐步改进系统性能。学习控制通过自动获取知识、积累

经验、不断更新和扩充知识以实现改善控制性能的目的。

应当指出，学习控制所面临的系统特性在一定环境条件下是确定的，尽管事

先并不清楚，但是随着过程的发展是可以弄清楚的。也就是说，不可知的信息无

法学习，学习是对事先未知的规律性知识的学习。

智能控制6

2学习控制的定义及特点

虽然学习这一概念在日常生活中使用极其广泛，但目前对“学习”没有公认

的统一定义。因学习的概念丰富而又难以界定，学习控制的研究目前也缺乏系统

性的理论表述。

《韦氏词典》对学习词条的一个释义是“基于经验对行为的修正”。学习控

制是指通过各种技术或方法，在系统运行过程中能够学习环境和被控对象的各种

未知不确定性信息，然后将学到的信息作为“经验”用于未来决策或控制以改进

控制性能。

智能控制7

2学习控制的定义及特点

学习到的信息被视为控制器的“经验”，当类似的控制情况再次出现时，经

验可用