【专家观点】基于多传感器融合和多智能体协同的AI人工智能技术在智慧炼钢中的应用与实践—WATTMAN.docx

基于多传感器融合和多智能体协

同的AI人工智能技术在智慧炼钢

中的应用与实践

北京瓦特曼智能科技有限公司马双事业部总经理

2024年4月

C01人工智能浪潮下核心技术、

C

01

人工智能浪潮下核心技术、进展及应用

ONTE

ONTENT目录

S

02

当前AI技术与钢铁冶炼生产工艺深度融合

03同类场景的延展应用和拓展

03

同类场景的延展应用和拓展

04

04

智能化钢铁冶炼的技术产品和工艺场景路线

01.人工智能浪潮下核心技术、进展及应用

技术点1：多智能体实时通信和复杂交换与协同

多智能体通过高效通信机制可以实时共享信息，通过信息交换，多智能体可以协调他们的行为和决策，实现更高效的协作，尤其是在需要团队协作解决问题的场景下能够显著提高系统的整体性能和效率。

智慧城市

更科学、更高效、更美好、更低碳。

以信息技术和通信技术为支撑，通过透明、充分的信息获取，广泛、安全的信息传递和有效、科学的信息处理。5G、IOT、大数据…

01.人工智能浪潮下核心技术、进展及应用

技术点2：多模态学习和实时控制

多模态机器学习——多模态学习是在单模态学习的基础上，通过不同类型的数据（如文本、图像、语音、视频等）进行学习和推理的方法。

模态是指表达或感知事物的形式，每一种信息的来源或者方式，都可以称为一种模态。

人有触觉、听觉、视觉、嗅觉。信息的媒介，有语音、视频、文字等。多种多样的传感器，如雷达、红外、加速度计等等。以上的每一种都可以称为一种模态。

大模型：多模态+多任务ChatGptSora

01.人工智能浪潮下核心技术、进展及应用

技术点2：多模态学习和实时控制

无人驾驶中，多模态学习可以通过结合不同类型的传感器数据，提高无人驾驶系统的准确性和可靠性。

例如，通过结合图像、激光雷达、高精地图数据，可以更准确地判断车周围目标的距离速度、车当前具体位置；通过结合语音和文本信息，可以更准确地识别交通信号和道路标志、更智能地人车语音交互。

城市NOA（NavigateonAutopilot，导航辅助驾驶）目前已经逐步成为智能电动汽车中的标准配置。

01.人工智能浪潮下核心技术、进展及应用

技术点2：多模态学习和实时控制

脑机接口，在运动康复中表现出广泛的潜力，主要依靠神经可塑性来恢复运动功能并改善中风患者术后的生活质量。单纯依靠脑电信号输入很难自然地实时传达多任务软体机器人所需的各种控制命令。

多模态人机界面系统，集合脑电信号、眼电信号和肌电信号等多模态特征来生成多维控制指令，构建出更友好、更人性化的脑机系统，帮助残疾人及运动障碍患者更便捷地完成各种动作。

01.人工智能浪潮下核心技术、进展及应用

技术点3：多感知数据实时融合与计算

环境场景限制集合下

视觉感知与图像处理

环境感知与障碍物检测

力触觉感知与力控制

实时定位与导航

实时异常检测与故障诊断

机器人

机器人1传感器

外传感器

视觉感知

六维力矩传感器

内传感器

…

关节编码器1

关节编码器n

外传感器

外传感器

视觉六维力矩感知传感器

内传感器

…

关节编关节编

码器1码器n

图像处理装夹工件位置信息位姿误差测量工件位姿标定加工位置、力信息处理轨迹误差计算多机协作误差补偿加工特征轨迹运动速度力矩机器人n传感器检测粗糙度、粒度

图像处理

装夹

工件位置信息

位姿误差测量

工件位姿标定

加工

位置、力信息处理

轨迹误差计算

多机协作误差补偿

加工特

征轨迹

运动速度力矩

机器人n

传感器

检测

粗糙度、粒度

纹理差异

辨别加工质量

加工特

征质量

多源感知信息融合

多源感知

信息融合

（不同来源、不同频率、不同精度、不同

物理量的融合）

状态检测（工件外形及位姿、

状态检测

（工件外形及位姿、

各机器人末端位姿、环境作用力等）

作业效果评价轨迹误差

作业效果评价

轨迹误差、协作同步性、协作误差

提供输入

任务分配与决策

!

轨迹规划

!

协同控制

协同控制

01.人工智能浪潮下核心技术、进展及应用

技术点4：行为智能下的智能柔性执行

智能柔性执行，目前在机器狗、具身机器人和机械臂上加装智能柔性关节或力传感器等装置，通过智能控制算法，使得机器能够实现各种各种柔性动作，比如行走、跑步、跳舞、

跳跃、前后空翻、做饭炒菜、收拾家务等柔性动作。柔性：干的活的类型多。

当这些AI技术与