《数据标注工程——概念、方法、工具与案例》教学课件—03图像数据标注.pptxVIP

人工智能技术应用核心课程系列教材;;目的：人类在学习某项新技能时需要一些学习资料，而标注后的图像数据相当于为计算机提供了学习资料，从而使得计算机能够学习到这些图像的特征信息，最终使得计算机具备处理图像数据的能力，图像数据标注为计算机视觉的研究提供了丰富的带有标签的图像数据，确保算法模型可以被有效训练。 发展：斯坦福大学李飞飞教授在2007年开启的ImageNet项目，该项目标注了一千四百多万张图像，举办了八次图像任务挑战赛，吸引了全球的参赛队伍通过编写相关算法来完成分类、检测和定位等子任务。ImageNet项目的成功改变了算法为王的认知，逐步意识到数据才是人工智能的核心，数据比算法重要得多。 常用开源数据集如下表所示： ;（1）图像数据标注中的角色：在图像数据标注中，用户的角色可以分为3类，分别是标注员、审核员和管理员。标注员负责对图像数据进行标注，审核员负责对标注好的数据进行审核，管理员负责对相关人员进行管理，并对标注任务进行发放及回收。 （2）图像数据标注流程：图像获取-图像前处理-图像预识别-图像标注-结果输出。 ①图像获取：项目不同图像的获取方式也不同，一般可通过现下采集，网络采集等方式获取所需的图像。 ②图像前处理：对图像进行查重处理，将重复的图像删除。 ③图像预识别：可通过特定的程序，先对数据做一个预标注，标注员只需校验标注结果即可，进而大幅提高标注效率。 ④图像标注：选择适合的标注工具，根据指定的规范要求进行标注。 ⑤结果输出：标注完之后，会根据数据的需求制定特定的数据输出格式。 ;（3）图像数据标注工具：在进行标注任务时，首先要根据标注对象、标注要求和不同的数据集格式选择合适的标注工具，几个常用的图像数据标注工具如下图所示。 目前常见的标注文档以XML或者JSON形式存储，少数情况下为TXT格式。 ;图像数据标注产业的蓬勃发展为人工智能行业计算机视觉方向的兴起奠定了扎实的基础，不同行业对于数据的标注要求有所差异，其主要的适用场景包括以下几个方面： （1）???动驾驶：利用带有标签的数据集来对自动驾驶模型进行训练，使其对路面情况具备判断能力，并能做出相应的应对策略。标注内容包括路面中行人识别、车辆识别和道路识别等。 （2）智慧医疗：主要包括对解剖部位或病变部位对应的点线面以及轮廓进行标记，如CT断层成像数据，需要根据病理特点标注肺部边界轮廓。 （3）智能安防：通过对复杂条件下的人脸、道路、车辆、动作的数据采集与标注实现城市道路监控、车辆人流监测、公共安全防范等应用。 ;常见的图像数据标注类型包括关键点标注、矩形框标注、图像分割、3D框标注、属性标注等，根据项目所需分别对数据集进行不同的标注方式，不同标注类型所利用的标注工具和难度也有所区别。 （1）关键点标注：关键点标注模板最大的应用即是对脸部的关键点进行标注，通过不同方位的关键点标注，可以判断图像上的人物的功能。关键点标注样例如图所示。 ;（2）矩形框标注：矩形框标注是一种对目标对象进行目标检测框标注的简单处理方式，常用于标注自动驾驶下的人、车、物等。矩形框标注样例如图所示。 ;（3）区域标注：区域标注指是指将图像分成各具特性的区域并提取出感兴趣部分的过程。区域标注包括开区域标注和闭区间标注。按照通用定义，区域标注需同时满足均匀性和连通性的条件，其中均匀性指的是该区域中的所有像素点都满足灰度、纹理、彩色灯特征的某种相似性准则；连通性是指在该区域内存在的链接任意两点的路径。与矩形框标注相比，其区域要求标注更加精确，标注边缘可以是多边形甚至是柔性的，常用于自动驾驶中的道路识别，标注示例如图所示。 ;（4）属性标注：属性标注俗称打标签，是用一个或多个标签标注目标物的属性。一般是从既定的标签中选择数据对应的标签，是封闭集合。可以将不同的图片根据场景进行分类；也可以对目标进行性别、年龄、全身、着装等进行标注。 ;（1）图像任务：指标注后的图像数据集主要为用在哪种分类算法中，具体可以分为： ①检测：使用矩形框、四边形框或者关键点，将目标物定位出来； ②识别：综合多种标注形式（例如标框+关键点或者标框打标签），确认目标物的编码； ③分类：通过属性标注，确认目标物或者目标场景的类别； ④语义分割：使用图像区域分割工具，确定每一个像素的目标类别； ⑤语义描述与理解：目前多数使用属性标注，在图像全局上更高层次的表达（例如审美、情感等）。 ;（2）数据标注：图像数据的特征标注方法主要有： ①标注框标注：用矩形框、四边形框框选出目标物； ②关键点标注：用一个或多个关键点标注目标物特定局部的位置； ③区域标注：用开区域或闭区域分割出目