服务机器人应用开发（中级） 课件 项目4 让机器人认识数字.pptx

;;项目导入;;;项目任务;用矩形框框住数字轮廓；识别数字并显示数字

;;学习目标;1理解MNIST数据集的结构；

2理解不同的字节顺序之间的差异；

3理解控制格式串的含义；

4理解extend和append之间的用法差异；

5理解K近邻分类的原理。

;;知识链接;研究对象：研究怎样使用计算机实现人类学习活动。;建立在scipy科学计算库的基础之上，专注于数据建模，常与numpy库和pandas库共用。;KNN算法即KNearestNeighbor算法。其中的K表示与自己最接近的K个数据样本。在一个样本空间中的样本已被分成多个类型，现在给定一个待分类的新数据，通过计算与自己最接近的K个样本来判断这个待分类的新数据属于哪个分类，即由那些离自己最近的K个点来投票决定待分类的新数据归为哪一类，新数据应归类为得票最多的那一类。

如右图，K取值不同时，分类结果可能不一样。;KNeighborsClassifier分类器简介;MNIST数据???是美国国家标准与技术研究院收集整理的大型手写数字数据库，包含60,000个示例的训练集以及10,000个示例的测试集。;每张图片的构成：

是灰度图，如右图所示是某一张图片0。

标记：

整数0，或者写成独热标记向量[1,0,0,0,0,0,0,0,0,0]。;右侧的程序首先创建了一个12字节长的缓冲区buffer，然后使用struct包中的pack_into函数向buffer中写入数据，控制格式为’BHI5s’，这个格式串包括四部分格式符，相应地被打包的数据也包括四部分（10,18,288,bhello）。打包之后，使用binascii包中的hexlify方法将buffer中的数据转换成16进制格式进行展示。最后，使用struct包中的unpack_from函数将真实数据从buffer中解包出来，解包时要提供控制格式串和偏移量。

;字节序和struct包格式符;append命令可以添加单个元素，也可以添加可迭代对象，而extend命令只能添加可迭代对象。;策略1：

在桌面或移动笔记本端进行模型训练，然后把模型训练的结果存为文件，将文件转移到树莓派ARM架构下，在树莓派ARM架构下进行模型测试和应用。

策略2：

直接在机器人上单步运行调试会非常卡顿，所以采用在PC端计算机先对程序进行编辑、语法和业务功能基本操作调试，最后再移植到机器人端对其进行环境配置和少量功能调试。

;;项目准备;25;26;;任务实施;在命令端显示“Done！”的字符串输出后，即表示下载数据集完成。

;

对所有训练数据集图片和标签进行解析；

将解析出来的图片保存在train_image_save文件夹；

将解析出来的标签保存在train_label_save的label.txt文件中。;读出所有标签；

依次读出数字0-9的所有图片和标签，在读出过程中进行预处理；

将标签依次加载在current_train_label数组中；

将图像依次加载在current_train_image数组中。

;编写分类器训练控制管理文件（三）;功能：

解析标签数据和图片数据。;思考：

二值化可以用OpenCV函数cv2.threshold()实现，请大家改写左侧程序中的二值化部分。

;测试分类器模型;测试分类器模型;测试执行结果;在PC端编写调试主业务程序;主业务程序中的预处理（一）;主业务程序中的预处理（一）;主业务程序中的预处理（二）;主业务程序中的分类识别和输出;主业务程序中的分类识别和输出;在机器人端移植调试主业务程序;将文件使用scp命令无线传输到机器人端;在机器人端运行程序;;任务评价;自我评价;小组与教师评价;;任务拓展;;项目小结;