Hadoop图像处理(HIPI).doc

毕 业 论 文 目 录 1 绪论 1 2 Hadoop平台介绍及HIPI介绍 2 2.1 Hadoop平台介绍 2 2.2 HIPI介绍 2 3 Hadoop平台的搭建与开发平台配置 4 3.1 实验平台及其基本配置 4 3.2 分布式搭建 4 3.3 开发平台配置 6 4 基于HIPI的图像处理实现 6 4.1 上传 6 4.2 HIB文件转换为图像束文件 7 4.3 灰度处理 7 4.4 下载 8 4.5 HIB文件转换为jpg文件 9 5 总结与展望 9 致谢 9 全文共 10 页 4327 字基于Hadoop图像处理 计算机与信息工程学院 指导教师 讲师 摘要关键词 绪论 图像作为一种信息媒介，它没有语言的限制内容丰富。。，因此提高图像的效率对于具体应用来讲，有着重要的理论意义和实用价值。 Hadoop框架很适合大文件的操作我们平时使用的图片的文件都比较小，如果这种小文件不经过处理直接上传，会十分影响性能所以将来源的图像进行合并处理，并存储到HDFS上再进行MapReduce处理。本文主要研究基于的图像处理问题，重点在于减少图像处理的时间。简单描述了图像处理和云计算的国内研究现状以及本文的主要研究内容Hadoop平台实现Hadoop HIPI图像处理2 Hadoop平台介绍及HIPI介绍 Apache Hadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架HDFS、MapReduce和Hbase主要有可扩展性、低成本、高效性、可靠性等特点]。对外部客户机而言，HDFS传统的分级文件系统可以创建、删除、移动重命名。HDFS是基于一组特定的节点构建的架构些节点包括NameNode和多个DataNode，在 HDFS 内部提供元数据服务DataNode为HDFS 提供存储块。文件被分成块存储在HDFS中，这些块多个DataNode中。块的大小（通常为64MB）和数量在时。NameNode可以控制所有文件操作。MapReduce应用程序至少包含个：一个Map函数、一个Reduce函数和一个main函数。main函数将作业控制和文件输入输出结合起来。Hadoop 提供了为Hadoop应用程序开发人员提供许多工具大量的接口和抽象类，调试和性能度量。 。本文中所指图像处理为后者，是用计算机对各种数字图像信息进行处理，来得到某种预期的效果或者从图像中提取有用的信息。 要想完成数字图像处理，首先要将图像文件存储于HDFS系统中。Hadoop默认处理的是大数据的文本文件[]，而图像文件保存和处理方式与普通文本文件不一样，Hadoop没有自带的图像处理接口。由于Hadoop框架大文件的操作而我们平时使用的图片的文件都比较小，如果这种小文件不经过处理直接上传，会十分影响性能]是Hadoop MapReducede平台的一个大型的图像处理和计算机视觉库。它的设计是为了使大型的图像处理变得简单，提高图像处理的效率。HIPI由弗吉尼亚The University of Virginia）的Chris Sweeney等人编写。它提供了分布式计算环境中执行处理任务API，用于合并及切割图像文件。最的类是HipiImageBundle类FloatImage类和CullMapper类。]。 ImageHeader和FloatImage分别是一个图像文件的元数据信息和数据信息，ImageBundleInputFormat和ImageBundleRecordReader分别是文件的输入格式和片段读取方式。 图2-1 HIPI图像处理流程图 为了提高某些程序的效率，HIPI允许用户指定一个挑选功能，用来剔除不符合标准的图像，如剔除大于1000万像素的图像或者长宽超过限制的图像。如图2-1所示，调用用户指定的CullMapper类对每个测试图像进行挑选。用户可以在安装过程中通过重新更改HipiJob对象来修改图像处理的执行参数，并以此来修改MapReduce过程。 3 Hadoop平台的搭建 3.1 实验平台及其基本配置 4个slave节点，内存1G，磁盘 31.7G。1master节点，内存8G，磁盘38.3G。操作系统ubuntu-12.04，Hadoop 软件版本为Hadoop-2.3.0，java环境为jdk-6u41。 3.2 分布式搭建hostname 角色 登录用户 IP 网关 hapmaster master Hadoop 11 hapslave1 slave Hadoop 16 hapslave2 slave Hadoop 17 hapslave3 slave Hadoop 18 hapslave4