开题报告-屈戈精要.docx

文题目 基于深度学习的草图检索研究 选题来源 论文类型 基础研究 开题日期 开题地点 教三727 一、立题依据（包括研究目的、意义、国内外研究现状和发展趋势，需结合科学研究发展趋势来论述科学意义；或结合国民经济和社会发展中迫切需要解决的关键科技问题来论述其应用前景。附主要参考文献目录）（不少于800字） 二、研究内容和目标（说明课题的具体研究内容，研究目标和效果，以及拟解决的关键科学问题。此部分为重点阐述内容）（不少于2500字） 本课题主要为了实现光互联数据中心中基于分布式计算应用的资源分配策略及调度机制，具体的研究内容包括以下几个方面： 1. 数据中心内应用通信特征及通信模型的研究 随着互联网应用如Web有哪些信誉好的足球投注网站、社交网络等产生的数据量级的飞速增长，处理这些大数据集的大规模分布式集群计算框架也发展迅速。这些计算框架（如：MapReduce、Dryad、Spark、Pregel等）都由一系列具有相互依存关系的任务组成，并按照某种工作流的方式实现最终的计算任务。这种工作流一般可以采用有向无环图（DAG: Directed Acyclic Graph）来表示，如图1-1表示MapReduce计算框架的由DAG表示的工作流任务结构。 图1-1 DAG中的节点：每个节点代表一个具体的计算任务。M表示Map任务，R表示Reduce任务。 DAG中的边：每条边表示所连接节点间的通信关系。 从图1-1中可以看到，MapReduce计算框架涉及到的通信关系有多对多，一对一通信。 同样对其他分布式计算框架进行分析也能得出类似的工作流结构。在本课题中，需要对现有数据中心内具有代表性的计算框架都进行分析，进而得到每个计算框架中包含的通信关系以及它们的相似点，并分析出适用于大规模集群计算数据中心的应用通信模型。进而可以针对这些通信模型来进行网络资源的分配和调度，实现通信时间的优化。 同时研究不同分布式应用的工作流程来得到它们的通信特征，使得进一步的在光网络中资源分配和调度能够考虑这些特征进行调度。例如，在Hadoop中，每个Map任务执行完成之后，会告知资源管理器它要进行数据通信的数据量是多少，已经要传给哪个Reduce节点。在已知数据传输量的基础上，调度器就可以预先分配网络资源（波长或时隙资源）来满足它的通信需求。 2. 结合应用通信需求的资源分配策略研究 分布式计算系统内存在资源使用者和资源提供者。资源使用者提出资源请求，资源提供者根据请求的内容以及资源使用情况来向资源使用者提供资源分配。任务只有被分配到所需的网络资源上才能获得较高的执行效能。数据中心内的资源可以大致分为计算资源，存储资源和网络资源。但是通常，一个分布式计算应用进行任务在集群内部署时，只表达对计算资源和存储资源的需求，例如CPU数目和内存大小需求，集群内的资源管理器根据计算和存储资源的充足情况来进行资源分配。为了缩短通信时间，资源管理器会同时考虑到数据的本地性（Locality），即在满足计算和存储资源的基础上，尽量把任务分配在和输入数据通信代价小的地方，如同一个server内或者同一个rack内。但这种分配策略只是考虑到了一小部分网络，并没有把网络的拓扑结构以及网络资源考虑进去，例如，如果底层的光网络采用OBTN环网的结构，根据OBTN在多播方面的优势，具有一对多通信模型的应用可以把计算任务分配在环网的节点上利用环网优势进行数据传输。本课题中，针对资源分配策略的研究在基于现有的考虑计算和存储资源的基础上，同时也要考虑把应用的通信模型，通信需求（如：在某个特定Deadline之前完成）和网络的拓扑信息，网络资源信息作为输入，提出一个资源分配策略。分配策略可以通过把任务分配在网络拓扑的不同位置来优化通信时间。同时这种分配策略等效于多维资源在数据中心资源内的映射求取最优方案。分配策略的研究可以参考现有的一些线性规划算法。 3. 针对应用通信特征和通信模型的调度机制研究 调度机制通过实现方式可以分为三种：中心式、无中心式、分成式。中心式调度采用一台主机管理调度，适用于集中式控制。无中心式调度也叫做分布式调度，在分布式系统中，每个节点的地位式相同的，具有很好的扩展性和容错能力。分层式调度由两层或者多层组成，位于高层的调度系统可以控制底层的系统。本课题针对调度机制的研究，首先要根据数据中心的特征来选择出一个合适的调度机制实现方式。 其次，在已经明确了调度机制的目标是优化数据中心内分布式计算应用的网络通信性能的基础上，需要进一步的研究，来明确调度对象是什么。调度对象可以是一个数据流，或者是分布式计算应用中两个不同计算阶段之间的传输的总的数据流，或者是由多个具有相同通信目标的数据流的集合，也可以是一个分布式应用所产生的所有的数据流。针对不同调度对象的调度效果应该存在差异。目前在针对计算任务方