高维索引的并行化方案设计与实现.pptxVIP

高维索引的并行化方案设计与实现高维索引小组组长：林梓佳 组员：文海龙目标回顾对外提供可移植性较强、扩展方便的高维索引系统；针对海量数据索引需求，实现分布式高维索引机制；提供高维索引机制的调用接口，方便上层调用，并最终集成到LaSQL引擎中；提供索引接口的使用文档【javadoc】完成情况设计并完成基于Map Reduce框架的高维索引并行创建模块设计并完成基于MPI通信机制的高维索引并行查询模块，并与创建模块整合成一个相对稳定、高效、完整、独立、通用的高维索引系统协助提供了其他小组所需的全部接口目前数据支撑量为：1000000张图像设计方案高维索引创建模块稳定性要求极高，实时性要求不是很高方案：代码重构，Map Reduce框架实验情况：5台普通PC：2G内存，奔腾E5300双核CPU1M 图像，120维特征耗时：~3小时（底层伪接口：MySQL）实现情况：成熟框架，稳定性高高维索引查询模块实时性要求极高，稳定性要求也很高方案：Map Reduce框架无法满足实时要求，采取MPI通信机制，需自行设计方案与消息体系，工作量大实验情况：5台普通PC：2G内存，奔腾E5300双核CPU1M 图像，120维特征未进行Hybrid Spill Tree参数优化批量查询相比单次查询耗时增幅小查询模块方案特点高度并行化，查询高效，精确度较高两层次并行化：节点间的并行化，子进程间的并行化高效的MPI通信机制Hybrid Spill Tree的冗余查询与结果聚合提升了精确度系统可靠、稳定对等结构：动态中心节点，减少瓶颈智能调度：根据节点可用内存大小、负载能力分配索引块，减少OutOfMemory等异常引入监控节点用于协调索引块的更新、去重、补全等工作，主进程与子进程间的相互监控，减少内存泄露经测试，能对抗常规出现的异常情况，诸如各类节点宕机、进程异常退出、索引检测出现异常等；查询模块方案特点良好的可伸缩性和可扩展性支持动态增删各类节点机器，系统内部自动维护各类节点的信息和集群信息【包括使用提供的外部命令进行节点变动，和异常因素导致的机器宕机等】Hybrid Spill Tree的快速查询特点，以及方案的并行化特点导致原则上对机器数量和数据量没有过多限制自组织性、智能管理能力较强监控节点的引入，实时监测索引更新情况，当前索引的分配情况与使用情况等，并提供报告站点间的注册、注销和信息同步机制智能调度，索引块的分配、去重与补全平衡节点的引入，分配查询主站点，负载软均衡查询模块方案特点接口通用，配置方便，独立性强独立系统，不依赖于底层存储和上层应用接口通用，可随时封装成特定应用所需配置方便，外部xml配置文件，提供多种可调参数总结基本完成本学期的全部任务，按时完成计划成果独立设计和实现了一套相对稳定、高效、可靠、独立、通用的高维索引系统，拥有完整的索引创建和查询功能高维索引系统在实时性方面仍有较大改进空间，也可能存在尚未发现的问题本学期主要注重于稳定性方面的增强，实时性方面的优化工作相对偏少Hybrid Spill Tree有很大的参数调优空间，现有代码、通信机制的优化也可进一步提高响应速度百万级应用距离“亿”级别的应用尚有较大距离，需要更大的数据集和更多的机器进行测试，以发现新的问题系统测试仅在小组内部和小组间进行，需进一步的系统化测试感谢各位老师的指导！感谢衣国垒学长在环境配置方面提供的强大支持！感谢其他小组的配合与支持！谢谢大家！预祝大家新年快乐~哪怕只剩下一台node机器，依旧可以满足查询的要求