一种提高海量电子健康档案存储性能的方法-计算机应用与软件.pdf

第３３卷第１期　　　 计算机应用与软件 Ｖｏｌ３３Ｎｏ．１ ２０１６年１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊａｎ．２０１６ 一种提高海量电子健康档案存储性能的方法 杨志芬　陈　绮 （海南大学信息科学技术学院　海南海口５７０２２８） 摘　要　　医疗旅游是目前兴起的一个新型产业，面对今后日益增长的巨大数据，有效数据的存储和用户的快速访问是急需解决的 课题。Ｈａｄｏｏｐ的出现满足了这一需求。但Ｈａｄｏｏｐ并不适合用来处理大量的小文件，其ＨＤＦＳ（Ｈａｄｏｏｐｄｉｓｔｒｉｂｕｔｅｄｆｉｌｅｓｙｓｔｅｍ）采用主 从架构，存储大量的小文件时，元数据快速增加，ＮａｍｅＮｏｄｅ内存被大量占用，读取性能也受到一定的影响，直接降低了整个系统的扩 展性及效率。利用ＲＤＢＭＳ和Ｈａｄｏｏｐ的优势，提出一种改进的小文件存储优化方案，同时又根据电子健康档案数据的特点，提出按 副本组进行数据传输存储的方案，并采用数据预取机制，提高访问效率。实验表明，该方法能有效提高电子健康档案中的小文件存 储和读取的性能，一定程度上很好地解决了ＮａｍｅＮｏｄｅ内存瓶颈问题。 关键词　　Ｈａｄｏｏｐ　ＨＤＦＳ　小文件　存储效率　数据预取 中图分类号　ＴＰ３１１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１６．０１．００６ ＡＮＡＰＰＲＯＡＣＨＦＯＲＩＭＰＲＯＶＩＮＧＳＴＯＲＡＧＥＰＥＲＦＯＲＭＡＮＣＥＯＦＭＡＳＳ ＥＬＥＣＴＲＯＮＩＣＨＥＡＬＴＨＲＥＣＯＲＤＳ ＹａｎｇＺｈｉｆｅｎ　ＣｈｅｎＱｉ （ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＨａｉｎａｎＵｎｉｖｅｒｓｉｔｙ，Ｈａｉｋｏｕ５７０２２８，Ｈａｉｎａｎ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｍｅｄｉｃａｌｔｏｕｒｉｓｔｉｓａｎｅｗｌｙａｒｉｓｅｎｉｎｄｕｓｔｒｙｃｕｒｒｅｎｔｌｙ．Ｆａｃｉｎｇｔｈｅｇｒｏｗｉｎｇｈｕｇｅｄａｔａｉｎｔｈｅｆｕｔｕｒｅ，ｔｈｅｓｔｏｒａｇｅｏｆｖａｌｉｄｄａｔａａｎｄｔｈｅ ｑｕｉｃｋｕｓｅｒａｃｃｅｓｓｉｎｇｉｓａｑｕｅｓｔｉｏｎｔｏｂｅｓｏｌｖｅｄｕｒｇｅｎｔｌｙ．ＴｈｅｅｍｅｒｇｅｎｃｅｏｆＨａｄｏｏｐｓａｔｉｓｆｉｅｓｔｈｅｄｅｍａｎｄ．Ｈｏｗｅｖｅｒ，Ｈａｄｏｏｐｉｓｎｏｔｓｕｉｔａｂｌｅｆｏｒ ｄｅａｌｉｎｇｗｉｔｈｍａｓｓｉｖｅｓｍａｌｌｆｉｌｅｓ．ＩｔｓＨＤＦＳ（Ｈａｄｏｏｐｄｉｓｔｒｉｂｕｔｅｄｆｉｌｅｓｙｓｔｅｍ）ａｄｏｐｔｓｔｈｅｍａｓｔｅｒｓｌａｖｅａｒｃｈｉｔｅｃｔｕｒｅ，ｗｈｅｎｓｔｏｒｉｎｇａｌａｒｇｅ ｎｕｍｂｅｒｏｆｓｍａｌｌｆｉｌｅｓ，ｔｈｅｍｅｔａｄａｔａｉｎｃｒｅａｓｅｓｒａｐｉｄｌｙ，ａｎｄｈｕｇｅａｍｏｕｎｔｏｆＮａｍｅＮｏｄｅＲＡＭｉｓｏｃｃｕｐｉｅｄ，ｔｈｅｒｅａｄｉｎｇｐｅｒｆｏｒｍａｎｃｅｉｓａｌｓｏ ｉｍｐａｃｔｅｄ，ｔｈｅｓｅｒｅｄｕｃｅｔｈｅｓｃａｌａｂｉｌｉｔｙａｎｄｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅｗｈｏｌｅｓｙｓｔｅｍｄｉｒｅｃｔｌｙ．ＢｙｕｔｉｌｉｓｉｎｇｔｈｅａｄｖａｎｔａｇｅｓｏｆＲＤＢＭＳａｎｄＨａｄｏｏｐ，ｔｈｉｓ ｐａｐｅｒｐｒｏｐｏｓｅｓａｎｉｍｐｒｏｖｅｄｏｐｔｉｍｉｓａｔｉｏｎｓｃｈｅｍｅｏｆｓｍａｌｌｆｉｌｅｓｓｔｏｒａｇｅ，ａｎｄａｌｓｏｐｒｏｐｏｓｅｓａｓｃｈｅｍｅｏｆｄａｔａｔｒａｎｓｍｉｓｓｉｏｎａｎｄｓｔｏｒａｇｅａｃｃｏｒｄｉｎｇ ｃｏｐｙｇｒｏｕｐｓｂａｓｅｄｏｎｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｄｉｇｉｔａｌｈｅａｌｔｈａｒｃｈｉｖｅｓ．Ａｎｄｗｅａｌｓｏｕｓｅｄａｔａｐｒｅｆｅｔｃｈｉｎｇｍｅｃｈａｎｉｓｍｔｏｉｍｐｒｏｖｅｔｈｅａｃｃｅｓｓｉｎｇ ｅｆｆｉｃｉｅｎｃｙ．Ｅｘｐｅｒｉｍｅｎｔｓｈｏｗｓｔｈａｔｔｈｅｍｅｔｈｏｄｃａｎｉｍｐｒｏｖｅｓｔｏｒｉｎｇａｎｄｒｅａｄｉｎｇｐｅｒｆｏｒｍａｎｃｅｓｏｆｄｉｇｉｔａｌｈｅａｌｔｈａｒｃｈｉｖｅｓｅｆｆｅｃｔｉｖｅ