一种多对象时间序列数据存储设计（工业论文资料）.docVIP

一种多对象时间序列数据存储设计（工业论文资料） 目录 TOC \o 1-9 \h \z \u 目录 1 正文 1 文1：一种多对象时间序列数据存储设计 2 （1）设备状态数据采集时间间隔固定。 2 （4）主要操作为存储和查询。 2 1 数据文件存储和查询 2 2 存储与索引结构的设计 3 3 关键数据结构说明 4 4 主要操作实现方法 6 （1）读取缓存块当前存储数据所属的时间段的起始时间 6 （2）计算缓冲块所对应的数据块的块号 6 （6）从时间块索引文件中读取本块在主数据文件中的偏移位置 7 （7）根据偏移位置，打开主数据文件并定位偏移处。 7 （8）将缓存区中的数据，写入数据文件。结束 7 （2）根据数据块号，从时间块索引中查找数据块的偏移地址 7 （3）根据对象编号计算出其数据在数据块中的偏移地址 7 （4）两个偏移地址相加即为数据所属对象存储的起始位置 7 （6）根据偏移地址，读取数据。结束 8 5 总结 8 文2：信令监控系统数据存储检索功能设计 8 ５总结 11 参考文摘引言： 11 原创性声明（模板） 12 文章致谢（模板） 12 正文 一种多对象时间序列数据存储设计（工业论文资料） 文1：一种多对象时间序列数据存储设计 随着计算机技术在我国的全面发展与运用，在社会、经济、政治等诸多领域快速发展，在日常应用中经常遇到一类设备状态监控的问题。每个设备按照时间周期返回状态数据，系统需要记录系统中设备运行状况，在设备出现问题时可以通过历史记录进行问题分析和问题定位的情况。当前的应用发展趋势表明，被监测设备的数目正在迅速增长，同时随着技术的进步以及应用的需求，数据回传的周期也越来越短。对这类应用数据存储要求也越来越高。数据特点如下：多个设备数据相互独立，设备本身变化不频繁。但偶尔设备会出现问题，修理后重新启动，状态数据会中断。 （1）设备状态数据采集时间间隔固定。 （2）单设备按时间顺序产生数据，不同设备的数据产生也基本有序。 （3）数据持续增加，在一个时间段内增加频率有规律可循，数据量大。 （4）主要操作为存储和查询。 1 数据文件存储和查询 对于要长期保存的数据，我们需要用数据文件保存，为了提高查询的效率我们必然要针对数据文件建立索引。索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定值。不同的索引设计对数据的插入、查询、删除、修改等操作效率将产生巨大影响。高效的索引文件，应该根据主文件数据结构特点进行设计。 对数据文件建立索引首先想到的是B（B+，B-）树。B树是一种最常见的组织索引的方式。在B树中，首先设定内部（非叶子）节点包含子节点数量范围。当一个节点中数据插入或移除数据时，如果节点删除或插入数据后节点保存数据数量超出规定的范围，为了维持保存数据的数量在设定范围内，内部节点可能会被连结或者分离。每个节点存储多个数据，从而使查找树的深度降低，减少查找层次提高查找效率。但针对于本文所描述的数据存储情况，数据的插入操作基本是顺序追加，而且没有删除操作，所以相对于B树的插入、删除操作就没必要那么复杂，应该做适当简化。 多对象的数据产生的频率不同，使得数据具有二维特性，单独的一维索引文件难以胜任。针对这些特点结合B树和二分查找的特点，我们建立一种多对象时间序列数据二维存储及索引结构。多对象表示需要监视多个设备；固定间隔时间序列数据，指的是每个设备获得状态数据按时间顺序且间隔固定。 2 存储与索引结构的设计 数据按时间顺序采集、存储。查询则主要是查找某个时间点或某个时间段的状态数据，都是以时间为关键字的。所以，很自然的想到时间顺序存储，按时间和对象关键字建立索引。但这样做的问题在于，随着时间的推移记录的数据量会非常庞大，导致索引文件也越来越大，给索引文件的建立维护及查询效率都造成很大影响。同时，每一条记录都带有对象ID和产生时间也造占用大量存储空间。 分时间块存储数据，针对时间块建立索引。因对象产生数据频率固定，为了减少时间索引的数量，采用固定时间段长度分块存储，每块中包含本时间块内产生的所有数据。以时间块中的初始时间点为关键字，建立索引。因时间段的产生是按时间顺序的，所以本索引为顺序索引。如果索引文件太大，则通过更大的时间段，建立多级索引。这样大大减少了索引文件的大小。 对于块内数据，由于数据分别属于不同对象，所以应将相同对象数据放在一起。当同一对象的数据存储在一起，那么对象的ID也就只存储一次即可；又因同一对象产生状态数据的时间间隔固定，那么只需要存储本快中起始数据的时间点即可，其余数据按产生顺序依次存储。这样可以减少大量的存储空间 块内相同