大数据时代第四章教程.doc

大数据的管理 大数据的生命周期管理 当前，社会各界已经充分认识到大数据的价值并努力通过各种手段从不同角度去挖掘大数据的价值。大数据的生命周期管理能够实现数据存储和利用的动态化管理，通过对数据价值的评估而制定不同的管理策略，从而提高数据资源的利用率和可用性。一、数据生命周期管理及其阶段划分数据生命周期管理（DataLifeCycleManagement）来源于信息生命周期管理（InformationLifeCycleManagement）。信息生命周期管理的理念是由美国存储公司StorageTek于2002年提出来的，其基本思想是，信息是·86·有生命的，处于不同阶段的信息应为组织提供不同的价值，因此应该对信息进行贯穿其整个生命的管理，包括从创建和使用到归档和处理。此后，IBM、HP等公司又进一步提出了信息生命周期管理解决方案，信息生命周期管理的思想开始被学界和业界所接受。从本质上说，数据生命周期管理是信息生命周期管理的深化和扩展，尽管到目前为止，还没有一个统一的数据生命周期管理的定义，但对数据生命周期管理的核心的认识却基本上是一致的，也就是：数据从产生到被删除销毁的过程中，具有多个不同的数据存在阶段，在每一个阶段上，数据的价值是不同的，数据生命周期管理就是要在数据存在的不同阶段，根据数据价值的不同而采取不同的管理策略，使数据在每一个阶段均能产生最大的效益，同时又能降低组织利用这些数据所需要的成本。与信息生命周期管理不同，数据生命周期管理更强调数据对于组织的重要战略意义，在数据创建到最终消亡的生命周期中，数据利用者应根据数据价值的变化对数据进行动态管理，提升数据服务水平与数据使用效率，从而实现降低成本、提高效率的目标。在数据生命周期管理实践中，数据存储和备份规范是保障和基础，数据管理和维护是执行方法，通过高效的数据管理和维护，不断提升数据服务水平，使数据的价值得到最大化利用。图41是大数据的数据生命周期管理的阶段构成示意图，正如一个人从少年到老年—样，组织中的数据也要经历从创建、修改、复制、分发、保护。恢复、归档与召回，到最终被删除这样一个生命周期。大数据的数据创新可以让已经变为“老人”的数据继续发挥余热，创造新的价值。也就是说，当数据的首要价值被发掘后，通过数据重组、数据扩展、数据再利用等方法可以继续挖掘出数据的潜在价值，获得数据带来的源源不断的新价值。从图4—l中可以看出，首个生命周期从数据创建开始，包含数据存储、数据使用、数据分享和数据归档几个方面；在数据的新生命周期中，数据重组和数据扩展是实现数据再利用的重要方式。在生命周期的每一阶段，数据估值与数据折旧始终交替贯穿在整个大数据的数据生命周期中，不断根据估值的结果调整数据折旧率。依据数据相对于组织的价值来管理数据不仅能保证数据的循环可用性和实效性，满足组织内部业务需求，又能降低数据存储系统的成本。同时，与现实生活中只能给环境和人们带来祸患的工业废气不同，“数据废气”仍然可以变废为宝，如同其他可回收材料一样被循环使用，继续发挥价值，实现数据的再利用。二、大数据生命周期管理的意义运用大数据生命周期管理的思想来管理数据，可以为组织带来巨大的效益，主要反映在“提高数据的使用效率”“最大限度地利用数据的价值”“降低数据使用的成本”三个方面。（一）提高数据的使用效率数据生命周期管理实质是对组织中的所有数据进行的一种分类管理，它根据组织的特性，按照特定的“保存规则”对数据加以组织，在整个数据生命周期中对数据进行动态智能化管理，提高数据的使用效率。比如，一些企业将数据分为五个层次：至关重要的数据、关键业务数据、可访问的在线数据、近线数据和离线数据，并根据不同的层次，制定数据管理标准，投入不同的数据分析人力和数据维护成本。其中，至关重要的数据和关键业务数据是企业的核心竞争力，这些数据是数据再利用的主要数据来源，因而数据利用者应着重对这两类数据进行重组和扩展，延长它们的生命周期。（二）最大限度地利用数据的价值在大数据时代，数据价值不仅体现在它的基本用途方面，还体现在其更大的潜在用途方面，这会影响一个组织评估其拥有的数据及访问方式，促使组织改变自身的业务模式，改变组织看待和使用数据的方式。例如，在企业的现实环境中，存储有大量的运营数据，这些运营数据无疑是大数据分析的重中之重。同时，以往不太受到重视的系统运行数据和备份数据也会发挥出巨大的作用，这些数据中的宝藏也亟待挖掘，在企业各个层级中得到运用。（三I降低数据使用的成本组织可以根据数据的价值对其进行管理，这些规则通常包括时间与访·88·问频率、事件等组合形式。采用数据生命周期管理技术可以建立分层存储环境，这些分层规则对组织具有多方面的好处。在整个数据生命周期中对数据进行智能化管理，可以释放出更多的可用存储空间，整合或折旧很少被访问或根本不被访问