数据治理概论 课件 第4章：数据采集.pptx

第4章数据采集《数据治理概论》

提纲4.1数据采集的概念4.2数据采集的范围4.3数据采集的方法

4.1数据采集的概念

4.1.1数据采集的概念数据采集是指在数据处理和分析过程中，从不同来源收集和获取数据的过程。广义的数据采集可以理解为人类为了传递和分享信息所采取的记录方式，从最早的岩画、甲骨文、到现在我们用纸张做笔记，拍照、录像，再到通过各种传感器进行信号收集都属于数据采集。狭义的数据采集我们特指通过各种电子设备将信息转化成计算机能够存储和传递的数据的过程。包括电子照片、文件扫描件、人们通过键盘输入的信息、传感器采集的各种信号等。什么是数据采集？

4.1.2数据采集的定义与重要性定义数据采集是指从各种数据源获取数据，并利用各种手段和技术对数据进行预处理、清洗、转换和分析，以满足不同领域和场景的数据需求。重要性在当今信息时代，数据已成为一种重要的生产要素，数据采集是实现数据价值的关键环节。通过对数据的采集、清洗、整合和分析，可以为企业、政府和社会组织提供决策支持、优化运营、预测趋势等重要价值。

4.1.3数据采集的类型分为内部数据采集和外部数据采集:内部数据采集主要来自企业或组织的业务系统、数据库等内部数据源；外部数据采集主要来自公开数据来源、第三方数据提供商等。按来源

4.1.3数据采集的类型分为结构化数据采集、半结构化数据采集和非结构化数据采集。结构化数据采集是指针对关系型数据库中的数据进行采集；半结构化数据采集是指针对如XML、JSON等半结构化数据源的数据采集；非结构化数据采集则是指针对如文本、图像、音频等非结构化数据源的数据采集。按性质

4.1.3数据采集的类型分为实时数据采集和离线数据采集：实时数据采集是指对实时生成或变化的数据进行即时采集；离线数据采集则是指对历史数据或非实时数据进行批量采集。按时效性

4.1.4数据采集的步骤数据采集通常包括以下几个步骤：数据采集是数据交换、共享、分析和应用的基础，数据的质量和准确性直接影响着后续的数据处理和分析结果。因此，在进行数据采集时需要注意数据的来源和质量，以确保采集到的数据能够满足后续的数据分析和应用需求。0102数据采集范围的确定明确需要收集哪些数据，包括数据类型、数据格式、数据来源等。03数据采集方法的选择选择数据采集工具，根据数据需求，选择合适的数据采集工具，包括手动采集和自动采集两种方式。收集数据通过数据采集工具，从不同来源收集和获取数据，包括数据源、数据库、文件、API等。

4.2数据采集的范围

4.2数据采集的范围数据采集范围的确定业务范围的确定数据采集范围的管理213数据采集的范围主要从以下三个方面来确定：

4.2.1业务范围的确定在确定业务范围时考虑以下5个方面：1确定业务重点2了解企业业务模式确定企业的业务重点可以帮助企业更好地规划数字化转型的方向。可以通过分析企业的核心竞争力、市场需求、行业趋势等方面来确定企业的业务重点。企业业务模式是企业数字化转型的基础，了解企业的业务模式可以帮助企业确定业务范围。可以通过了解企业的产品和服务、客户群体、销售渠道等方面来了解企业的业务模式。

4.2.1业务范围的确定3分析业务流程4考虑数字化技术应用对企业的业务流程进行分析。通过梳理业务流程图来详细了解企业的业务流程，确定业务流程中存在的效率瓶颈。通过分析企业的业务流程、业务需求等方面，确定哪些业务可以通过数字化技术进行改进和优化，从而进一步确定企业的业务范围。5考虑未来发展通过分析企业的业务流程、业务需求等方面，确定哪些业务可以通过数字化技术进行改进和优化，从而进一步确定企业的业务范围。

4.2.2数据采集范围的确定在明确了业务范围的基础上进一步确定数据范围，数据范围的确定采用从总体范围确定到支撑业务目标的精准数据范围确定两步反复迭代的方式开展。总体范围确定的目标是助力企业进行统一数据纳管服务的，精准数据范围确定的目标是面向具体的业务目标提升的。（1）总体数据范围确定（2）精准数据采集范围确定（3）精准数据范围与总体数据范围之间的迭代

4.2.2数据采集范围的确定（1）总体数据范围确定1）以组织划分为依据确定各组织单元的信息系统支撑；2）以组织划分为依据确定各组织单元的线下数据范围；3）以企业总体视角关注跨业务流程所涉及的系统范围。

4.2.2数据采集范围的确定（2）精准数据采集范围确定1）明确业务目标和提升点；2）采用业务分析建模方法将业务目标拆分成关键影响因素；3）将关键影响因素作为新的业务目标再继续向下拆分，分析该目标的影响因素；4）如此迭代至具体的业务活动或终端数据采集点为止；5）最终的业务活动或终端数据采集点所形成的数据形成了精准的数据范围。

4.2.2数据采集范围的确定（3）精准数据范围与总体数据范围之间的迭代