技术干货：数据治理的三本数据秘籍.docxVIP

技术干货：数据治理的三本数据秘籍 数据目录.数据清单.数据字典是良好数据治理活动的组成部分。它们被经常混用，但 它们并不相同。 数据目录汇总了组织中数据资产的整体概况;数据清单详细说明了组织中可用的所有数据集，并显示所有相关元数据; 数据字典定义了这些数据集的规则，指示了它们的格式、形状、schema。 这些数据秘籍的最大挑战是保持其必威体育精装版。由于数据采集管道的速度和数量是天文数字, 因此需要自动化和敏捷的协议来更新它们。拥有这些数据秘籍并保持必威体育精装版，可确保高效的数 据交互，使企业团队能够简化其数据操作并获取有价值的数据洞察。数据清单是执行数据清 点/盘点的基础。一个高价值的数据安全平台，应该能够自动化维护一个持续更新的数据清 单，其中包括敏感数据的分类分级。 -数据治理中的三本秘籍1数据目录(Data Catalog )数据目录是企业用来管理其数据的集中式元数据存储库。 其中概述了企业数据资源的组织,使用.管理的信息。该目录支持数据工程、分析操作、 科学的功能。数据目录的目标是使数据管理变得简单有效，共享有关收集和存储在组织中 的数据的知识和信息。它概述了各种管道中的数据流，并提供数据景观的鸟瞰图。数据I 录通常与它们所引用的数据集分开存储在数据仓库或数据湖中。 数据目录的建立，需要遵循以下五个步骤： (1)数据获取：首先确定哪些元数据是相关的，找到这些相关数据所在的位置和存储的形式，确定如何捕获它们。通过了解数据的形状、结构、语义，来发展数据目录的 形状和结构。尽量自动更新数据目录，几乎所有的数据库和数据存储都有工具，可以 帮助您以所需的形状和语义提取元数据。通过数据沿袭，了解数据的来源和去向，为 数据用户提供上下文。数据目录应支持各种数据类型，包括表和流数据。 (2)分配数据所有者：捕获数据后，组织必须分配对该数据的所有权。赋予某人确保 数据和文档完整和准确的责任，并为需要额外信息的数据用户提供了一个联系人。最 重要的数据所有者，是数据管理员和技术所有者。数据管理员管理和解决与业务相关 的查询；而技术所有者负责解决技术问题。 (3)建立数据文档：一次性对所有数据进行编目通常是不可行的，所以需要一种切合实际的方法。首先对最重要的数据进行编目，然后是第二重要的数据，以此类推。 (4)定期更新数据目录：数据集是不断变化的，所以识别这些变化并更新数据目录至关重要。理想情况下，这个过程应该是自动化的。 (5)优化数据交互：数据目录是一种工具，使企业团队能够有效地与企业的数据交互。 了解这些团队的需求并优化相关的标准和规范，为优化数据交互铺平道路。如标准化 所有内部数据库、schema,字段、数据沿袭的文档格式。 数据清单(Data Inventory )数据清单是数据清点/盘点的成果。数据清单是集中化的元数据集合，它指示了组织 收集和维护的所有数据集。该文档(或文档集合)精确定位每个数据集的位置及其包 含的数据类型。 数据分析师使用数据清单来确定哪些数据可用以及如何访问它们。 数据管理员维护数据清单，并为每个数据集制定相关的数据访问策略。 数据清单的主要挑战是保持必威体育精装版。最有效的方法是通过自动化方式持续更新数据清单。数 据清单的示例如下: q Data Inventory ? V :: c， - 0 o Ixpiore Locations Q S selected~Ail* 三 ,* 1*”1 a日?Ben Demo 艮 Q) Oemo S3m Ej?8cn Demo Snowflake _Q ecfre inveatmercs 53 Q] paueno 0] 9 SnowAske Anatrbcs 口 Oemo 2E) cndBta ?one ?臼。MMRhC4re Org Mm ?日? Firwxlata 8U Lak* 田 dstspool DMi StoreP*chMM WeU如P /T” AntMo OM? OoudMlewr9 tfeU.PBecol 104 days ?gcGE3S^ FWSQlAWSUgtpd?CuMdnw*CfcrtlL kttf2021 Jg 30 ? ? Postgre5QL AWS RDStpcd? p*jfe*c.custofn?rc ?他 rncnm2021 PMtgreSQl AWS ROStpc4t pot*?.cu9tonwri. brtfi dav2021 1 ? 5KM PMFMOrtf ? UsarruNm ? ? Q Fl2rtoM D*H El d Arohttcs Data Odud EJ ? AWS Atheoa Demo □ W Mgr?$Ql. AWS 3 田 (pcd ? BtgQuery Dono ° EUZUt .S?C^r?y D?(1 Warehouse 日.