开源血缘分析工具atlas源码讲解.pdfVIP

开源⾎缘分析⼯具 atlas源码讲解 需求说明：公司进⾏⾎缘分析，但是没有好⽤的⾎缘分析⼯具，从开源的社区找到了atlas，感觉很智能，可以⾃动分析sql语句，做到字段 级别的拆分，回溯⾎缘很好⽤，下⾯就是atlas的代码讲解 sql分析器：Antlr (ANother Tool for Language Recognition) 是⼀个强⼤的 语法解析器，可以⽤来读取、处理、执⾏或翻译结构化⽂本 跨语⾔ 或⼆进制⽂件。它被⼴泛⽤来构建语⾔，⼯具和框架。Antlr可以从语法上来⽣成⼀个可以构建和遍历解析树的解析器。可以参考： Apache Atlas版本号：2.0.0 从官⽅⽹站下载Apache Atlas2.0.0版本源代码，⽤开发⼯具（如IntelliJ IDEA）打开。 根⽬录结构 ⼀、3party-licenses 第三⽅组件许可，可以看出Atlas主要⽤到的第三⽅技术组件，绝⼤部分是前端技术组件，janusgraph 和titan是图数据库组 件，JanusGraph是Titan 的继承者，⽼版本⽤的是Titan ，新版本是⽤的JanusGraph ⼆ addons 安装扩展组件源代码，主要是Atlas接⼊各种Hadoop元数据数据源的桥接代码，对应Atlas架构图中的部分： 1 falcon-bridge falcon桥接扩展模块，Apache Falcon 是⼀个开源的hadoop数据⽣命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如⽣命周期管理,备 份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够⼤⼤简化hadoop集群的数据流管理。falcon-bridge主要负责将Apache Falcon元数据接⼊Atlas元数据管理系统。 bridge.FalconBridge类，提供了⼀系列注册Falcon元数据实体到Atlas 系统的桥接⼯具API ⽅法 hook.FalconHook 类，Falcon元数据通知事件钩⼦处理类 这个模块的详细介绍说明和使⽤说明见官⽅⽂档：，或者本地⽂档：docs/src/site/twiki/Hook-Falcon.twiki 2 falcon-bridge-shim falcon桥接扩展垫⽚，即atlas的falcon桥接插件 3 hbase-bridge Hbase桥接扩展模块，通过bin ⽬录下的import-hbase.sh脚本导⼊Hbase元数据到Atlas系统，脚本调⽤了桥接代码类HBaseBridge ，main⽅ 法⼊⼝。这个模块的详细介绍说明和使⽤说明见官⽅⽂档：，或本地⽂档：docs/src/site/twiki/Hook-HBase.twiki 4 hive-bridge hive桥接扩展模块，通过bin ⽬录下的import-hive.sh脚本导⼊hive元数据到Atlas系统，脚本调⽤了桥接代码类 HiveMetaStoreBridge ，main⽅法⼊⼝。 这个模块的详细介绍说明和使⽤说明见官⽅⽂档：，或本地⽂档：docs/src/site/twiki/Hook-Hive.twiki 5 kafka-bridge Kafka桥接扩展模块，通过bin ⽬录下的import-kafka.sh脚本导⼊hive元数据到Atlas系统，脚本调⽤了桥接代码类KafkaBridge，main⽅法⼊ ⼝。这个模块的详细介绍说明和使⽤说明见官⽅⽂档： 6 models 提供Atlas各种元数据模型类型定义json ⽂件 7 sqoop-bridge Sqoop桥接扩展模块，主要提供⼀个SqoopHook类⽤于在sqoop将其他数据源数据同步到hive仓库后⾃动发送hive导⼊操作相关的元数据到 Atlas系统。这个模块的详细介绍说明和使⽤说明见官⽅⽂档： 8 storm-bridge Storm桥接扩展模块，提供StormAtlasHook类⽤于将storm拓扑元数据信息通过Kafka Broker发送给Atlas系统进⾏持久化管理。这个模块的 详细介绍说明和使⽤说明见官⽅⽂档： 三 authorization Atlas鉴权模块，⽀持Simple鉴权和Ranger鉴权两种⽅式，这个模块的详细介绍说明和使⽤说明见官⽅⽂档： 四 build-tools 构建⼯具，主要配置Checkstyle进⾏代码静态检查