第16讲-分布式SQL引擎Inceptor_v2.0.pptxVIP

分布式SQL引擎Inceptor讲 师 | 星 环 科 技15423Inceptor简介Inceptor原理目 录Inceptor安装与配置CONTENTS星 环 科 技Inceptor SQLInceptor PL/SQL1chapter Inceptor简介Inceptor简介Transwarp InceptorTranswarp Inceptor用于数据仓库和交互式分析的大数据平台软件基于Hadoop的数据仓库产品分布式通用SQL引擎基于Hadoop和Spark技术打造产品手册：/#/documents-support/docs/products?category=TDH/#/documents-support/docs/products?category=TDHInceptor简介Transwarp Inceptor特点Hadoop领域对SQL支持最完善支持 SQL 2003 语法与存储过程业内唯一支持 Oracle方言、DB2方言、Teradata 方言帮助用户低成本迁移传统应用唯一支持完整分布式事务处理保证分布式事务处理的 ACID 特性支持批量增删查改的分布式事务处理使用 MVCC（Multi-Version Concurrency Control）算法自动提供并发控制优异的大数据处理和分析性能率先通过 100TB TPC-DS 的 99 个复杂业务场景测试基于内存/SSD的列式存储支持对数十亿条记录的秒级交互式探索分析能力与Apache Hive相比，数据分析处理速度有显著提升对于大规模数据集，数据分析处理速度比MPP有显著提升提供便捷的SQL、PL/SQL开发调试辅助工具WaterDropInceptor简介Transwarp InceptorBI报表工具（JDBC/ODBC）SQL IDE开发工具（WaterDrop）Inceptor数据库（自身提供接口beeline）Web应用系统（JDBC/ODBC）数据加工工具（SQL/PLSQL）2chapter Inceptor原理系统架构Inceptor原理2.1 系统架构InceptorCLIInceptorServerMetastoreJDBC/ODBCConnectorTxSQLSQL CompilerPL/SQL CompilerTransaction ManagerWeb UITxSQLTxSQLSparkWaterdropHadoop ClusterInceptor原理2.1 系统架构InceptorServer计算引擎Connector为BI、ETL工具提供标准JDBC、ODBC接口SQL CompilerSQL Parser：SQL语法解析器Rule-based Cost-based Optimizer：规则和代价优化器Code Generator：代码生成器PL/SQL CompilerProcedure Parser：存储过程解析器CFG Optimizer：控制流优化器Parallel Optimizer：并行优化器Inceptor原理2.1 系统架构InceptorServer计算引擎Transaction ManagerDistributed CRUD：分布式增删改Concurrency Controller：事务并发控制器Spark官方认证Transwarp发行版大数据量下的高稳定性计算效率更高功能扩展计算资源Executor是资源调度的基本单元Web可视化配置Inceptor原理2.1 系统架构Metastore存储Inceptor元数据元数据主要包括：数据库、表、分区、分桶等信息元数据存储在TxSQL（MySQL集群）ClientCLI ：BeelineJDBC/ODBCWeb UIHUE：开源的Apache Hadoop UI系统Polit：星环打造的轻量级自助式BI分析工具Waterdrop高效的Inceptor SQL IDE工具支持主流的关系数据库和数据仓库，如：Oracle、DB2、MySQL、Hive、Teradata、SAP等3chapter Inceptor安装与配置Inceptor安装Inceptor配置Inceptor命令行Inceptor安装与配置3.1 Inceptor安装安装方式TDH部署过程中，选择Inceptor服务Inceptor安装与配置3.1 Inceptor安装安装方式TDH部署完成后，在Transwarp Manager中单独添加Inceptor服务Inceptor安装与配置3.2 Inceptor配置配置方式Transwarp Manager ? Inceptor ? 配置Inceptor安装与配置3.3 Inceptor命令行BeelineBeeline是Hi