TranswarpDataHub一站式大数据综合平台白皮书4月-星环科技.PDF

Transwarp Data Hub (TDH) 企业级一站式大数据综合平台 白皮书 星环信息科技（上海）有限公司 Transwarp Data Hub (TDH) 企业级一站式大数据综合平台 2006年Hadoop技术的出现标志着大数据技术时代的开始，经过10多年的蓬勃发展，大数据技术已经真正承托起一大批 企业的数据基础架构。Transwarp Data Hub （简称TDH ）是星环信息科技（上海）有限公司研发的企业级大数据平 台，经过4年的快速演进，已成为国际一流的大数据平台。从2016年起，TDH正式成为Gartner认可的Hadoop国际主 流发行版本。 TDH主要提供6款核心产品：Transwarp Inceptor是大数据分析数据库，Transwarp Slipstream是实时计算引擎， Transwarp Discover专注于利用机器学习从数据提中取价值内容，Transwarp Hyperbase用于处理非结构化数据， Transwarp Search用于构建企业有哪些信誉好的足球投注网站引擎，Transwarp Sophon则是支持图形化操作的深度学习平台。通过使用TDH ， 企业能够更有效的利用数据构建核心商业系统，加速商业创新。 TDH产品的主要技术优势包括以下几个方面： 极致的性能与可扩展性 TDH 的批处理速度是开源 大数据上的全文有哪些信誉好的足球投注网站 Transwarp Search 支持通过 Hadoop的10-100倍，是MPP的5-10倍，可以对从GB SQL实现大数据上的秒级全文有哪些信誉好的足球投注网站，它利用层次化存 到PB级的数据量实现复杂的查询和分析。TDH具有高 储、堆外内存管理等创新性技术，极大的提高了系统 可扩展性，用户可以通过增加集群节点数量，线性提 的可用性。此外，Search还可以结合Inceptor提供较 高系统的处理能力。 强的数据分析能力。 容器技术与大数据平台 TDH支持部署于TOS之上。 图形化的大数据开发工具套件 Transwarp Studio TOS是为大数据应用量身订做的云操作系统 ，基于 是TDH 中的大数据开发工具集，包括元数据管理 Docker和Kubernetes，支持一键部署TDH 、扩容、缩 Governor、工作流Workflow 、数据整合工具Transporter， 容，同时支持基于优先级的抢占式资源调度和细粒度 Cube设计工具Rubik以及报表工具Pilot。用户可以使 资源分配。 用这些图形化工具来提高大数据的开发效率，降低技 完整的SQL和ACID支持 Transwarp Inceptor是第一 术门槛。 个实现完整SQL支持的Hadoop发行产品。它不仅支 多样化的数据处理功能 Transwarp Hyperbase用于 持SQL 2003 ，Oracle PL/SQL以及DB2 SQL PL，还 存储和计算结构化或非结构化数据，包括日志记录、 实现了完整的ACID和CRUD功能。TDH提供JDBC和 JSON/XML文件以及二进制数据（如图像和视频）。 ODBC驱动连接，方便第三方工具运行于TDH之上。 Hyperbase底层是KV的数据库，因此其非常适合高频 低延迟的流处理 Transwarp Slipstream是同时支持事 次的数据入库、高并发精确检索等业务。 件驱动和微批处理的流处理引擎，计算延迟最低可至 简易的操作和管理 Transwarp Manager是专门用于 5ms 。它提供标准的SQL编程接口，还支持高可用性 部署、管理和运维TDH集群的组件。它支持产品一键 （HA）和Exactly-Once的语义，从而支持7x24小时的 安装、一键升级和图形化运维，并提供了预警和健康 生产业务。 检测功能，帮助用户简化运维过程。 丰