59-数栖·实时开发v1.5.0-用户手册.docx

数栖·实时开发用户手册

产品介绍

概述

实时开发是数澜提供的低延迟、高吞吐、高可靠的分布式流数据实时分析工具，通过全托管的方式让用户不用关心底层计算集群的架构原理，只需要聚焦于本身的业务逻辑，有SQL代码基础即可执行作业。目前已支持通过可视化图形拖拽的方式便能快速构建实时计算作业，以及可视化页面向导方式创建实时ETL作业。

名词解释

作业

作业是平台的最小运行单元，目前支持StructuredStreaming、StructuredStreamingSql、Flink、FlinkSql等4种实时计算作业类型。

资源文件

资源文件(Resource)是指用户上传的Jar包文件等，可被用于作业、函数开发中。

函数

函数(Function)包括自定义代码开发的函数、引用Jar包的UDF(UserDefinedFunction，简称UDF)函数。这两类函数可直接用于实时计算或实时同步作业中。

实例

实例(Instance)指的是作业实例，作业的每次运行都会产生一个新实例。实例正常运行会经历待运行(Waiting)、运行中(Running)等状态。

版本号

版本号是作业版本的标示号，用于记录跟踪维护作业版本的变更情况。方便管理日常的发布和异常情况的应急预案。

FlinkSQL

FlinkSql是降低用户使用实时计算门槛而设计的一套符合标准SQL语义的开发语言。

Topic

Topic表示Kafka里的存放一类消息的队列，一个Topic包含一个或多个物理分区，每个分区里的消息强有序。Kafka发布消息的时候将消息发布到指定的topic消息队列，消费的时候从指定的Topic消息队列里读取消息。

Schema

Schema表示Kafka的元数据信息，定义了Topic的数据格式，比如字段信息、字段类型等。

算子

实时计算任务执行过程中通过一系列变换(transformation)和操作(action)得到结果，这些变换和操作即为算子。

副本数

副本数是完全相同的数据副本的数量。副本是分布式系统容错、提高数据可靠性的基本手段，是一个完整的数据备份，当发生数据节点损坏时，就可以复制副本数据来恢复数据。

Broker

Broker是Kafka读写取消息、存储消息的Kafka的一个节点，多个节点组成一个Kafka集群。

Offset

kafka里每个消息队列里存在一个或多个分区，每个分区里的消息是强有序的，每个消息在所在分区里都对应一个序号(offset)，这个序号(offset)就是消费位置，kafka里面的消费者(consumer)在消息消费过程中会维护当前消费到那一个offset。

首页

进入数据开发首页，支持以整体视角查看项目概况。首页包括以下指标信息：

序号

指标

说明

1

统计指标卡

显示项目基础信息并统计项目成员数、项目环境数、数据源数、资源组数。

2

总数变化趋势图

默认展示近7天的开发环境的作业数变化趋势，可选择近7天、近15天、近30天。

开发中心

在项目列表中，点击进入数据开发，然后点击实时开发，可进入实时开发中心页面。

界面功能

本文为您介绍开发中心界面各按钮的功能。

左侧导航栏

进入实时开发，查看页面左侧的导航栏。单击左上角的图标，即可展开或折叠左侧导航栏。

功能

描述

实时计算

支持Flink、StructuredStreaming框架，支持多种窗口函数，提供全SQL、自定义Jar程序等开发模式，支持作业运行控制、调试以及版本管理等功能。

实时同步

通过可视化拖拽的方式快速配置作业，实现异构数据源之间数据的实时同步，并支持数据预处理。可视化配置简单易用，并支持自定义预处理函数。

函数开发

支持函数开发，便于用户自由的开发实现复杂业务，应对复杂的业务场景，弥补SQL开发的边界。

资源文件

资源文件模块中管理所有上传的资源文件。

工具栏

序号

功能

描述

1

刷新

刷新当前目录树列表

2

新建

新建快捷入口，支持新建实时计算作业、实时同步作业、函数、资源

3

有哪些信誉好的足球投注网站

有哪些信誉好的足球投注网站当前目录树对象，包括作业、资源、函数

SQL作业界面功能点

序号

功能

描述

1

运行

运行当前作业

2

停止

当前作业运行时，停止作业

3

停止并触发Savepoint

开启Checkpoint后，支持停止并触发Savepoint，作业将触发生成一个Savepoint记录同时作业会停止

4

保存

保存作业代码

5

快速建表

快速建表自动生成的SQL代码模板仅包含基本的属性参数，以保证实时计算与数据源的连通性，并可在此基础上增加其他属性参数。

6

流数据发送

当FlinkSql作业代码已有KafkaSource数据源时，且只有一个KafkaTopic源端，则点击流数据发送，可模拟