二零二三年 优质公开课Spark系统和MetricsRESTAPI.pptx

张义 目录0102什么是REST API使用Spark附带的REST API 什么是REST API1 什么是REST APIAPI是Application Programming Interface（应用程序接口）的缩写，它是拿来描述一个类库的特征或是如何去运用它。你个人收藏的类库也许包含有可用功能的“API文档”，那些必需的参数我们该怎么称呼它们？诸如此类等等。然而，如今很多人参考API文档时，他们常常参考一种可能会通过网络分享你的应用数据HTTP API，例如，Twitter提供一个API能让用户在特定的格式下请求推文，以便用户方便导入到自己的应用程序中。这就是HTTP API的真正强大之处。它能够从多个应用程序中混搭数据到混合应用程序中，或是创建一个能增强使用他人应用体验的应用程序。 什么是REST APIREST是”Representational State Transfer”的缩写，它是由罗伊·菲尔丁（Roy Fielding）提出的，是用来描述创建HTTP API的标准方法的，他发现这四种常用的行为（查看（view），创建（create），编辑（edit）和删除（delete））都可以直接映射到HTTP 中已实现的GET，POST，PUT和DELETE方法。我们可以将REST翻译为表现层状态转移。 什么是REST API对于REST API，我们注意一些事情，下面我们简单列出安全性方面的问题。需要验证Request headers、 Request URI和Request body是否合法：如果出现了某些不该有的头，或者某些必须包含的头没有出现或者内容不合法，根据其错误类型一律返回4xx。可以在HTTP头中增加X-Request-ID标识调用者身份。如果请求带有了不该有的数据，或者某些必须包含的数据没有出现或内容不合法，一律返回4xx。 什么是REST API需要保证数据完整性，数据完整性验证的底线是：保证要修改的数据和服务器里的数据是一致的 —— 这是通过Etag来完成。Etag可以认为是某个资源的一个唯一的版本号。当客户端请求某个资源时，该资源的Etag一同被返回，而当客户端需要修改该资源时，需要通过If-Match头来提供这个Etag。服务器检查客户端提供的Etag是否和服务器同一资源的Etag相同，如果相同，才进行修改，否则返回412 precondition failed。 什么是REST API还需要注意访问控制，REST API需要清晰定义哪些操作能够公开访问，哪些操作需要授权访问。在HTTP协议之上处理授权有很多方法，如HTTP BASIC Auth，OAuth，HMAC Auth等，其核心思想都是验证某个请求是由一个合法的请求者发起。 使用Spark附带的REST API2 使用Spark附带的REST APISpark包含了每个驱动程序和执行器的指标系统，因此我们可以获取主进程、工作进程、驱动程序和执行器发送的指标。可以将Spark指标发送到各种接收器。例如，可以使用Spark的Graphite Sink将应用程序指标发送到Graphite监控系统。Spark附带了几个REST API,使我们可以以JSON格式获取应用程序指标，从而基于它们构建可视化，我们可以根据官网上的文档启用REST API。以下是API的地址：HTTP://server-URL:18080/