PaddleServing技术架构说明.docx

Paddle

PaddleServing技术架构说明

1.整体设计目标

长期使命：PaddleServing是一个PaddlePaddle开源的在线效劳框架，

长期目标就是围围着人工智能落地的最终一公里供给越来越专业、牢靠、易用的效劳。

工业级：为了到达工业级深度学习模型在线部署的要求，PaddleServing供给很多大规模场景需要的部署功能：1〕分布式稀疏参数索引

功能；2〕高并发底层通信力量；3〕模型治理、在线A/B流量测试、模型热加载。

简洁易用：为了让使用Paddle的用户能够以极低的本钱部署模型，PaddleServing设计了一套与Paddle训练框架无缝打通的推测部署API，一般模型可以使用一行命令进展效劳部署。

功能扩展：当前，PaddleServing支持C++、Python、Golang的客户端，将来也会面对不同类型的客户增多种语言的客户端。在PaddleServing的框架设计方面，尽管当前PaddleServing以支持Paddle模型

的部署为核心功能，用户可以很简洁嵌入其他的机器学习库部署在线预

测。

2

2.模块设计与实现

2.1

2.1PythonAPI接口设计

2.1.1训练模型的保存

Paddle的模型推测需要重点关注的内容：1〕模型的输入变量；2〕模型的输出

变量；3〕模型构造和模型参数。PaddleServingPythonAPI供给用户可以在训

练过程中保存模型的接口，并将PaddleServing在部署阶段需要保存的配置打包保存，一个例如如下：

importpaddle_serving_client.ioasserving_ioserving_io.save_model(“serving_model“,“client_conf“,

“{words“:data},{“prediction“:prediction},fluidefault_main_program)

代码例如中，{“words“:data}和{“prediction“:prediction}分别指定了模型的

输入和输出，“words“和“prediction“是输出和输出变量的别名，设计别名的目的是为了使开发者能够记忆自己训练模型的输入输出对应的字段。data和

prediction则是Paddle训练过程中的“://paddlepaddle.org.cn/documentation/docs/zh/api_cn/flu“[Variable](s://paddlepaddle.org.cn/documentation/docs/zh/api_cn/fluid_cn/Variable_cn.html#variable)，通常代表张量(Tensor)或变长张量(LodTensor)。调用保存命令后，会依据用户指定的“serving_model“和

“client_conf“生成两个名目，内容如下：

.

├──client_conf

│ ├──serving_client_conf.prototxt

│ └──serving_client_conf.stream.prototxt

└──serving_model

├──embedding_0.w_0

├──fc_0.b_0

├──fc_0.w_0

├──fc_1.b_0

├──fc_1.w_0

├──fc_2.b_0

├──fc_2.w_0

├──lstm_0.b_0

├──lstm_0.w_0

├── model

├──serving_server_conf.prototxt

└──serving_server_conf.stream.prototxt

其中，“serving_client_conf.prototxt“和“serving_server_conf.prototxt“是

PaddleServing的Client和Server端需要加载的配置，

“serving_client_conf.stream.prototxt“和

“serving_server_conf.stream.prototxt“是配置文件的二进制形式。“serving_model“下保存的其他内容和Paddle保存的模型文件是全都的。我们会

考虑将来在Paddle框架中直接保存可效劳的配置，实现配置保存对用户无感。

效劳端模型加载

效劳端的推测规律可以通过PaddleServingServer端的API进展人工定义，一个例子：

importpaddle_ser