Servless助力大语言模型工程化实践(31页） 2024-11.pptxVIP

Serverless助力大语言模型工程化实践

亚马逊云科技/高级解决方案架构师;

01LMSI模型02LLM应用案例分析

03Serverless最佳实践04回顾和总结

InfoQ极客传媒;

机器境人

远推荐系统1l

B3M25

Fartetch机器子习;

LMSI

语言模型系统接口模型

InfoQ极客传媒;

●构建大语言模型应用的常见挑战;

准确度，性能不达标

提示工程;

●语言模型系统接口模型(LMSI)

高

OSI7层网络模型LMSIv2;;

案例分析

基于Serverless的大语言模型翻译应用

InfoQ极客传媒;

某游戏公司需要翻译游戏的多语言版本，因为存在较多游戏中特有的地名，人名，机器翻译的效果不好，主要是人工翻译为主，翻译的时间根据工作量的不同从数天到数周不等，业务团队希望利用大语言模型加速翻译过程并降低翻译成本。

mapping:{

CHS:奇怪的渔人吐司,

CHT:奇怪的漁人吐司,

DE:MisslungeneFischerschnitte,

EN:SuspiciousFishermansToast,;

●快速发现挑战和对应的解决方案;

名称;

Session/缓存

个人信息保护(PII)

知识库/RAG;

SageMakerModelServe

BusinessExpert

TechnicalExpert;

最佳实践

用Serverless承载大模型应用

InfoQ极客传媒;

●如何定义Serverless?;

保持简单性

控制函数间的调用控制函数总数;;

EventSource自动配置;

$cdhelloworld/.chalice/deployments

$unzipf6e….python3.6.zip-d/tmp/unzipped/

$tree/tmp/unzipped/

/tmp/unzipped/

app.py

chalice

init.py

app.py

PIL

BdfFontFile.py

[...MOREFILES...]

init___.py

—_imaging.cpython-36m-x86_64-1inux-gnu.soPillow-5.3.0.dist-info

chalicelibinit.py

utils.py

puppy.jpg

InfoQ极客传媒;

IAMpolicy

{

version:2012-10-17,

statement:[

:[Allow,

logs:CreateLogGroup,

logs:CreateLogstream,

logs:PutLogEvents

],

Resource:arn:aws:logs:*:*:*

},

{

Effect:Allow,

Action:[ec2:DescribeRegions],

Resource:[*],

sid:b376586b3ea4426b816122053a06feb6

}

]

}

InfoQ极客传媒;

●自定义权限

helloworld/.chalice/config.json;

EventSources的自动配置

@app.schedule(Rate(5,unit=Rate.MINUTES))

defhandler(event):

pass

@app.on_s3_event(bucket=mybucket′)

defevent_handler(event:S3Event):

(bucketevent:÷s,key÷s,event.bucket,event.key)

Capp.on_sqs_message(queue=myqueue)

defeventhandler(event:SQS