云原生开源开发者沙龙丨AI 应用工程化专场 2024 .docx

构建面向AI应用可观测能力

LLM应用可观测解决方案探索与实践

夏明(涯海)

阿里云-云原生可观测-高级技术专家

01

01背景介绍

CONTENT

目录

02LLM应用可观测方案

03产品能力及效果演示

04未来规划与展望

part1

背景介绍

介绍AI生态、核心概念以及应用开发范式,LLM应用可观测的特点及差异性

蓬勃发展的AI应用生态

LLM应用落地范式演进

微服务应用vsAI原生应用

part2

LLM应用可观测方案

介绍相关解决方案能力建设思路

典型的LLM应用架构及观测诉求

面向LLM应用的领域化Trace语义

面向LLM应用的领域化指标

基于openTeIemetry的高质量数据采集

LLM应用可观测数据链路

深度集成阿里云生态,云产品链路一键接入

LLM应用可观测数据分析价值挖掘

LLMTrace基于向量语义特征的检索分析能力

part3

产品能力及效果展示

展示产品功能效果

Demo演示

LLM领域分析视图-调用链分析

LLM驱动的调用链问题诊断

LLMTrace向量语义分析

part4

未来规划及展望

阐述LLM应用可观测能力演进规划以及挑战

未来规划

挑战及展望

谢谢

Thankyou

Java开发者如何玩转AI

springAIAIibaba:让Java开发者更方便地构建云原生AI应用

肖京(亦盏)

阿里云高级技术专家,springCIoudAIibabaspringAIAIibaba发起人

CONTENT

目录

01初识springAIAIibaba开源项目

介绍springAIAIibaba开源背景、生态定位

02springAIAIibaba深入理解

了解springAIAIibaba的核心功能与使用方法

03springAIAIibaba集成开发实践

使用springAIAIibaba开发—个智能机票助手

04springAIAIibaba未来规划

了解springAIAIibaba项目roadmap,参与开源贡献

part1

初识springAIAIibaba开源项目

介绍springAIAIibaba开源背景、生态定位

springCIoudAIibaba的社区合作模式与成功经验

6年积累,springCIoudAIibaba开源在中国微服务领域得到广泛应用,取得巨大成功!

.springCIoud

.springCIoud标准实现

RocketMQNacos.开源产品

RocketMQ

Nacos

事件总线

负载均衡

配置管理

sentineIsMs

sentineI

注册发现

函数安全springCIoud

函数

安全

断路器

分布式追踪

seatascheduIex

seata

分布式消息

分布式消息

Oss阿里云平台服务集成sidecarspring

Oss

阿里云平台服务集成

sidecar

springCIoud

springCIoudAIibaba

springCIoudspringCIoudAIibaba的关系

.阿里云通过与springCIoud官方合作,在微服务领域开创了springCIoudAIibaba开源品

牌,在微服务方向得到广泛采用。

.springCIoudAIibaba自2018年开源至今,在GitHub已经有28k的star,整体生态超100kstar。

springAIAIibaba

springAIAIibaba开源项目基于springAI构建,是阿里云通义系列模型及服务在JavaAI应用开发领域的最佳实践,提供高层次的AIApI抽象与云原生基础设施集成方案,帮助开发者快速构建AI应用。

spring

springAI

springAIAIibaba

prompt模板管理

Memory

Graph

ModeI

prompt

TooIcaIIing

FIow

RAG

Embedding

vectorstore可观测

低代码

部署模式

sidecar

网关代理

springAI

Agent

日志

TooI

part2

springAIAIibaba深入讲解

了解springAIAIibaba的核心功能与使用方法

模型基本的能力

RAG

大型语言模型在训练后,其参数不再更新,因此模型内嵌的知识不会自行发生变化,也无法主动访问外部数据进