地瓜机器人RDK系列部署生成式AI模型.pptx

地瓜机器人RDK系列部署生成式AI模型

RDK系列产品介绍RDK上的模型部署RDK上LLM的技术选型RDK上LLM的实际效果演示

01RDK系列产品介绍

嵌入式嵌入式系统是一种专门设计用于特定任务的计算机系统。它通常被嵌入在另一个设备中，以控制、监测或执行某些特定功能。嵌入式系统通常包含一个或多个微处理器或微控制器，以及与其配套的硬件和软件。嵌入式系统可以用于各种不同的应用领域，例如汽车、家电、医疗设备、电子玩具、军事设备等等。嵌入式系统通常需要满足以下特定要求：实时性：嵌入式系统通常需要能够在严格的时间限制下运行。可靠性：由于嵌入式系统通常被嵌入到其他设备中，因此其稳定性和可靠性非常重要。低功耗：嵌入式系统通常需要在低功耗模式下运行，以便延长其电池寿命或降低功耗成本。低成本：嵌入式系统通常需要在成本可控的情况下设计和制造。

智能音箱边缘计算盒机器人智能会议智慧教育智能家居AIoT与通用机器人算法芯片工具链服务嵌入式产品介绍

2022.6Compute：5TopsCPU：4×CortexA531.2GDDR：2/4GBWi-Fi：2.4GRDKX3Compute：5TopsCPU：4×CortexA531.5GDDR：2/4GBeMMC：16/32/64GBWi-Fi：2.4G/5GRDKX3ModuleCompute：10TopsCPU：8×CortexA551.5GGPU：32GflopsDDR：4/8GBWi-Fi：2.4G/5G2023.5RDKX5Compute：5TopsCPU：4×CortexA531.8GDDR：2/4GBWi-Fi：2.4G/5GCertification：CE/FCC/MIC/KCRDKX3v2.020252026Compute：20TopsRDK？2023.7 2024.9RDK：RoboticsDeveloperKitRDKX5ModuleCompute：？CPU：？GPU+Audio？DDR：？eMMC:？Wi-Fi：？RDK系列RDK全称为RoboticsDeveloperKits，即地瓜机器人开发套件（RDK）是基于地瓜智能芯片打造的机器人开发者套件，包括RDKX3、RDKX3Module、RDKX5、RDKX5Module等。搭配TogetheROS.Bot机器人中间件，RDK套件可以帮助开发者快速搭建机器人原型，开展评测和验证工作。

40PIN最大化复用拓展4G/8GRAM灵活选择CANFD灵活连接机器人底盘和电机双频wifi6+蓝牙5.4极速通信多标准兼容耳机 多模应用天线模块媲美棒状天线TypeC供电 5V/5ARDKX5RTC精准时间同步TypeC闪连极速开发双MIPI4-Lane双目千兆网口支持POE供电Debug串口便捷调试HDMI更好兼容常见数据线 USB3*4全高速通信

公版模型尺寸类别数参数量BPU延迟BPU吞吐量后处理时间Yolov8n640x640803.2M5.6ms263.6FPS5msYolov8s640x6408011.2M12.4ms194.9FPS5msYolov8m640x6408025.9M29.9ms35.7FPS5msYolov8x640x6408068.2M90ms11.2FPS5msYolov10n640x640806.7G9.3ms132.7FPS4.5msYolov10s640x6408021.6G15.8ms71.0FPS4.5msYolov10m640x6408059.1G30.8ms34.5FPS4.5msRDKX5

02RDK上的模型部署

人工智能演变史

自然语言处理自然语言处理是一种人工智能领域，旨在使计算机能够像人类一样理解和生成自然语言文本。自然语言处理的研究主要关注如何使计算机理解和处理人类语言，并从中提取有用的信息或生成符合语境的语言输出。自然语言处理涉及到很多不同的任务，包括文本分类、情感分析、机器翻译、自动摘要、问答系统、命名实体识别、语言生成等。

大语言模型（LLM）传统语言模型的劣势在于：局限于某一领域的知识、泛化能力差难以迁移、上下问理解有限基于transformer的大语言模型：基于海量（基本全互联网）数据进行预训练。对于特定场景的任务，只需微调适应常见：ChatGPT、文心一言、Llama、Baichuan2、同义千问等

地瓜工具链问题定义数据准备模型选择/开发模型训练与调优模型量化部署分析现实问题影响算法的选择、模型的评估、投入的成