中国AIGC产业发展分析研究报告课件.ppt

62 中国AIGC产业之发展趋势 06 AIGC的技术发展：科研与产业两端突围 通用人工智能（AGI）是指能够像人一样，独立自主地处理各类问题与任务的人 工智能技术，需具备全面感知、逻辑推理、自主学习、创作和行动等多种能力。 基于Transformer架构的大语言模型已经实现在单模型中表达其中多种能力，即 多模态，在不考虑训练推理成本和难度的前提下，这一架构和技术路径是目前多 模态生成效果最佳的方式。同时，在大语言模型不具备的复杂分析、决策任务上， 也出现了与决策式AI模型进行技术融合的新方向。 科 研 侧 成本：大模型产业化的一大关键是突 破应用成本的门槛，模型参数量需维 持在10B到100B之间。通过剪枝、低 秩分解、稀疏化等方式能够实现。 产 业 侧 多模态大语言模型 决策AI模型 语言 图像 声音 逻辑推理 机器人 分析 决策 行动 感知 知识幻觉，是指大模型会对自身不确定 或完全无知识储备的内容，进行随机作 答，造成答案完全偏离事实的现象。 但当前能够改善知识幻觉的技术手段均 会显著增加模型成本。 减少大模型知识幻觉的技术手段： 扩知识：在训练时，针对大模型薄 弱领域定向补充知识； 扩规模：提升模型参数量级，增加 推理的长度和厚度； 配合检索与核实：让大模型在回答 问题前尽可能多借助外部信息，同 时增加思考过程。 100B-10000B 10B-100B 能力：基于目前大模型的水平，降解 后的模型能力水平必须维持在原大模 型的80%以上，才具备应用落地价值。 并行训练 目前，提升模型智能化水平的 主要手段仍是扩大参数量，为 保证训练效率必须要实现并行 Transformer架构的内生局限性：无法兼顾 并行训练、可扩展性与低成本推理 两界不断推出突破“不可能三角”的新架构 低成本推理 现有模型参数量使得其 其推理速度收到较大影 响，同时在科研侧，随 着参数膨胀，成本也即 可扩展性 同时在模型参数庞大时，需 要进行多次训练，同时为与 外界知识保持同步，需要对 训练，同时为了多次训练需求， 模型知识定期更新，这些都 用RNN改写的Transformer， 同时具备二者优点，具备并 行计算和高效推理的特点， 但长上下文记忆能力弱于标 准Transformer架构。 不可能三角 RWKV：算法重构 RetNet：算法优化和架构微调 在标准Transformer 基 础上，使用retention机 制 替 代 了 标 准 的 attention机制，大大提 升了训练和推理速度。 模型必须具备可扩展性。 要求模型必须具备可扩展性。 将逼近单个机构天花板。 中短期基于Transformer算法和结构优化仍是主流，长期可能被替代 学术界将通过扩大模型参数量、调整模型结构、局部算法优化等方式，进一步探索大模型的能力天花板，触碰AGI可能性；以各大企 业为代表的产业侧，一方面从商业化落地角度追求更小模型参数下的高模型能力维持，以及解决大模型出现的知识幻觉问题，一方 面也在积极研发探索新模型架构可能性，呈现“对外模型名称为厂商能力代号，但内含技术架构随时可能改变”的发展特征。产业 与科研两侧的需求都已经暴露标准Transformer架构的巨大瓶颈，即“不可能三角”。各大机构与开发团队对Transformer架构的成 功改进在快速推进，未来极有可能会出现具备推广价值的新Transformer架构。 科研和产业侧大模型技术路径分化，均导向对Transformer的改进与颠覆 大参数、多模态通往AGI 兼顾成本与能力，减少知识幻觉 成本与能力可控 知识幻觉 Transformer不会是唯一解 * AIGC的应用前景：软硬一体化 大模型低参版本的端侧应用，推动手机、机器人等物联网应用的升级进化 大模型在端侧的应用，软硬一体的结合带来广阔的应用场景。端侧的应用首先需要将大模型进行剪枝、稀疏化等处理，降低参数到 十亿级规模，同时根据场景进行专属知识的训练和微调以适配专门的终端设备和软件。这对终端设备的功耗、内存、延迟、成本等 都提出了新的要求。具体来看，目前在手机拍照、多终端语音助手、机器人具身智能（指从第一人称视角出发，具备理解、推理、 并与物理世界互动的智能系统）等方面表现出应用前景，推动物联网应用的升级与进化。2023年8月，华为推出鸿蒙4引入盘古AI大 模型，在消费电子领域赋能；小米官宣13亿参数手机大模型；OPPO预计将与阿里云联合打造OPPO大模型基础设施。手机厂商纷 纷入局轻量化手机大模型市场，以期为用户带来全方位智能化体验提升，也许不久将来大模型应用将成为用户体验变革换代的“新 触点”。 AIGC的应用展望 方 法 要 求 照片颜色编辑等二次加工、视频 生成等 手机拍照 通过视觉感知识别照片，并依据 生成能力给照片生