【国盛证券】ChatGPT技术篇：智能背后的秘密.pdf

证券研究报告|行业周报 2023 年02 月26 日 计算机 ChatGPT 技术篇：智能背后的秘密 ChatGPT 表现惊艳，网站流量一路狂飙式成长。根据数据统计机构 增持 （维持） Similarweb 的估计， 网站（即 ChatGPT 官网）在 2023/1/27-2023/2/3 这一周吸引的每日访客数量高达约2500 万，在 1 月31 日的流量高峰日，该网站吸引了2800 万次访问。并且在1/3- 行业走势 2/3 这一个月里，该网站的流量平均每天增长3.4%，增速惊人。 从Transformer 到ChatGPT，有哪些历史性突破？ChatGPT 用户数 计算机 沪深300 高速增长的根本原因，来源于其突破性的表现，其中最突出的有两点 16% 体现：1 ）ChatGPT 与人类“对齐”了偏好，其应答更适应人类习惯， 0% 并且能驳回一些反道德的提问，展现出显著优于前代的智能度。2 ） -16% ChatGPT 具备了思维链（Chain-of-Thought ，CoT ）能力，能够处理一 定程度的复杂思维逻辑。3 ）ChatGPT 在算数、国际音标转写、单词解 -32% 读、问答、事实性问答、基础概念映射、多任务自然语义理解、上下 -48% 文单词理解等8 个指标上表现出全面综合的能力。 2022-02 2022-06 2022-10 2023-02 量变到质变，规模超过特定阈值后模型性能陡增。根据谷歌发布的论 文《Emergent Abilities of Large Language Models》，可以看到多个 NLP 任务随着模型规模扩大的性能变化曲线：前期性能和模型规模大 作者 致呈线性关系；然而当模型规模大到一定程度时，任务性能有了明显 分析师 刘高畅 的“飞升”。 执业证书编号：S0680518090001 海量代码训练，模型习得代码背后隐含的逻辑能力。根据熵简科技介 邮箱：liugaochang@ 绍， “代码”可以理解为一种具备高度逻辑性的文本语料，不具备强 相关研究 逻辑性的代码会无法执行，而不像普通文本语料那样有着较高的逻辑 自由度。模型从对大量代码的学习过程中，逐渐掌握了隐藏在代码背 1、《计算机：首批Azure OpenAI 服务落地万科，大模 后的抽象能力与逻辑能力，进而涌现出我们在 ChatGPT 上感受到的 型商业化进程持续加速》2023-02-21 “智能”。 2、《计算机：ChatGPT 算力需求是如何扩张的》2023- 训练过程加入了人类反馈，模型偏好向人类看齐。通过有人类反馈的 02-19 加强学习（RLHF ）训练，人类手动对AI 给出的回复进行排名，让AI 3、《计算机：Chatgpt 需要多少算力》2023-02-12 模型理解人类偏好。由于训练过程中加入了人类反馈，有别于前代 GPT-3 单纯使用海量数据的训练方法，ChatGPT 能够更好地理解用户 指令，并作出反应。 投资建议。建议关注：1 ）应用型公司：金山办公、光云科技、当虹科 技、同花顺、万兴科技、立方数科、云赛智联、神思电子、宇信科技、 360、高伟达、寺库、知乎、汉王