国庆假期，科技行业都发生了什么？.docx

OpenAI接连重磅发布，Canvas变革写作/编程范式

OpenAI发布全新API功能，多模态+降本进一步繁荣自身开发者生态。此次OpenAI开发者大会发布了实时语音交互API、视觉微调API、提示词API、模型蒸馏四大新功能。我们认为，OpenAIGPT系列目前仍然是全球范围内“最智能”的大模型，其强大的Zero-shot能力使其能适应多样化场景，结合广大开发者落地定制有望加快AI应用在各个领域落地。

图

图1.OpenAIdevday2024发布的4大新功能

数据来源：OpenAI，

实时语音交互API：省去中介步骤，语音助手普适化。传统的语音助手开发一般至少需要用到3个模型：STT（语音转文字模型）、LLM、TTS（文字转语音模型），中间需要对每一步的结果进行处理、审核、优化等，流程过于繁琐，故此一般仅有偏大型企业才有资源开发。而Open此次发布的Real-timeAPI由多模态模型GPT4o支持，对开发者而言省去了大量中间转换步骤，语音助手有望向中小微、个体类企业/商户甚至C端交互场景渗透，进而迸发出更丰富的应用创新以及庞大的算力需求。

图

图2.VoiceagentwithSTT,LLM,TTS

数据来源：Livekit，

视觉微调API：小量数据办大事。基于GPT4o强大的Zero-shot能力，客户只需要少量的特定场景图像数据，便可极大程度提升相关场景AI的任务成功率、识别准确率等。如Grab仅用100张图便将车道计数的准确性提高20%，并且将速度限制标志的定位精度提高13%；Automat使用200张未结构化的保险文档的图片，将信息提取任务的F1得分提升了7%等。

图

图3.GPT4o经过少量图片微调后的识别任务示例

数据来源：OpenAI，

提示词缓存优化：若重复，输入token降本50%，时延降低80%。modelprompts通常包含重复的内容，比如系统提示和常见指令，OpenAI现在的API会缓存提示词，并自动识别重复内容（无需更改代码，无额外收费，即可生效）。对于长提示，这可以减少高达80%的延迟和50%的成本。

图

图4.提示词缓存优化后的输入token定价以及何谓Cached示意

数据来源：OpenAI，

模型蒸馏服务：以GPT为基础定制专属+低成本+低时延小模型。该服务制定了一个便捷的蒸馏流程：1.首先将特定场景任务中“大模型”(如o1-preview或GPT4o等)的高质量输出存储；2.用OpenAI的evals建立基准；3.用存储到的高质量输出进行蒸馏；4.评估蒸馏模型，重复上述步骤直到模型好用。

图

图5.简单易用的蒸馏-评估-微调操作界面

数据来源：OpenAI，

智能写作/代码助手——Canvas。相比于原本的对话式界面，最大的升级是Canvas除了对话界面外，还有一个单独的输出结果界面，并可对输出结果特定部分进行修改、评估等，而不用有变动就需要全部重新生成。

图

图6.GPT4owithCanvas

数据来源：OpenAI，

Canvas写作主要功能：Suggestedits:用户在编辑文本时，ChatGPT能够即时给出建议和反馈，帮助用户改进文本内容。Adjustthelength:可一键调整文档的长度，使其变得更短或更长。Changereadinglevel:可以调整文本的阅读难度，从幼儿园级别到研究生级别，同样的内容，不同程度表述。Addfinalpolish:对文本进行最后的润色，检查语法、清晰度和一致性。这有助于确保文本的质量。Addemojis:这句话说明可以添加相关的emoji表情符号，以增强文本的强调和色彩。这可以使文本更加生动有趣。

图

图7.WritingwithCanvas

根据你的要求以及

根据你的要求以及

文章内容更换标题

数据来源：OpenAI，

Canvas编程主要功能：Reviewcode:ChatGPT会在代码旁边提供建议，以帮助提高代码质量。Addlogs:插入打印语句来帮助调试和理解代码。Addcomments:向代码中添加注释，使其更易于理解。Fixbugs:检测并重写有问题的代码以解决错误。Porttoalanguage:将你的代码翻译成JavaScript、TypeScript、Python、Java、C++或PHP。

图

图8.CodingwithCanvas

数据来源：OpenAI，

MeteMovieGen，逐步“理解”真实物理世界

本次Meta共发布了两个模型：