百度首次现场演示大模型微调过程,「文心一言」调用成本下降 90%
来源:36氪    时间:2023-05-10 17:06:13

文 | 周鑫雨

编辑 | 苏建勋

在大模型 " 扎堆 " 发布的当下,市场亟需更直观的方式,对模型能力做出判断。


(相关资料图)

2023 年 3 月 16 日,在百度文心一言的发布会上,模型采用的是录播 Demo 的演示形式。在 36 氪的专访中,百度 CEO 李彦宏给出了理由:

" 一是生成式 AI 每次给出的答案不一定一样,会带来不确定性。二是真正说服我的理由,是全球所有类似发布会,没有一个是现场演示的,都是录好的。如果大家都可以,那我们也 OK。"

5 月 9 日,在时隔一个多月的技术交流会上,百度一改保守的风格,带来的是对 " 文心千帆大模型平台 " 能力的现场演示。

百度于 2023 年 3 月 27 日推出的文心千帆大模型平台,是集合了文心一言服务调用、第三方模型训练、调优服务和工具的一站式平台。其服务主要分为公有云服务和私有化部署两部分,公有云服务主要包括文心一言推理能力调用、模型微调、模型托管,私有化部署则包括软件授权、软硬一体和租赁服务。

此次现场演示,百度主要展现了文心千帆的推理能力调用和模型微调两部分。

文心一言 Sugar 现场生成了销售额的饼图。

从演示结果来看,文心一言下属的数据可视化应用 Sugar 能够对结构化的数据集进行理解,并快速输出饼图。面对模型无法理解的 " 画折线图 " 需求,百度程序员则通过文心千帆大模型平台的微调功能,导入 100 条标注数据后对 Prompt 进行了现场改写,从而实现了折线图功能。

文心千帆支持模型微调。

这也意味着,文心千帆已经能够通过仅 100 条左右的少量标注数据,高效完成模型的微调及定制化。百度智能云 AI 与大数据平台总经理忻舟表示:" 它(文心千帆)通过图形化的界面,为大家提供非常好的大模型训练推理和应用的平台——我们不需要去了解代码,也不需要做命令行的操作,我们只需要关注到最核心的业务数据、业务应用,在文心千帆平台上去做各种训练和调优。"

与此同时,AI 时代的 " 向内革命 " 也正在百度内部悄然发生,百度搜索、推荐、地图、如流、小度等产品已经接入了文心一言。

百度内部办公软件 " 如流 " 上线了 AI 小助手。关于行业大模型训练成本,小助手给出的回答是 "10 万 -50 万卡时 "。

百度集团副总裁侯震宇表示,对客户而言,成本和模型性能才是评价大模型的两项指标

" 训练一个大模型,动辄三个月,一两千万美元,假如每一个企业都需要付出这么高的代价,门槛那么高,显然百度也不会进入这个市场。" 他表示,即便从头训练模型的成本依然高昂,但是使用大模型、以及基于大模型底座训练和微调模型的成本已经有显著的降低,"现在调用文心一言的成本,已经降低到模型刚发布时(3 月 16 日)的 10%"。

近日谷歌内部流出的一份文件表示,未来 OpenAI 和谷歌等厂商开发的闭源大模型将不可避免地受到开源模型的冲击。有其随着 Meta 自研的大模型 LLaMa 泄露,围绕这一基座的开源模型生态正在迅猛地发展。文件还提到,企业可以免费使用开源模型,并且更加灵活可控。" 我们没有壁垒,OpenAI 也没有 "。

" 大家觉得大模型成本非常高,是因为大模型算力成本高,其次是大模型数据成本。开源模型也绕不开大量的 GPU,所以并不是开源成本一定低。" 侯震宇则向 36 氪给出了相反的答案。

他认为,免费开源模型的调用成本并不意味着更低:" 一方面,一般企业不见得能够用得起两三千张集群卡,另一方面是不一定能够用好,在这么大的集群量中如果出现了 BUG 很难调整,需要有整体的调优服务能力。大模型贵是因为量大且训练时间长,在成本这方面,最终要看是否有整体端到端的成本控制能力,这样一定会比纯粹去买成本要低。"

随着大模型的落地逐渐从 " 摸石过河 " 走向实践的 " 中场战事 ",低成本和高性能将是不同大模型厂商不断演练的课题。

36kr 制图

X 关闭

Copyright   2015-2032 华西咨询网版权所有  备案号:京ICP备2022016840号-35   联系邮箱:295 911 578@qq.com