在 2024 年 3 月 23 日的全球开发者先锋大会上,一家通用大模型初创公司——阶跃星辰,正式对外发布了 Step 系列通用大模型,包括 Step-1 千亿参数语言大模型、Step-1V 千亿参数多模态大模型以及 Step-2 万亿参数 MoE 语言大模型预览版。

据阶跃星辰 CEO 姜大昕透露,2023 年 8 月,Step-1 千亿参数语言大模型一次性训练成功,用时仅有两个月,综合性能超过 GPT-3.5;11 月,千亿参数的多模态大模型 Step-1V 也训练完成;Step-2 万亿参数 MoE 语言大模型预览版,则是国内大模型初创公司首次发布的万亿参数模型。

刚刚过去的 2023 年,国内大模型领域经历了「百模大战」。现在都 2024 年了,这家初创公司为何此时现身?

因为「new game」开始了。尽管过去一年,一度每隔一天就有一个新的大模型官宣,不到 10 月便已有超过 230 个大模型,但当下回头再看,很多的模型已经悄然沉默,停止更新。

一个变化是,围绕 Law(即模型规模扩大带来的性能提升)的业界共识正在逐渐清晰。业界关心的问题早已不再是简单的模型发布,而是模型是否能够持续沿着 Law 的路径,不断提升规模和性能。

在这个新的阶段,谁能掌握 Law 的力量,谁才能在这个「new game」中脱颖而出。

同时,多模态也是这局「new game」的关键。 的发展路径以及 Sora 最近给到所有人的冲击已证明了这一点。在文本模型发展到一定阶段之后,多模态模型将成为通向 AGI 的重要路径。

阶跃星辰选择在这个时刻公开过去一段时间的「潜水成果」。自成立起,阶跃星辰就在算力、数据、算法和系统这四大要素上综合布局,在大模型技术路径上坚定投入攀登 Law,更是在成立初期就已认识到多模理解和生成的统一是通往 AGI 的必经之路。他们相信,自己来的时间刚好,甚至在这场「new game」里已占据先机。

01

千亿起步,万亿在途,

长于多模态理解的模型

阶跃星辰,这家从成立时就备受关注的大模型公司,在 3 月 23 日的全球开发者先锋大会上,正式发布了积淀一年的成果——Step 系列通用大模型。

首先是 Step-1 千亿参数语言大模型,两个月一次性训练成功,已完成充分打磨,在逻辑推理、中文知识、英文知识、数学、代码方面的性能全面超越 GPT-3.5。

Step-1V 千亿参数多模态大模型,则在中国权威的大型模型评估平台「司南」()多模态模型评测榜单中位列第一,性能比肩 GPT-4V。

特别值得关注的是 Step-1V 的多模理解能力突出,可以精准描述和理解图像中的文字、数据、图表等信息,并根据图像信息实现内容创作、逻辑推理、数据分析等多项任务。此外,Step-1V 亦可实现视频理解。

Step-1V 理解分析能力展示 | 来源:阶跃星辰官网

同时,阶跃星辰还发布了 Step-2 万亿参数语言大模型预览版,提供 API 接口给部分合作伙伴试用。该模型采用 MoE 架构,聚焦深度智能的探索。据了解,参数量从千亿到万亿,增长了一个数量级,对算力、系统、数据、算法四个方面都提出了极高的要求,业内只有极少数公司能做到。

跃问是啥_跃问app_跃问

Step-2 万亿参数语言大模型预览版 | 来源:阶跃星辰官网

能够千亿参数一次训练成功,并且高效率训练万亿参数模型,体现了阶跃星辰的核心技术能力,而这背后是面向 AGI 目标更加精准设计的核心团队构成。

阶跃星辰的 CEO 姜大昕同时也是团队里的算法负责人。第一次接触到 时,他被震撼到了。

多年的研究工作让他清楚地知道,对于自然语言处理而言,常识和推理是两个最难的问题,此前如果向聊天机器人提问年龄,一般基于检索的聊天机器人并不具备要用今天的日期减去「出生」日期的常识,就会乱答一气,但 给出了不一样的回答,「我是 2019 年被训练完成的,今天是 2022 年的一天,所以我今年 3 岁了」,常识和推理能力已具备。

姜大昕意识到, 是一个划时代的技术变革。但如果继续待在微软,他只能在 的模型上去做一些应用,模型的「黑盒」不会向他开放,他想打开模型的「黑盒」,自己做算法,自己从底层做出更大的颠覆,「这才是让我真正感到有激情,一定要自己亲自去做的一件事情」。创业的念头就在此间形成。

想法有了,接着就是团队的搭建。姜大昕认为大模型发展非常依赖数据的质量,目前在阶跃星辰负责数据团队的焦斌星博士,是前微软必应引擎核心搜索团队负责人,此前在微软待了 11 年,基本都在研究搜索引擎相关,而这些经验,特别是在跨语言数据上的 Bing 搜索引擎上的独特积累,对于中国大模型训练数据的优化和训练效率与质量的提升,至关重要。

算法、数据之外,对于大模型而言,重要的还有系统,只有具备足够强的系统能力,才能在 Law 的「无限算力」需求上持续探索。阶跃星辰的系统负责人朱亦博,也在微软研究院度过了不少时间,拥有多次单集群万卡以上的系统建设与管理实践经验。这种大算力系统的经验,是极其宝贵的。

同在一线经历过去 10 年 AI 更新迭代,在 这波大模型到来的时候,姜大昕他们三人意识到,「这是一个非常大的技术变革,一定要自己下场,以最快速、最灵活、最全面的方式来投身到变革中去。」2023 年 4 月,阶跃星辰成立,一个在算法、数据和系统三大要素上国内最强的团队组合,自此诞生了。

姜大昕坚信自己的团队是国内能够把 Law 运用到最好的团队。与此同时,阶跃星辰与国内其他大模型公司最大的不同,就是一上来不只是先复现和追赶 的文本模型能力,更要追求多模态理解和生成的统一,因为他相信如果最终目标是实现 AGI,这种统一是最重要的路径,这也是随着过去一年技术发展不断揭开迷雾后,越来越明确的判断。

多模态能力也是阶跃星辰最核心的优势之一。从 推出 Sora 的动作可以看出,语言模型的发展一方面在 Law 下看到了确定的路径,同时语言模型也在进一步推动多模态能力的突破,比如 GPT-4V 对于 Sora 训练中标注的作用,已经带来了令人期待的新发展空间,所以大模型接下来在多模态领域的发展,特别是对理解和生成的统一上,是一个「new game」,也是更加重要的方向

据了解,阶跃星辰不止训练了自己的大模型,也已经围绕 Step-1 和 Step-1V 千亿参数大模型,推出了两款 C 端产品,效率工具「跃问」和 AI 开放世界平台「冒泡鸭」,均已全面开放使用。

「冒泡鸭」里有剧情,有人物,用户可以在其中开放探索,主打有趣、好玩,强调模型的高情商;「跃问」则是一款效率工具,主打有用,强调模型的高智商。同时,这两款产品的共同点在于在多轮对话、执行指令以及进行逻辑推理方面的强性能。

跃问_跃问app_跃问是啥