田渊栋的“AI造AI”,第一次交作业
美国当地时间10月21日,AI创业公司Recursive发布了开源模型Flint。这是一款总参数量约400亿、面向本地编码智能体的混合专家(MoE)语言模型,SWE-bench Pro v2得分达到89.7%。
相比模型参数和Benchmark成绩,Flint更受关注的地方在于它的研发方式。从架构搜索、量化方案到GPU内核优化,Recursive旗下AI研究系统Eureka Machine参与了模型研发的几乎所有环节。整个过程不到四个月,模型从零开始完成训练。
01、AI参与“三大”环节
Flint采用MoE架构,总参数量398亿,每次计算激活约25亿参数。这种设计降低了本地部署门槛,在Apple M4 Pro上推理速度达每秒131.22个token。在基准测试中,Flint在编程、终端操作和指令遵循上表现优异,SWE-bench Pro v2冲到了近90%。
在打造Flint的过程中,Eureka Machine主要参与了三大环节:
- 架构搜索:模型共49层,结合滑动窗口与全注意力机制,配置经自动化探索确定。
- 量化:将模型体积缩小约71%,同时控制精度损失,使其更易在消费级硬件上运行。
- GPU内核优化:针对不同硬件调整底层计算实现,将传统需要工程师反复操作的工作纳入自动化流程。
02、距离真正的“AI造AI”还很远
Flint展示了一种新的研发组织方式:让AI系统承担模型研究中的部分试错工作。Eureka Machine会提出候选方案、执行实验、检查结果,再决定下一步尝试。
不过,这与完全自主的递归自我改进(RSI)仍有距离。RSI通常指AI不仅能改进自身,还能自主决定改进方向并持续推进。目前Eureka Machine主要在既定目标和约束下优化方案,研究问题和优化目标仍离不开人类参与。因此,Flint证明的是AI已能实质性参与模型研发,而非独立完成整个研究过程。
03、新模型全面开源与团队背景
Flint采用Apache 2.0协议开放权重,相关文件托管在Hugging Face上。开发者可自行部署或修改。
Recursive由前Salesforce首席科学家理查德·索切尔和前Meta首席研究员田渊栋联合创立。公司已完成6.5亿美元融资,估值46.5亿美元,投资方包括谷歌风投、英伟达等。团队希望将自动化研究做成一套可复用的系统,Flint是首次公开成果。
04、自动化的边界
随着AI参与自身研发,安全问题受到关注。索切尔认为,Eureka Machine目前仍处于人类监督之下,研发围绕明确任务展开,研究人员能检查结果并决定是否继续。
Flint交出的第一份答卷,是把部分模型研发工作交给AI,并在不到四个月内完成一款开源模型。接下来需要验证这种方法能否稳定复现,以及在扩大自动化程度后,研究人员能否保持足够的控制力。
原始来源: 36氪 ↗
本文由博一・AI营销中枢整理编辑,用于行业观察分享。观点归原作者所有。