英伟达准备冲击世界最强开源模型,Nemotron 4至少1万亿参数
据动察 Beating 监测,英伟达正在加码 Nemotron 4,希望把它做到全球最强的开放模型之一。《The Information》援引多名项目员工称,系列最大模型预计至少有 1 万亿参数,约为 Nemotron 3 Ultra 的两倍。具体规格和发布时间尚未确定,最终训练也还没开始。
英伟达希望用更强的开放模型带动 GPU 需求。公司近年明显增加自研模型的算力投入。截至今年 4 月,未来数年的云服务采购承诺已增至 280 亿美元,约为一年前的 3 倍,不过其中也包括其他研发用途。
Nemotron 4 还拉上了一批外部公司共同开发。Cursor、Mistral、Thinking Machines、Reflection AI 等会提供训练数据、评测和模型设计,Prime Intellect 还贡献了 30 万个模拟环境。
问题是,这些公司内不少本来就是英伟达的客户或被投企业。OpenAI 等头部模型公司也是它最大的 GPU 买家之一。现在英伟达自己冲击一线开放模型,既想把开放模型市场做大,也开始和自己的客户、合作伙伴竞争。