游侠网云服务,免实名免备案服务器 游侠云域名,免实名免备案域名

统一声明:

1.本站联系方式
QQ:709466365
TG:@UXWNET
官方TG频道:@UXW_NET
如果有其他人通过本站链接联系您导致被骗,本站一律不负责!

2.需要付费搭建请联系站长QQ:709466365 TG:@UXWNET
3.免实名域名注册购买- 游侠云域名
4.免实名国外服务器购买- 游侠网云服务

Meta FAIR团队重磅发布了Code World Model(CWM)——一个参数量为32B、支持最长131k token上下文的开放权重LLM。CWM把“世界模型”的思想带到代码生成与推理中,让模型不仅会写代码,还能模拟代码执行过程、推理程序状态、自我检测并修复Bug。

核心创新:代码不只是文本

当前传统的代码预训练是把代码视为静态文本,模型主要学习逐行预测代码——学到的是语法、常见模式和命名约定,但并不懂执行过程。CWM的核心出发点是:让模型学会观察-行动-观察的执行轨迹。

这种技能对软件工程师的日常工作至关重要:在局部层面,了解一行代码的执行如何改变局部变量的状态;在全局层面,预测代码库的变化将如何影响程序的输出。

模型规格

CWM是一个32B参数、支持超长上下文(最高可到131k tokens)的LLM,采用局部+全局交替机制和长序列稳定化技巧。训练分为三大阶段进行。

开源策略

为了支持社区研究,Meta还开源了CWM在中期训练、SFT和RL阶段的权重检查点。Meta首席AI官Alexandr Wang呼吁研究界对这个开放权重的模型进行研究。


📌 本文来源:36氪
🔗 原文链接:点击查看原文全文