剛剛，Meta FAIR推出了代碼世界模型！
CWM（Code World Model），一個參數(shù)量為32B、上下文大小達131k token的密集語言模型，專為代碼生成和推理打造的研究模型
這是全球首個將世界模型系統(tǒng)性引入代碼生成的語言模型。
與現(xiàn)有代碼大模型相比，CWM最與眾不同的一點在于，它不僅能生成代碼、理解語義。
更關鍵的是，它“懂得”代碼如何執(zhí)行，能模擬代碼運行過程中變量的狀態(tài)變化與環(huán)境反饋，從而推動代碼理解、調(diào)試乃至規(guī)劃的整體能力提升。
也就是說，它具備接近人類程序員的思考能力。
在多個代碼與推理任務上，CWM均有出色表現(xiàn)，譬如其在SWE-bench Verified得分65.8%，領先所有開源同規(guī)模模型，已接近GPT-4級別。
更重要的是，Meta FAIR這次開源了模型代碼、訓練細節(jié)以及多個階段的權重檢查點，誠意十足。
有人給LeCun留言問：
“你不是一直認為語言模型只是AI道路上的一個支線（LLMs are an off ramp），怎么又推出了以語言模型為基礎的世界模型？”
LeCun輕松回復稱：
是的，不過咱現(xiàn)在講的是編程，不是ASI喲～
讓大模型“懂動態(tài)執(zhí)行”
CWM的誕生，直擊當前大模型在代碼生成中的一大痛點：
盡管現(xiàn)有大模型已經(jīng)具備寫代碼的能力，但代碼執(zhí)行效果并不穩(wěn)定，生成內(nèi)容難以調(diào)試、不可執(zhí)行，甚至存在隱藏邏輯錯誤。
FAIR團隊認為，其根源在于大模型只是把代碼當作文本來預測。
它不理解代碼會如何運行，對變量狀態(tài)的變化、函數(shù)調(diào)用的副作用一知半解（甚至一無所知）。
在FAIR團隊看來：
如果希望模型像程序員一樣思考，就必須教會它代碼執(zhí)行的“世界狀態(tài)”變化。