字節跳動推擴散語言模型，推理速度提升 5.4 倍

天龍

綜合中媒報導，字節跳動 Seed 團隊宣布，推出實驗性擴散語言模型「Seed Diffusion Preview」，目標是以結構化的代碼生成為實驗領域，系統性驗證離散擴散技術路線做為下一代語言模型基礎框架的可行性。

實驗結果顯示，Seed Diffusion Preview的代碼推理速度可達2146 tokens/s，較同等規模的自回歸模型提升5.4倍。

 

Seed團隊指出，在實現高效採樣的同時，模型在多個代碼生成基準測試中，表現出與同規模自回歸模型相當的性能。另在代碼編輯（如CanitEdit等）這類需要全局視角規劃的任務中，模型展現了擴散模型框架的內在優勢，性能超過基於自回歸的模型，為解決更複雜的結構化推理問題提供了新的可能性。

Seed團隊續指，Seed Diffusion Preview驗證了離散擴散模型在大型語言模型上的推理加速潛力，並認為推理加速僅是此一技術路徑最直接的表層優勢。Seed Diffusion項目將致力於挖掘其更深遠的價值，持續探索其規模化定律與在複雜推理任務中的應用。

錄自：科技新報