扩散语言模型
diffusion LLM · kuòsàn yǔyán móxíng · 又作:扩散模型、diffusion LLM
不逐个生成token、而是并行细化整段输出的语言模型,主打生成速度。
扩散语言模型(diffusion LLM)不像传统大模型那样一个token接一个token地往后写,而是对整段输出并行反复细化。据X News,Inception Labs称其Mercury 3靠这种并行细化,每秒可输出超过1000个token,同时保持较高智能。
用法示例
- 据X News,Inception Labs发布扩散语言模型Mercury 3,称每秒输出超过1000个token,支持100万token上下文。