Eagle Corp开源投机解码方案EAGLE-4,称生成速度达标准方法4倍
据X News,Eagle Corp发布了开源的投机解码升级方案EAGLE-4。它用一个小型草稿模型以树状结构预测接下来的token,再由主模型快速批量验证,输出内容不变。
据X News,在4块NVIDIA B300 GPU上运行Qwen3.8-27B时,EAGLE-4达到每秒961.6个token,约为标准方法的4倍,并超过DFlash 2等同类方案。代码已在GitHub公开,可接入vLLM等推理引擎;LightSeek Foundation、Hyperbolic Labs等合作方已跟进。
据X News,该方案已用于NVIDIA、Meta和Perplexity的系统,主要用在编程助手和长文档等对速度要求高的场景。
以上为X News转述,性能数字为发布方数据,本社未独立核实。
来源与说明 · 据X News本文依据X News摘要整理,本社未独立核实。
原文:https://x.com/i/trending/2112669169216790929
原文:https://x.com/i/trending/2112669169216790929