DeepSeek开源内部推理框架DeepInfer，同步开源token编解码组件deepseek-recipe

DeepSeek官方账号（@deepseek_ai）10月20日发帖，宣布其内部推理框架DeepInfer“now fully open source”，代码已发布在GitHub。官方称，DeepInfer以高吞吐量、低延迟支撑DeepSeek-V4.1-Flash的大规模服务；开源这套生产环境技术栈，是为了帮助社区降低算力成本、减少能耗，让AI更便宜。

据官方帖子，DeepInfer包含高性能kernel与优化后的推理引擎、分布式推理与投机解码，以及SWA Bounded Replay和结构化输出等功能。官方还称，未来DeepSeek模型的推理代码和后续优化也会放进这个仓库。

DeepSeek同时开源了deepseek-recipe，即其生产环境使用的token编码与解码组件。官方称，它与官方DeepSeek API背后的处理逻辑一致，社区自行部署时可以得到与官方API相同的行为。官方表示将继续与社区合作，提升从私有部署到公有云的大规模推理效率。

AI博主歸藏（@op7418）转发称，借助该框架“可以实现跟他们类似的高吞吐量和低延迟表现”。截至发稿，官方首帖获533赞、89次转发。

以上为DeepSeek官方自述，性能表现本社未独立核实。