论文Memorilla：16个记忆token效果超过完整上下文

AI研究博主@omarsar0介绍了论文Memorilla：文档先一次性编码为可复用的嵌入，再由一个学习得到的模块把相关信息写入16个“记忆token”，供冻结参数的大模型调用。

据介绍，在FactKG事实核查任务上，该方法准确率为84.33%，高于直接塞入完整上下文的80.43%，所用源token减少约108倍；在TextWorld文字游戏中，智能体成功率从18.6%提升到24.2%。

推瓜社观察：这项结果说明，压缩后的记忆不一定比“全文塞进去”差，对需要长期记忆的AI代理有参考价值。以上数据来自论文介绍，尚待更多复现。