2026年的AI范式或许已悄然发生了剧变。在过去的一年里,人工智能领域的长文本处理能力经历了前所未有的飞速发展。从128k到1M再到10M的上下文窗口(Context Window)内卷化过程,表面上看似技术的进步,但实际上却隐藏着深层次的问题。基于Transformer注意力机制的线性扩张,正面临着物理与效果的双重边际递减,这让我们不得不重新思考AI的未来。
其核心思想是借鉴计算机科学中的“外存算法” (Out-of-core algorithms),不要把长 Prompt 直接喂给神经网络,而是把它放在一个外部的 Python REPL 环境里。 Prompt 被加载为环境中的变量context 。模型不再像以前那样生吞整个字符串,而是通过编写代码(如len (context) , context.split , re.search )来按需读取数据 ...
新年伊始,MIT CSAIL 的一纸论文在学术圈引发了不小的讨论。Alex L. Zhang 、 Tim Kraska 与 Omar Khattab 三位研究者在 arXiv 上发布了一篇题为《Recursive Language ...
早在 2025 年 10 月,Zhang 和他的导师 Omar Khattab 就在博客上公开了初步想法,引发了一些关注。如今这篇正式论文带来了更系统的实验和更扎实的数据,论证了通过让语言模型把长文本当作“外部环境中的变量”来处理,可以让模型有效处理超出其上下文窗口 2 个数量级的输入。
2025年的最后一天, MIT CSAIL提交了一份具有分量的工作。当整个业界都在疯狂卷模型上下文窗口(Context ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果