高下文彭胀至 1 万 tokens，LLM 集体"失智"！

且"智力"不是均匀下降，而是在一些节点霎时断崖式下降。

比如 Claude Sonnet 4，等于在 1000tokens 后准确率通盘下滑，从 90% 降到 60%。

或者是下降后放缓再下降，比如 GPT-4.1 和 Gemini 2.5 Flash。

最终，当高下文长度来到 1 万 tokens，大家齐只剩 50% 准确率。

这也就意味着，大模子在读磨灭册书第 10 页和第 100 页时的"智力"可能不雷同。

况兼不同大模子在"读这本书"时霎时降智的页数也不同。

GPT-4.1 可能读到第 10 页就"失智"了，Claude 兴许能坚捏到第 100 页。

这是 Chroma 团队的最新筹商论断，他们用升级版"大海捞针"（NIAH）测试了包括GPT-4.1、Claude 4、Gemini 2.5 和 Qwen3等在内的18 个开源和闭源的主流大模子。

收尾清晰，跟着输入长度的增多，模子的性能越来越差。

实验还初次系统性地揭示了输入长度对模子性能并非均匀影响，不同模子性能可能在某一 tokens 长度上准确率发生骤降。

这项职责得到了网友的信服：

以往东说念主们简略会际遇当输入长度增多时大模子会出现性能欠安的情况，但并莫得东说念主深远探究过这个问题。

刻下代码已开源，感兴味的一又友可复现～

1 万 tokens 是个坎儿

Gemini 1.5 Pro 在 2024 岁首次引入了 1M 高下文窗口，随后 GPT-4.1 也加入到了 1M 高下文队伍中。

更长的高下文意味着 LLM 每次调用不错处理更多信息，似乎能生成更合理的输出。

确乎，这些模子在"大海捞针"（NIAH）这些基准测试中发扬雅致。但实验上，现存基准测试有一个局限性是在于它们倾向于把输入长度与任务难度相提并论。

NIAH 本色上是一个浮浅的检索任务，它是将一个已知县实（"针"）摈弃在一大段不干系文本（"干草堆"）中，然后要求模子检索它。

这种本当事者要评估大模子径直的词汇匹配才智，无法代表更生动、面向语义的任务。

其他更复杂的任务，举例包含非词汇匹配的 NoLiMa 和测试文本片断缺失识别的 AbsenceBench，一经揭示了模子性能在输入长度增多时出现的权臣下降，但莫得进行更深远地探讨。

为了处理经典 NIAH 的局限性，并更好地探究仅输入长度对模子性能的影响，筹商东说念主员彭胀了尺度的 NIAH 任务。

筹商东说念主员基于保捏任务复杂度不变，只篡改输入长度中枢原则，设想了四项对照实验。

先说论断，四项对照实验（针 - 问题相似度、干与信息、针 - 干草堆相似度、干草堆结构实验）共同讲授了 LLMs 的性能会随输入长度增多而权臣且非均匀地下降，且这种衰减受输入内容的语义特征、结构等身分影响。

具体发扬为：

输入长度是性能衰减的中枢变量，不管任务浮浅与否，模子处理长文本的可靠性齐会下降；

语义关联性（如针 - 问题相似度低、针与干草堆语义交融）会加重衰减；

干与信息和文本结构（如逻辑连贯的干草堆）会进一步削弱模子在长高下文任务中的发扬；

不同模子对这些身分的敏锐进度存在互异，但全体均无法看守踏实性能。

第一项是针 - 问题相似度实验：考据"针"与"问题"的语义相似度是否会影响模子在长高下文任务中的发扬，尤其是输入长度增多时，低相似度是否会加重性能衰减。

实验录取了保罗・格雷厄姆散文 ( PG essay ) 和 arXiv 论文行为布景数据（干草堆），针对其中枢主题设想问题，并为每个问题生成 8 个与主题匹配且未出刻下干草堆中的 "针"，通过 5 种镶嵌模子策划"针 - 问题"余弦相似度，分为高、低相似度两组。

实验截止任务复杂度和干草堆内容，仅退换输入长度（10 ² 到 10 ⁴ tokens）和相似度，以模子回应准确率为宗旨（由 GPT-4.1 评估，与东说念主类判断一致性跳动 99%）。

收尾清晰，通盘模子性能均随输入长度增多而下降，到1 万 token 独揽下降最显明，且低相似度组衰减更权臣——

高相似度组在 10 ⁴ tokens 时准确率约 60%-80%，低相似度组降至 40%-60%，高性能模子虽在短输入时发扬更好，长输入下仍难幸免衰减。

这标明，"针 - 问题"语义相似度是要道影响身分，相似度越低，长输入下模子性能衰减越剧烈，揭示了现存模子处理迟滞信息的局限性。

第二项是干与信息实验：探究当输入长度变化时，与标的信息（针）干系但不匹配的干与内容对 LLMs 性能的影响，尤其是干与项数目和个体互异是否会加重性能衰减。

筹商团队从保罗・格雷厄姆散文和 arXiv 论文两类干草堆中，录取与问题语义相似度较高的"针"，并手动设想 4 个干与项。

实验树立了三种条款：基线（仅含"针"，无干与项）、单一干与项（"针" +1 条赶紧位置的干与项）、多重干与项（"针" +4 条赶紧散播的干与项）。

通过截止任务复杂度（仅需检索"针"并回应问题），仅退换输入长度（从 10 ² 到 10 ⁴ tokens）和干与项数目，以模子回应的准确率为宗旨。

收尾清晰，即使单一干与项也会导致模子性能低于基线，而加入 4 条干与项会进一步加重性能衰减。

在输入长度为 10 ⁴ tokens 时，多重干与项条款下模子准确率比基线低 30%-50%。

此外，模子对干与项的反馈存在互异：Claude 系列倾向于在不信服时弃权（明确暗意无法回应），幻觉率较低；GPT 系列则更可能生成自信但失误的谜底，受干与影响更显明；Gemini 和 Qwen 模子的发扬波动较大，易受干与项数目和输入长度的双重影响。

第三项是针 - 干草堆相似度实验：探究标的信息（针）与布景文本（干草堆）的语义相似度对 LLMs 长高下文任务性能的影响。

实验录取保罗・格雷厄姆散文和 arXiv 论文行为干草堆，针对其中枢主题设想问题及 8 个匹配主题的"针"（确保未出刻下干草堆中），通过 5 种镶嵌模子策划"针 - 干草堆" 余弦相似度并取平均值以保证隆重性。

实验截止任务复杂度，仅退换输入长度（10 ² 到 10 ⁴ tokens）和相似度，以模子回应准确率为宗旨。

收尾清晰，针 - 干草堆相似度对模子性能的影响不长入，不同模子敏锐度存在互异，但全体上跟着输入长度增多，各相似度条款下的模子性能开阔下降。

第四项是干草堆结构实验：探究布景文本（干草堆）的结构样式对 LLMs 长高下文任务性能的影响。

实验录取保罗・格雷厄姆散文和 arXiv 论文行为干草堆，针对其中枢主题设想问题及 8 个匹配主题的"针"（确保未出刻下干草堆中），树立连贯结构（文本按原逻辑划定呈现）和打乱结构（文本划定赶紧打乱）两种条款。

实验截止任务复杂度，仅退换输入长度（10 ² 到 10 ⁴ tokens）和干草堆结构。

收尾清晰，大量模子在连贯结构中随输入长度增多性能下降更权臣，而打乱结构下性能下降较收缩——

输入长度 10 ⁴ tokens 时，连贯结构中部分模子准确率降至 30%-40%，打乱结构则看守在 50%-60%。

这标明干草堆结构是要道影响身分，现存模子处理复杂逻辑结构的长文本时挑战更大。

团队还设想了重叠单词实验，说明即使是最基础的文本复现任务，LLMs 在长高下文下的踏实性也存在严重过错，且输入与输出长度的同步增长会加重这一问题。

这些实验收尾共同讲授，尽管大型讲话模子的高下文窗口逼迫增长，但其性能并非均匀一致。

基于 LLMs 在长文本任务上的过错，也有东说念主给出了应付战略：给出明确、知晓的教唆，况兼在蕴蓄到实足的信息后保存高下文，添加一个检查点。

Chroma ——开源的 AI 应用数据库

Chroma 极力于开导开源软件，由 Jeff Huber（左）和 Anton Troynikov（右）共同创立。

公司公开导布的同名数据库 Chroma 是一个开源的 AI 应用数据库，旨在通过将学问和手段整合为大讲话模子可调用的模块，简化 LLM 应用的构建经由。

团队活跃于 LLMs 长高下文处理、检索增强生成（RAG）等领域的筹商，以处理大模子在实验应用中对长文本信息的缅念念、提真金不怕火和愚弄效果问题。

刻下，Chroma 预备推出免费的工夫预览，并暗意：

咱们 100% 专注于构建有价值的开源软件。

代码地址：https://github.com/chroma-core/context-rot

参考邻接：

[ 1 ] https://research.trychroma.com/context-rot

[ 2 ] https://news.ycombinator.com/item?id=44564248

一键三连「点赞」「转发」「戒备心」

接待在评述区留住你的念念法！

—  完  —

专属 AI 产物从业者的实名社群，只聊 AI 产物最落地的真问题   扫码添加小助手，发送「姓名 + 公司 + 职位」请求入群～

进群后，你将径直获取：

  � � 最新最专科的 AI 产物信息及分析 � �  

  � �   不如期披发的热点产物内测码 � �

  � �   里面专属内容与专科盘问 � �

� � 点亮星标 � �

科技前沿进展逐日见开云体育(中国)官方网站