大模子终于学会更新我方了！云开体育

MIT 提议一种新的强化学习框架，让模子生成微调数据和自我更新指示，已矣模子权重的更新。

无需东谈主工参与，模子就不错自动进行梯度更新，自主学习获得新常识或相宜新任务。

该框架名为 SEAL（Self-Adapting LLMs），是一种表里两层嵌套的学习机制。

这种机制下，会凭据更新后的模子在职务上的发达策画奖励，进一步优化自我更新指示的生成计谋。

SEAL 初度在权重层面赋予了大模子自我驱动的更新才能，开脱了皆备依赖外部监督数据的局限。

模子自动学习常识更新计谋

SEAL 在论文中通过两个主要实验任务考据其成果，分手是常识注入（knowledge incorporation）和小样本学习（few-shot learning）。

这两类任务分手对应模子进化中的两种基本情境——记取新常识，以及快速相宜新任务。

常识注入

在常识注入实验中，参议者使用了 Qwen2.5-7B 模子和 SQuAD 数据鸠合的段落及对应问题。

每轮考验启动时，模子罗致到一个新的段落算作输入落魄文，但不会看到与之配套的问题谜底。

模子率先凭据这段输入生成考验数据，然后使用 LoRA 进行一次小范围微调，该过程仅基于生成后的数据，不包括原始段落或问题。

微调完成后，模子会不才游任务上收受评估，需要在莫得原始段落算作输入的情况下，回话多个与该段落筹商的问题。

实验对比了以下几种有策划：

仅用原始段落微调；

使用 GPT-4.1 生成的 implication 句子援手考验；

用 SEAL 自己生成的数据微调。

在单段落场景下，Qwen 原始模子的准确率为 32.7%，使用原文微调晋升至 33.5%；加入 GPT-4.1 合成数据后达到 46.3%；而使用 SEAL 步履进行微调后，准确率进一步晋升至 47.0%。

这评释 SEAL 不仅优于使用原文或非优化的生成数据，以致能卓著由 GPT-4.1 生成的高质料指示数据，发达出较强的常识整合才能。

此外，参议者还使用了篇幅更长的段落进行了测试，包括 200 段落和完好 SQuAD 考据集（2067 段落），SEAL 在 200 段落诞生下达到了 58.2% 的准确率，显赫高于未优化版块，评释 SEAL 不错泛化到更大范围的数据整理任务。

小样本学习

在小样本学习实验中，参议者使用 LLaMA-3.2-1B-Instruct 模子和 ARC-AGI 数据鸠合经过筛选的任务子集。

ARC 任务相同包括些许个示例的图形变换（以文实质式抒发）输入输出对，策划是从中学习法律解说并对一个新输入作念出探讨。

SEAL 罗致到这些示例后，不会平直推理，而是生成一个考验成就，并履行 LoRA 微调，随后模子在该任务的测试输入上进行探讨。

截止披露，SEAL 考验出的计谋使得任务奏效用达到 72.5%，远高于仅使用固定 few-shot 指示的 0%，也彰着优于飞快采样计谋下的 20%。

天然不足东谈主工设定的最优计谋（Oracle TTT）的 100%，但算作由模子自主摸索出的学习旅途，这一奏效用已充分评释 SEAL 具备较强的任务相宜才能。

那么，SEAL 框架是若何责任的呢？

双轮回系统自动生成考验指示

SEAL 的责任过程通俗说即是读取新信息，用我方的言语重写，并进行梯度更新，试验上是进行自主学习。

结构上，SEAL 的系数系统由两部分组成——一个强化学习驱动的外部轮回和一个用于履行参数更新的里面轮回。

在外层，模子面临一个新的输入落魄文（比如一段文本或任务示例），率先生成一条 self-edit 指示。

这是一段天然言语组成的"微调指示"，态状模子应若何基于现时输入来更新我方，包括索取什么样的信息、生成哪些考验样本、使用什么考验参数（举例学习率、考验轮数、亏空函数计谋）等。

这一溜为本质上是模子在联想我方的考验历程。

随后插足内层，模子按照 self-edit 的指示，履行一次微调。

这一步会构造合成考验数据，可能包括推理句、问答对、重述信息，简略针对任务的具体样本变换，并以指定的优化计谋进行权重更新。

更新后得到的新模子将被立即用于管制相应任务（比如回话筹商问题或完成探讨），评估其成果，得出一个发达评分。

这个评分（reward）反应了该 self-edit 对性能晋升的成果，进而用于生成下一步的 self-edit 计谋。

为了完成这个计谋优化，SEAL 使用的是一种非传统的强化学习步履，称为 ReSTEM（Reinforcement Learning with Sampled Trajectories and Expert Mimicry）。

其要害念念路不是平直对 reward 进行梯度回传，而是领受一种活动克隆 + 过滤采样的阵势。

具体来说，在每个落魄文中，模子会生成多个 self-edit 候选，每个候选会被分手愚弄，履行一次微调，得到一个新模子。

然后会对新模子在职务上的发达进行评估，只消带来性能晋升的 self-edit 才会被保留。

接着用这批"有用"的 self-edit 算作考验数据，对生成计谋进行一次有监督微调（活动克隆），然后反复迭代，使得模子越来越倾向于生成有用的 self-edit。

ReSTEM 本质上是一个生机最大化过程，比较 PPO 等计谋梯度步履，ReSTEM 结构更通俗，考验更褂讪，同期也更适用于大模子的生成活动学习任务。

通过这一套机制，SEAL 已矣了"学会若何让我方学得更好"。

模子不仅能通过已稀有据完成任务，更能主动联想考验阵势、构造考验数据，并不停通过反馈优化这种"自学习"的计谋。最终发达为一种具备自我剪辑与握续进化才能的言语模子结构。

论文地址：

https://arxiv.org/abs/2506.10943

名堂主页：

https://jyopari.github.io/posts/seal

一键三连「点赞」「转发」「戒备心」

宽饶在筹商区留住你的方针！

—  完  —

� �  年度科技风向标「2025 东谈主工智能年度榜单」评比报名开启啦！咱们正在寻找 AI+ 时间领航者  点击了解细目

❤️‍� �   企业、家具、东谈主物 3 大维度，共开荒了 5 类奖项，宽饶企业报名参与   � �  

一键眷注 � � 点亮星标

科技前沿进展逐日见云开体育