猫眼电影记者 华尔兹 报道w3u7903ejky2ywls

本文作者李宏康，博士毕业于美国伦斯勒理工大学，本科毕业于中国科学技术大学，并即将前往宾夕法尼亚大学担任博士后研究员。研究方向包括深度学习理论、大语言模型理论等等。本文的通讯作者为伦斯勒理工大学的汪孟教授。

任务向量（task vector）方法近来在许多视觉和语言任务中表现出了在效率与可迁移性方面的优势。但是由于人们尚未深入理解任务向量的理论机制，其在更广泛与更大规模的应用中面临挑战。

近期，一个来自美国伦斯勒理工大学、密歇根州立大学 OPTML 实验室、和 IBM 研究院的研究团队从神经网络的优化和泛化理论的角度分析了任务向量在模型编辑中的有效性。该工作已经被 ICLR 2025 录取，并被选为前 1.8% 的 Oral 论文。

论文标题：When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers论文地址：https://openreview.net/pdf?id=vRvVVb0NAz

背景介绍

任务向量（task vector）是指微调得到的模型与预训练模型之间的权重差值。人们发现，将不同的任务向量进行线性算术运算后叠加在一个预训练模型上可以直接赋予此模型多种全新的能力，例如多任务学习（multi-task learning）、机器遗忘（machine unlearning）、以及分布外泛化（out-of-domain generalization），其优势是无需使用下游任务的训练数据对模型进行微调。

这种基于任务向量的直接运算对模型进行编辑从而做下游任务预测的方法被称为任务运算（task arithmetic）。

由于缺乏对该方法的理论研究，本文重点探索任务向量方法能够被有效且高效使用的深层原因。我们的贡献如下：

我们为任务加法和减法运算的有效性提供了一个特征学习的理论分析框架。我们给出了任务运算在分布外泛化的理论保证。解释了任务向量的低秩近似和模型剪枝的理论机制。

初步观察

我们从一个简单的问题出发：组合多个任务向量的系数会受到哪些因素的影响？

直觉告诉我们，任务间的关系可能是一个关键因素。比如说，在多任务学习中，让一个模型具备两个相似任务的能力，理应是更容易的。

为了论证这一点，我们用 Colored-MNIST 数据集构建了一组二分类实验。其中，分类的标准是数字的奇偶性。我们通过调整数字的颜色来控制任务之间的关系。

于是，我们设计了「相似任务」（aligned tasks）、「无关任务」(irrelevant tasks)、「相反任务」(contradictory tasks) 的任务关系。

根据上图所示的实验结果，我们有以下观察：

在多任务学习和机器遗忘的实验中，最佳的任务运算系数会随着给定的任务向量间的关系的不同而改变。在分布外泛化的实验中，目标任务与给定任务的正反相关性可以被最佳的任务运算系数的正负性反映出来。

以上的两点发现引向了一个重要的研究方向：任务关系会如何影响任务运算。

理论分析

我们在二分类问题的设定下研究该问题。我们以一层单头的带有 softmax attention 的 Transformer 为理论分析的基本模型，用 Ψ 来表示所有权重参数的集合，其中包括 attention 层的参数 W 以及 MLP 层的参数 V。仿照许多特征学习（feature learning）的理论工作，我们做如下的数据建模：定义 μ_T 为当前任务的 discriminative pattern。数据 X 中的每一个 token 都是从 μ_T、-μ_T 以及无关的 pattern 中选择的。如果对应于 μ_T 的 token 个数多于 -μ_T 的个数，那么 X 的标签 y=1。如果对应于 -μ_T 的 token 个数多于 μ_T 的个数，那么 X 的标签 y=-1。

接下来我们给出使用两个任务向量进行多任务学习和机器遗忘的理论结果。

定理 1的结果表明：当两个任务是相似的关系的时候，将任务向量叠加可以得到理想的多任务学习性能，即泛化误差在两个任务上都达到 ϵ。

定理 2的结果表明：当两个任务是相反关系时，用 T_1 的任务向量减去 T_2 的任务向量可以得到理想的机器遗忘性能，即 T_1 的泛化误差达到ϵ，而 T_2 的泛化误差较大。

定理 3的结果表明：总是存在一组 λ_i，使得融合多个任务向量得到的模型可以在目标任务 T' 上取得理想的泛化性能。

我们还在理论上论证了对任务向量进行高效应用的方法。在我们的一层 Transformer 以及二分类问题的框架下，我们得出了推论 1：任务向量可以被低秩近似，同时只会造成很小的预测误差。这意味着人们可以将各种低秩训练和推断方法用在任务向量中，从而大大节省任务向量的计算和存储开销。

我们还可以得到推论 2：训练得到的任务向量在 MLP 层中的部分神经元权重较大，而剩余的神经元权重很小。对这些小的神经元进行剪枝只会引起很小的误差，从而使得前面所有定理依然成立。这个推论为对于任务向量进行权重剪枝与稀疏化提供了理论保障。

实验验证

我们下图的结果表明：实验中得到的能够带来出色的分布外泛化性能的 λ_1，λ_2 区域（图 A 的红色部分）与定理 3 中证明得到的（图 B 的红色部分）一致。

我们接下来用 Phi-3-small (7B) 模型对任务向量在机器遗忘中的表现进行验证，所使用的数据集为《哈利波特 I》（HP1），《哈利波特 II》（HP2），《傲慢与偏见》（PP）。其中，由于出自相同的作者 J.K. 罗琳，《哈利波特 I》与《II》的语义相似度较高，而《傲慢与偏见》与另外两个数据集不太相似。

总结

本文定量证明了如何根据任务间关系确定任务运算系数，从而实现理想的多任务学习、机器遗忘、以及分布外泛化的方法，解释了使用低秩和稀疏任务向量的可靠性。本文的理论通过实验得到了验证。

  时事1：911在线无码精品㊙️入口游戏

  04月27日,韩国民众谈“戒严令”风波：希望好好安定下来,

　　尤其是穿山甲那般庞大，每次冲击，或者祭出宝具时，都令乱石穿空，砸伤了很多人，最少有二三十名凶寇被误杀。

,孕妇高潮XXXXX孕妇。

  04月27日,中国财长撰文：加快落实一揽子隐性债务化解政策,

　　这四人都是中年男子，年富力强，都在最强盛的状态，符文一转，天地如雷罡汹涌，蓝色闪电劈舞，而后化成了浪涛，向着小不点那里冲去。

,异形之馆下载,性生交大片免费看狂欲,吴燕妮奶头好大。

  时事2：AI-杨幂-激情无码大片第二季

  04月27日,天天学习丨中南海月刊（2024.04）,

　　众人所为何来，不就是为了那震古烁今的无上宝术吗？

,[火影同人]残骨(佐樱\/穿越\/囚禁梗)七,18❌动漫免费网站外国,婬乱婬妺妺帮我做H第一次高干文。

  04月27日,空军通信某旅专攻精练畅通指挥链路,

　　5、关注学生的安全。

,高清🔞❌♋破解版91,㊙️3d网站成人漫画在线,狂躁美女BBBBBB免费直播。

  时事3：公猪钻进女人子宫会怎么样

  04月27日,韩国国会通过“解除戒严”决议 中新社记者现场直击,

　　“一群突然出现的凶寇，曾经来过一次，向我们索要黑金，期限到了，我们交不上，结果他们就屠村，连我们的祭灵都战死了。”老人一边说，一边哭泣，这么大的年岁，白发粘着血与泪，让人心酸与愤怒。

,欧美∨iboss,国产做爰XXXⅩ高潮视频12p,国产69tv精品久久久久99。

  04月27日,第八届全国科技馆辅导员大赛全国总决赛举办 50个项目获一等奖,

　　他手中的黄金战矛一挥，参与布阵的人如稻草人般飞起，而后成片的倒下，血液四溅，无人能挡住他的步法，他一往无前，大步前行。

,少妇的丰满2奇优影院,啊〜好痛〜嗯流水了拔萝卜男同,小舞的玉足伸进我的喉咙。

  时事4：小婕子做爰全过程

  04月27日,（新春走基层）肃北乌兰牧骑50年：深入牧区，走向世界,

　　“竟然需要几个大部族齐动，更有四大族主亲至，这个山村当真不简单啊！”不少人惊叹。

,青色大脑手机版下载,日本XXXXXXⅩ泡妞视频冫,中国XXX视频。

  04月27日,10年国债收益率再创新低，年底增量政策受关注,

　　四是要在为民惠民上实现新突破，让干部更加“有干劲”。 我们党的宗旨就是为人民服务，这绝不是一句口号，要赢得广大人民群众的支持和信赖，必须牢固树立民生为本的理念，把群众福祉作为工作的主线、把群众满意作为最高目标，多办惠民利民的好事实事。要把群众对美好生活的向往，作为我们的奋斗目标。要高度关注教育，切实解决好学校遇到的困难和问题;要抓好各项惠民政策的落实，对于合作医疗、养老保险等惠民利民政策，要确保落实得全面、阳光，同时，要调动和协调好方方面面的力量，加大对困难群众以及鳏、寡、孤、独等弱势群体的救助力度，让群众感受到组织的温暖。要大力优化群众生活环境，抓好环卫一体化等工作。

,鲁大师在线观看免费高清韩剧,国产精品无码AV亚洲欧美叫床,偷拍50个妇女洗澡。