科学家找到提升元学习泛化性能新方法

近日，中国科学院软件研究所天基综合信息系统全国重点实验室研究团队的一项研究成果，聚焦元学习的学习机制与任务采样，有助于模型泛化与迁移性能的提升，被被人工智能领域顶级国际会议IJCAI接收。

元学习旨在从有限的数据中构建多样化的训练任务来学习一般知识，然后迁移到新的任务中。传统观点认为，训练任务越多样，模型的泛化能力越好。然而，研究团队通过结构因果模型实验发现，在元学习机制下的任务最佳分类器不仅是利用因果因子进行决策，同时还会受到非因果因子的干预，即元学习中特定任务的因果因子和标签之间有虚假相关性，这些任务混杂因子会引起任务负迁移，从而影响泛化性能。

基于上述发现，研究团队提出了一种元学习因果表示学习器MetaCRL，用来消除任务混杂因子。MetaCRL由两个模块组成：解耦模块和因果模块。解耦模块首先通过学习语义矩阵获得整个生成因子，然后使用分组函数获取与每个任务相关的生成因子子集，旨在获得所有与任务相关的生成因子以及与单个任务相关的特定任务生成因子；因果模块则负责确保生成因子的真实因果关系，即基于因果不变性定理以及同一模型可以在不同分布中学习因果相关性，一方面是对表现出分布变化的多个训练数据集强制执行不变性，另一方面是通过简单的双层优化来保证解耦模块获得的语义矩阵和分组函数得到的生成因子具有真实因果关系。

MetaCRL能应用于各种元学习框架，通过交替优化MetaCRL与元学习模型，使元学习基于真实因果因子学习各种任务的通用知识，从而消除任务混杂因子。研究团队进一步在各种下游任务上进行了分类、回归、预测等广泛实验。结果表明，引入MetaCRL的各种元学习基线方法都获得了稳定的性能提升。此外，在多个基准数据集的知识迁移实验中进一步证明了MetaCRL消除任务混杂的有效性。

该论文共同第一作者为硕士生王婧瑶、副研究员任懿，通讯作者为特别研究助理强文文。

（责编：赵珊）