新训练可减少AI系统社会偏见

刘霞 2024-06-28 12:04:40 科技日报

来自美国俄勒冈州立大学工程学院和Adobe公司的科学家携手，开发出一种用于训练人工智能（AI）的新技术FairDeDup。该技术不仅能降低训练成本，而且有望减少AI系统的社会偏见。研究团队已经在近期于美国西雅图举行的IEEE/CVF计算机视觉和模式识别会议大会上介绍了FairDeDup算法。该会议是由电子电气工程师学会（IEEE）计算机协会和计算机视觉基金会（CVF）共同主办的全球顶级学术会议。

FairDeDup是“公平重复数据消除”的缩写，指从用于训练AI系统的数据中删除冗余信息，从而大幅降低训练成本。研究人员表示，之所以将新方法命名为FairDeDup，也是因为它基于此前一种具有成本效益的方法SemDeDup。SemDeDup可以用更少的资源对AI进行训练。但这一过程会强化AI的社会偏见。在最新研究中，他们通过引入公平机制，对SemDeDup进行了改进，FairDeDup因此面世。

FairDeDup的工作原理是：通过一种名为“修剪”的过程，细化从网络上收集的图像字幕数据集。“修剪”指选择能代表整个数据集的数据子集。该工具可以感知内容，并决定保留或删除哪些数据。结果显示，FairDeDup删除了冗余数据，同时结合了可控的、人为定义的多样性维度，从而减少偏见。

（责编：赵珊）

人民周刊网版权及免责声明：

1.凡本网注明“来源：人民周刊网”或“来源：人民周刊”的所有作品，版权均属于人民周刊网（本网另有声明的除外）；未经本网授权，任何单位及个人不得转载、摘编或以其它方式使用上述作品；已经与本网签署相关授权使用协议的单位及个人，应注意作品中是否有相应的授权使用限制声明，不得违反限制声明，且在授权范围内使用时应注明“来源：人民周刊网”或“来源：人民周刊”。违反前述声明者，本网将追究其相关法律责任。

2.本网所有的图片作品中，即使注明“来源：人民周刊网”及/或标有“人民周刊网(www.peopleweekly.cn)”“人民周刊”水印，但并不代表本网对该等图片作品享有许可他人使用的权利；已经与本网签署相关授权使用协议的单位及个人，仅有权在授权范围内使用图片中明确注明“人民周刊网记者XXX摄”或“人民周刊记者XXX摄”的图片作品，否则，一切不利后果自行承担。

3.凡本网注明“来源：XXX（非人民周刊网或人民周刊）”的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。

4.如因作品内容、版权和其它问题需要同本网联系的，请在30日内进行。

※ 联系电话：010-65363526 邮箱：rmzk001@163.com

新训练可减少AI系统社会偏见

人民周刊微信公众号

人民周刊微博

热点话题

热门视频