透视欧盟人工智能法草案

作者：柳建龙（中国社会科学院大学法学院教授）

随着人工智能技术的应用和发展，人们对它可能带来的收益和风险的认识日益深刻。当下，人工智能的跳跃式发展在给人类社会带来广阔前景的同时，也给个人安全和保障带来很大风险，增加了侵犯人类基本权利的可能性。然而，各国政府却普遍存在欠缺权力、程序框架和资源以确保人工智能的发展和使用符合法律规定的能力。

如何从立法着手促进人工智能产业的健康发展，成为迫在眉睫的课题。

从跨国视角来看，碎片化的监管措施会妨碍跨境人工智能市场的形成，并威胁到数字主权。为此，欧盟出台了一系列措施鼓励企业发展人工智能解决方案。本月底，《关于制定确立人工智能统一规则（人工智能法）以及修改部分联盟法律的欧盟议会和欧盟理事会的条例的提案》（以下简称“草案”）将提交欧盟议会表决。如获通过，意味着该法案将成为具有拘束力，可在欧盟成员国内直接适用的法律。

目前，草案已提交欧盟议会一读。草案为调和人工智能的发展和利用与欧盟国家社会价值观和公民基本权利保障，对人工智能的概念和分类，高风险人工智能系统的提供者、使用者及其他人的义务、法律后果等作了详细的规定。鉴于当下人工智能技术的发展、利用以及流转程度的加深，特别是在日益复杂的全球科技格局和国际关系背景下，有必要对相关动态予以进一步关注。

1.监管“黑箱”技术的核心诉求

统一人工智能立法对于欧盟而言，最重要的诉求就是要确保投放到欧盟市场的人工智能系统及其使用的安全性。近来，人工智能系统的平民化使得藏在“黑箱”里的新技术变得触手可及。人工智能变得可以与普通人“交流”，但是它的好多“想法”却让人产生不安。

怎么才能确保人工智能尊重现行法律中所包含的价值观和基本权利成为一个现实问题。人工智能可以“理解”欧盟社会的价值观吗？如何让一个智能系统符合欧盟对于建立一个包容、宽容、公正、团结、非歧视的社会的期待?尊严、自由、平等、民主、法治、人权保障等理念如何经由对人工智能系统的分类处理、细化各类主体的职责和义务、完善有关程序，进而被强化、具体化、内化到人工智能安全规定本身之中？《欧盟基本权利宪章》所保障的基本权利又如何能通过人工智能系统得到推进，如：人性尊严、尊重私生活和保护个人数据、不受歧视权和男女平等、获得有效救济和公平审判的权利、辩护权和无罪推定等以及一些特殊群体的权利，如工人享有公平和公正的工作条件的权利、消费者权益保护、儿童权利和残疾人的复归社会，与人们的健康和安全有关的，如获得高水平的环境保护和改善环境质量的权利。

从更宏观的层面来看，人工智能没有国界，未来它很可能被用于不同国家的经济和社会部门，在整个欧盟内或者跨境进行流转。部分成员国已经制定了相应的法律，但这种做法对于人工智能的经营者而言，容易欠缺法律的稳定性。因此，制定统一的法律框架、确保法律的确定性和可预见性，进而促进人工智能的投资和创新成为迫在眉睫的问题。

历史上，各自为政的立法措施造成市场碎片化的案例屡见不鲜。制定统一的法律框架，可以促进合法、安全和可靠的人工智能的应用，确保基于人工智能的货物和服务的跨境自由统一市场的形成。不过，值得注意的是，草案旨在确立统一的法律框架，而非具体法律规范，这为成员国在不损害立法目标的情况下采取不同程度的行动，特别是市场监督系统的内部组织和促进创新措施的采纳，留下了空间。

2.从宽泛界定到细化指引

最初的“草案”对人工智能系统作了宽泛界定，将其界定为采取一种或多种技术和方法开发的软件，并且能够针对一组特定的人工定义的目标，产生诸如内容、预测、建议或决定等影响其互动环境的输出。不过，欧盟理事会认为，标注过于宽泛难以提供清晰的指引，为此，进一步将人工智能的范围缩小，即通过机器学习以及以逻辑和知识为基础的方法发展起来的系统，以区别于一般软件系统。

按照对个人人身和安全、基本权利可能造成的风险高低，《欧盟人工智能法》将人工智能系统分为三类加以区别处理，分别是禁止、高风险、非高风险三类。

草案禁止人类的人工智能实践及实时远程生物识别系统的运用作了规定。首先，禁止在市场上投放、交付使用的包括：以个人无法认知的方式，采用潜意识教化技术严重扭曲个人行为或者利用特定群体的年龄、残障或者特定社会或经济处境等弱点，其目的旨在或者效果为严重扭曲与该群体相关的人的行为，业已或可能对个人生理或心理造成伤害的人工智能系统，以及根据自然人的社会行为或者已知或预测的个性特征或人格特征，在一定时期内对自然人进行评估或分类，但其所产生的社会评分可能造成自然人或其整个群体在社会环境中受到不利或不适宜待遇的人工智能系统。

与此同时，草案对实时远程生物识别系统的使用作了一般性禁止规定。其例外情形作了严格限制，当且仅当其使用存在绝对必要性时，执法机关或受其委托者可在公共场所诉诸前述系统。

高风险的人工智能指可能对个人健康、安全及基本权利产生重大有害影响的人工智能。草案虽然未作明确界定，但给出了高风险人工智能系统的判断标准。具体而言，下列人工智能系统应视为高风险人工智能系统：根据欧盟统一立法清单，相关产品或者作为其安全部件的人工智能系统本身，在投放市场或者投入使用前需要接受第三方合规评估的，如运输、机械、电梯、压力设备、医疗设备、安全设备、无线电设备的人工智能系统；旨在用于包括自然人的生物识别和分类、关键基础设施的管理和运作、教育和职业培训、就业、执法、移民、难民和边境管制以及司法和民主过程等领域的人工智能系统；就其严重程度和发生概率而言，其对个人健康、安全和基本权利造成不利影响的风险极大的人工智能系统。

与前述相比，诸如聊天机器人之类的非高风险人工智能技术，只需要满足最低限度的透明性要求。草案起草者认为，只要告知用户他正在与人工智能进行互动就可以减少潜在风险，故其对个人的健康、安全及基本权利造成损害的可能性较小。

3.高风险技术需要全过程监管

对高风险人工智能系统，草案设计了全过程监管制度。高风险人工智能系统“从摇篮到坟墓”——自投放市场或投入使用前直至整个存续期间——都要接受审查，以确定其是否遵守强制性的风险管理系统、严格的数据和数据治理规定，技术文件和日志保存的规定及上市后监测和事故报告的规定。与之相应，草案对高风险人工智能系统的提供者课以较重义务。

提供者负有合规义务。提供者应确保高风险人工智能系统的预期使用目的符合规定，按照规定建立、运行、记录并维持风险管理系统，并确保人工监管的准确性、韧性和安全性。

提供者应建立合理的质量管理系统，并以书面政策、程序和指令的形式系统、有序地载明该质量管理系统，确保合规程序的执行、相关文件的草拟以及强有力的售后监管制度的建立；确保高危人工智能系统在投放市场或投入使用前，经过相关的评估程序。在高风险人工智能系统投放市场或投入使用前，提供者应起草并持续更新技术文件。技术文件的编制方式应能证明高风险人工智能系统符合欧盟人工智能法的要求，并为国家主管部门提供全部必要的信息，以评估人工智能系统是否符合这些要求。

提供者有记录保存义务。在人工智能系统投放市场或者投入使用之日起的10年内，提供者应保存技术资料、质量管理系统相关文件等以备检查。依照与用户的协议或法律规定由其控制高危人工智能系统自动生成的日志的，则提供者有义务保存上述日志。保存期限根据高危人工智能系统的预期使用目的、欧盟或成员国的法律规定予以确定。在投放市场或投入使用前，提供者应依法向欧盟委员会在成员国协助下设立的欧盟数据库申请登记。欧盟数据库应只包含根据本条例收集和处理信息所必要的个人数据。这些信息应包括负责注册系统的以及有权代表供应商的自然人的姓名和联系方式。倘若提供者认为或有理由认为其投放市场或投入使用的高风险人工智能系统不符合规定，应立即采取必要的纠正措施，酌情撤回或召回。他们应告知有关高风险人工智能系统的经销商，并在适用时告知授权代表和进口商。

4.人工智能发展违法必究

一旦草案获得批准，成员国应根据相关规定和条件制定相应罚则，采取必要措施确保这些规定得到适当和有效的执行。所规定的处罚应是有效的、相称的和教育性的，并应特别考虑到小规模提供者和初创公司的利益和经济生存能力。

草案规定，提供者违反有害的人工智能禁止性规定和数据治理义务的，可以处以最高3000万欧元的罚款或全球年营业额的6%（以较高者为准）；高风险人工智能系统的使用违反其他规定的，可以处以最高2000万欧元或营业额的4%的罚款；向成员国主管机构提供不正确、不完整或具有误导性的信息，将被处以最高1000万欧元或营业额2%的罚款。

草案规定，欧盟机构、机关违反有关禁止性人工智能和数据治理义务规定的，可以处以最高50万欧元的行政罚款；违反其他规定的，可以处最高25万欧元的罚款。

草案试图在促进人工智能的发展和利用与欧盟价值观和基本权利保障之间寻找平衡：首先，其对人工智能采取了较确切的定义并对禁止的和高风险人工智能系统作了详细的规定，课予提供者较大的义务，并对包括欧盟机构、机关在内的义务主体设定了高额的罚款，可以在较大程度上确保人工智能的发展和利用不至于严重损害欧盟价值观和基本权利；其二，前述规定同时也构成了对欧盟和成员国的限制，非有授权其不得干预和限制人工智能的发展和利用，并要求在适用相关罚则时，应考虑小规模提供者和初创公司的利益和经济生存能力，这为人工智能的发展预留了一定空间；同时，为保护重要的公共利益和个人权利，草案对公权力机关，尤其是执法机关使用的人工智能系统预留了较多空间，并对诉诸禁止的人工智能系统的例外情形作了规定，这可以确保公权力职能的实现。

不过，正如批评者所指出，鉴于基本权利侵害风险主要来自于国家，尤其是例外情形和对公权力使用的人工智能系统的差别对待，也使得上述平衡处于危险之中。正因为此，目前欧盟议会尚未能达成一致意见，以至于不少人担心草案可能流产。