对个人进行社会评分是自动化决策和数字行政的典型应用场景。欧盟人工智能立法采用了风险分级监管模式，符合特定条件的社会评分可能产生不可接受的风险而应当受到禁止。在立法演进过程中，最初试图禁止的是公共机构对个人可信度或道德人格的一般性评估，后来删除了主体要件和目的要件，扩大了受禁止的社会评分的范围。根据欧盟议会在2024年3月通过的《人工智能法案》的规定，通过分析个人的社会行为、个人的或人格的特征数据作出社会评分，并由此对个人或其群体做出不利对待时，若使用了超出原初场景的数据，或者此不利对待是不公正的、不成比例的，则该类社会评分应受禁止。禁止社会评分的立法目的在于防止其侵犯基本权利所保障的个人自主性和公正对待。通过在人工智能立法中禁止特定情形下的社会评分，可以弥补既有法律框架下以程序性赋权为主的数据法规范模式的不足，为个人提供实质性保护。作为数字战略的一部分，欧盟即将出台的《人工智能法案》（Artificial Intelligence Act）旨在规范人工智能系统的使用，培育可信赖的人工智能生态环境。该法案将是全球首部对人工智能进行全面监管的综合性立法，有望复刻欧盟《通用数据保护条例》（GDPR）的影响力。从总体的立法进程来看，欧盟委员会于2021年4月发布了《人工智能法案（草案）》（以下简称《草案》）。随后，欧盟理事会于2022年11月公布了一份向欧盟议会说明其对《草案》立场的政治协定，简称为《一般性办法》（General Approach）。紧接着，在2023年6月，欧盟议会按照立法程序对《草案》进行了修订并公布《一读稿》（first reading），修改内容点多面宽。这恰恰反映了欧盟各机构间在诸多事项上无法达成一致，该立法事项因此被退回，要求事先进行机构间谈判。直到2023年12月，欧盟议会议员与欧盟理事在经过长达三天的协商后，终于达成了临时政治协议。2024年1月26日，欧盟理事会轮值主席正式与成员国代表分享了《最终妥协文本》（final compromise text）。在3月13日，欧盟议会以压倒性票数通过该法案，并公布了新的《一读稿》（为与之前的《一读稿》相区别，以下将新版称为《议会通过版》）。这意味着，《议会通过版》应是目前可见的最接近最终通过的《人工智能法案》的文本。自《草案》发布以来，一个广为宣传的亮点是欧盟认为社会评分（social scoring）会产生“不可接受的风险”（unacceptable risk），故予以禁止，这一禁令被视为体现了欧盟保护民主与自由的态度。社会评分作为自动化决策的重要应用场景之一，为何在《人工智能法案》中遭到禁止？欧盟禁止的社会评分是什么？明确禁止社会评分的意义何在？与现有的自动化决策规范相比，这项新规定有何不同？本文旨在针对这些问题展开探讨。
如何通过统一立法对丰富多样且千差万别的人工智能进行规范，这是一个非常棘手的难题。欧盟基于人工智能系统应用对基本权利所带来的损害风险，将人工智能分为“低风险”（minimal risk）、“有限风险”（limited risk）、“高风险”（high-risk）、“不可接受的风险”四个等级，并施加宽严不等的监管要求，由此形成一个金字塔型的监管框架。这一理念被称为“基于风险的路径”（a risk-based approach）。欧盟通过风险分级的方式，意图使监管强度与所对应的风险合乎比例，《草案》附随的《解释性备忘录》（Explanatory Memorandum）将其称为“成比例的监管体系”（a proportionate regulatory system）。在四级风险之中，低风险指的是那些不属于其他三类风险的人工智能系统，法案未对此施加监管要求。“不可接受的风险”指可能被滥用，可能为实施操纵、剥削和社会控制行为提供新颖而强大的工具，与欧盟价值观相悖的人工智能应用风险，尤其是可能对人的尊严、自由、平等、民主、法治等价值带来的风险，以及对不受歧视的权利、个人数据受保护权、隐私权及儿童的权利等基本权利造成的风险。“高风险”指对个人的健康、安全或个人基本权利造成重大风险。根据《议会通过版》第6条，高风险系统分为两类：第一类是作为安全部件或产品本身的人工智能系统，该类系统根据附件一所列的协调立法，需要通过第三方合格评定；第二类是根据附件三，用于八类目的的人工智能系统，如用于招聘、晋升、解聘决定或安排工作的人工智能系统，用于决定基础公共援助福利、应急服务资源调度等任务的人工智能系统。这些高风险系统需遵守一系列合规要求，如建立风险管理系统、开展数据治理、撰写技术说明、安排人工监督以及保证系统的准确性、鲁棒性（robustness）和网络安全等。与《草案》相比，《议会通过版》增设了基本权利影响评估制度。“有限风险”又称“特定的透明度风险”（specific transparency risk），指当用户正在进行人机互动时，应当获知自己正在与人工智能系统互动，以免用户产生误解，或通过人工智能系统生成的内容是可检测的，或个人有权知晓情感识别、生物识别系统将对其进行检测等。例如，用户有权知晓其正在与聊天机器人互动，或者正在观看的内容是通过深度伪造技术形成的。值得注意的是，在进行风险等级划分时，欧盟混合了“行为标准”和“结果标准”。以“不可接受的风险”为例，潜意识技术的使用需要达到实质性扭曲个人行为这一结果，才应受到禁止；而禁止“无差别地在互联网或者闭路电视监视系统中抓取面部图像来创建或扩充面部识别数据库”，则采用了行为标准，即不论是否造成实质损害以及损害的严重程度，此行为都应当受到禁止。行为标准和结果标准的混合使用意味着，即使某一人工智能系统活动根据“结果标准”不可归入“不可接受的风险”，也很有可能因为“行为标准”或其他“结果标准”而落入高风险区域。这表明在实践中，应当自上而下地沿着风险等级对特定人工智能活动进行逐层判断，以免缺漏。
与我国当前公私领域广泛应用自动化决策情况相似，欧洲一些国家也正在采用以风险评估为代表的算法行政，这引发了不透明、大规模监控以及歧视等问题。据报道，自2010年以来，法国的国家家庭津贴基金使用自动化风险评分算法对涉嫌欺诈的家庭进行检查。该算法采用近40个标准对个人数据进行分析，每月对福利受助人从0到1之间进行赋值，得分越接近1的受助人越有可能受到住宅检查。在荷兰，社会事务和就业部通过风险计算模型，分析包括雇佣记录、福利信息、个人债务报告、教育信息和住房历史等在内的大量个人数据，预测个人涉嫌福利和税务欺诈以及违反劳动法的概率。然而，该算法选择性地在低收入社区中应用，存在歧视低收入人群的风险。批评者认为，并没有充足的证据可以证明，低收入者比高收入者存在更高的欺诈风险。欧盟法院在SCHUFA案中的判决也反映了欧盟对个人评分、个人画像、自动化决策的关切。SCHUFA是德国一家私有征信企业，其自身并不直接作出是否贷款的决定，而是向合作方提供第三方的信用信息。贷款申请人OQ向银行申请贷款被拒，主要原因是银行向SCHUFA查询获知OQ的信用分较低，这意味着还款可能性较低。欧盟法院认为，SCHUFA作出的个人信用评估属于GDPR第22条规定的自动化决策，即会对个人产生法律效果的或类似严重影响个人权益的自动化决策，原因是银行作出贷款决定时，非常看重SCHUFA给出的信用评分。法院在本案中明确：根据GDPR的规定，原则上应禁止使用完全自动化决策。也就是说，信用评分原则上应受到禁止，除非满足GDPR第22（2）条所列的条件；而且，根据第22（3）条的规定，就最低限度来说，数据处理者需要保障数据主体享有拒绝权、表达权等。概言之，欧盟法院通过目的解释，使社会评分这类法律行为的前置行为也能受到GDPR第22条的规范，并且原则上禁止全自动化社会评分。SCHUFA案采用数据法规范模式对社会评分施加了严格的限制，而人工智能立法则通过规范人工智能系统应用表达了相似的立场。这两种解决方案为同一问题提供了有一定交叉但能够互补的解决路径。《草案》未对社会评分作出明确定义。《一读稿》新增了第3（1）（44）（k）条，明确社会评分指“基于个人的社会行为、社会经济地位，或者已知或所预测的个人的或人格的特征，对自然人进行评估或者分类。”《议会通过版》还是选择不对社会评分进行定义。一种可能的解释是，文本中的相关条款已足以明确社会评分的概念，没有必要单独对其进行定义。另一种可能的解释是，社会评分本身是一个非常宽泛的“概念筐”，可以包含各种通过人工智能系统对自然人进行评估、分类的活动。例如，公司为了更好地分配工作任务，可能通过算法对员工的工作表现进行评估；行政机构可能通过算法对福利受助者的欺诈可能性进行评估。这些对自然人进行分类、评估的行为都属于社会评分，而人工智能立法不关注社会评分概念本身，更关注评分结果的生成方式、使用场景以及可能产生的风险。当前，有关受禁止的社会评分在各版本中有不同的具体判断标准。总体上，《草案》的规定奠定了整体的立法思路，随后《一般性办法》和《一读稿》都沿着该思路提出建议，而《最终妥协文本》选择性地采纳了前述版本的建议，《议会通过版》则对《最终妥协文本》做了些微语句表达方面的修改。根据《议会通过版》第5（1）（c）条的规定，应当禁止以下人工智能系统：“将人工智能系统投放市场、投入服务或使用时，在一定时期内根据自然人或其群体的社会行为或已知的、推断的、预测的个人的或人格的特征，对自然人或其群体进行评估或分类，社会评分可能导致以下一种或两种情况：第一，在与最初产生或收集数据无关的社会场景中，给予特定自然人或其整个群体有害的或不利的对待；第二，给予特定自然人或其群体不公正的或与其社会行为或其严重性不相称的有害的或不利的对待”。基于这一规定，可以从立法演进的角度，通过主体要件、目的要件、手段要件和效果要件四方面，阐述受禁止的社会评分判断标准的变化过程。
一开始，《草案》规定只有公共机构或者其代表实施的社会评分行为才属于受禁止的范围，私人主体则被豁免。2021年11月29日，欧盟理事会轮值主席提出，应当将此类社会评分的实施主体扩大到私人主体，这将对金融领域产生巨大影响，因为当前金融还贷利率是基于个人还贷可能性计算的，这也属于评分，将私人机构纳入就可以为个人提供更全面的保护。随后，《一般性办法》《一读稿》《最终妥协文本》均将受禁止的社会评分扩展到私人主体，《议会通过版》同样如此。可见，欧盟现在认为，公私主体实施的社会评分在可能造成的风险上并无实质区别。
出于什么目的而进行的社会评分行为应当受到禁止？在立法前期，《草案》和《一读稿》引言第17条规定，为一般用途（for general purpose）对自然人进行社会评分的人工智能系统可能产生歧视的结果以及排除特定群体。2021年4月21日，随同《草案》公布的“影响性评估”文件也提到，禁止对自然人进行一般用途的、大规模的社会评分。然而，“一般用途”并没有明确的定义。一种可能的解释是，以一般用途为目的指评估个人的可信度（trustworthiness）。《草案》引言第17条在表达了社会评分可能会侵犯欧盟基本权利和价值以后，指出“这些人工智能系统对自然人的可信度进行评估或分类”；第5（1）（c）条也表达了同样的意思。此处的个人可信度与金融信贷领域所讲的“信用”（credit）并不完全相同。在金融领域，信用评估主要关注个人的还款能力、还款意愿等。根据《草案》引言第37条的规定，信用分或信用度（creditworthiness）决定个人是否可以获得财政资源或诸如住房、电力、通信服务等基本服务，而用作评估信用分或信用度的人工智能系统属于高风险而非受禁止的系统。那可信度究竟是什么？《草案》并未对之做出解释。有研究认为，此处的可信度指的是一方不会由于错位激励、缺乏关爱或无视诺言等恶意，而辜负另一方。或许因为“可信度”是一个过于宽泛无边的概念，也或许因为可信度和信用度具有混淆的可能性，又或许因为“一般用途”已经足以表达欧盟意欲禁止的社会评分目的，随后的《一般性办法》和《一读稿》中都删去了“可信度”一词。另一种更有可能的解释是，禁止“一般用途的社会评分”是为了禁止对个人的总体道德水平进行评价。早在2019年，由欧盟委员会特别设立的“人工智能高级专家组”发布了《可信赖的人工智能伦理指南》（Ethics Guidelines for Trustworthy AI，以下简称《指南》），其中提道：“公共机构或者私人在所有方面、以大规模的形式进行规范化的公民评分（normative citizen scoring）——一般性地评估道德人格（moral personality）或者伦理操守（ethical integrity）”，会危及人的自主权和不受歧视的原则，特别是当评分的使用与基本权利不相符合时，以及评分的使用不合乎比例、缺乏明确的且能传达出的合法目的时。可见，欧盟最初非常警惕对个人进行总体的、一般性的道德评价；而出于特定的、具体的目的对个人进行评价，则很大一部分属于《草案》附件三所规定的高风险的人工智能系统活动。立法后期，从《一般性办法》到《议会通过版》，将“以一般用途为目的”和“可信度”两个词都删除了。至此，出于任何目的的社会评分，都有可能产生不可接受的风险而落入受禁止范畴。手段要件指进行社会评分的手段或方式，即通过何种方式实施的社会评分应当受到禁止？其核心问题在于数据源，这可以从数据类型、数据来源、数据时间跨度三个角度进行细分。首先，在数据类型方面，根据《议会通过版》引言第31条的规定，社会评分是对多重场景下的“社会行为”数据或“个人的或人格的特征”数据作出的分类、评估。其一，关于“社会行为”（social behaviour）。《一读稿》新增第3（1）（44）（l）条对此作出了定义，指“自然人与其他自然人或社会相互作用和影响的方式。”基本上，人在社会生活中展现出的各种行为、活动、痕迹都可以被纳入“社会行为”的范畴。或许正因为该定义无法提供概念界定上的价值，最终的《议会通过版》未对“社会行为”作出定义。其二，关于“个人的或人格的特征”（personal or personality characteristics）。这两者非常相似，可能的差异在于：人格特征数据与个人的心理、性格、思想等内在特质更为相关；个人特征数据则更侧重于客观性的数据，如个人的性别、身高、年龄、家庭住址等。这两种数据类型实际上很难区分，因为个人的外在特征一定程度上也可以反映出其内在的人格特征。其实，社会行为数据以及个人的或人格的特征数据都是非常宽泛的概念，基本上可以涵盖个人数据的方方面面。在制定数据源的规定时，根本目的似乎不在于进行正向明确，即明确受禁止的社会评分是对何类具体数据进行分析，而更倾向于尽可能地包含所有可能的个人数据类型，以免因遗漏而引发争议。其次，在数据来源方面，《议会通过版》引言第31条、正文第5（1）（c）条认为，基于自然人已知的（known）、推断的（inferred）、预测的（predicted）个人的或人格的特征而做出的评估、分类都属于社会评分，这是对《一读稿》建议的吸纳。与此不同，《草案》与《一般性办法》未包含“推断的”数据。这就涉及推断的个人特征或人格特征数据与已知的、预测的数据之间的区别。已知数据是信息处理者已经知道的个人特征或人格特征数据，可以是个人主动提交的，也可以是相关主体监测到的数据（observed data），还可以是从第三方处收集的。预测数据指对将来事件发生可能性所作的预估，如特定个人在未来犯罪的可能性。推断数据是通过对一部分数据进行分析而获得某一问题的全貌，或者获得另一部分未知的内容。尽管推断数据与预测数据在本质上都是通过数据分析获取未知信息，但写入该数据类型有助于增加规定的周延性，有利于提前解决潜在争议。最后，在数据时间跨度方面，《一读稿》引言第17条对数据时间跨度有一定要求。受禁止的社会评分是“那些基于多个数据点和时间点对自然人或群体所进行的评估或分类”；但后来的《最终妥协文本》删去了“时间点”一词。这是否意味着所使用的数据没有时间跨度要求了？也不尽然。例如，《草案》和《一读稿》第5（c）条明确规定，社会评分是“在一段时间内”（over a certain period of time）基于自然人的社会行为或个人特征所做的评估或分类。《议会通过版》在引言中也专门加上了“在一段时间内”这一表述。“在一段时间内”指受禁止的社会评分行为应当具有一定的时间跨度，而不是一次性的。也就是说，具有一定持续性的社会评分才是欧盟真正试图禁止的。在此背景下，用以对个人做出社会评分的个人数据基本上也会具有一定的时间跨度，因为个人的状况会随着时间而发生变化，静态数据往往很难准确地反映个人的状况。
效果要件审查的是社会评分所造成的实质结果或者产生的影响，这是整个立法过程中改动非常少的部分，表明欧盟对此认识一直较为统一。效果要件可拆解为如下两个需要同时满足的条件：第一，社会评分对个人或者其所属的整个群体造成了有害的或不利的对待，如此才需要进一步审查是否需要禁止该社会评分，例如“限制个人的基本权利或者限制他们获取基本公共服务”。但也有观点认为，无论社会评分是否对个人产生不利影响，都必须予以禁止，因为“若评估结果对一人有利，就意味着其他人在‘可信度线’（trustworthiness line）上会被自动推后了。因此，即使不是直接受评估或分类的个人，也会间接受到伤害，特别是那些已经被边缘化的人。”第二，此种不利对待应至少存在如下两个问题之一。其一，行为不相关。即对自然人或其整个群体造成不利对待的社会场景与社会评分所使用的数据的产生或收集场景是不相关的，符合这一情况的评分手段是不被允许的。欧盟委员会曾认为，如果一个用以识别需要社会照顾的高危儿童的系统，所使用的数据是其父母不重大的或不相关的“不当行为”，如错过医生的预约，这是脱离场景的。其二，结果有违比例原则。如果不利对待缺乏合法正当的目的，或者惩戒的严厉性与个人的社会行为及其严重程度是不成比例的、过于严苛的，就需要受到禁止。值得注意的是，此处是将不利对待与社会行为及其严重性相比较，而社会行为不完全是违法行为，其还包含了虽没有违反法律但可能为社会道德所谴责的行为，甚至那些不具有可谴责性的、不具有社会负面评价效果的行为也可包含在内。综上，历经多方多次的提议、协商和妥协，社会评分的主体要件和目的要件已然失去了作为判断标准的价值，仅留下手段要件和效果要件。从手段要件来看，对之进行规定目的在于尽可能地将所有个人数据包含入内，缺乏规范和限定范围的意义。因此，实际上只有效果要件才真正具有判断价值。从要件变化的角度可以看出，从《草案》《一般性办法》《一读稿》到《最终妥协文本》和《议会通过版》，受禁止的社会评分的范围呈现出不断扩大的态势。任何对自然人进行评估、分类的行为，只要满足效果要件，都应当受到禁止。简言之，对个人造成不利对待的评估、分类行为，若所使用的数据超出了数据产生或收集的最初场景，或此种不利对待是不公正的，或与其社会行为及其严重性不成比例，都应当受到禁止。或许正是出于对适用范围不断拓宽的担忧，在《草案》的基础上，《议会通过版》在引言第31条的最后一部分增加了以下内容：“人工智能系统包含了这些不可接受的评分行为及导致此种有害的或不利的结果的，应因此受到禁止。这一禁令不应影响根据欧盟和国家的法律，出于特定目的而对自然人作出的合法评价行为。”当然，不属于受禁止范畴的社会评分活动很有可能属于高风险的人工智能系统，需要遵守相应的监管要求。三、为什么特定情形的社会评分会造成不可接受的风险？在风险分级的监管思路下，欧盟认为，符合一定条件的社会评分可能会造成不可接受的风险，因此应受到最严格的禁止。那么，为何这些社会评分会导致不可接受的风险？到目前为止，关于社会评分的立法资料相对单薄，且未对属于高风险和不可接受的风险的社会评分做出特别区分。囿于这一限制，本部分将通过回答以下问题来研究该问题：欧盟人工智能立法意图保护的是什么？社会评分会造成何种普遍的风险？为什么一定情形下的社会评分会造成特别严重的、不可接受的风险？
人工智能系统的开发和应用对经济和社会发展具有重要价值，但随之而来的人工智能应用伦理问题和安全风险也日益凸显，如歧视、监控、数据隐私等一系列问题。在这一背景下，欧盟提出应当将实现和保障欧盟价值和基本权利作为人工智能立法的根本目的。《议会通过版》引言第6条表明，“鉴于人工智能可能对社会产生的重大影响以及构建信赖的必要性，人工智能的发展及其监管框架的形成必须符合《欧洲联盟条约》（以下简称TEU）第2条所载的欧盟价值，以及条约和《欧盟基本权利宪章》（以下简称《草案》）所载的基本权利和自由。作为先决条件，人工智能应当是一项以人为中心的技术。其应成为人们的工具，最终目的是增进人类的福祉。”欧盟称自己为“价值共同体”（a union of values），对人工智能进行规范的根本目的是保障TEU第2条、第3条和《宪章》规定的基本权利，维护欧盟赖以组建的基本价值。具体而言，TEU第2条阐述了欧盟重要的价值基础：“欧洲联盟的价值基础是尊重人的尊严、自由、民主、平等、法治和尊重人权，包括属于少数群体中的个人的权利。在一个多元主义、不歧视、容忍、正义、团结和男女平等普遍存在的社会中，这些价值观是成员国所共有的。”TEU第3条涉及基本权利的规定。《宪章》则对欧盟的基本权利作出了统一而详尽的规定，包括人的尊严、隐私权、个人数据受保护权、平等权、不受歧视的权利等。实际上，欧盟价值与基本权利并不是一组互斥的概念。基本权利在很大程度上承载和体现了欧盟价值。TEU提到的欧盟价值包含尊重人的尊严、自由、平等等，这些也属于基本权利的一部分，如人的尊严条款写于《宪章》第1条，基本权利保障也体现了民主、法治等理念。正是由于两者之间的紧密联系，在本次人工智能立法过程中，欧盟常常同时使用或混同使用价值和基本权利这两个概念，有时使用“价值”一词特指TEU第2条，有时则使用广义的“价值”以包含《宪章》规定的基本权利，有时还会延伸到人权。例如，《议会通过版》引言第2条规定，“本条例的实施应符合《宪章》所载的欧盟价值，促进对个人、公司、民主、法治和环境的保护”。而从内容角度来看，基本权利作为更具系统性的、规范性的规定，能够为立法提供实质且明确的指引。在这个意义上，基本可以认为，本次立法以人工智能系统可能对基本权利造成的侵害严重性为标准，构建了当前的风险分级监管体系。那么，以基本权利保护为目标的风险监管体系与欧盟提出的一系列发展理念，即构建可信赖的、以人为中心的、合伦理的人工智能的关系可概括为：此三个理念具有高度相关性,基本都以基本权利保护为实现路径。《一读稿》第4（a）条“适用于所有人工智能系统的一般性原则”规定：“受本条例规范的所有运营商应根据以下的一般性原则，尽最大努力开发和使用人工智能系统或基础模型，建立一个高级别框架，用以推进一个易于理解的以人为中心的、合伦理的、可信赖的欧盟人工智能道路，这完全符合《宪章》以及欧盟赖以建立的价值。”可见，该条款将人工智能立法的一系列理念都链接到了《宪章》和TEU。在具体关系上，以人为中心的、合伦理的人工智能可以构建值得信赖的人工智能发展和使用环境；而在构建可信赖人工智能的过程中，基本权利保护成为判断标准之一。详言之，人工智能系统只有在符合基本权利保护的前提下，才可以获得人工智能的使用者和受用者的信赖，从而获得更多的投资和更加广泛的使用，这便是欧盟在人工智能领域试图取得竞争优势的关键因素。可以说，欧盟选择了一条以人为中心的人工智能发展道路（a human-centric approach to AI）。2019年4月8日，欧盟委员会发布《构建对以人为中心的人工智能的信赖》，其中指出：“信赖是确保以人为中心的人工智能道路的先决条件：人工智能自身不是目的，而是工具，必须以提高人类福祉为最终目的而服务于人类。”在此基础上，2020年2月19日公布的《人工智能白皮书——欧盟通向卓越与信赖的途径》指出人工智能技术具有不透明性、复杂性、不可预测性、部分自动化等问题，当人工智能产生的效益与风险共存时，欧盟应当在消费者和企业之中建立对人工智能的信赖，通过构建一个“信赖的生态系统”（an ecosystem of trust），加快人工智能技术的发展和利用。那么，如何具体地判断人工智能是否值得信赖？《可信赖的人工智能伦理指南》提出，值得信赖的人工智能需符合三个标准：合法的（lawful）、合伦理的（ethical）、坚固的（robust）。具体而言，“合法的”标准意味着人工智能必须符合法律的要求；“合伦理的”标准则要求人工智能系统应遵循伦理原则与价值；“坚固的”标准要求人工智能以安全的、稳妥的、可靠的方式工作，同时需要采取相应的安全措施来预防潜在的意外伤害。其中，“坚固的”标准侧重技术层面，关注系统的安全可靠性。在评估人工智能是否符合“合法的”与“合伦理的”标准时，均需诉诸基本权利，这也就意味着，对基本权利予以保障是构建信赖的途径。“合法的”人工智能需要符合特定的法律要求，包括人工智能、个人数据保护和产品质量等特定领域的法律要求。更重要的是，使用人工智能系统不能侵犯基本权利。与此同时，基本权利也反映了个人因其人性应当享有的道德权利（moral entitlements）。“将基本权利理解为法律上可实施的权利，因此其属于可信赖的人工智能的第一个组成部分（合法的人工智能），保证了遵守法律。将其理解为每个人的权利，根植于人类固有的道德地位，其也支撑着可信赖的人工智能的第二个组成部分（合伦理的人工智能），涉及不一定具有法律约束力但对确保可信性而言至关重要的伦理规范。”一言以蔽之，合乎伦理的人工智能根本上是要符合欧盟基本权利要求及基本权利所体现出的人性价值，这也是“以人为中心的人工智能发展道路”的另一重体现。综上，欧盟所提出的一系列人工智能发展理念——“符合欧盟价值的”“合伦理的”“值得信赖的”“以人为中心的”人工智能，基本可以约等于保障和促进欧盟基本权利这一规范性要求。
将欧盟人工智能立法所欲实现的一系列理念链接到基本权利后，可进一步以此为标准，分析社会评分活动可能带来的共性风险，以及符合本文第二部分条件的受禁止的社会评分可能产生的特殊风险。鉴于欧盟基本权利的内容相当丰富，有必要择定一个框架对其进行整合。《指南》就提供了一个结构清晰的基础框架，其将欧盟价值与基本权利相结合，提出了在人工智能开发、部署、使用过程中应遵循的四大伦理原则：尊重人的自主性原则、预防危害原则、公正原则、可解释性原则。在社会评分方面，《指南》指出：“社会应致力于保护所有公民的自由和自主性。任何形式的公民评分（citizen scoring）都可能导致自主性的丧失，并危及非歧视性原则。”《议会通过版》引言第31条亦指出：“由公私主体使用人工智能系统对自然人所做的社会评分，可能会产生歧视性的结果、排除特定群体。其可能侵犯人的尊严的权利、不受歧视的权利以及平等和正义的价值。”可以将这两个文本提出的风险类型提炼为两个主要风险，即侵犯自主性原则和侵犯公正原则。以下作简要展开。风险之一是侵犯自主性原则。自主性原则指人工智能应用应当尊重人的自由和自主性，特别是确保人类能够掌握自我决定权，不受人工智能俘获、强迫、欺诈和操纵。根据《指南》，这一原则主要对应《宪章》第1条“人的尊严”和第6条“自由与安全的权利”。就社会评分而言，只要涉及对个人进行评估、分类、打分、排序等活动，就需要事先确定所要收集和分析的个人数据类型、时间跨度等数据维度，再使用模型产生预测结果。在这个过程中，人工智能开发者或使用者的价值判断起着关键作用，因为确定哪些数据是有价值的、哪个模型可以达到预测效果本身就含有价值判断。这种选择影响到个人行为，可以产生一定的规训效果，因为通常而言，个人总是会尽量使自己符合标准以获得高分。除此之外，既然社会评分产生于对个人数据的深度分析之下，这就会对《宪章》第7条“尊重个人和家庭生活”、第8条“个人数据受保护权”造成侵害。就受禁社会评分来说，对于符合效果要件中行为标准的社会评分，个人无法合理地期待他们会因在其他场景中产生的数据而受到不利对待，即在事前和事中无法进行适度的自我管理和数据管理，如删除或更正某些数据。这种牵连的、跨场景的不利对待会引发严重的寒蝉效应，导致个体过度自我审查，严重损害了自主性原则。以前述的法国国家家庭津贴基金所开展的风险评分为例，该算法使用了近40个标准来分析个人数据。如果其使用的个人数据不仅限于个人提交津贴申请时提供的或同意采集的数据，还包括了个人在社交媒体上主动公开的信息、当地的人口统计数据等，这不仅可能影响结果的准确性，也会对个人造成“出其不意的”伤害。风险之二是侵犯公正原则，尤其是其中的非歧视性要求。公正原则可分为实体维度和程序维度：实体公正包括分配正义，免于不公正的偏见、歧视、侮辱，以及人工智能不应欺诈个人或不当地减损个人的选择自由，人工智能从业者应遵守比例原则；程序公正则包括反对自动化决策的权利以及获得救济的权利等。其中，非歧视性要求对应《宪章》第三章“平等”，包括第20条“法律面前人人平等”、第21条“不受歧视”、第22条“文化、宗教和语言的多样性”、第23条“男女平等”等若干条款。歧视问题是自动化决策领域最广为讨论的风险之一，模型、算法、数据都有可能巩固或加剧歧视，特别是训练数据中可能嵌入了人类社会固有的歧视和偏见。在SCHUFA案件中，欧盟法院也提出，防止个人信息自动化处理所造成的歧视风险，是GDPR在自动化处理领域中加强个人权利、强化规范力度的主要目的。例如，对个人进行评估——特别是分析或预测数据主体的工作表现、经济状况、健康、个人偏好或兴趣、可靠性或行为、位置或行踪，可能会因个人的种族或民族出身、政治观点、宗教或信仰、工会会员资格、基因或健康状况、性取向，而对个人产生歧视性影响。实践中，美国在刑事司法领域使用算法来预测个人再犯罪可能性或者不出庭接受判决的可能性，以此判断个人是否可被保释或刑期的长短，低风险者可以获得更短的刑期。有报道指出，尽管该算法所提取的数据不包括种族信息，但实际上该算法存在种族歧视问题，黑人被错误地认定为未来有犯罪风险的可能性几乎是白人的两倍。除了歧视问题，有观点认为社会评分会对团结价值造成损害。团结价值涉及个体与群体的关系、收益与成本分配的问题，可视为公正原则的一部分，其规定在《宪章》第4章。欧盟数据保护监督员（European Data Protection Supervisor）组建的伦理建议小组分析了数字时代社会文化方面的重大变迁，其中之一便是“从风险社会到评分社会（scored society）”。风险社会将具有相似特点的个体聚合起来，计算这个群体在未来可能造成的损失价值和补偿的成本；而在大数据支撑下的算法可以对个人行为和习性进行详细分析，从而作出更具个性化的风险评估，将实际成本分摊给每个个体，这可能不符合欧盟所提倡的团结价值。就受禁社会评分来说，符合行为标准的社会评分存在评分不准确问题，脱离了具体场景的数据可能已无法准确地表达信息。而对于符合结果标准的社会评分而言，因该标准本身规范的就是不公正的不利对待，或个人受到的不利对待与社会行为的可惩戒性、可谴责性是不成比例的，这样的社会评分自然违反了公正原则中的实体公正内容。准确地说，这类社会评分正因其不公正才受到禁止。总之，对欧盟基本权利所造成的侵害是判断人工智能系统应用风险的最重要的标准。就社会评分造成的风险而言，可以通过自主性原则和公正原则两个维度观察相应的基本权利受侵害情况，从普遍风险与特殊风险相叠加的角度进行理解。回望欧盟人工智能立法过程，需要禁止一定情形下的社会评分这一立场始终保持不变，分歧集中在什么样的社会评分应当受到禁止。在整个立法过程中，只有效果要件中的行为标准和结果标准始终没有发生过实质变动。这在一定程度上表明，对符合这两个标准的社会评分予以禁止，是欧盟一致、连贯且坚定守护的底线。上文已明确了禁止此类社会评分对基本权利保障而言的价值，而在立法层面需进一步回答的问题是：制定新法的意义何在？已有的法律规范无法禁止这样的社会评分吗？
本次立法明确禁止的社会评分，一定程度上可以与其他法律规范相对接。这意味着，即使没有本次立法，一些受禁止的社会评分在其他法律框架下也很有可能被认定为违法，从而无法实施。但并非所有受禁社会评分行为都可以被现有规范所容纳，在这个层面可以显示本次立法的必要性。其一，关于行为标准与GDPR第5（1）（b）条“目的限制原则”（purpose limitation）的对接。该原则起源于《欧盟数据保护指令》（Directive 95/46/EC），后来由GDPR继承。在该指令生效期间，第29条工作组在“关于目的限制原则的意见”（以下简称“意见”）中认为该原则包含了“目的详细”（purpose specification）和“兼容使用”（compatible use）两部分，具体内涵是：收集个人数据的目的应当是具体的、明确的、合法的，后续发生的数据利用行为不能与收集之初的目的不相符合。“意见”进一步提出了四个评估“兼容使用”要求的判断标准：数据收集的目的与进一步处理的目的之间的关系；数据收集的场景和数据主体的合理期待；数据的特点和数据进一步处理对数据主体的影响；为确保数据公正处理，预防对数据主体的不当影响，数据处理者所提供的安全保障。由此可见，目的限制原则中的“兼容使用”标准与人工智能立法都试图以初次收集目的约束后续使用。实际上，《草案》附随的“影响性评估”文件中提到，GDPR或许就能够禁止出于一般性目的而进行的社会评分。尽管如此，GDPR中的目的限制原则面向的是数据控制者收集的个人数据，未能涵盖非个人数据，亦未能覆盖通过其他方式“生成的”（generated）数据。相较而言，以系统活动为中心的人工智能立法正好能够全面规范所有用于社会评分的数据的处理方式。其二，关于结果标准与比例原则的对接。结果标准的判断涉及个人受到的不利对待是否公正，与社会行为及其严重性是否相称。对于公共机构实施的社会评分，《宪章》第52条第1款可以直接对之进行限制，“对本宪章所承认的权利和自由之行使的任何限制，必须由法律规定，并尊重这些权利和自由的实质内容。在遵守比例原则的前提下，只有在必要、真正符合欧盟承认的公共利益目标或保护他人权利和自由的需要时，才可以进行限制。”而对于私人开展的社会评分，考虑到对弱势群体及公共利益的保护需求，有必要以履行国家保护义务为动因，通过人工智能立法的形式将基本权利保障贯彻到私人领域。《指南》已明确指出，公私主体实施的社会评分活动都有可能危及基本权利，因而“只能在明确理由的基础上才能使用评分，并且采取的措施应当是合比例的。”
社会评分是自动化决策的典型应用场景，已有立法采用以程序保护为主的数据法规范模式对自动化决策进行约束，即通过GDPR相关条款。相较之下，人工智能立法转向了实质保护进路。根据SCHUFA案，GDPR第22条原则上禁止了信用机构实施的全自动化的评分行为，除非满足如下三个条件之一——为订立或履行合同所必须、经由欧盟法律或者成员国法律授权、取得数据主体的明确同意。该条规定的特点是：第一，出于对人类沦为机器决策客体的担忧，GDPR对自动化决策中人类缺席问题保持高度警惕，在此意义上原则性地禁止了全自动化决策；第二，对于符合特定条件而进行的自动化决策，为个人提供程序性权利保障，包括获得人工干预的权利、表达观点的权利和反对决定的权利，对应公正原则中的程序公正。可见，GDPR在自动化决策问题上采用的数据法规范思路是：确保在自动化决策中人类一直处于“在场”的状态——即“人在环路”，从而对抗可能存在的算法黑箱、算法歧视和责任归属等问题，这也是程序性赋权的出发点。这些程序性权利可以直接链接到《宪章》中的个人数据受保护权、获得良善行政管理的权利（the right to good administration），其深层价值则在于保障人的尊严和自主性。在此基础上，针对受禁社会评分这一应用场景，本次人工智能立法不再关注人与机器的关系，即不再关注人是否在场，转而关注作为自动化决策的社会评分的实质公正问题，直接链接到了人的尊严、自由、不受歧视等基本权利。基于对实质公正的关注，人工智能立法对社会评分做出的进一步限制包括：第一，受禁止的社会评分适用于所有人工智能系统，而不论系统的自动化程度为何；第二，意识到群体分类所造成的歧视效果，将对个人或其群体产生不利对待的数据处理行为都纳入规范范围；第三，意识到事实行为对个人造成的实质影响，使用了“不利对待”这一表达，以将所有事实上会造成不利影响的自动化决策都纳入规范范围，如行政执法检查；第四，认识到程序性赋权的不足，在基本权利保护的视野下，对符合效果要件的社会评分直接作出禁止决定，而不论程序性权利能否校正或者缓解社会评分所存在的问题。就欧盟而言，本次人工智能立法采用了风险分级监管模式，认为一定情形下的社会评分会对基本权利造成不可接受的风险，因此需要予以禁止，这有助于弥补侧重于程序性赋权的数据法规范模式的不足。从风险观的演变来看，欧盟最初只试图禁止公共机构对个人一般可信度或道德人格所作的评估，但后来意识到所有社会评分都可能侵犯基本权利所保障的自主性和公正对待，于是，规定对于公私主体出于任何目的进行的社会评分，只要满足效果要件和手段要件，就应认定为产生了不可接受的风险，就需要受到禁止。其中，效果要件中的行为标准和结果标准才是核心的判断标准。与欧盟相似，我国在数字政府建设过程中也面临着如何规范国家权力与数字技术、人工智能系统相融合的问题。数字行政可以提高行政效率、提升执法精准度、促进公共福祉，但可能产生长期且规模化的监控行为，对人的尊严、自由、隐私权等基本权利造成不当的侵犯。在这个层面上，欧盟最新的人工智能立法可以为我国数字行政、自动化决策提供以下两方面的启示：一方面，以人工智能系统可能对基本权利造成的侵害及其严重程度为标准，层次化地解决数字技术辅助下行政活动所需的法律授权问题。有学者提出，在应用算法进行公共决策时，应当遵循法律保留原则，即“原则禁止，例外允许”。然而，过于严格地限制技术的应用并不符合成比例的控权思路。因而，若在行政权自身已存在的侵害风险之外，数字技术的应用未额外增加基本权利受侵害风险，原则上可以不适用法律保留原则；在此基础上，随着侵害风险的逐级递增，可以逐步引入法规保留、法律保留等逐渐严格的控权手段，在授权条款中也需逐步增加授权条件；而当人工智能系统活动会对我国基本权利所保障的核心价值造成不可接受的风险时，应当完全禁止其使用。另一方面，考虑到《个人信息保护法》中“目的限制原则”在数字行政中难以应对数据聚合问题，我国未来有必要专门规范该场景下的数据再利用行为。根据该法第13条第3项，“为履行法定职责”是行政机关进行个人信息处理活动的合法性基础。同时，第34条规定：“国家机关为履行法定职责处理个人信息，应当依照法律、行政法规规定的权限、程序进行，不得超出履行法定职责所必需的范围和限度。”在满足这两条规定的前提下，行政机关在履行某一法定职责时，是否可以使用其他行政机关产生的个人信息，或者利用本行政机关为履行另一法定职责时产生的个人信息？目前，根据第14条、第22条、第23条的规定，个人信息处理目的发生变更、个人信息转移或对外提供时，都需要重新取得个人同意。但是，这些规定明显不适用于行政机关处理个人信息的情形，因为其不以取得个人同意为基础。如果不限制行政机关利用超出原初产生场景的数据而对个人做出不利决定，可能会形成寒蝉效应，产生一个强大且全知的监控国家。因此，有必要在未来的人工智能立法中对此问题进行防范。当前，欧盟人工智能立法基本成型。本文立足于立法材料，以法规自身的纵向演进为主、以横向的部门法对比为辅，分析了《人工智能法案》的立法理路及其在社会评分问题上的规范内容、立法目的和立法价值。如此分析旨在为我国未来的人工智能立法及自动化决策规范提供比较法上的启示。
华政学报 | 蔡培如 欧盟人工智能立法：社会评分被禁止了吗？
于洋｜自动化行政处罚的司法审查——以道路交通领域为例
魏琼｜中华法律文化之起源考
练育强｜“检察公益诉讼法”基本原则确定之思考
王军｜政府信息不存在的司法认定标准及理论反思
吴玄｜海南自由贸易港数据跨境规则创新路径研究
黄宇骁｜行政机关信息管理行为的司法规制
上海市法学会官网
http://www.sls.org.cn
