我的位置: 上观号 > > 文章详情

宗绍昊|AI智能体新型知识幻觉风险的激励型法律治理

转自: 2026-10-15 07:30:00

从问答到行动的技术迭代令AI智能体的知识幻觉不再停留在事实幻觉、忠诚幻觉等单一内容错误,而是衍生出记忆幻觉、推理幻觉、工具幻觉、感知幻觉四种新型知识幻觉。现有适应性治理、敏捷治理、权利逻辑和风险逻辑等理念指导下衍生的规范体系与AI智能体新型知识幻觉风险的治理需求不相适配,而推进幻觉防范技术入法进程亦面临技术偏重和规范抽象困境。对此,在宏观层面,需以技法互嵌模型形成AI智能体技术治理与法律治理之间的良好互动关系,并以目的限制原则作为新型知识幻觉风险防范的根本准则。在微观层面,正向激励基准主张在规范上增设记忆分阶段优化、提示词指标优化、工具偏差原因针对性优化、外部感知架构优化等合规要求予以引导,并辅以政策激励措施强化AI智能体相关主体的自我规制;反向激励基准旨在确立以合规整改为原则、以处罚为例外的AI智能体责任承担模式。

引言

2026年3月13日,十四届全国人大四次会议通过的《中华人民共和国国民经济和社会发展第十五个五年规划纲要》提出要“推动建立人工智能全生命周期风险管理制度,健全覆盖安全监测、风险预警、应急响应的风险防控体系”。人工智能知识幻觉风险治理一直是人工智能治理中的难点和热点。既往针对闭源大语言模型和开源大语言模型的知识幻觉风险治理虽尚在讨论中,但技术上已实现从大语言模型到AI智能体的迭代升级。“人工智能领域正站在一个重大转型的边缘,即从创建用于被动、结构化任务的AI模型转向能够在不同复杂环境中承担动态、代理角色的模型”。AI智能体知识幻觉风险在产生逻辑和实际危害上均与大语言模型存在显著差异,2025年11月4日美国首例涉AI智能体诉讼的Amazon诉Perplexity案即是典例。由于OpenClaw近期热度持续攀升,各地均在迅速推进部署,但其知识幻觉风险依然存在,并经由AI智能体的可执行性得以现实化,因而比大语言模型更具威胁性。对具有现实危害性的AI智能体新型知识幻觉风险进行法律治理是当然之举,且需因应AI智能体的特殊性,对法律治理体系予以及时更新以实现法律的内在良善性与外在执行力的统一。当前,鲜有文献聚焦AI智能体新型知识幻觉风险问题,国内个别文献虽聚焦AI智能体研究,但治理建议大多是大语言模型治理范式的重现,且存在对价值对齐等某一特定方案的过度偏重现象,其他文献则大多聚焦代理行为的评价问题。国外有部分文献针对AI智能体新型知识幻觉风险展开专门研究,但聚焦法律治理的文献寥寥。在此背景下,研究AI智能体新型知识幻觉风险的法律治理具有现实意义。

一、AI智能体新型知识幻觉风险的差异化表现

大语言模型与AI智能体在技术原理上存在显著差异,但这一技术迭代过程并未消除知识幻觉风险,反而使AI智能体的知识幻觉风险趋于特殊化。

(一)

技术差异下AI智能体与大语言模型的固有幻觉

以ChatGPT为代表的闭源大语言模型注重的是规模定律,其以Transformer架构所具备的自注意力机制为基础,通过在大规模未标注数据集上进行通用语言模型的预训练,再针对特定自然语言处理子任务进行微调,最终实现文本生成。其将“‘机器学习+人工标注’作为算法技术内核,本质上是服务于生成式人工智能的目的诉求,以技术组合的方式来提升ChatGPT的智能化程度和准确性水平,但这同时也会导致其中存在算法偏见的法律风险成倍提升”。而以DeepSeek为代表的开源大语言模型通过综合运用混合专家模型、纯强化学习、多头潜在注意力机制等技术措施,摒弃了人工标注环节的低效率、低质量性,从而推动大语言模型的发展转型。即便如此,DeepSeek系列模型亦未摆脱知识幻觉风险。一方面,DeepSeek系列模型是对基础大语言模型进行蒸馏的结果,其在运用模型蒸馏技术时,容易继承甚至放大教师模型的知识幻觉。另一方面,DeepSeek系列模型是推理模型,其长思维链和反思机制可对大语言模型的生成内容进行精心包装,并通过归因重构将错误结论与正确前提强行关联,形成表面自洽的逻辑闭环,在结论上易产生更强的幻觉性。

较之于大语言模型,AI智能体具有更强的自主性、持久性记忆和学习能力、决策与执行能力甚至团队合作能力,能够在有限的监督下追求复杂目标。AI智能体与大语言模型的本质区别在于其执行性。其中,单智能体通常是以大语言模型为“大脑”,以记忆模块、规划模块、工具模块、反思模块等多样化工具为“执行器官”的复合系统。而多智能体是由多个单智能体组成的协作系统,各智能体不仅要规划自己的行动,还必须考虑其他智能体的行动。AI智能体的任务执行通常要经历“目标定义—状态表示—行动排序—优化评估—协同合作—沟通工具”等阶段,其功能扩张亦极大地提升了知识幻觉风险发生概率。AI智能体在与其他智能体乃至外部环境的交互中延长了思维链,容易在新增的推理步骤中键入新的知识幻觉点,并在思维链的逐步延展过程中持续放大知识幻觉。实验表明,冗长且含噪声的上下文会对AI智能体的规划能力产生不利影响,且提供更多样本示例并不能保证在长上下文场景中的性能提升。在此情况下,即便是起始阶段最微小的知识幻觉也可能被放大至无法接受的程度,并最终通过任务执行而转化为实害。

(二)

AI智能体与大语言模型的知识幻觉风险类型差异

大语言模型的知识幻觉风险贯穿从预训练到内容输出的全过程。有观点根据大语言模型与输入信息源之间是否存在矛盾关系或是否无法验证,将其知识幻觉分为内在幻觉和外在幻觉;根据大语言模型是否局限于特定的上下文或领域内推理,将其知识幻觉分为封闭域幻觉和开放域幻觉;根据大语言模型在数据处理中的矛盾类型,将其分为输入矛盾幻觉、上下文矛盾幻觉以及事实矛盾幻觉。事实上,第二种知识幻觉分类虽揭示出大语言模型的不同知识幻觉类型,但知识幻觉是否存在,本质上与客观世界相关联,而非聚焦其推理逻辑是否开放。第一种和第三种知识幻觉分类涉及两组关系,即“大语言模型—客观世界”“大语言模型—用户”,因而大语言模型的知识幻觉主要有两种,即事实幻觉和忠诚幻觉。其中,事实幻觉指的是大语言模型生成内容与客观世界的差异,包括事实不一致和事实捏造;忠诚幻觉指的是大语言模型生成内容与用户指令的差异,包括指令不一致、上下文不一致、逻辑不一致。

AI智能体与大语言模型的技术差异导致其知识幻觉类型的不同,其新型知识幻觉包括记忆幻觉、推理幻觉、工具幻觉、感知幻觉四种。其一,记忆幻觉主要表现为AI智能体在任务规划阶段的记忆错乱现象。AI智能体具备持久性记忆(上下文记忆和工作记忆),使其能够维持任务连贯性并实时处理上下文相关信息,作出符合用户需求的执行行为。为此,AI智能体在执行任务前需检索记忆数据,但其记忆容量通常受到限制,无法为任务规划提供全方位的记忆数据参考。为解决该问题,AI智能体通常引入外部检索功能以减少数据的真实性误差,但这却容易带来数据投毒风险。同时,AI智能体面临的每个执行任务均有差异,各个子任务之间亦缺乏必要的联系,导致其持久性记忆数据呈现碎片化状态,难以满足复杂推理要求。如果出现记忆错误删除现象,也会影响记忆检索的正确性。而在多智能体场景下,各智能体在交互过程中极易出现记忆割裂的情况。其二,推理幻觉是AI智能体对用户指令的误解,其虽在某种程度上基于记忆幻觉而生,但更多的是对用户指令的直接性误解。例如,有用户测试称,其在安装完OpenClaw后建立起“主控agent+子agent”模式,以促进资料整理、外部信息快速检索等功能的实现。但主控agent(标注为main)后续开始出现AI幻觉,在对话中明显造假,多次编造成功的信息。为实现复杂目标,智能体需进行多步推理,而推理链条关键节点中的逻辑陷阱或语义歧义,常诱导其得出错误结论并执行危险操作。其三,工具幻觉主要是指AI智能体选择了无关的执行工具或调用了未经授权的执行工具,导致任务无法完成。其四,感知幻觉是相对于推理幻觉而存在的概念,前者是AI智能体因外部传感器等问题而提取出错误的数据,后者则是AI智能体自主地认识错误。

二、AI智能体新型知识幻觉风险的法律治理困境

我国现行法律法规和学理观点在应对AI智能体新型知识幻觉风险问题上,面临若干法律治理困境,主要体现在两方面:一是在不妥当的法律治理理念导向下推导出的不合理规范设置;二是虽突出技术治理之于法律治理的重要性,但在合规义务要求上存在显著疏漏,未能在法律法规和技术标准之间取得有效定位。原本我国实证法便尚未形成对大语言模型的系统性治理,面对拥有新技术、附随新幻觉的AI智能体,法律治理困境更是被进一步扩大,相关规范内容基本不敷使用。

(一)

新型知识幻觉风险法律治理理念的失配性

新近理论上谈及人工智能治理理念通常指向适应性治理、敏捷治理、权利逻辑和风险逻辑等内容,我国人工智能领域现有法律法规多是这些理念指导下衍生的产物,但其对AI智能体新型知识幻觉风险的治理效果并不理想。

首先,适应性治理和敏捷治理是同一概念,但除快速反应能力等倡议外,无法为AI智能体新型知识幻觉风险提供具体的对策建议。适应性治理强调依据外部环境的变化而快速调整治理策略,以提高社会生态系统的适应能力;敏捷治理亦是一种快速适应情景变化的动态治理范式。二者均强调复杂环境中策略制定的灵活性与治理手段的迅速性。《新一代人工智能治理原则——发展负责任的人工智能》将敏捷治理作为人工智能治理的八项基本原则之一,这在一定程度上与AI智能体新型知识幻觉风险的多变性相契合,但其缺乏向下推导对策的能力。一方面,适应性治理与敏捷治理所强调的机动性感知,需要借助现有治理工具或手段的缺陷予以显现,而这种缺陷显现只能是风险。换言之,适应性治理与敏捷治理的内核仍是风险逻辑。适应性治理所批判的风险逻辑并非人工智能治理意义上的风险逻辑,其不当地将风险社会指称的“以系统的方式应对由现代化自身引发的危险和不安”的风险内涵,填充为人工智能治理意义上的风险概念。适应性治理和敏捷治理是活跃于诸如公共管理等学科的治理模式,将其应用于法律治理领域固然有利于调适传统治理手段,并引入激励性、自治性工具和动态治理机制等,却缺乏指导AI智能体新型知识幻觉风险解决的深刻意义。面对具有现实危害性的AI智能体,法律治理层面必须强调多种手段、多元主体的协同和高效反应体系,但更需进一步回答何种主体应当在何种程度上采取何种手段进行合法合规的AI智能体新型知识幻觉风险防范的问题。对此,适应性治理和敏捷治理均无法提供有益方案。

其次,权利逻辑存在对用户端权利或权益保护过度的现象,导致据此推导出的相关规范事实上治理无效果甚至产生负效应。一方面,权利逻辑主张对相关数据主体进行普遍性赋权,如个人信息自决权、数据财产权等。AI智能体的记忆数据乃至外部检索数据是影响其知识幻觉风险的重要因素。若采用权利逻辑,不仅无益于AI智能体新型知识幻觉风险的解决,甚至可能加剧该风险。具体而言,AI智能体的记忆幻觉通常是因初始记忆偏差、检索机制抵消、记忆优先级误认、更新机制实效不足等所致。然而,在权利逻辑框架下,相关数据主体的权利被绝对化,占有、使用、收益、处分等权能均须齐备,且权利人对其拥有完整的控制性,并据此形成权利并存格局。在个人信息权益等的绝对化趋势下,AI智能体存储数据、共享数据、补充数据等均需在其他数据主体控制性条件下展开,相关数据主体密集的权能交叉所形成的“权利沼泽”现象事实上会阻碍AI智能体的数据处理,进而加剧知识幻觉现象。另一方面,权利逻辑主张以保密性、完整性和可用性为核心的静态数据安全三要素模型展开对AI智能体新型知识幻觉风险的治理,而对于穿透至AI智能体新型知识幻觉产生的内部节点的制度安排较为匮乏,陷入因技术认知性不足而无法提供技术导向方案、因技术更新迭代速度快而无法确定技术适用方法的两难困境。权利逻辑的最佳体现即强调透明度对AI智能体新型知识幻觉治理的有效性。我国人工智能领域的诸多规范性文件提及透明度要求,如《中华人民共和国国民经济和社会发展第十五个五年规划纲要》第14章第2节、《生成式人工智能服务管理暂行办法》第4条第5项等。这些措施并未限定AI的具体类型,亦可能应用于AI智能体新型知识幻觉场景。提升AI智能体的透明度是将知识幻觉治理转移至用户端的体现,试图通过用户自主的控制性以减缓幻觉。然而,AI智能体新型知识幻觉风险既无法被事前预测,亦无法被公开,而能够被公开的内容往往无法起到防范知识幻觉风险的效果。同时,面向公众公开AI智能体始终面临着公开限度和现实控制性的两难局面。不同于大语言模型侧重于内部自治的框架(至多与外界存在数据交流),AI智能体涉及与若干执行工具或执行对象的交互,而交互环节恰是衍生知识幻觉的重要原因。倘若将其公开,势必会连带公开执行工具或执行对象的相关内容,可能会泄露隐私、商业秘密等重要信息。尤其是,付诸用户端的控制性措施高估了用户的自主决策能力,其既难以理解AI智能体的公开内容,亦无法形成客观上控制幻觉、改良幻觉的效果。

最后,风险逻辑被认为是解决权利逻辑一系列弊端的标准范式,在欧盟《人工智能法》等域外立法中获得了广泛应用,但其始终未能解决风险缓解措施指向空洞化的问题。风险逻辑否认相关数据主体的绝对化权利,并重视风险作为动态概念的基本属性,强调AI智能体不同知识幻觉风险及其在不同时空条件下的风险表现、公众对风险的感知程度、场景中最大可接受风险水平等差异因素。将风险逻辑应用于AI智能体新型知识幻觉风险治理的常见手段,是采取风险分类分级思维,如在前述记忆幻觉、推理幻觉、工具幻觉、感知幻觉等幻觉类型的分类基础上再由轻到重地配置不同的治理手段。我国相关法律法规亦广泛吸纳风险分类分级思路,如《人工智能安全治理框架》2.0版以及若干国家标准、行业标准等,均将其视为解决人工智能风险的科学方法。然而,风险分类和风险分级并非相互隔断、并列存在的事物,亦非相互决定的关系,而须遵循先风险分类再风险分级的基本逻辑。即便如此,“大多数风险属于不确定性风险(uncertain risk),即发生概率本身也不确定,甚至有时发生概率本身的不确定性程度也无法确定,甚至发生奈特不确定性(Knightian Uncertainty)向更高阶次扩展的情形”。换言之,即便能够通过技术分析确定AI智能体新型知识幻觉的风险类型,但后续风险分级才是决定治理手段分配的环节,而所谓的低幻觉风险、中幻觉风险、高幻觉风险的分级事实上无法在实践中实现。由此不难解释,为何现有文献在提及风险分类分级时仅止步于形式上的风险分类和风险分级,而无法往下继续延伸以确定相应的具体治理手段。

(二)

新型知识幻觉风险防范技术入法的形式化

风险防范技术入法是解决知识幻觉风险的有效手段,我国相关法律法规对此积累了一定的经验,但其设置的合规义务普遍存在形式化弊端,未能追溯到技术附随幻觉的底层逻辑上解决问题,且其提倡的相关知识幻觉风险防范技术大多缺乏实效,难以在AI智能体场景下继续使用。

一方面,知识幻觉防范技术入法呈现出明显的技术偏重现象。既往较多观点依赖区块链技术克服人工智能的知识幻觉问题。“利用区块链对人工智能训练数据进行溯源,更容易分辨视觉信息是AI合成的深度伪造内容,还是原始、未被修改的内容……显著提高了生成式人工智能模型输出信息的准确性与预测性能。”然而,区块链技术仅能依据其不可篡改性、完整性等特征,记录数据来源、信息生成来源等,因未能触及AI智能体新型知识幻觉产生的内部构造而无法起到预防知识幻觉风险的效果。又如,《人工智能生成合成内容标识办法》结合《网络安全技术人工智能生成合成内容标识方法》(GB45438-2025),共同构成对大语言模型知识幻觉风险的标识破解路径,通过“显性标识+隐性标识”的模式将标识嵌入生成内容中,实现虚假信息来源的可追溯。新近推出的《人工智能拟人化互动服务管理暂行办法》依然将标识制度作为治理拟人化互动服务的核心技术措施。标识制度与区块链技术的应用具有相似的逻辑,即意欲通过确定的信息来源对相关主体予以归责,以反向激励手段促成其知识幻觉的解决。事后归责手段虽有一定的促进效果,却同样因未触及技术根源而缺乏实效。即便在大语言模型的场景下,标识制度亦可被使用者所轻易规避而无法有效发挥辨别信息来源的功能。一些隐形标识虽可被技术开发者、大型网络平台等优势主体所识别,但使用文本清理工具或AI改写功能等仍可予以消除。司法机关固然可以处罚恶意消除标识行为,甚至创设新的罪名予以规制。但问题是,极其稀少的恶意消除标识处罚案例不足以形成有效威慑,而推动其处罚范围扩张的举措又将面临过度压缩公民自由活动空间的指责。同时,经标识的数据不代表其为真或为假,即标识并非信息真假的判断依据,AI智能体在处理经标识的数据时亦缺乏筛选标准。正因如此,AI智能体不宜沿用标识制度作为解决记忆幻觉等的技术措施,现行法律法规对某一项技术过度偏重的倾向亟待改正。

另一方面,知识幻觉防范技术入法的规范内容呈现出抽象化特征。当前我国政策性文件很少提及具体的知识幻觉风险防范技术,这既是避免规范制定与颁布的长周期导致规范滞后现象的举措,也系因相关规范制定者通常对知识幻觉风险防范技术并不熟悉。例如,我国相关政策性文件中经常提及推进个人信息保护、数据最小化利用等,但这只是规范话语的重述。这种情况在《人工智能拟人化互动服务管理暂行办法》中尤为突出,其提及的禁止行为、主体责任、数据管理、数据保护等规范内容,只是结合了所谓的新场景进行重新表达,不仅未形成知识增量贡献,甚至有弱化合规强度的可能性。以第16条第1款为例,其规定拟人化互动服务提供者应当依法落实数据产权等制度,采取数据加密、访问控制等措施保护用户交互数据安全。表面上看,该规定是对拟人化互动服务提供者数据保护义务的强化,但如《数据安全法》《网络数据安全管理条例》等形成的是数据保护义务群。上述文件仅突出某个特定制度或措施并以“等”字概括,容易造成选择性落实的现象。通过转致性条款将其与特定技术标准相关联,或者以技术标准作为解释规范的依据,是弥补规范技术漏洞的路径。即便如此,诸如《网络安全技术生成式人工智能服务安全基本要求》(GB/T45654-2025)强调的前置过滤器、实时防护层、后置审计台等机制,仍然预留了相当的技术自主空间。基于技术创新保护的基本立场,事前避免AI智能体标准设置僵化的做法具有合理性,但基本技术框架仍有存在的必要性,否则“技术创新促进法”可能沦为空洞的象征性立法。

三、AI智能体新型知识幻觉风险的法律治理思路

AI智能体新型知识幻觉风险的现实危害并非推测而来,其对于用户、互动对象等的权益均有不同程度的损害,无论采取何种知识幻觉治理理念均不会否定法律治理的必要性。在此过程中,最为关键的是理清技术治理和法律治理的关系,并为具体的合规义务要求之设立提供可资遵循的选择标准。

(一)

新型知识幻觉风险的技法互嵌模型

既往对技术治理或法律治理的偏重模型已受到广泛批判,必须推进AI智能体新型知识幻觉风险的技术治理与法律治理互嵌模型。技法互嵌模型强调的是AI智能体新型知识幻觉风险治理过程中技术与法律的互动关系。这一命题已受到理论上的普遍关注,但仅回答技术治理之于法律治理的补充作用、法律治理之于技术治理的制约作用容易令互动关系流于抽象,无法真正有效地解决AI智能体新型知识幻觉风险。

法律治理对于技术治理的作用主要是指导和规训技术部署,进而实现知识幻觉风险防范技术向善。通过法律治理事前框定的技术合规体系和灵活处理空间,AI智能体开发者得以在合理且有效的合规框架内展开技术研发与部署。技法互嵌模型主要包括两个层次:其一,法律治理通过正向激励手段促进新型知识幻觉风险防范技术向善。正向激励借助法律制度所具备的福利面向,推动AI智能体相关主体积极、主动地展开自我规制。既往“命令—控制”型法律治理路径倾向于直接干预相关主体的技术研发与应用过程,权利逻辑、风险逻辑即是法律中心主义的直接体现,适应性治理、敏捷治理虽在一定程度上缓和了法律中心主义的绝对性,但并未对AI智能体相关主体的自我规制形成体系性认识。法律直接干预技术行为容易带来滞后性、片段性等问题,因而需要从直接干预转向间接干预,并形成以自我规制为主导、以合规义务为引导的AI智能体新型知识幻觉风险治理格局。在此基础上,将AI智能体相关主体(如开发者、部署者)确立为第一责任主体,能够压实新型知识幻觉风险的防控义务,将风险预防、识别与纠错处置责任交由最具技术信息优势的市场主体承担,促使其把新型知识幻觉风险的治理全方位融入内部合规管理体系,实现风险的前端治理。既往观点针对AI技术风险习惯于强调场景化治理,缺少具体到各领域的正向激励手段。理想的举措应是回归AI智能体新型知识幻觉的具体类型,从中总结出针对性的合规义务类型,通过成文规范的形式予以推进,并辅以尽职免责的容错机制、典型案例评选等声誉激励活动指向的一系列政策激励措施加以推广。其二,法律治理通过反向激励手段促进新型知识幻觉风险防范技术向善。反向激励强调的是,“建立并妥善执行合规管理体系是企业在生产经营活动中应履行的义务,如果未能建立或妥善履行,则企业会受到行政处罚等制裁”。不同于大语言模型,AI智能体涉及的责任主体显著增加,除了AI智能体开发者、部署者、用户,还包括AI智能体执行工具和执行对象所对应的责任主体。反向激励是正向激励的保障,但过度的反向激励会损耗正向激励的制度价值,使治理路径重归“命令—控制”型法律治理的泥沼。AI智能体相关主体的第一责任定位,并不意味着只要发生知识幻觉便应由其承担无过错责任,而应避免单向的责任转嫁,形成梯次配置、轻重结合的多方主体责任体系,进行科学的民行刑一体化责任设置。

为推进AI智能体新型知识幻觉风险的激励型法律治理,需强化规范制定和处罚实施过程的科学性、专业性。在规范制定方面,需整合法律、密码学、数据科学、人工智能治理等领域的专家智库,并建立由技术工程师、企业合规官组成的实务咨询组,强化AI智能体相关合规义务的可行性;在处罚实施方面,除了建立跨部门的各级领导小组机制以增强治理资源调配的高效性,还需对不同程度的知识幻觉风险科处不同的行政处罚,强调处罚与技术整改相结合,并将AI智能体的整改程度作为从轻或减轻处罚的依据。

(二)

新型知识幻觉风险的目的限制原则

目的限制原则是AI智能体新型知识幻觉风险防范的根本准则。其意义在于,在法律治理层面突出AI智能体知识幻觉风险的本质属性是偏离任务执行目的,并据此要求AI智能体开发者等相关主体在履行合规义务时,强化任务执行目的对AI智能体行为的限制作用,以此提升风险环节措施的治理效能。总体而言,技法互嵌模型解决了技术治理与法律治理的关系问题,而目的限制原则能够指导评估基准、缓解基准等内容的选择。

AI智能体之所以产生知识幻觉,系因多模块、多智能体交互过程中出现的任务执行目的偏离现象。AI智能体作为执行模型,其执行行为是否与用户事前设定的目的及记忆上的操作惯例相契合,是评价其任务完成度的关键要素。AI智能体的核心特征是自主生成并执行有目的的动作,包括外部动作(如与其他智能体的交互、人类通信等)与内部动作(策略规划、自我反思、认知结构优化等),并系统地塑造环境与未来认知以实现复杂目标。在此基础上,所谓的记忆幻觉、推理幻觉、工具幻觉、感知幻觉,最终都体现为对任务执行目的的偏离。为AI智能体设定的目的限制既有利于评估知识幻觉风险是否存在及其程度,亦有助于大幅度减少知识幻觉情况的出现,并推动其自我调整、自我进化。换言之,AI智能体需遵循目的限制的要求执行任务,如果发生目的偏离现象,相应的行为应予以终止或修正。事实上,对AI智能体施加目的限制并非理论假设,对相关主体增设目的限制的合规要求在技术上亦具有可行性。AI智能体开发者可通过专门设置监督智能体,在多智能体系统内以上下游智能体的博弈关系实现目的偏离性禁止效果,或者在多智能体内嵌入反思机制,当出现目的偏离现象时系统即自动进入反思状态,在执行前主动发现潜在误操作。基于目的限制原则,AI智能体可通过修改自身代码与底层操作机制,或者通过结合内在奖励的探索驱动力和外在奖励的目标导向结构的混合奖励机制与层次奖励机制,实现根本性的自我改进。域外已有国家通过目的限制原则推进人工智能治理的情形。

与AI智能体目的限制原则相关联的概念是AI价值对齐机制,但价值对齐机制本质上是伪命题,不应以之替代目的限制原则。在AI智能体新型知识幻觉治理场景下,有观点认为,“可尝试通过价值敏感设计实现价值对齐,为智能体嵌入人类价值观,以确保智能体的行为目标与人类利益的实现保持一致”。现有相关规范中亦多处提及价值对齐机制,如《生成式人工智能服务管理暂行办法》第4条第1项中提及的坚持社会主义核心价值观等内容即是强化人工智能价值对齐机制的典型表现。既往令人工智能实现与人类的价值对齐工作,主流观点使用的是基于人类反馈的强化学习方法,但其存在引入更大偏见、成本偏高、奖励模型归纳环节存在漏洞和错误等缺陷。即便新近开发出动态的价值对齐机制,但其是否可产生一以贯之的对齐效果仍然存疑。原因在于,价值对齐机制中的“价值”确定存在难题,何为正确的价值、何种价值需注入AI自始存在选择难题。同时,价值的表述在人类概念阐释中即存在模糊性,如《新一代人工智能伦理规范》第1条规定的“公平、公正、和谐、安全”等原则,因过于宏大、抽象而普遍存在代码转译困境。或许有观点认为,忽视社会主义核心价值观对AI智能体的规训会导致技术恣意发展。然而,相关论者担忧技术恣意发展的理由基本上指向非法任务执行目的,其并不在目的限制原则的规制范畴之内,而应落入AI智能体违法犯罪行为过滤机制的序列。以违法犯罪行为出现时的消极过滤替代违法犯罪行为未出现时的积极对齐具有显著的成本优势和治理效果。

四、AI智能体新型知识幻觉风险的法律治理展开

AI智能体新型知识幻觉风险的技法互嵌模型和目的限制原则是法律治理的宏观理念,而在微观层面需要将正向激励基准和反向激励基准予以具体化,以此避免象征性立法的弊端,为AI智能体规范性文件的制定提供有效建议。

(一)

新型知识幻觉风险的正向激励基准

针对AI智能体的记忆幻觉、推理幻觉、工具幻觉、感知幻觉等不同类型,需要在目的限制原则指导下形成与之相匹配的正向激励基准。除政策激励措施外,正向激励基准主要是分析不同类型的知识幻觉风险产生的原因,进而得出适配的技术解决方案,并透过技术表征提炼出其背后的基本合规标准,最终以法律法规的形式予以确认。因此,罗列具体地技术方法仅是证明合规义务的实施可能性,追溯其背后必要的合规环节和合规内容才是目的。事实上,此种法律治理逻辑在我国网络暴力治理相关规范制定经验中已有普遍体现,如《互联网信息服务算法推荐管理规定》第7条规定了算法推荐服务提供者的算法机制机理审核、科技伦理审查、用户注册、信息发布审核、数据安全和个人信息保护、反电信网络诈骗、安全评估监测、安全事件应急处置等合规义务,其本质上即是透过技术提炼出的合规内容。相较于抽象的规范话语重述、治理原则列举等形式而言,此种路径较好地兼顾了抽象性和具体性,能够有效指导AI智能体相关主体的合规体系建设,为反向激励基准奠定了清晰的规范内容。

记忆幻觉是AI智能体面临的最为复杂的幻觉类型,其在新记忆涌入、记忆储存与整合、记忆共享等诸多环节上均有潜在的知识幻觉风险。在新记忆涌入阶段,无论是外部检索数据还是上下文记忆或工作记忆,均应当设置记忆验证和记忆更新机制,通过事实核验和数据清洗工具包(如去敏感化、去错误化等)推进高质量的记忆保留;在记忆储存与整合阶段,应提倡不同类别数据的分类储存,如外部检索数据与任务执行数据(及其内部任务类型的分类)等,并建立系统的数据标签,同时定期清理冗余记忆,以维持记忆储存的合理体量。其中,冗余记忆不以时间久远与否为界定标准,而应强调与任务执行目的的绝对无关联可能性,对其应如何界定最终取决于对用户长期任务执行领域的观察和总结。多智能体系统的记忆储存亦应遵循相同的逻辑,只不过其记忆储存位置有所区别,并可设置专门的智能体管理储存的记忆;在记忆共享阶段,数据最小必要原则事实上并不拘束各智能体之间的数据开放和共享,因为数据处理是否属于“最小必要”,不是以数据的数量是否最小、处理行为是否具有充分的必要性为判断标准,而须判断是否会对数据指向的利益主体产生实质不良影响。在规范上,需确立记忆分阶段优化合规要求,具体以新记忆涌入、记忆储存与整合、记忆共享作为记忆幻觉的基本分类内容,并在各阶段下分别设置记忆验证和记忆更新机制、数据分类储存机制、数据最小必要原则等合规义务。

推理幻觉源于AI智能体对用户指令的理解偏差,而改善推理幻觉的主要措施是构建提示词优化工程,并可有效防范提示词注入(Prompt Injection)攻击的发生。在AI智能体场景下,提示词链是支撑其进行多步骤推理、规划和决策的关键,其核心效用在于将原始复杂问题分解为更小、更易管理的子问题序列,每个子问题通过专门设计的提示词单独处理,并输出后续传递链条中的提示词以分阶段推进任务执行。提示词优化工程的核心评价指标包括性能指标、效率指标和定性指标,具体方法通常涵盖上下文工程和提示工程等。性能指标和效率指标是实践层面的效果考量,可在引入外部算法评价等机制进行效果评价的基础上进行再判断;而定性指标则指向对提示词质量的评估,可适用《信息技术数据质量评价指标》(GB/T36344-2018)载明的规范性、完整性、准确性、一致性、时效性、可访问性标准。规范上应确立提示词指标优化合规要求,在推理幻觉项下将提示词优化工程及其三项指标列为AI智能体合规体系建设的内容,要求其评价指标经外部第三方机构的专业化审查通过后再予以实施。

工具幻觉系AI智能体在工具选择上发生的目的偏离现象,相应地,工具使用的优化成为提升智能体整体性能与适应性的关键环节。AI智能体工具使用的过程包括“工具定义—智能体决策—函数调用生成—工具执行—结果反馈”等阶段,在此过程中的调用逻辑错误、权限滥用风险、单一工具依赖等均可衍生知识幻觉风险。此时的工具幻觉评估基准转变为对风险原因的确定,而缓解基准应与风险原因一一对应。例如,针对AI智能体的调用逻辑错误,应添加工具校验环节,通过调用工具与执行目的的匹配性验证(目的限制原则的验证),避免误用其他工具;针对AI智能体的权限滥用风险,应限制其工具调用权限,尽量避免概括性授权或全部授权模式的出现,须以任务执行的最小必要为限分配工具权限。当然,此处的最小必要与数据利用的最小必要原则存在本质差异,工具的最小必要授权不会阻碍AI智能体数据的获取和基于数据的推理,只是强调实现目的限制原则的最小必要范围;针对AI智能体的单一工具依赖,须强调为关键任务配置多个备选工具,避免因单一工具依赖放大因工具性能瑕疵而出现的幻觉。规范上应确立工具偏差原因的针对性优化合规要求,将授权验证机制、最小必要授权、授权工具箱储备等作为AI智能体工具幻觉治理的核心内容,为开发者提供合规指引。

感知幻觉较之于其他AI智能体知识幻觉更容易解决,因为此种幻觉系由可观感的外部传感器或环境干扰因素所引发。规范上应确立外部感知架构优化合规要求,明确AI智能体开发者强化对抗攻击训练和常态化检测机制,通过嵌入可调整、可适应的模型架构优化感知效果。

上述对AI智能体四种新型知识幻觉所导出的具体合规要求和一系列政策激励措施,加之宏观层面的技法互嵌模型和目的限制原则两种理念,共同组成AI智能体新型知识幻觉风险治理规范性文件的主体内容。至于具体的技术内容、技术方法、技术更新期限、技术检验流程等,则应依据与规范性文件相关联的国家标准、行业标准予以解决。需要注意的是,上述知识幻觉风险的全部正向激励基准可同步运用于多智能体场景,只不过具体合规义务的实施对象有所区别,如单智能体作用于内部模块,而多智能体可能将其部署于其他智能体或各智能体的交互过程中。在此基础上,需要推进AI智能体的新型知识幻觉风险法律治理向垂直领域推进,开发诸如法律、生物医药等领域的细化评估基准和缓解基准,以契合垂域AI智能体的特殊知识幻觉风险防范需求,同时可加强针对AI智能体的特殊备案审查机制建设。

(二)

新型知识幻觉风险的反向激励基准

AI智能体新型知识幻觉风险的反向激励基准指向的是法律归责基准,涉及责任主体和处罚边界的确定,通过处罚的威慑力推进AI智能体的合规体系建设。在此过程中,需要尤其注意因处罚泛化而产生的拘束技术创新现象。

鉴于AI智能体新型知识幻觉风险的不可避免性,应当确立以合规整改为原则、以处罚为例外的基本模式。AI智能体新型知识幻觉风险获得法律豁免的理论依据是技术中立原则。技术中立原则易被否定,只要证明技术中包括某些影响中立性的因素即可,如技术的科学性和社会性兼具属性、技术对开发者和使用者的映射性等。然而,若轻易地将法律责任强加于AI智能体的开发者或用户,极有可能阻碍创新并损害潜在的社会长期利益。“主张技术中立抗辩正迎合互联网行业发展过程中保护和促进技术创新的实践需求,能够使互联网经营者在技术中立原则赐予的合法外衣的庇护下,不断推动技术创新并抢占互联网竞争中新的制高点。”在刑法领域,普遍认为中立帮助行为具备出罪功能,只有当符合“第一,中立帮助行为的提供者必须对于该中立帮助被现实利用实施具体犯罪存在认识、默认,且实际上发生了该具体的犯罪。第二,对照该中立帮助的性质、客观利用状况、提供的方法等要素,在获取该中立帮助的人当中,存在非例外范围的人利用该中立帮助实施犯罪活动具有高度的盖然性,而中立帮助行为人对此有认识和默认的前提下提供该中立帮助行为”的条件时才具备可罚性,否则只是不具有违法性的日常生活行为。AI智能体新型知识幻觉风险尤其适用技术中立原则,如果要求AI智能体在彻底解决知识幻觉问题之前均禁止部署使用,事实上直接阻断了技术展开进程。既然AI智能体新型知识幻觉风险只能被控制而无法被根除,以合规整改为原则便是应有之义,并在公权机关的监督、第三方专业机构的介入等多重因素的作用下,切实推进AI智能体新型知识幻觉风险防范技术体系的形成,以此取得减缓知识幻觉风险的实效。

针对例外情况下的知识幻觉处罚行为,更多的观点仅停留在多主体责任制等空泛表述,未能切实地分配各方主体责任(类型)。对此,有观点在大语言模型的语境下提出知识幻觉所涉主体责任原则上应通过合同协商一致确定,若合同没有约定或是约定不明的,由生成者承担侵权责任(传播链条上主体的连带责任),开发者、部署者承担与其过错相应的责任。事实上,针对AI智能体开发者和部署者的主体责任根源于其合规体系建设义务(目的偏离责任)。换言之,AI智能体应当符合前述正向激励基准的要求,若发现其合规义务履行瑕疵,首先面临的是合规整改,在拒不整改或整改效果不佳的情况下才会涉及后续的法律责任问题。规范上追究主体责任通常从实害和风险两个层面出发,其中民法、行政法主要规制具有轻微实害和低度风险的知识幻觉,如因AI智能体知识幻觉而导致高价购入低价商品或侮辱、诽谤(侵权责任)、AI智能体开发者拒不履行合规体系建设义务(行政处罚责任)等,新近出现的“AI幻觉”编造罪名并由AI公司担责案即是典例;刑法主要规制重大实害和高度风险的知识幻觉,如控制物流链的AI智能体因其幻觉式分配而导致大量车辆报销或产生了针对公民实体法益(人身、财产法益)的不可控制的风险等。在轻微、低度、高度和重大等程度限定词的界分下,民行刑一体化的AI智能体开发者和部署者责任体系得以构建。在美国首例涉AI智能体诉讼案件中,诸如Amazon商城等执行对象因无法触及AI智能体具体的技术设计而不应被课以与开发者和部署者相同或相似的合规体系建设义务。权利与义务的程度呈现正相关关系,既然执行对象对于AI智能体新型知识幻觉风险防范义务较少,其权利(如强制要求AI智能体透明化操作等)亦相应较少。Amazon商城要求AI智能体进行透明化操作,采用的是与阻止网络爬虫抓取数据相同的逻辑。不能认为只要AI智能体违反Amazon商城等的协议要求即可构成违法,因为爬虫协议只是其单方意思表示,在广泛禁止网络爬虫的背景下,“若严格按照爬虫协议执行,几乎没有任何有价值的数据可以获取或流动”,AI智能体亦然。美国第九巡回上诉法院近期撤销了此前Amazon申请的Perplexity AI购物代理工具的初步禁令,也印证了本文的论证逻辑。对于AI智能体的用户而言,由于AI智能体在设计上具有任务执行的自主性,因此很难追究用户的责任,除非用户原本即意欲实施违法犯罪行为而将AI智能体的知识幻觉作为目的实现的工具。此时用户的主体责任具有独立性和显明性,按照相关民行刑规范处置即可。可见,AI智能体新型知识幻觉风险的主体责任并非源于合同约定或过错分担,而是围绕开发者和部署者的合规体系建设义务、用户的合规使用义务展开。