亚太国际法律高等研究院
张磊:论风险预防原则在人工智能全球治理中的适用
    发布时间: 2026-06-12 19:02    
张磊:论风险预防原则在人工智能全球治理中的适用


     珞珈国际法                                                                                                                           
                                                   
图片


点击上方蓝字关注我们


本文摘张磊:《论风险预防原则在人工智能全球治理中的适用》,载《武大国际法评论》2026年第2期。

作者:张磊(武汉大学)


图片


摘要:风险预防原则是平衡人工智能发展与安全的重要制度工具,但该原则如何适用于人工智能全球治理仍然存在不确定性。欧洲委员会《人工智能框架公约》确立了风险预防原则的适用方式,其经验具有重要参考价值。在内涵方面,风险预防原则保障的法益范围从生命权、健康权向普遍人权扩张,其构成要素包括风险、科学不确定性、预防措施和证明机制四项内容。在外延方面,风险预防原则正逐渐发展为一项具有义务属性的习惯国际法规则,其实体性义务应包括人工智能测试与审查的注意义务、人类控制与监督义务、透明度义务和救济义务;程序性义务应包括风险准备、风险评估、风险管理和风险通报义务。中国应积极促进风险预防原则适用于人工智能全球治理。具体包括:在国内法层面,完善人工智能相关法律法规中的国际合作条款;在国际法层面,主张风险预防原则涵盖“风险”和“危险”预防,并提出相应的实体性和程序性义务。

关键词:风险预防原则;人工智能框架公约;人工智能全球治理;人工智能国际法

目次


一、引言

二、风险预防原则在《人工智能框架公约》中的确立

三、风险预防原则适用于人工智能全球治理的内涵澄清

四、风险预防原则在人工智能国际法上的性质与义务内容

五、促进风险预防原则适用于人工智能全球治理的中国对策

六、结论






引言

人工智能的故障风险、滥用风险和系统性风险有扩散为跨境风险的可能,但全球层面暂无针对性和具有法律约束力的国际法规则能有效应对此类风险。欧洲委员会2024年5月通过的《人工智能与人权、民主和法治框架公约》(以下称《人工智能框架公约》)是首部指导人工智能开发、部署与应用活动的区域性条约,对人工智能全球治理规则的构建具有重要的参考意义。该公约融合了“基于权利”的治理路径和“基于风险”的治理路径两种治理路径,以保障人工智能全生命周期的人权、促进民主和法治等基本价值观为宗旨。《人工智能框架公约》总体上贯彻了欧洲素来坚持的风险预防原则(Precautionary Principle),确立了对与人工智能相关的人权、民主和法治风险的事前预防、事中管理和事后救济。
风险预防原则最早在1941年特雷尔冶炼厂仲裁案中作为一项国际法律原则被提出。此后,风险预防原则逐渐发展为国际环境法领域的一项基本原则。它在欧盟法中具有一般法律原则的地位,但在全球层面目前难以得出其已构成一项具有普遍适用性的一般法律原则或习惯国际法规则的结论。近年来,风险预防原则在全球治理中的地位和作用日益提升,扩展至国际和平与安全、气候变化、海洋、公共卫生、新兴科技等诸多领域。有学者认为,在技术发展和治理的早期阶段纳入风险预防原则,可有效管理与新兴技术和不可预测技术有关的风险。欧盟《人工智能法》、欧洲委员会《人工智能框架公约》虽未在案文中明确提出风险预防原则,但其风险评估、风险管理、风险通报等措施均体现了风险预防原则。
正如风险预防原则为自然环境提供保护一样,其也应当成为人工智能等新兴技术领域的一项基本原则,为人类的数字环境提供保护。从风险预防原则适用的一般条件看,人工智能的开发、部署和应用满足存在“风险”和“科学不确定性”两项核心要素。从法律回应技术的视角看:首先,在人工智能技术发展早期,人工智能特殊的安全风险超出了现行规则的调整范围,这一时期的国际造法应以安全风险预防为导向;其次,目前的风险控制方法不适用于新兴高风险技术领域,需要建立一种灵活的、主动的预防性治理模式,与技术同步发展;再次,人工智能具有典型的不可预测性、快速迭代性,还存在超出人类经验范围和想象力的“未知的未知”,最佳策略仍然是预防损害的发生,通过制度安排为技术发展的未知前景预留弹性空间,保证规则的前瞻性。现阶段人工智能技术发展方兴未艾,为平衡技术创新与安全监管,实现人工智能高质量发展与高水平安全的目标,风险预防原则应成为协调两种需求的主要原则。
新兴技术的规制思路通常遵循法律回应技术的一般立场,以过程风险预防为核心,重新解释现有规则的基本概念和适用方式。当前,风险预防原则如何适用于人工智能全球治理仍然存在不确定性。本文在系统梳理风险预防原则如何在《人工智能框架公约》中确立的基础上,澄清风险预防原则在人工智能国际法上的内涵、性质和义务内容,并建议中国采取积极举措促进风险预防原则适用于人工智能全球治理。




风险预防原则在《人工智能框架公约》中的确立

《人工智能框架公约》虽然并未在第三章“与人工智能系统生命周期内的活动有关的原则”部分直接阐明风险预防原则,但第一章“总则”、第四章“救济措施”以及第五章“评估和减轻风险与不利影响”等章节均体现了风险预防原则的适用。

(一)风险预防原则的概括性规定
风险预防原则的法律表达通常包括价值性的原则规定、概括性规定和具体性规定三类。《人工智能框架公约》主要涉及概括性规定和具体性规定两类。概括性规定对法律的适用和发展具有普遍指导意义和直接适用性,通过目的解释等法律解释方法可以发挥此种功能。
《人工智能框架公约》第一章第1条“目标和宗旨”对风险预防原则做出了概括性规定:“各缔约方应采取或保持适当的立法、行政或其他措施……鉴于在人工智能系统全生命周期内对人权、民主和法治产生不利影响的严重程度和发生的可能性,这些措施应视需要分等级和分类别。”该条强调了人工智能可能对人权、民主和法治产生风险以及采取预防措施的要求。“不利影响的严重程度和发生的可能性”这一表述借鉴了欧盟《人工智能法》第3条第2款对“风险”的定义——“发生损害的可能性和该损害严重程度的组合”,延续了国际标准化组织2019年发布的ISO14971《医疗器械的风险管理标准》中关于“风险”的界定。该条采取措施降低损害的可能性与严重程度本身暗含着“预防”的意思。根据风险社会理论的代表人物尼克拉斯·卢曼(Niklas Luhmann)的观点,“预防”一词通常被理解为对不确定的未来损害所做的准备,包括降低损害发生的可能性或者降低损失的程度。不论在危险还是风险的情况下,都可以展开预防措施。
(二)风险预防原则的具体性规定
风险预防原则的具体性规定主要体现在《人工智能框架公约》第五章“评估和减轻风险与不利影响”部分。第16条呼应了第一章中的目的条款:“各缔约方应采取或保持各种措施,通过考虑对人权、民主和法治的实际和潜在影响,识别、评估、预防和减轻人工智能系统带来的风险”,这一条款首次明确提出了“预防”(Prevention)概念,实质上肯定了风险预防原则作为本章节基本原则的地位。但该条款将风险评估、风险预防和风险管理并列,也极易混淆风险预防原则的阶段划分。风险预防原则主要包括风险评估(Risk Assessment)、风险管理(Risk Management)和风险通报(Risk Communication)三个阶段。该三段式划分偏重识别风险并采取风险管理措施,忽视了常态化的风险准备(Risk Preparation)。就人工智能全生命周期的治理而言,人工智能提供者对算法、模型、产品和服务进行严格测试与审查、保持人类有意义的控制和监督以及价值对齐等风险准备工作具有防微杜渐意义,风险准备环节前置更能有效应对风险的不确定性。因而,风险预防原则适用于人工智能全球治理应当包括风险准备、风险评估、风险管理和风险通报四个阶段,《人工智能框架公约》亦按照四个阶段阐释相关规定。
在风险准备阶段,各国需要在人工智能系统首次投入使用前以及重大修改时进行测试,确保可能对人权产生重大影响的信息和使用情况被记录在案;同时,促进各类人员掌握识别、评估、预防和减轻人工智能风险的专业技能。通过严格测试、备案制度和民众数字能力建设,将风险因素阻遏在萌芽阶段。
在风险评估阶段,各国需要对人工智能系统进行风险识别、评估和分级对待。《人工智能框架公约》第16(2)条列出了4项风险分级的参考要素,包括场景和预期用途、潜在影响的严重性和概率、多利益攸关方的观点和是否存在反复应用,但并未明确具体级别,仅在第14(2)(a)条提及对有重大影响(Significantly Affect)的人工智能系统予以备案,或可认为《人工智能框架公约》将人工智能系统分为“重大影响的人工智能”与“非重大影响的人工智能”两级。
在风险管理阶段,各国需要对人工智能系统进行持续监测和备案,在人工智能不符合人权、民主和法治要求的情况下可采取暂停或禁止措施。《人工智能框架公约》实质上采取了“强”预防措施,即在存在科学不确定性的情况下采取诸如全面禁止、暂停、使用限制等对严重风险的默认反应。“弱”预防措施允许在采取措施时考虑比例原则、成本收益等,相比之下,“强”预防措施对风险采取的立场更为保守,措施更为严格。
在风险通报阶段,各国需要通过缔约方大会或双多边渠道履行报告义务和国际合作义务,说明该公约落实情况、关于人工智能的重大影响信息等。
《人工智能框架公约》通过概括性规定和具体性规定确立了风险预防原则的适用方式,虽然并未在第三章“与人工智能系统生命周期内的活动有关的原则”部分明确表述风险预防原则,但通过第一章目的条款、第五章涉及风险和不利影响的专章确立了其基本原则的地位。从某种程度上讲,风险预防原则在《人工智能框架公约》中属于一项统领性原则,第三章提及的人的尊严与自主原则、透明度与监督原则等七项原则处于从属地位。统领性原则是从属性原则得以保障和实现的基础。




风险预防原则适用于人工智能全球治理的内涵澄清

《人工智能框架公约》未对风险预防原则的内涵做出清晰阐述,这不仅是由于国际社会对风险预防原则是否适用于人工智能全球治理尚未达成普遍共识,也与对风险预防原则的内涵本身缺乏统一认知存在关联。鉴于风险预防原则在人工智能风险治理中发挥的重要价值,从风险预防原则保障的法益范围、基本要素两个方面澄清其在人工智能国际法上的内涵,有利于促进学界对风险预防原则是否以及如何适用于人工智能全球治理的讨论。

(一)风险预防原则保障法益范围的扩张
风险预防原则常见于环境法、食品安全法等领域,主要保障人类的生命权、健康权等基本权利。若要突破传统的适用领域和场景,风险预防原则保障的法益范围也应有所扩张。考虑到人工智能等新兴技术给人权带来的系统性风险与挑战,相关法益保障诉求已超出生命权、健康权的有限承载力,风险预防原则在人工智能国际法上保障的法益范围应以人权为原点,以人身人格权,政治权利以及经济、社会和文化权利为三维坐标轴,进行立体的空间拓展。2005年联合国教科文组织发布的《风险预防原则》报告(The Precautionary Principle)对风险预防原则做出定义:“……对人类或环境的损害威胁到人类生命或健康,或严重和实际上不可逆转,或对今世后代不公平,或在没有充分考虑受影响者人权的情况下施加”。该定义肯定了风险预防原则保障人类生命权和健康权的初衷,同时也提及后代的可持续发展权问题,最后以人权为该定义未充分考虑到的情形进行兜底。该定义是在理论层面拓展风险预防原则保障法益范围的首次尝试。如今,《人工智能框架公约》以人权保障为核心,从法律实践上对风险预防原则保障的法益范围进行扩张,推动风险预防原则在国际法上的进一步发展。
具体而言,风险预防原则在人工智能国际法上保障的人权从内容上可划分为人身人格权利,政治权利以及经济、社会和文化权利三类。人身人格权利包括生命权、健康权、隐私权等。例如,人工智能自动驾驶、致命性自主武器、医疗人工智能等应用可能威胁人类的生命权、生存权和健康权。政治权利包括自由权、平等权等。《人工智能框架公约》要求保护民主进程、言论自由、确保尊重平等,都体现了对自由权、平等权的保障与维护。经济、社会和文化权利包括工作权、财产权等。例如,人工智能可能导致劳动者大规模失业,对人类的劳动权构成挑战;人工智能未经同意收集并利用个人数据涉嫌侵犯数据财产权。风险预防原则能够在上述人权保障中发挥重要作用。
(二)风险预防原则基本要素的厘定
学界对风险预防原则的基本要素构成仍存在学术争鸣。一些学者主张风险预防原则具有“风险”“科学不确定性”和“预防措施”三项基本要素,但也有学者强调“证明机制”的重要性。“证明机制”是监管机构、风险制造者、风险受害者、第三方机构等多元主体对危害预期和不确定状况进行举证的机制。本文主要聚焦举证责任倒置,即风险制造者通过合法方式证明危害不存在或概率较低而请求取消或降低预防措施强度。举证责任倒置表面上看增加了企业的举证义务,但在信息不对称的背景下,这一机制实质上是一种确保执法公平和企业“自证清白”的双向保障措施。鉴于此,本文采用“四要素说”,即从风险、科学不确定性、预防措施以及证明机制四个方面探究风险预防原则如何适用于人工智能全球治理。
“风险”是人工智能造成损害可能性与严重性的组合。《人工智能框架公约》、欧盟《人工智能法》均采纳了这一界定。人工智能的风险不仅在于损害是否会发生,更关键的是后果有多严重、影响范围有多广。即使某类人工智能风险发生的概率较低(如“失控”),但如果后果足够严重,整体风险依然极高。是否存在风险需要根据人工智能造成损害的概率及其严重程度做出综合判断,也就必然要求对风险进行分级分类。分级分类有利于风险预防的理性化,以明确目标为前提,根据风险级别和类型合理地配置资源。
“不确定性”是在有限认识范围内对人工智能风险进行科学评估的结果。2002年,欧洲初审法院在辉瑞公司案中明确将风险预防原则与“科学不确定性”联结,指出“当风险存在或在程度上具有科学不确定性时,欧共体机构可以根据风险预防原则采取保护性措施,无须等到风险现实存在和严重性显露无遗”。对人工智能风险具有“不确定性”的认定需要基于专业、科学的客观评估,而非主观判断。这种评估是在有限认识范围内(基于可获得的知识和信息)做出的,因而不可能完全准确无误。
以“弱”预防措施因应人工智能风险并容许剩余风险。预防措施存在“强”“弱”两种类型。“弱”预防措施一般较为温和;“强”预防措施允许直接采取限制、暂停、禁止等措施,更为强硬、反对冒险。《人工智能框架公约》即采用了“强”预防措施。然而,“强”预防措施可能抑制创新、阻碍人工智能技术的快速发展。现阶段,“不发展就是最大的不安全”,以“弱”预防措施灵活、弹性地因应人工智能风险更有利于技术的创新与发展。除此之外,采取预防措施并不能实现人工智能技术应用“零风险”,国际法应允许“剩余风险”存在,各国对此具有一定程度的忍受义务。
证明机制是人工智能风险预防中不可或缺的救济机制。人工智能风险预防一般以人工智能企业(开发者、部署者)为风险规制的相对方,主要倾向于维护应用者的合法权益,而证明机制(举证责任倒置)兼顾了对人工智能企业权益的保障,有利于充分实现平衡人工智能安全和发展的总体目标。“谁主张谁举证”属于证明责任的基本规则。然而,无论是采取“强”预防措施还是“弱”预防措施,都存在类似的举证责任倒置,即在一定条件下由认为相关活动不会造成严重或不可逆后果的主体对自身主张加以证明,请求监管主体取消或降低预防措施的力度。《人工智能框架公约》第14(2)(c)条保障了“相关人员”(主要指人工智能企业等风险制造者)进行“申诉”(Complaint)的权利,有助于维护人工智能企业的权益。
综上,风险预防原则在人工智能国际法上的内涵可总结为:为保障人类的人身人格权利,政治权利以及经济、社会和文化权利,对于可能发生的具有科学不确定性的人工智能重大跨境风险,各国以及人工智能企业等主要行为体应采取有效的预防措施消除或降低风险,并提供适当的救济机制。




风险预防原则在人工智能国际法上的性质与义务内容

风险预防原则是否构成一项具有普遍适用性的一般法律原则或习惯国际法规则仍存在争议。笔者认为,至少在人工智能领域,风险预防原则目前是一项“发展中”的习惯国际法规则,不过本文主张,风险预防原则应当成为人工智能国际法的一项基本原则。

(一)风险预防原则是一项“发展中”的习惯国际法规则
1.风险预防原则适用于人工智能全球治理的法律确信和国家实践
首先,风险预防原则适用于人工智能全球治理已形成高度法律确信。例如,目前人工智能全球治理领域最具影响力的共识性文件——联合国教科文组织193个会员国集体通过的《人工智能伦理问题建议书》明确要求会员国评估、预防、缓解和监测人工智能风险。联合国大会(以下称“联大”)《工智能可持续发展决议》也要求各国对人工智能风险进行识别、分类、预防和缓解。这些国际软法文件充分证明了各国对风险预防原则规范价值的认同。
其次,风险预防原则适用于人工智能全球治理已具有一定范围的国家实践。例如,欧洲委员会《人工智能框架公约》、欧盟《人工智能法》等区域条约或法案以及多国的人工智能专门立法、风险管理框架、指南等都确立了“基于风险”的治理路径。但鉴于颁布相关法律法规或政策文件的国家数量总体较少,风险预防原则暂不具有广泛的国家实践。随着相关国家实践的增多以及新兴技术领域存在较高的“国际造法”需求,在不考虑持续时间等辅助因素的情况下,风险预防原则有望快速发展为人工智能领域的一项“速成习惯国际法”规则。
2.风险预防原则与危险预防原则的融合趋势
危险预防原则是一项习惯国际法规则。国际法委员会在《预防危险活动的跨境损害条款草案》第1条评注中指出,预防(Prevention)是一种程序或义务,涉及可能实际发生重大损害前的阶段,要求国家采取预防措施。该草案作为习惯国际法的编纂,确认了各国对国际法不加禁止的危险活动可能造成重大跨境损害负有一般性的预防义务。在与国家安全、公共安全密切相关的领域或场景跨境部署和应用人工智能本身未被国际法明确禁止,但因其具有潜在高风险性,可能对他国领土或管辖区造成严重损害(如人员伤亡、财产损失等),构成国际法不加禁止的危险活动,危险预防原则对其具有适用性。
危险预防原则(Prevention Principle)与风险预防原则(Precautionary Principle)存在区别。危险预防原则适用于已明确行为与损害之间因果关系的情形,用于处理确定的危险,在国际法上适用于可能造成重大跨境损害的危险活动。风险预防原则将预防行动的范围扩大到因果关系不甚明确的情形,用于处理不确定的风险。危险预防原则构成一项习惯国际法规则,目前对风险预防原则暂无法得出构成一项一般法律原则或习惯国际法规则的结论。
然而,在理论和实践层面,危险预防原则与风险预防原则呈现融合趋势。例如,国际法委员会对《预防危险活动的跨境损害条款草案》的评注指出,即使没有充分的科学确定性,也要谨慎地采取措施,避免或防止严重或不可逆转的损害。可见,国际法委员会承认两种预防原则的区别,但为了避免对危险活动采取措施过于迟缓,有意淡化“充分的科学确定性”的重要性,降低采取预防措施的门槛,实质上通过法律解释模糊了两种预防原则的区别。除此之外,《人工智能框架公约》第16条和第20条强调预防风险,使用了“Prevention”一词而没有使用“Precaution”或“Precautionary”,也体现出这种融合趋势。在某种程度上,这种融合趋势有利于风险预防原则快速发展为人工智能领域的一项习惯国际法规则。
(二)风险预防义务包含的实体性内容
风险预防原则不仅是一项指导原则,而且正在发展为一项具有义务属性的习惯国际法规则。风险预防义务不是单个的义务形式,而是表现为一组义务群。国际法院在乌拉圭河纸浆厂案中指出,风险预防义务包含实体性和程序性两方面内容。风险预防义务包含的实体性内容体现在采用风险预防方法和提供救济措施方面,具体而言,适用于人工智能全球治理时主要包括测试与审查的注意义务、人类控制与监督义务、透明度义务和救济义务。
1.测试与审查的注意义务
在人工智能的算法开发、模型训练、部署与应用等过程中加强测试与审查已成为一项国际共识。例如,《人工智能框架公约》要求为开发、试验和测试人工智能建立受控环境。世界经济论坛《负责任的生成式人工智能建议书》要求采取严格的基准测试、红队测试、沙盒测试等。美国《负责任军事使用人工智能与自主技术的政治宣言》要求进行法律审查。通过严格的测试与审查发现模型漏洞、评估性能与安全性,建立“合格评定制度”,有利于遏制人工智能风险的产生及扩散。
测试与审查的注意义务要求人工智能提供者(人工智能企业及其管辖国)以谨慎“理性人”的标准预见人工智能的跨境风险,通过严格测试与审查的方式消除或降低跨境损害发生的可能性。“理性人”标准是一种客观化或类型化的过失标准,即相关行为体应当具备人工智能行业、人工智能领域监管者通常所具备的注意能力。现阶段,人工智能技术正处于发展初期,不应对人工智能提供者课以较高的测试与审查的注意义务,不应采取结果主义,要求完全消除所有风险,而应容许国际社会接受范围内的“剩余风险”,只要测试与审查符合人工智能行业一般标准即可。
2.人类控制与监督义务
国际社会已充分认识到对人工智能保持人类控制与监督的重要性。欧盟委员会主席冯德莱恩曾表示:“‘人类控制’是应对人工智能挑战的首要原则”。多份国际文件明确载入相关内容,例如,《全球数字契约》要求促进人工智能强有力的人类监督;联大《人工智能可持续发展决议》要求促进人类监督;联大《军事领域的人工智能决议》要求确保人类判断的监督和控制武力使用;等等。上述文件虽然不具有法律约束力,但作为国家间共识,将深刻影响人工智能领域国际条约的制定和习惯国际法的形成。
20世纪90年代,美国国家航空航天局(National Aeronautics and Space Administration, NASA)提出的“以人为中心的自动化原则”可以为人类控制与监督义务的设置提供重要参考。该原则要求飞行员和空中交通管制员必须积极参与、必须充分知情、必须能够监测并协助飞机自动化、自动化系统必须是可预测的、自动化系统必须监测人类操作员,以及每个智能系统(Intelligent System)元素必须理解其他智能系统元素的意图。这六项要求有三点特征:第一,虽然涉及自动化,但自动化与人工智能存在本质区别。自动化是人工智能的物理基础,人工智能是自动化的智能升级,二者具有相互促进和融合的关系,在规制原理上是辩证统一的。第二,第六项关于“智能系统元素”的要求已经充分体现出NASA对飞机自动化及其人工智能发展前景的预判。第三,六项要求中不仅包括人类对自动化系统的控制和监督,还涉及自动化系统对人类的“双向”监督,能有效避免双方的固有局限性。
考虑到人类对飞机自动化和人工智能进行控制与监督的相似性,人工智能开发者、部署者和应用者至少应满足如下要求:(1)必须积极参与人工智能全生命周期;(2)对人工智能的重要决策必须充分知情;(3)持续监测人工智能系统(如通过技术日志、模型卡、备案审查等方式);(4)确保人工智能是可预测的(如通过高质量的数据训练等方式);以及(5)必须及时有效干预人工智能的意外情况。关于人工智能与人类的“双向”监督以及人工智能组成元素间可理解性的问题,业界和学界讨论仍不多见,应留待技术与理论的进一步发展。
3.透明度义务
透明度是人工智能风险治理的一项基本要求,亦是人工智能治理的核心要素之一,决定着人工智能的有效监管。确保人工智能的透明度已成为一项国际共识,例如,《全球数字契约》要求促进人工智能的透明度;联合国教科文组织《人工智能伦理问题建议书》也呼吁确保算法完全透明,遵循透明度等原则。
透明度义务的现实基础是人工智能开发、部署、应用和治理的信息不对称对国际社会利益和秩序可能产生的侵害风险。这种信息不对称体现在人工智能企业和国家两个层面:在人工智能企业层面,人工智能系统的决策过程对用户而言不可见;企业的开发、运营、治理等细节并不对外披露,无法得到行业和社会监督。在国家层面,国内人工智能相关法律和政策的执行、系统漏洞和风险、技术研发进展等由于缺乏政治互信或存在技术竞争,往往不会向他国通报或进行信息交流。
《人工智能框架公约》确立的透明度义务涉及企业和国家两个层面。在企业层面,公约要求存在重大影响的人工智能信息应告知有关人员、在人机交互中应告知人工智能身份信息。在国家层面,该公约通过公众咨询、多利益攸关方磋商、国际合作三方面规定确立了国家在监管人工智能开发、部署和应用过程中的透明度义务。
总体而言,人工智能企业层面的透明度义务包括:产品说明义务、人工智能身份的披露义务、披露内容系人工智能生成的义务、公布风险治理情况的义务等。国家层面的透明度义务包括:制定人工智能监管法律和政策的磋商义务、监管法律和政策执行情况的披露义务、人工智能系统的质量和安全检测情况的披露义务、人工智能系统风险及其治理情况的披露义务、人工智能国际能力建设援助与国际合作情况的披露义务等。这种国家层面的信息披露既可以通过单边渠道公开,也可以通过双多边合作机制或国际组织进行披露或报告。经济合作与发展组织发布的《人工智能事件报告共同框架》提供了一个人工智能事件报告的通用框架和全球基准,有助于加强各司法管辖区和多利益攸关方的规则一致性和互操作性。
4.救济义务
人工智能的应用致损难以完全避免,建立事后救济机制是必要的。联合国教科文组织《人工智能伦理问题建议书》强调,应确保出现损害时的救济机制和赔偿。《人工智能框架公约》第四章专章规定了受影响者提出异议、人工智能提供者进行申诉等救济措施。权利救济有助于实现法律治理的事后反馈,加强制度工具间的协同,促进人工智能企业及其管辖国在事前、事中阶段加强风险控制。
人工智能的国际救济义务主要包括三个方面:一是保障人工智能受影响者提出异议的权利。例如,人工智能生成内容有时含歧视与偏见、色情、诱导、煽动信息等,人工智能系统的受影响者有权向人工智能系统的提供者及其管辖国提出异议。二是保障人工智能受影响者要求赔偿的权利。若人工智能系统导致受影响者的隐私和数据泄露、国家信息基础设施遭受攻击等个人和国家利益遭受重大损害,受影响者有权要求赔偿。就跨境损害的赔偿方式而言,或可建立一种基于保险的风险分散机制。该机制通过建立保险机制来分散由不可预测的人工智能应用结果所引发的损害风险。国际保险基金可由主权国家、人工智能企业共同出资,确保在发生不可预见的损害事件时,能够为受害者提供及时的经济赔偿。三是保障人工智能提供者进行申诉的权利。在人工智能系统因具有不确定性的风险而面临限制、暂停、禁止等风险管理措施时,人工智能提供者拥有申诉、反向举证的权利。如果通过科学证据证明人工智能系统的风险程度较低,在国际社会容忍的“剩余风险”范围内,相关风险管理措施应得到解除或降低强度。
(三)风险预防义务包含的程序性内容
风险预防义务包含的程序性内容是“采取一切适当措施”的具体程序体现,与其阶段组成密不可分。风险预防义务通常包括风险评估、风险管理和风险通报三个阶段。然而,这种阶段划分默认或假设风险实际存在,直接从风险评估切入,属于一种“以过程为中心”的治理逻辑。考虑到人工智能、互联网等新兴技术开发和部署环节产生风险的概率并不低于应用环节,各国对人工智能风险的治理应该侧重防微杜渐,将风险预防原则的启动程序前置,增加“风险准备”阶段,遵循“零信任”的风险治理思路,在技术开发和部署的初期最大程度降低风险。
1.风险准备
本文语境中,“风险准备”系指为预防人工智能开发、部署和应用活动中可能产生的风险,在进行风险评估前,以“零信任”的态度积极消除可能产生风险的因素。例如,美国《负责任军事使用人工智能与自主技术的政治宣言》要求减少意外偏差、加强人员培训和严格测试等;欧盟与七国集团联合发布的《先进人工智能系统组织的广岛进程国际行为准则》要求实施安全控制措施、部署验证机制、保障数据输入等。
在风险准备阶段,人工智能提供者有义务通过严格测试与审查、加强操作人员培训、完善网络和数据安全保障机制、进行民众数字能力建设等举措从前端遏制风险。
2.风险评估
人工智能提供者在风险评估阶段有义务对人工智能风险进行科学评估并分级对待。风险评估通常是指基于科学程序进行风险识别、风险特征描述、暴露评估等。获取科学证据时,须遵循独立、客观和透明等原则。关于风险分级,《人工智能框架公约》重点关注“有重大影响的人工智能”,隐性划分了另一级“无重大影响的人工智能”。而欧盟《人工智能法》将风险分为“不可接受”“高风险”“有限风险”和“低风险”四级,这种分类具体详细,有利于国内企业合规和监管执行,但不利于技术能力和法治水平多样化的国际社会达成共识。
本文主张区分“关键人工智能”与“非关键人工智能”。关键人工智能是指在与国家安全和公共安全紧密相关的基础设施中或在可能对人类的基本权利构成严重影响的场景中部署的人工智能。在其他场景中应用的人工智能属于非关键人工智能。这种“两分法”更适合人工智能全球治理,原因在于:第一,相比于欧盟的“四分法”,“两分法”较为简洁;“关键人工智能”的概念内涵更具有包容性,可涵盖各国在风险评估中对应用场景、功能和影响等因素的不同关切。第二,在网络空间全球治理领域亦有区分“关键信息基础设施”与“非关键信息基础设施”的先例,将这种成熟的数字治理经验“移植”到人工智能全球治理领域,已具有深厚的政治和法律基础,易于在国际社会达成共识。第三,有助于规避欧盟规则的“先发陷阱”,提升中国叙事的向心力与国际话语权。
3.风险管理
人工智能提供者在风险管理阶段有义务对人工智能风险采取具体控制措施,在风险发生前降低造成损害的可能性,在风险发生后将损害的程度抑制到最低。风险管理通常需要与多利益攸关方磋商,权衡不同的政策选择,在必要的时机采取适当的控制措施。《人工智能框架公约》《负责任军事使用人工智能与自主技术的政治宣言》等都采取了“硬”预防措施,主要包括限制、暂停、禁止等。这类预防措施对技术风险采取“一刀切”做法,信奉“猛药去疴”,但从长远来看,并不利于技术的创新和发展。如前文所述,笔者主张对人工智能风险采取“弱”预防措施,灵活、弹性地采取诸如加强企业自律审查、行业自律审查、整改、限制等层层递进的风险控制措施,保障人工智能的可持续发展。
4.风险通报
人工智能提供者在风险通报阶段有义务与多利益攸关方就人工智能风险和相关因素交换信息和意见,包括就前期风险准备、风险评估的结果以及风险管理的决定等进行解释。风险通报可分为政府间风险通报与非政府间风险通报两类。政府间风险通报是指国家政府通过公约缔约方大会、双多边平台等正式通报人工智能相关风险和措施;非政府间风险通报是指非国家行为体(如人工智能企业、研究机构、社会组织等)与国家政府双向通报以及非国家行为体之间通报人工智能风险和措施的行为。风险通报兼具约束性和自愿性特征,如《人工智能框架公约》规定向缔约国大会作报告属于有约束力的义务,但公约鼓励国家与多利益攸关方共享信息便属于自愿性、不具有约束力的规则。风险通报义务旨在保障多利益攸关方在风险防控中的知情权,在国家间通报风险也是履行国际合作义务的体现。




促进风险预防原则适用于人工智能全球治理的中国对策

《人工智能框架公约》多是原则性条款、缺乏具体执行措施,难以延续欧洲委员会《布达佩斯网络犯罪公约》强劲的规范向心力。就人工智能国际规则博弈而言,《人工智能框架公约》对中国的影响力有限,但其具体制度设计(如风险预防原则的确立)对中国参与人工智能全球治理仍具有一定参考意义。
(一)风险预防原则适用于人工智能全球治理的中国基本立场
中国并未明确提出风险预防原则适用于人工智能全球治理,但多项立场文件、倡议、规范性文件暗含这一主张。例如,《人工智能安全治理框架2.0》总结了潜在的人工智能安全风险,并提出了预防和应对措施;《全球人工智能治理倡议》呼吁做好人工智能风险防范,推动建立风险等级测试评估体系等;正在征求意见的《人工智能拟人化互动服务管理暂行办法》也有多项条款涉及风险防范。全面梳理相关文件可知,中国主张在人工智能领域加强风险防范,建立有效的预警机制以及风险测试和评估体系,合作提升风险管控和处置能力。这些主张与风险预防原则的内涵是一致的。
中国在人工智能全球治理中适用风险预防原则具有重要意义。从政治角度讲,人工智能是大国科技竞争的战略制高点,其技术失控可能危及国家政治稳定和国家主权,风险预防原则是确保人工智能始终服务于人民利益和国家安全的保障。从经济角度讲,人工智能是新质生产力的核心引擎,其技术发展可能衍生大规模就业替代、市场垄断等诸多经济风险,风险预防原则有利于在技术创新与市场秩序间建立平衡,促进新质生产力健康发展。从法律角度讲,现有法律体系难以应对人工智能的快速迭代,风险预防原则为立法提供了前瞻性、适应性的思维,促进人工智能治理从“事后追责”向“全生命周期预防”转变,有助于填补法律规则滞后的空白。
(二)风险预防原则适用于人工智能全球治理的国内立法完善
中国关于人工智能治理的部门规章、统一立法的学者建议稿缺乏涉外风险通报与风险管理合作相关条款。例如,《生成式人工智能服务管理暂行办法》《人工智能拟人化互动服务管理暂行办法(征求意见稿)》仅规定了国内人工智能风险防范要求;《人工智能法(学者建议稿)2.0》《人工智能示范法4.0》等学者立法研究虽然涵盖了国际合作条款,但仅笼统提及参与人工智能全球治理和国际规则制定、执法合作等规定。考虑到中国人工智能产品和服务的海外市场逐步拓展,加强相关涉外立法具有合理性与必要性。
本文建议关于人工智能治理的部门规章、筹备中的人工智能领域统一立法应完善国际合作条款:一是明确人工智能国家间风险通报义务。人工智能提供者在风险评估阶段发现的算法、模型、产品和服务的重大风险因素应及时向可能受影响的国家通报,确保相关国家的知情权。二是明确人工智能风险管理合作义务。一些人工智能跨境风险的产生可能涉及人工智能应用者的滥用、误用,人工智能提供者忽视数据安全与隐私保护、算法具有偏见和歧视等,这就需要应用者与提供者合作进行风险管理。面对这类人工智能跨境风险,提供者有义务保障技术支持、信息交流及展开行政与执法合作等。
(三)风险预防原则适用于人工智能全球治理的国际法主张
2026年3月13日,《中华人民共和国国民经济和社会发展第十五个五年规划纲要》强调“推动建立人工智能全生命周期风险管理制度,健全覆盖安全监测风险预警、应急响应的风险防控体系”以及“积极提出人工智能等新兴领域国际规则的中国方案”。在这一背景下,中国应积极塑造风险预防原则等人工智能全球治理规则,具体而言,首先,统筹协调发展与治理需求,如此既不阻碍技术创新、有利于人工智能行业发展,也能加强风险规制、避免人工智能走向无序和失控;其次,率先提出具有普适性、易于达成共识的国际法主张,有利于增强人工智能国际规则制定的话语权。
1.主张风险预防原则适用于人工智能全球治理且逐渐形成一项习惯国际法规则
首先,人工智能满足风险预防原则适用的一般条件。人工智能的推理和决策难以解释和预测,存在不确定性风险,符合风险预防原则的“风险”和“科学不确定性”两项核心要素。其次,我国虽未明确提出风险预防原则适用于人工智能全球治理,但在与人工智能全球治理相关的单边立场文件、倡议、规范性文件中已经事实上采用了风险预防原则。再次,当前人工智能领域缺乏具有普遍约束力的全球治理规则,而风险预防原则是平衡发展和安全需求的有效制度工具,在一定程度上可以填补全球性硬法的“规则真空”。最后,从《人工智能伦理问题建议书》、联大决议等多边文件以及各国人工智能专门立法、指南等法律和政策看,风险预防原则适用于人工智能全球治理已经形成高度的法律确信和一定范围内的国家实践。鉴于此,中国可以积极推动风险预防原则适用于人工智能全球治理,并支持其逐渐发展为一项习惯国际法规则。
2.主张广义上的风险预防原则应涵盖“风险预防”和“危险预防”
《预防危险活动的跨境损害条款草案》评注以及《人工智能框架公约》有意模糊“风险预防原则”(Precautionary Principle)和“危险预防原则”(Prevention Principle)两个概念的区别,使“风险预防原则”与“危险预防原则”呈现融合趋势。有学者认为,为避免因缺乏确定的科学证据而导致采取预防措施过于迟缓,造成情形恶化,可以将风险预防原则作广义理解,涵盖风险预防和危险预防。本文赞成这一观点。在此基础上,为了避免一些国家因概念分歧、是否具有科学确定性等问题拒绝采取风险预防措施或者在造成人工智能重大跨境损害后以此作为抗辩的理由,中国可以主张,广义上的风险预防原则应涵盖“风险预防”和“危险预防”。面对人工智能重大跨境风险和危险,无论具有科学确定性抑或不确定性,各国都应当及时采取预防措施。
3.主张风险预防义务包含四项实体性内容
风险预防义务包含的实体性内容是采取风险预防方法和救济措施的体现,具体而言,包括人工智能开发、部署和应用全生命周期的四项义务:人工智能测试与审查的注意义务、人类控制与监督义务、透明度义务以及救济义务。这些实体性义务在与人工智能相关的多边文件、各国立法、指南中已经形成广泛共识。中国可以主张风险预防义务应包括上述实体性内容,促进其由虚转实,从一项指导原则转变为具体的、有针对性的实践规则,使风险预防原则适用于人工智能全球治理。
4.主张风险预防义务包含四项程序性内容
风险预防义务包含的程序性内容是“采取一切措施”的程序体现。从风险预防义务的阶段划分看,包括风险准备、风险评估、风险管理和风险通报义务。规范风险预防义务包含的程序性内容有利于严格规范人工智能风险预防流程,减少事实认定错误,确保风险预防原则的准确适用。同时,这有利于维护相关国家对人工智能重大跨境风险的知情权,提升风险预防原则适用的公正性和透明性。中国可以主张风险预防义务应包括上述程序性内容。就风险评估而言,可以建立一种“第三方测评制度”(国际组织或其他遴选专家),确保风险评估的准确性、可靠性。就风险管理与风险通报而言,实质上也涉及国家间的合作义务。中国可以主张,各国应在尊重主权平等、不干涉内政等原则的基础上履行风险管理与风险通报义务。




结论

风险预防原则是平衡人工智能技术创新与风险管控两种需求、保障高质量发展与高水平安全的重要制度工具。在人工智能技术方兴未艾的阶段,风险预防原则应成为人工智能全球治理的主要原则。人工智能领域唯一一部区域性国际条约——欧洲委员会《人工智能框架公约》通过概括性规定和具体性规定确立了风险预防原则的适用方式,为风险预防原则如何适用于人工智能全球治理提供了重要参考。
风险预防原则的内涵可从保障法益的范围和基本要素两方面做出澄清。风险预防原则保障法益的范围呈现出从生命权、健康权向整体人权扩张的趋势。风险预防原则的基本要素可厘定为风险、科学不确定性、预防措施和证明机制四项要素。总体而言,风险预防原则的内涵可归纳为:为保障人类的人身人格权利,政治权利以及经济、社会和文化权利,对于可能发生的具有科学不确定性的人工智能重大跨境风险,各国以及人工智能企业等主要行为体应采取有效的预防措施消除或降低风险,并提供适当的救济机制。
本文认为,风险预防原则在人工智能领域构成一项“发展中”的习惯国际法规则。它不仅是一项指导原则,而且应当成为一项具有义务属性的习惯国际法规则。风险预防义务的实体性内容至少应该包括人工智能测试与审查的注意义务、人类控制与监督义务、透明度义务以及救济义务。风险预防义务的程序性内容包括风险准备、风险评估、风险管理和风险通报义务。
中国应当积极促进风险预防原则适用于人工智能全球治理。在国内法层面,完善人工智能相关统一立法、部门规章的国际合作条款,强化涉外风险通报、风险管理合作。在国际法层面,中国可以积极主张风险预防原则适用于人工智能全球治理并支持其逐渐发展为一项习惯国际法规则;还可主张广义上的风险预防原则应涵盖“风险预防”和“危险预防”,避免各国采取预防措施过于迟缓;最后,可以主张风险预防义务包含的实体性内容和程序性内容,使其从一项指导原则转变为具有操作性的实践规则。
质言之,在当前缺乏具有普遍约束力的人工智能全球治理规则的阶段,风险预防原则可以在平衡人工智能发展与安全需求、填补全球性规则“真空”方面发挥重要价值。