未来人工智能司法领域中应用与伦理风险

　如何应对以人工智能为代表的新一轮科技革命带来的伦理和治理上的挑战？这是一个未被以往任何单个学科的研究所涵盖的问题。相比以往的技术，人工智能的独特之处就在于它的‚自主性‛。换言之，或由于技术本身的特性、或由于其应用过程中社会赋予了它特定角色，当代人工智能技术已经在深度‚参与‛人的决策。在这个意义上，人工智能技术与传统的工具意义上的技术有质的区别。正是由于这种对人的决策的深度‚参与‛，人工智能技术导致了短期和长期的伦理问题。

　自最高人民法院在 2016 年提出建设立足于时代发展前沿的“智慧法院”后，人工智能技术便在我国的司法领域开始应用，并取得了一定成果。目前，大多数公开开庭的案件都已在网上直播，大部分符合公开条件的裁判文书也都上传至中国裁判文书网。法院的专网也首次实现全覆盖，并且还建立了以大数据与机器学习为基础的智能辅助办案系统。〔1〕根据中国社会科学院法学研究所、社会科学文献出版社联合发布的《中国法院信息化发展报告 NO.2（2018）》，我国智慧法院建设基本格局业已形成。〔2〕截至 2018年 5 月 23 日，“人民法院通过信息化手段减少各类出行约 14.4 亿人次，减少出行约 198 亿千米，节约出行成本约 161 亿元；通过无纸化办公节约纸张 549 吨；各类信息化应用共节约群众、干警时间约 30 亿小时，相当于传统工作方式下 149 万人全年工作时间。并且新一代智慧法院应用系统已可以节省法官 75%的庭前阅卷时间，该系统还能为法官提供超过 80%的量刑精准度分析、70%以上庭审文本的自动生成。”〔3〕由上海市高级人民法院研发的“上海刑事案件智能辅助办案系统”（又名“206”系统），主要试图解决刑事案件办案中存在的“证据标准适用不统一、办案程序不规范等问题”，强调系统的“校验、把关、监督功能”，以“及时发现证据中的瑕疵与矛盾，及时提示办案人补正或作出说明，确保提请逮捕、移送审查起诉的案件符合法律规定的标准，提升办案质量和效率，实现防止冤假错案，减少司法任意性，推进以审判为中心的刑事诉讼制度改革的目标”。〔4〕贵州省高级人民法院探索建构的“类案类判”机制，也主要强调对异常审判结果进行预警，辅助法官实现类似案件中的法律适用统一。〔5〕我国已将用人工智能技术解决现代司法管理中的热点难点问题作为现代法治建设的重要目标，并且强调在应用技术的同时警惕技术本身带来的问题。〔6〕

　在美国，很早以前就针对刑事司法开发了 COMPAS、PSA 和 LSI-R 三种风险评估软件，并已广泛应用在刑事诉讼程序中。通过预测对象的再犯率、出庭可能性等因素，软件对犯罪者的保释〔7〕、量刑〔8〕和假释〔9〕作出决策。目前美国已有 50%以上的州法官利用这些人工智能模型来进行量刑。〔10〕 “客观地讲，风险评估并不是新兴的领域，它一直是量刑和假释裁定的组成部分。在过去，这种风险评估依据的是法官的‘直觉、本能和正义感’，而现在新的系统依赖算法模型。COMPAS 与 LSI-R 模型涉及五个主要的领域：

　犯罪的情况、人际关系、个性、家庭以及社会排斥程度。由于这些软件的专利性，确切的考虑因素和计算权重外界不得而知。有学者研究称，这些模型可能还包括工作经历、经济状况、家庭成员犯罪记录、年龄、性别、婚姻状况、福利、教育水平等要素。值得一提的是，其中的一些模型是为假释裁决而设计的，现在被应用于量刑。实践中，这些模型首先会根据与不特定于被评估者个人的历史数据来作出风险评估。随后，这些模型会针对被评估者个人提出一系列的问题（有时数量可能达到甚至超过 100 个），并从评估者个人回答或是从其犯罪记录中提取答案。”〔11〕

　欧洲也开始将人工智能应用于司法之中，主要类别包括：

　 （1）判例法搜索引擎；  （2）在线争议解决；  （3）协助合同起草；  （4）分析（预测式分析、量表式分析）；  （5）合同分类与审查；  （6）诉讼通知和辅助诉讼当事人的“聊天机器人”。

　这些应用的发展都基于欧洲各国的司法数据开放之上，如在法国，官方司法公共信息包括法律法规文本，还包括判例法和有关公职人员任命的信息。〔12〕并且这种司法数据公开的趋势，在“开放政府伙伴关系”（Partnership for Open Government，OGP）出现后得到了增强。OGP 是一个非政府组织，它使近 70 多个成员国（包括欧洲委员会的许多成员国）与民间组织和数字巨头的代表们聚焦在一起，并以公共数据开放为主要倡导内容，希望能借此鼓励公民参与公共政策的完善和评估、提高公共事务的透明度，并保证公共服务的正义和通过处理数据库中的大量公共信息来提高公共服务人员的诚信度。在 2016 年，欧洲司法效率委员会首次关注并评估了各国在运用人工智能处理开放数据的问题（见图 8-1）。

　 图 8-1

　CoE 成员国截至 2016 年实施司法裁判开放数据情况统计

　（评估方案 Q62-4）〔13〕

　 在所有接受调查的欧盟成员国当中，仅有五个宣布他们在 2016 年没有实施司法裁判数据开放政策，这表明了欧洲司法机构对透明度的渴望，以及希望利用人工智能提高司法效率成为可能。当然了这种司法裁判开放数据的做法必须要依赖政府的支持，如法国在 2016 年颁布了一项法律，建立了实施法院裁判数据公开的强制框架，即《数字共和国法》。这部法律第 20 条与第 21 条打破了以往从司法和行政法院、法庭中选择“有特殊利益”的裁判予以公开的逻辑，并确立了除法律（或为司法裁判之目的）规定的和为了保护有关人员隐私的特定案件外，一切司法裁判数据都是可公开的。〔14〕与此同时，英国在家事审判改革中也开始将相关技术引入司法领域，“司法委员会（Justice Select Committee）反复强调数据收集对证据发现的重要作用，并对家事审判中数据收集方面的极大缺陷表示失望。英国关于家事司法审查以来关于家事审判制度改革的总结报告——《家事司法的更好未来》（A Brighter Future For Family Justice）指出，建立儿童和家事法庭咨询服务支持署（Cafcass）和法院与裁判所事务局（HMCTS）共享的家事案件管理系统的工作正在推进过程中。业务分析员（business analyst）已经作出了高水准的业务要求，法院与裁判所事务局的信息技术优先化委员会（IT Prioritisation Board）也已同意将该项目提前至下一阶段：司法部（Mo J）的信息技术早已进入可行性测试阶段。政府部门亦对司法审查作出回应，接受设立在线信息中心（online information hub）等建议，为离婚案件提供在线服务，促进案件分流，减少法院资源消耗。”〔15〕

　由剑桥大学和英国杜兰警局联合开发的“危害风险评估工具”（Harm Assessment Risk Tool，HART）的系统已经在司法中广泛运用。该系统主要针对一些不需要起诉的轻微犯罪，对于此类犯罪，该系统可以通过数据分析给出量刑与处置建议，帮助法官作出更为有效的判决，减少相关人群的未来再犯。〔16〕

　司法的直接功用是定分止争，然而它的影响不止于此。人有何种自由、如何与他人互动，都会因司法而改变。在这个意义上，良好的司法是人的自由的基础。在司法中摆正人工智能的位置，关涉人怎样才不被工具化、怎样才得到应有的尊重。倘若权利的内容如何、应该给予何种救济的决定都出自机器，那么人类就离“美丽新世界”不远了。在这个意义上，强调人工智能不应剥夺人的道德主体性，是司法领域应用人工智能的基本准则。

　注 释 ━ ━ ━

　[1] ‚‘智慧法院’建设是今年‘两会’最高人民法院工作报告的一个亮点和闪光点。时代在进步，人民法院势必要与时俱进，主动适应互联网时代的节奏，依托现代化人工智能，围绕司法为民、公正司法，坚持司法规律、体制改革与技术变革相融合，以高度信息化方式支持司法审判、诉讼服务和司法管理，实现全业务网上办理、全流程依法公开、全方位智能服务的人民法院组织、建设、运行和管理形态。从周强院长的报告中我们看到，从 2016 年起最高人民法院提出了建立立足于时代发展前沿的‘智慧法院’，全国法院就在不断地进行着信息化这样一场深刻的变革。经过了一系列的摸索和实践，2017 年‘智慧法院’建设已经取得了一定的规模。所有公开开庭的案件都上网直播。最高人民法院自 2016 年 7 月 1 日起所有公开开庭案件都上网直播，公众可以通过访问‘中国庭审公开网’点击‘今日直播’，也可点击‘案件回顾’播放其他案件庭审录像，截至 2018 年 3 月 8 日，全国累计直播 66 万余件，累计访问近 50 亿人次。所有符合公开条件的裁判文书全部上网。截至 2018 年 2 月底，中国裁判文书网已收入文书总量达 4300 万余篇，访问总量达 135 亿人次，覆盖 210 多个国家和地区，成为全球最有影响的裁判文书网。法院专网全覆盖。全国 3520 个法院、9238 个人民法庭和 39 个海事法院已全部接入法院专网，建成覆盖全国四级法院的执行流程信息管理系统、人事信息管理系统、数字图书馆等平台，实现了全国法院‘一张网’。智能化辅助办案系统成功推广并应用。智能化辅助办案系统创造性地运用大数据、人工智能破解难题，运用智能辅助办案系统，不会替代线下诉讼活动和司法人员独立判断，而是通过推动公检法在共同的办案平台上、明确的基本证据标准指引下办案，在辅助法官办案、方便当事人诉讼等方面发挥了重要作用。‛参见《‚智慧法院‛建设取得哪些成绩》，载新华网：，最后访问日期：2018 年 12 月 2 日。

　[2] ‚新华社北京 2 月 18 日电（记者罗沙、丁小溪）中国社会科学院法学研究所、社会科学文献出版社近日联合发布《中国法院信息化发展报告Ｎｏ．2（2018）》，该蓝皮书显示，全国法院信息化建设在 2.0 版基础上取得突破性进展，目前智慧法院建设基本格局业已形成。蓝皮书显示，2017 年人民法院致力于通过信息化手段提供更加优质的诉讼服务，进一步打造互联网＋司法服务体系，为审判执行提供科技办案支持，审判工作的智能化支持力度明显加大，针对一线法官的智能化服务水平大幅提升。同时，人民法院已基本建成覆盖四级法院、内外联动、规范高效、反应快捷的执行指挥体系，有力促进执行工作体系和能力走向现代化。此外，人民法院司法大数据的开发应用更加得心应手，司法大数据研究院等部门在海量资源中开展专题分析研究，较好地服务司法决策和国家治理。蓝皮书还指出，2018 年人民法院信息化建设仍需在以下七个方面持续发力，以期实现既定任务目标。一是省察信息化定位，以服务司法为中心；二是继续扭转旧观念，主动拥抱现代科技；三是系统间数据互通，避免内部信息孤岛；四是改进系统易用性，切实提升司法能力；五是系统数据集成化，努力实现业务协同；六是提升系统安全性，厘清内外查漏补缺；七是融合技术与业务，消除‘两张皮’现象。‛参见《社科院蓝皮书：我国智慧法院建设基本格局已形成》，载新华网：最后访问日期：2018 年 12 月 2 日。

　[3] ‚5 月 23 日，华宇智慧法院产品发布会在北京国家会议中心举办，新一代智慧法院应用系统以及法律人工智能平台正式上线。该系统将为法院行业提供智慧立案、智慧审判、智慧法庭、智慧执行、智慧审管、协同办案、电子诉讼、智慧司法管理八

　个重点应用场景服务。案多人少、审判执行工作压力不断加大，一直是法院工作的难题。据了解，新一代智慧法院应用系统利用知识图谱技术，可自动识别当事人提供的材料信息并形成庭审要点。此外，该系统还能通过学习大量裁判文书，辅助法官撰写判决书。‘如何优化用户的时间是我们应该更多思考的问题。’北京市高级人民法院信息技术处处长佘贵清表示。据悉，新一代智慧法院应用系统可以节省法官 75%的庭前阅卷时间。同时，该系统还能为法官提供超过 80%的量刑精准度分析、70%以上庭审文本的自动生成。另外，该系统共设置了 187 个智能应用点，涵盖了法院审判执行各个场所的活动。该系统在立案、审理等五个关键节点梳理了 125 个风险点，法官在进行案件输入时，能够实时得到程序合法性、信息录入、流程完整性等是否合规的提醒。该系统还为审判管理部门提供了提醒预警。近年来，各地法院积极回应信息化社会的司法需求，智慧法院诸多建设成果获得肯定。据了解，人民法院在 2017 年通过信息化手段减少各类出行约 14.4 亿人次，减少出行约 198 亿公里，节约出行成本约 161 亿元；通过无纸化办公节约纸张 549 吨；各类信息化应用共节约群众、干警时间约 30 亿小时，相当于传统工作方式下149 万人全年工作时间。‛参见《新一代智慧法院应用系统上线，超 7 成庭审文本自动生成》，载中国法院网：，最后访问日期：2018 年 11 月 11 日。

　[4]严剑漪：《揭秘‚206 工程‛：法院未来的人工智能图景》，载《上海人大月刊》2017 年第 8 期。另可参见崔亚东：《司法科技梦：上海刑事案件智能辅助办案系统的实践与思考》，载《人民法治》2018 年 18 期；葛翔：《司法实践中人工智能运用的现实与前瞻——以上海法院行政案件智能辅助办案系统为参照》，载《华东政法大学学报》2018 年第 5 期。

　[5]参见贵州省高级人民法院：《探索‚类案类判‛机制 确保法律适用统一》，载《人民法院报》2018 年 1 月 26 日。

　[6]‚2017 年 7 月 8 日国务院印发的《新一代人工智能发展规划》提出，我国将围绕包括司法管理在内的社会治理的热点难点问题，促进人工智能技术应用，推动社会治理现代化。当然，科学技术的发展与应用离不开法律的规范和调整，技术中立不意味技术可以脱离法治，人工智能的技术发展与应用也不例外。法治需要完备的法律体系，也需要公平正义的司法审判，且司法是法治中最为重要的部分，因为司法是实现社会公平正义、保障法律得以正确实施的最后一关。智慧法院建设，强调充分运用互联网、云计算、大数据、人工智能等现代科学技术，促进审判体系和审判能力的现代化，‘智慧法院’让司法更公正、更高效。因此，人工智能技术的法律规制与智慧法院建设之间息息相关，既有作用与反作用的关系，又显得有些微妙与隐晦，实有必要做些有意义的探讨与思考。‛参见《人工智能技术研发与智慧法院建设》，载人民法院报：，最后访问日期：2018 年 12月 2 日。

　[7]‚保释。在保释程序中，应用大数据预测功能最为引人注目的例子则是由阿诺德基金会（Arnold Foundation）设计的公共安全评估预测软件（PSA），该软件在美国目前已经被 20 多个地区的司法机关所采用。PSA 预测软件基于对美国各州 150 万例刑事案件的分析，使用多达 10 个不同的客观因素来决定被告在预审中是否有逃跑的风险或是否有可能犯罪，从而判断被告是否应当被假释。PSA 软件的预测结果为保释程序带来诸多积极影响——在试点项目之后，夏洛特市将其审前羁押率降低了 20%。‛参见朱奎彬、杨露、蒋罗林：《大数据预测功能在‚智慧法院‛建设中的应用》，载《四川警察学院学报》2018 年第 30 期。

　[8]量刑。量刑过程也正在经历一场平静的革命——法官用预测软件来评估罪犯再次犯罪的可能性大小，作为量刑的重要参考因素。美国部分州现在使用正式的‘风险评估工具，来确定定罪后的量刑判决。这些风险评估工具是使用一种特殊模型来设计的。该模型考虑了几十年内上百万案例的量刑情况，并将十余种因素纳入预测因素中，然后得出被告在一定时期内再度犯罪的可能性大小，并给出量刑类型、时间的建议。到目前为止，美国诸多法院的法官们使用这些风险评估软件作为工具来帮助他们作出决定，虽然法官仍然保留不接受预测软件提出的量刑建议的权利，但这些预测结果对实际量刑决定的影响正与日俱增。‛参见朱奎彬、杨露、蒋罗林：《大数据预测功能在‚智慧法院‛建设中的应用》，载《四川警察学院学报》2018 年第 30 期。

　[9]‚假释。预测模型也在评估假释的适当性方面得到了运用。早在 20 世纪 20 年代，计算机和大型数据库问世之前，就有社会学家和心理学家对大量假释人员进行自然实验，研究未能成功假释人员以及假释后重新犯罪人员的共同特征。而司法人员也以此为依据，评估囚犯的累犯风险，从而作出是否予以假释的判断。随着大数据的发展，依托大数据预测功能，美国司法领域兴起了一种更为科学、精确的预测模型，该种模型考虑了个体不同因素，从犯罪史和教育程度到酗酒和对判刑的态度更为全面地评估了假释人员的各方面情况。法院、监狱和假释委员会通常使用这些预测结果来决定犯人在监狱中需要何种程度的监管，是否应该假释，以及如果获得假释是否应当附加某些限制措施。‛参见朱奎彬、杨露、蒋罗林：《大数据预测功能在‚智慧法院‛建设中的应用》，载《四川警察学院学报》2018 年第 30 期。

　[10]‚在美国法律人工智能领域，引起最为广泛讨论的问题聚焦于模型在刑事诉讼程序中的应用。在刑事诉讼程序中，模型已经被大量运用于预测个体是否会再次犯罪、是否会在开庭日出庭等的可能性，从而影响关于保释、量刑和假释的决定。早在几年前，美国就开发了 COMPAS、PSA 和 LSI-R 三种主要的风险评估软件。目前，美国已有一半以上的州利用这些软件来辅助法官

　量刑。其中，一些州使用模型来辨别哪些在押人员会在被释后再次犯罪，从而降低累犯率。而鉴于美国远高于世界平均水平的被羁押率，实务界同时希望在 AI 的帮助下通过更精确的风险评估来降低羁押率。另一些州则直接依靠软件作出量刑。因此法律AI 的预测功能对美国法律界尤为重要。‛参见李本：《美国司法实践中的人工智能：问题与挑战》，载《中国法律评论》2018年第 2 期。

　[11]‚在美国法律人工智能领域，引起最为广泛讨论的问题聚焦于模型在刑事诉讼程序中的应用。在刑事诉讼程序中，模型已经被大量运用于预测个体是否会再次犯罪、是否会在开庭日出庭等的可能性，从而影响关于保释、量刑和假释的决定。早在几年前，美国就开发了 COMPAS、PSA 和 LSI-R 三种主要的风险评估软件。目前，美国已有一半以上的州利用这些软件来辅助法官量刑。其中，一些州使用模型来辨别哪些在押人员会在被释后再次犯罪，从而降低累犯率。而鉴于美国远高于世界平均水平的被羁押率，实务界同时希望在 AI 的帮助下通过更精确的风险评估来降低羁押率。另一些州则直接依靠软件作出量刑。因此法律AI 的预测功能对美国法律界尤为重要。‛参见李本：《美国司法实践中的人工智能：问题与挑战》，载《中国法律评论》2018年第 2 期。

　[12]参见政府网站 Legifrance.fr，一些行政判例法也已可以在 data.gout.fr 网站上下载。

　[13]图片源自 EUROPEAN COMMISSION FOR THE EFFICIENCY OF JUSTICE（CEPEJ），European ethical Charter on the use of Artificial Intelligence in judicial systems and their environment，page 21（figure 1），，最后访问日期：2020 年4 月 13 日。

　[14]相关的规则也规定，对于将被公布的司法行政裁判，只有在对涉及的人员被重新识别出的风险进行分析后，该等司法行政裁判才能被公布。

　[15]齐凯悦：《‚互联网+‛时代英国的家事审判改革及对我国的借鉴与启示》，载《四川理工学院学报》2017 年第 32 卷第 2期。

　[16]Checkpoint programme webpage，Durham Constabulary，Accessed January 19，2020. x.

　 题 （一）司法判决的数据开放引发的伦理问题

　在大数据时代，对于公开的司法判决，司法机构往往为了在司法判决公开和对当事人、证人基本权利的尊重之间达到平衡，禁止在公开文件中出现当事人与证人的姓名与地址。司法机构尤其担心这些个人信息及可能存在于判决内的类似特别敏感的信息被滥用、重新使用的风险。目前普遍的做法是利用自动处理系统对当事人和证人的姓名、地址、电话号码、电子邮箱等可识别信息进行模糊化处理。从个人数据保护的角度来看，这种处理相当于一种简单的假名化处理，而非完全的匿名化。因为法院判决中包含的信息数量与种类之多，加上与其他数据库之间越来越多的相互参照引用，这使实践中不可能确保被隐藏者不被重新识别和确认。对于案件中涉及的一些特别敏感的私人数据，如民族、种族、政治观点、工会会员身份、宗教、生理或心理疾病和性生活等，这些信息的大规模传播将会带来歧视、画像、对个人尊严的侵害等严重的伦理风险。

　除了对当事人与证人的个人隐私会产生风险外，对于公开判决中的专业人员的隐私保护就存在更大的风险了。我们知道，公布作出具体判决的专业人员姓名是司法公正的基本要求，如《欧洲人权公约》第 6 条第（1）节关于公开审判的规定：“为确保法官遵守客观公正的原则和法定的程序规则，经合法任命和指派

　的法官必须可辨认，在司法判决中公开法官姓名是各成员国的义务。”而对于律师而言，他们认为了解审案的法官有时与了解法律同样重要。长期以来，他们一直或多或少地从经验主义角度出发，尝试在不同的合议庭之间作出对比，以便更好地给予与某个特定法官打交道的当事人以建议。在人工智能技术成熟后，我们不能排除这种可能，即律所为了能预测判决结果而企图将公开判决中的法官数据与数据库中的其他数据（如法官在社交网络、商业网站等的数据）相互参照来识别出假定的政治、宗教和其他偏见，以此试图预测判决结果并选择诉讼策略。这往往就会造成对判决中专业人员的隐私与人格尊严的严重侵犯。

　除此之外，这种“预测性”判例分析软件还会破坏法律所确立的公正审判原则。因为律所能够通过对公共和私人数据的交叉引用来剖析法官的个人画像，这就能帮助企业或他们的律师进行更严重的择地诉讼。长期以来，这个策略已经在美国和法国的与新闻出版有关的犯罪和违反隐私的案件中屡屡出现，这些案件中的原告已经知道要去选择有可能判决支付更高金额的损害赔偿金和利息的法院了。

　题 （二）人工智能中机器学习算法在司法领域带来的伦理问题

　人工智能在司法领域的应用步骤可以概括为：将开放的司法数据通过自然语言处理后，输入至机器学习的算法之中，然后得出一种或多种用于预测或预见案件胜诉或败诉可能性的模型。在通常情况下，这个算法的目标并非复现法律推理（Legal Reasoning）而是寻找判决中各个参数间的相关性（例如，算法对一个离婚案件的分析就会以婚姻的时间长度、是否存在通奸等行为、配偶的收入、所主张的可获利益总数等参数为基准）。

　1.险 机器学习算法的本质及风险 以法院裁决为例，司法预测系统是为了让法律部门、保险公司使用以及让律师能够预测诉讼结果而设计的。从理论上来看，它也能帮助法官作出决策。根据用户输入的参数（针对不同类型争议有不同的要素作为参数），该系统声称能比较精准地计算法院可能认定的赔偿数额。而这种司法预测软件的运作逻辑本质上是基于生成性（通常称为贝叶斯）或辨别性的方法，这些方法最终试图通过分析过去的例子来估计当前或未来的一系列变量的取值范围（如审判的结果）。

　人工智能在司法领域的应用并非如科幻文学中对人工智能的描述：

　人工智能的机器学习算法并不能产生智能，而仅是以一种自动化的方式用多种预设配置将一组观测值（输入值）与一组可能结果（输出值）关联

　起来。具体来说，对于司法预测，机器学习在组成司法判决的不同词汇组之间构建链接。这些链接起来的词汇组是由在输入阶段识别的组（事实和推理）和在输出阶段识别的组（表决的执行部分）相互关联，然后进行分类得出的。因此，通过机器学习构建起来的模型可靠性很大程度上取决于所使用数据的质量和对机器学习技术的选择。机器学习过程中并不会复制或模拟人类的推理，而仅仅是让机器自己识别数据中现有的统计模型，并将它们与特定的结果进行匹配。其基本原理近似目前的机器翻译系统，机器翻译并不会进行抽象的推理，它们仅在一组词汇结构和已经完成的译文之间对最佳匹配作出可能的估计值。用户的行为显然有助于匹配检索的提高改进，但是机器学习算法并不是通过理解所处理的句子的意思来进行翻译的。

　具体到司法预测软件来说，律师与法官面对已有的案例，会寻求理解在先规则的有效性，而编写机器学习算法的研究人员却只能透过其科学语言来寻求这种规则，且有时仅限于解释来自机器学习系统的数千个参数。目前，机器学习中最出色的是类型强化学习，即在给定的环境中，如行为产生了预期的结果，那机器就能获得虚拟的“奖励”。这种技术已经在 IBM Watson 的虚拟律师系统“罗斯”（ROSS）中得到了应用。

　然而，目前的这些算法仍然高度专注于一项特定的任务，当面对混乱的情况或数据不足时，它们会出现识别问题。在法律和司法所属的社会科学里，尚未有令人信服的认知模式可供人工智能借鉴，因此目前人工智能不可能取代法官。用皮埃尔·列维（Pierre Levy）的话来说，机器学习算法实际上满足于提供异构的工具箱（逻辑规则、形式语法、统计方法、神经或社会生物学模拟等），但无法为人类认知的数学建模问题提供一个通用的解决方案。〔17〕因此，真正的预测学习在现实中应该建立在对世界的良好系统性呈现的基础上，这是一个基础科学和数学问题，而并非技术问题。

　此外，目前的大数据处理算法并不是要复制我们的认知模型，而是对宏大规模的数据进行上下文统计（Context Statistics），因此，其并不能真正保证能排除错误的相关性。因为法律中的因果关系并非等同于数据统计得出的相关关系。虽然人们普遍认为，统计模型和概率模型是通过增加数据输入来完善的，但一些数学家也警示了在大数据中上升的错误相关性（因素之间的联系绝对没有因果关系）的风险。〔18〕对于机器学习算法（不同数据、概念、上下文或词汇组之间的重复链接）来说，可能出现的规则实际上是随机的，在某些数量、点或对象的庞大集合中，会出现规则的随机模式，而且似乎不可能从算法上将它们与揭示因果关系的模式区分开来。〔19〕

　不管机器学习算法目前的复杂程度如何，它们仍然是建立在学习阶段及其过往的相互作用。所以，在训练算法时使用的数据流的内容和质量，对于理解其算法得出的结果和确定可能的分析偏差是至关重要的。在这个方面，我们依旧面临许多挑战，因为如以穷举的方式分析与一项活动有关的尽可能多的数据，其所产生的结果的意义必须通过对所有产生影响的因素加以考量来澄清。在一个更严格视角来看，我们在采样时选择一个数据而不是另一个数据时的权衡偏差也会带来伦理风险。

　2.题 算法歧视问题 司法领域中的算法歧视问题因广泛关注美国案例 State v.Loomis 案而被重视，本案引起争议的人工智能系统是美国在刑事司法领域中应用于人身危险性评估的 COMPAS 系统。

　2013 年 8 月 14 日，美国威斯康星州法院依据 COMPAS 系统对 Eric Loomis 进行量刑，罪犯最终被判处六年有期徒刑，缓刑五年执行。在 Loomis 的判决中，巡回法院把 Loomis 的 COMPAS 评估作为决定 Loomis 判决时的几个因素之一，作为对判决的解释的一部分，巡回法院指出：“通过 COMPAS 的评估，您被确定为对社区具有高风险的个人，在权衡各种因素后，由于您犯罪的严重性以及你的犯罪历史、被监督历史以及风险评估工具得出的风险指标，我们排除缓刑的适用，因为你有非常高的重新犯罪风险。”Eric Loomis 对这个判决结果表示不服并提起上诉，Loomis 辩称，判决法院对 COMPAS 评估的依赖违反了他的正当程序权利，原因有以下几个。

　其一，S COMPAS 评估系统的透明度问题。Loomis 用专家证词证明了开发和拥有 COMPAS 的公司保留了产生评估分数的算法程序的专有权，因此，Loomis 辩称，当巡回法院根据 COMPAS 评估作出判决决定时，法院依赖了“秘密的不透明程序”。对此，政府似乎并不质疑 Loomis 对证据的描述，相反，法院的立场是，法官可以利用 COMPAS 等基于证据的工具作出更好的判决决定，而 Loomis 的证据从表面上看，未能证明 COMPAS评估包含或产生不准确的信息。

　其二，S COMPAS 评估系统涉及性别歧视。在 State v.Harris 案中，美国最高法院指出“种族和性别是法官判决时依赖的不正当因素”，即被告有正当程序权利，不得因种族或性别而被判刑。Loomis 辩称，COMPAS评估系统中涉及性别这一因素，因此，法官依赖 COMPAS 系统得出的结论侵犯了其正当程序权利。对此，政府再一次没有质疑 Loomis 提交的证据要点，他们称：“根据 Loomis 提交的证据，我们的理解是，COMPAS评估包括对男性和女性进行的一般量表，以及仅对女性进行的单独量表。我们承认 COMPAS 具有不同的自

　动风险和针对女性罪犯的需求评估，据我们所知，量表因性别而异的事实意味着所有其他事实相同男性和女性的评估结果将因性别而异。但暗示有两种不同的风险等级并不意味着 COMPAS 评估不恰当地考虑性别。”政府进一步提出：“Loomis 没有解释两种不同的评估体系是如何工作的。”

　据巡回法院的调查，COMPAS 评估用于整个威斯康星州以及其他司法管辖区的惩教目的，威斯康星州的法官均接受了关于 COMPAS 在量刑中使用的培训。正如我们在 Samsa 中引用的报告中所总结的那样，COMPAS 评估包括“风险”部分和“需求”部分：COMPAS 是威斯康星州惩教部门使用的风险和需求评估工具，用于识别罪犯的风险以及他或她的治疗和程序需求。风险等级（低、中或高）旨在帮助惩戒专业人员决定罪犯所需的监督水平。犯罪因素需要量表，旨在突出罪犯可能需要惩教措施（治疗和程序）的区域。

　该案上诉最终没有成功。美国一个非政府组织 Propublica 调查了 COMPAS 系统的算法歧视问题。根据调查，这个系统算法是由一家私人公司研发的，软件包括了 137 个由被告回答的问题或者从其犯罪记录中提取的信息。这些问题的种类很多，包括家里是否有电话、支付账单的困难程度、家族史、被告的犯罪史等。Propublica 发现该系统中非裔美国人容易被认定为重复犯罪的高危人群，这可能是用于训练系统的数据造成的。

　注 释 ━ ━ ━

　[17] ［法］皮埃尔·列维：《人工智能与人文科学》，载皮埃尔·列维的博客

　，最后访问日期：2017 年 11 月 30 日。

　[18] 新西兰数学家克里斯蒂安·索林·卡卢德（Cristian Sorin Calude）和意大利数学家朱塞佩·隆戈（Giuseppe Longo）指出了在大数据中的错误相关性泛滥的风险：用于相关性的数据库越大，发现重复模式的概率就越大，出错的概率也就越大。

　[19] ‚Ramsey‛理论，Ronald L.Graham，Joel H.Spencer-‚Ramsey 理论，‛ 科学美国人，Vol.263，1 号，1990 年第 112-117页。

　法律实证主义为人工智能算法模拟法律推理提供了有力的支持。法律实证主义者认为，数学化的科学中所运用的方法具有某种内在的优点，法学若能加以效仿，接受这些方法作为它们的典范，就能取得不相上下的成功。这种尝试本身是无害的，尤其是当他们无法取得预期的成功后，它们便会自然消失。如沃格林在

　其《新政治科学》中谈到的那样，实证主义真正对社会科学的毁灭性在于它将自然科学的方法当作了判断理论之相干性（relevance）的标准。〔20〕

　但是，已有的法律实践并不支持人工智能算法模拟法律推理。1804 年法国民法典中存在一系列意义未定的规则。法学家哈特（Herbert L.A.Hart）在其《法律的概念》中称为“法律的开放结构”。在普通法系，恰恰是因其动态地不断适应新的法律需要而被认为更有效。现实生活中对法律，并非如法律实证主义者所假定的一般精准。在司法实践中，法官面对复杂案件时在案件中相关事实和可适用的法律规则（呈现为文本或判例）之间反复进行评估和解释，是作出公正判决的前提。

　让法律实证主义者更难于面对的是司法中的价值判断。面对复杂案件，司法裁量往往需要对相关事实的证明标准、应适用哪条规则等给出特定的指令。在一系列相互冲突的可适用法律中，哪一个应该占主导，也不得不诉诸价值判断。这恰恰是目前机器学习算法所没有做，也不试图去做的。

　人工智能因无法进行价值判断而不能取代法官进行司法裁判，那人工智能对于司法的价值在哪？若我们无法从法理上论证人工智能司法的正当性基础，那么即使有权机关作出政治决定，以人工智能技术辅助法官进行司法裁判，这种决定也将面临巨大的正当性质疑。

　在论证人工智能司法的正当性问题上，以司法裁判的可接受性与融贯性标准进行论证是目前学者的主要视角。例如，尤金·沃洛克（Eugene Volokh）教授在《机器人首席大法官》一文中指出，应当以可接受性与说服性的标准比较人工智能审判是否优于法官审判，而不是以司法的正确性标准或客观性标准进行比较。司法裁判本身并不存在所谓绝对正确的答案，也没有客观标准来对不同的裁判进行比较，但人们可以基于哪一种司法裁判和法理说理更能让当事人与公众接受来进行对比。沃洛克教授提出的亨利测试（John Henry Test）便是基于此展开的：当人工智能法官的裁判能比平均水平的法官得出更能被接受与更具说服力的裁判文书时，就可认为人工智能法官通过了测试，具有了代替法官裁判的正当性。〔21〕

　在此必须指出，尤金·沃洛克教授所谓的人工智能法官应当属于目前远未达到的“强人工智能”，但目前的人工智能均属于“弱人工智能”的范畴，而且我们在上文论证过，以目前的机器学习算法，人工智能是无法进行法理推理的。〔22〕因此，我们需要对沃洛克教授的论证进行修订，即只需由人工智能辅助的法官能比其单独得出更有说服力与更能被接受的裁判文书时，我们就应当认定人工智能司法具有正当性。例

　如，目前的人工智能已经被用于法律数据库系统，它可以帮助收集相关案例、提出与本案相似性或差异性的建议，帮法官起草判决初稿，这将为法官的司法裁判提供有益的辅助，帮助法官得出更具有说服力的判决。

　具体来说，人工智能在辅助法官方面能有以下几点价值：

　 第一，人工智能可以让法官对相应法律问题有一个更为完整的视角。虽然人工智能无法代替法官进行价值判断，但其对于相关法律法规与以往案例的汇总可以拓展法官的视野边界，使法官能以更加周全的方式考虑案件。

　 第二，人工智能可以促进司法裁判标准的融贯性。目前的司法系统常常会面临着由于地域差异导致的同案不同判，而人工智能司法辅助系统能让法官的信息收集更加高效与流通，能让其在作出判决时参考其他法院的已有判决，并对差异点作出正当性论证，减少因同案不同判导致的司法权威削弱的影响。〔23〕

　 第三，人工智能可以让法官的裁判更加高效，进而促进法官将更多时间与精力放在法律论证之上。人工智能在相关信息的筛选与文书格式的生成方面比法官更加高效，这让法官在寻找相关法律法规、司法解释、立法说明、相似案件时节约大量时间，避免法官在浩瀚的信息之中浪费太多精力与时间。

　 第四，人工智能有助于法官对其判决的社会影响有一个预估。虽然以结果为导向的司法裁判受到了一些学者的批评。〔24〕但人工智能司法辅助系统的裁判影响评估可以让法官对其预作出的判决有一个较为客观的认知，这也能让法官对其自身的预判决有一个反思与斟酌的空间，促进其得出符合其价值导向的可接受判决。

　注 释 ━ ━ ━

　[20] 参见［美］埃里克·沃格林：《新政治科学》，段保良译，商务印书馆 2018 年版，第 10-19 页。

　[21]Eugene Volokh，Chief Justice Robot，68 Duke L.J.1137，1141-1142（2019）.

　[22]凯斯·桑斯坦（Cass Sunstein）教授对于人工智能司法的分析也采取了同样思路。桑斯坦指出，应当区分人工智能司法的两种观点。一种是‚强人工智能‛的观点：人工智能可以进行法律推理，可以告诉律师和法官，什么案例和某个案例在事实上是相似的，什么案例应当与之区分开来。另一种是‚弱人工智能‛的观点：人工智能可以被用来提高诸如 Lexis 和 Westlaw 这样的计算机服务，可以收集一系列相关案例，提出相似性与差异性的建议，以及起草相同观点与相反观点。在桑斯坦看来，‚强人工智能‛的观点是不可能实现的，因为法律推理不可避免是评价性的、价值判断的。参见 Cass Sunstein，Of Artificial Intelligence and Legal Reasoning，8 U.Chi.L.Sch.Roundtable，（November 5 2001）。

　[23]John O.McGinnis and Steven Wasick，Law’s Algorithm，66 Fla.L.Rev.991（2015）.

　[24]Brian Z.Tamanaha，The Tension between Legal Instrumentalism and the Rule of Law，33 Syracuse J.Int’l L.& Com.1（2005）.

　 在民事与行政方面，无论是大陆法系还是普通法系，法律的不确定性和以往的法律主张被推翻或拒绝的风险，都刺激了应用人工智能技术量化相关影响因素的意愿。律所和法律科技公司看到一种可能性，即使用人工智能为当事人提供更加明智的建议、更具经验性和系统性地评估胜诉率，以及在必要情况下可尽量避免周期长且费用高的审判，从而对律师或法务达成交易提供帮助。

　公共决策者将人工智能视为一种更好地管理法院诉讼程序流程的机会，并且也是一个降低司法运作成本的机会。这将会鼓励民商事与行政案件的诉讼当事人使用替代性纠纷解决方式（协商、调解或仲裁）。这个方法已经存在于很多司法系统对多类案件的判决协调中，通过在离婚、免职、对个人损害的赔偿等案件中的大量使用，基于概率性方法和精算方法的人工智能司法系统在民商事与行政案件中获得了生机。而线上替代性争议解决服务业已被用于帮助测算小额争议中的赔偿金额了。

　但我们在应用的同时也必须注意其中存在的伦理风险。在法国，由司法部号召发起了一个司法预测软件的实验，其同意于 2017 年在雷恩和杜埃的两个上诉法庭的多种上诉案件中试用司法预测软件，实际上也就是尝试用人工智能对全国上诉法庭的民商事判决进行分析。尽管这些内容详尽的司法案例数据多年以前就可以通过 JURICA 数据库免费获得，但司法部给予了软件公司特别的获取渠道。当时这些软件公司对于这两个法庭提供的数据进行了定量分析、价值评估，以及对类似的申请和审判所批注出的差异性进行了地理分类。软件公司声称其目标是创造出一个决策工具，其能根据法律面前人人平等的原则来减轻法庭裁判中过多的不确定性。实验的结果却在这两个上诉法庭中引起了观点截然不同的争议。司法部和设计这个产品的法律科技公司很遗憾地声明该软件测试版在法官裁判思考和决策方面不具备辅助价值。杜埃和雷恩的上诉法庭实验结果清楚地表明，以引人思考的论述来宣传推广人工智能产品将会掩盖令人无法接受的设计缺陷和完全错误的分析结果。人工智能推理的偏见由此被揭示，而这些偏见很容易导致异常或失当的结果。〔25〕

　虽然人工智能在司法预测方面的应用不尽如人意，但它在计算损害范围和在线争议解决方面得到了大量应用。损害范围的计算可用于处理特定争议，并且其也是协调判例法的有力工具。损害范围是法官根据有限的判决样本进行计算的，而人工智能可以使计算范围时参考更多的判决，且也更容易产生更精确的范围。

　 所有的法庭都不可避免、不同程度地面临着小额、重复的民事诉讼的负担。通过人工智能技术使这些案件更加便捷或直接从法庭外包出去的尝试得到了广泛的认同，英国、荷兰、拉脱维亚便是这些应用的先锋。〔26〕而欧盟也已经根据第 524/2013 号指令在网络上建立起了一个可适用的共同小额诉讼框架。这种在线争议解决（ODR）服务的范围也不断在扩张，从有限的线上服务扩展到在正式向法庭提出控告之前的替代性纠纷解决方案，到如今被逐渐引入法庭程序本身，甚至提供电子法庭服务。线上争议解决已不仅涉及低价值的纠纷，也开始涉及税收争议和社会安全服务相关的争议、离婚诉讼等。

　但我们必须要反思，这些损害范围赔偿的计算与线上争议解决系统的问题，如这些系统所提议的赔偿金额是依据什么来计算的？是根据什么计算方法？这些算法处理公平吗？线上争议解决系统是否需要在经培训和认证的第三方帮助下以抗辩式的框架进行讨论？以及其是否能获得法院判决？有些评论者认为这些线上争议解决的广泛使用是“数字解决主义”的一种表现，即系统地使用技术来解决不一定属于其范围的问题。对此，欧盟《数据安全监测计划》第 22 条规定，除某些例外情况下，个人有权拒绝接受完全基于自动化系统的判决。

　注 释 ━ ━ ━

　[25] 参见施鹏鹏：《法国缘何禁止人工智能指引裁判》，载《检察日报》

　最后访问日期：2020 年 1 月 19 日。

　[26] 例如英国提供的在线争议解决方案：。又如荷兰 PAs 系统，该系统根据已经做出的许可自动作出了判决，该等决引发了兰国家层面的诉讼并在欧洲法院法院审理：有两起案件（c29117 以及 c29n.17）提交至荷兰国务委员会（农民/自然保护诉荷兰）以确定是否允许系统（Programme Regulating Nitrogen）来决定农民是否违反了居住指令。最近，在卢森堡的欧盟法院对关于这些合并的案例作出初步截决的请求作出了答复（ECLC2018：88）。

　 “美丽新世界”源自莎翁的《暴风雨》。剧中人米兰达说：“人类有多么美啊！美丽的新世界，有这样的人在里头！（How beauteous mankind is! O brave new world，that has such people in it.）”米兰达成长的环境是一个封闭的岛屿，她所知的只有父亲、奴隶和鬼魂。米兰达表达的感受发自肺腑，表现的却是一种无知，因为她从未知晓人类的文明是什么样子。英国作家赫胥黎将这个用法作为自己的小说名称，描述了 2540 年（书中的福特 632 年）的伦敦与当今社会迥异的“文明社会”的一系列科技，如试管婴儿、睡眠学习、心理操控、建立婴儿条件反射等。作为一部描述科技与人类惨淡前景的“恶托邦”（distopia）经典，社会如何在科技主导下失去善恶、美丑的常识，这在小说中展示得淋漓尽致。

　防止人工智能将我们带入一个常识无法认可的“美丽新世界”，或许在今天人工智能刚开始运用于司法时我们就应足够警醒：司法是人工智能伦理风险很高的领域，误用、滥用人工智能将会让公众面临风险或其重大法律利益受到威胁，个人或组织无法决定“退出”，一旦产生负面影响结果往往不可逆。故此，有必要让司法领域的人工智能应用进入公共讨论：科技工作者、法律专业人士和公众应一起进行公开讨论，并且特别关注其伦理维度。具体而言，有以下几个方面需要关注：

　1.护 对个人数据的保护 在用人工智能司法系统处理个人数据时，应当将预防原则应用于风险评估的政策当中。对于系统处理数据的过程，应当满足合法性要求，以防止或最大程度上减少数据处理过程对个人权利和基本自由的冲击，特别是在设计阶段以及通过对默认状态的设计中采用合适的方法，来降低被识别的风险。

　个人数据必须为了特定及合法的目的而使用，使用时不得以会被数据主体认定为意外、不适当或有问题的方式进一步处理该数据。而在设计算法时应尽可能减少冗余或边缘数据，避免任何潜在的偏见或歧视，尽可能减少算法对数据主体个人的基本权利和自由的负面影响。

　在人工智能进行司法应用时，数据主体的权利尤其重要，我们每一个人对个人信息的控制都意味着个人必须能够行使以下权利：

　 （1）有权在机器决策对他们有显著影响时要求决策考虑他们个人的观点；  （2）有权获得关于运用算法进行数据处理过程中的推理逻辑；  （3）有权反对这种处理方式；  （4）有权获得法律救济。

　2.统 用于司法裁判的人工智能系统 首先， 我们应当坚持人工智能在司法系统中的辅助地位。人工智能司法系统应当仅起到辅助性功能，由法官拥有案件中的最终决定权。其次， 我们应当加强人工智能司法系统的可解释性。由于人工智能司法系统给出的建议会影响法官的最终判决，应帮助当事人理解其原理与考虑因素，避免因技术黑箱而影响司法权威。最后， 我们应加强人工智能司法系统的可问责性...