论刑事诉讼中的算法推论及其规制*

裴 炜

（北京航空航天大学法学院，北京 100191）

在网络信息技术与刑事司法不断深入融合的背景下，控辩双方未能得到同步的技术赋能。相较而言，以大数据分析和人工智能为依托的新兴技术在助力打击犯罪的同时，亦在一定程度上冲击着辩护权的有效行使，进而影响着控辩平等对抗基础上数字正义的实现。这一冲击集中体现在算法在刑事司法决策过程中的介入，其中又以犯罪风险预测和社会危险性评估为典型。但需要注意的是，在刑事司法过程中，算法的运用通常并非止步于预测和评估，而是会进一步影响后续的处置措施和司法决策。鉴于刑事诉讼活动高度的强制性，这些处置措施往往会对相对人特别是犯罪嫌疑人、被告人的相关权益形成严重干预，甚至会影响最终裁判结果的公正性。基于此，能否及时、有效、充分地审查算法推论是算法推论相对人有效维护其实体权利和程序权利的前提，更是犯罪嫌疑人、被告人获得有效辩护的前提。

近年来，我国已经有许多学者关注到新兴网络信息技术与司法结合过程中可能产生的制度问题，相关研究成果广泛涉及到司法运行机制中的技术运用、①例如李训虎：《刑事司法人工智能的包容性规制》，《中国社会科学》2021年第2期；
魏斌：《司法人工智能融入司法改革的难题与路径》，《现代法学》2021年第3期；
王秀梅、唐玲：《人工智能在防范刑事错案中的应用与制度设计》，《法学杂志》2021年第2期；
马长山：《司法人工智能的重塑效应及其限度》，《法学研究》2020年第4期；
李晓楠：《可信赖AI司法：意义、挑战及治理应对》，《法学论坛》2020年第4期；
江溯：《自动化决策、刑事司法与算法规制——由卢米斯案引发的思考》，《东方法学》2020年第3期等。司法裁判与事实认定中的技术运用②例如张玉洁：《智能量刑算法的司法适用：逻辑、难题与程序法回应》，《东方法学》2021年第3期；
冯洁：《大数据时代的裁判思维》，《现代法学》2021年第3期；
郑曦：《人工智能技术在司法裁判中的运用及规制》，《中外法学》2020年第3期；
胡铭、张传玺：《人工智能裁判与审判中心主义的冲突及其消解》，《东南学术》2020年第1期；
宋旭光：《论司法裁判的人工智能化及其限度》，《比较法研究》2020年第5期；
栗峥：《人工智能与事实认定》，《法学研究》2020年第1期等。及证据和证明规则中的技术运用等多个方面。③例如谢澍：《人工智能如何“无偏见”地助力刑事司法——由“证据指引”转向“证明辅助”》，《法律科学（西北政法大学学报）》2020年第5期；
熊秋红：《人工智能在刑事证明中的应用》，《当代法学》2020年第3期等。这些研究从法律、伦理、政策、技术等多个角度深入分析司法语境下人工智能、算法、大数据等技术的定位和介入边界，并在强化技术规制、提升算法可信度和透明度、明确人工智能责任分配等方面形成了一系列基础共识。但是，现有研究成果更多地从算法决策的角度出发，而较少关注到刑事司法领域的算法运用目前主要停留在算法推论阶段，即以算法标识、画像、评价来支撑后续决策。

这种对于算法决策和算法推论的关注不平衡亦体现在近些年的相关立法之中。例如，2021年出台的《个人信息保护法》主要就自动化决策进行了规定，“通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定”（第24条第3款）。鉴于我国《个人信息保护法》同时适用于公私领域的信息处理活动，这一规定原则上也适用于刑事司法活动。特别是考虑到这一领域国家机关处理个人信息时的强制性和强干预性，其完全可以落入到“对个人权益有重大影响”之中。问题在于，现有规则一方面将其规制重点放置在个人信息的收集和处理而非解释和推断方面，④一些学者认为，基于个人信息形成解读和评价并不属于个人信息保护立法规制的对象，而是需要在个案中进行审查。欧盟《通用数据保护条例》和欧洲刑事法院的一系列判决表达了类似的立场，例如欧洲法院（European Court of Justice）明确在判例中表示，在基于个人数据进行决策的过程中，数据保护法的目的并不在于数据和决策过程的精确性和准确性。See YS，M and S v Ministrer voor Immigratie，Integratie en Asie，joined cases C-141/12 and C-372/12；
Sandra Wachter&Brent Mittelstadt，A Right to Reasonable Inferences：Re-Thinking Data Protection Law in the Age of Big Data and AI，Columbia Business Law Review，vol.2019，no.2（October 2018），pp.1-130.另一方面又难以为相对人提供可行且有效的审查和控制相关推论的法律工具。更重要的是，《个人信息保护法》制定的相关规则尚未与刑事诉讼法形成有效衔接，使得刑事司法这一特定场景下算法推论的正当性与合理性难以判断和救济。本文正是由此出发，试图探索刑事司法中运用算法推论的规制机制，以促进算法推论合理性从而保障公民的合法权益。

大数据分析和人工智能等新型数字技术在司法领域的一大应用功能在于对个人的行为和偏好等进行推断和预测，进而支撑甚至直接作出具有法律意义和效果的决策。在进一步探讨刑事司法中的算法推论问题之前，有必要对上述功能进行细化分类，区分算法推论和基于算法的自动化决策。在广义层面，凡是利用技术辅助或替代人工决策的活动均可以纳入到算法决策的概念之下。例如，加拿大于2020年生效的《自动决策指令》（Directive on Automated Decision-Making）将自动化决策定义为“以任何技术协助或取代人类决策者的活动”。在狭义层面，自动化决策的核心则指向取代而非协助人工决策的情形。例如，欧盟通过的《通用数据保护条例》（General Data Protection Regulation，GDPR）中将自动化决策定义为“仅基于自动过程做出的决策”。其后，29条工作组（Article 29 Working Party）进一步明确了“仅基于自动过程”的具体含义，即在决策过程中没有任何有意义（meaningful）的人工参与；
至于利用技术自动处理数据以评估自然人的特定属性，GDPR将其定义为“画像”（profiling）。①See Article 29 Data Protection Working Party，Guidelines on Automated individual Decision-Making and Profiling for the Purpose of Regulation 2016/679，issued on 3 October 2017 and revised on 6 February 2018，available at https：//ec.europa.eu/newsroom/article29/items/612053.Accessed 26 September 2021.

如前所述，目前我国针对算法自动决策的法律规制主要体现在2021年《个人信息保护法》的相关条文之中。根据该法第73条，“自动化决策”是指“通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，并进行决策的活动”。这一定义事实上同时涵盖了GDPR中“自动化决策”和“画像”两个概念，但是并未说明前半段的画像活动与后半段的决策活动之前是相互独立还是支撑关系。结合该法第24条关于自动化决策的具体规制思路可以看出，我国《个人信息保护法》在规制此类活动时，其重心仍然在于最终的决策部分，特别是对个人权益有重大影响的决策，一方面要保障决策的过程透明和结果公平公正，另一方面赋予相对人获得解释和拒绝自动化决策的权利。从这个角度来看，之所以将画像与狭义自动化决策进行联合规定，在于狭义自动化决策本身不可避免地会基于画像产生。但这一点反过来未必成立，即基于算法所形成的对于相对人特定特征的分析、标识或推断，并不必然最终导向自动化决策，而是可能仅仅作为标识，或者仅仅作为人工决策或其他自动化决策系统的依据。换言之，二者尽管存在联系，但在规制思路和重点、行为主体、涉及的自然人权益、救济路径等方面均存在较大差异。基于此，本文所探讨的算法推论仅指向前一阶段，即，利用算法对自然人的特定个人特征进行分析、画像和评估的活动。

区分算法推论与算法决策的主要原因在于，相对于商业领域自动化决策的快速推进，刑事司法对于算法运用的态度相对谨慎，新兴数字技术的运用更多起到的是辅助作用而非替代人工决策。例如，上海“206”系统的全称即是“刑事案件智能辅助办案系统”，其强调该系统的功能是“提示、指引”，是“为法官、检察官、侦查人员配备‘智能办案助手’”，而非“机器办案”。②严剑漪：《揭秘“206”：法院未来的人工智能图景——上海刑事案件智能辅助办案系统154天研发实录》（2017-07-10），中国法院网，https：//www.chinacourt.org/article/detail/2017/07/id/2916860.shtml.这种避免由算法作出最终决策的机制是当前算法规制的重要策略和工具之一，前述关于自动化决策的法律规定也往往通过引入人工决策作为矫正或救济算法错误的主要方式。从这个角度讲，刑事司法领域的算法运用尽管更为谨慎，但在背后的算法规制逻辑上与私领域并无二致。

由此，我们可以进一步梳理出运用算法时由数据到决策的大致过程，该过程主要包含四个核心环节：数据收集、数据分析或挖掘、标识或评价、决策。其中，数据收集是大数据分析、人工智能等技术的应用前提；
数据分析或挖掘旨在发现目标对象的特定特征；
标识或评价是基于前一步骤的特征分析作出的，核心在于将机器语言转化为社会语言、数字身份转化为社会身份；
决策步骤则直接作用于目标对象并可能引发相应的法律效果。在自动化决策的语境下，算法的应用可能贯穿了上述四个环节，特别是在最终的决策环节发挥主导作用。而在算法推论的语境下，算法的运用停止在第三个环节即“标识或评价”环节，其后的决策既可能由人工作出，亦可能由其他算法作出。

如前所述，刑事司法领域对于算法的运用目前最多涉及到第三个环节，这也形成了在这一领域探讨算法推论的独特重要性。通过分析算法推论在刑事司法中应用的主要场景，可以进一步观察到算法推论对于刑事司法决策的影响，以及该影响对控辩双方关系乃至最终的司法公正形成的冲击。当前刑事司法中算法推论主要有三个运用场景：其一是作为大数据证据的证明机制，其二是作为社会危险性或再犯罪风险的评估机制，其三是基于同案同判的裁判指引机制。

（一）场景一：大数据证据与证明

就算法推论支撑大数据证明这一场景而言，大数据分析本身与算法具有紧密联系。以大数据分析为基础的大数据证据并非刑事司法的最终裁判本身，却是最为典型的以算法推论支撑决策的应用场景。

近年来，多名学者对大数据证据进行了系统且深入的研究，逐步明晰此类证据的概念、性质、特征和规则。①例如刘品新：《论大数据证据》，《环球法律评论》2019年第1期；
林喜芬：《大数据证据在刑事司法中的运用初探》，《法学论坛》2021年第3期；
元轶：《证据制度循环演进视角下大数据证据的程序规制——以神示证据为切入》，《政法论坛》2021年第3期；
吴才毓：《大数据公共安全治理的法治化路径：算法伦理、数据隐私及大数据证据规则》，《政法学刊》2020年第5期；
徐惠、李晓东：《大数据证据之证据属性证成研究》，《中国人民公安大学学报（社会科学版）》2020年第1期。刘品新将“大数据证据”定义为“基于海量电子数据形成的分析结果或报告”，并将其技术过程归纳为三个环节：第一是数据汇总和清洗，第二是建构分析模型或算法，第三是运算形成分析结论。②刘品新：《论大数据证据》，《环球法律评论》2019年第1期。元轶从大数据概念出发，认为“大数据证据”应当由“大数据集”和“大数据算法结论”两部分构成，“算法结论”是大数据证据的客观反映。③元轶：《证据制度循环演进视角下大数据证据的程序规制——以神示证据为切入》《政法论坛》2021年第5期。徐惠和李晓东则将大数据证据界定为“兼具证明案件事实材料和分析思维、方法、技术的综合体”。从上述定义可以看出，在大数据证据的运用场景下，最终作为证据证明案件事实的并非数据本身，而主要是基于数据通过算法推论后形成的结论。

（二）场景二：风险评估

刑事司法中算法推论的第二个主要应用场景是社会危险性或再犯罪风险评估。刑事诉讼从启动到最终裁判，充斥着大量的针对犯罪嫌疑人、被告人、罪犯的危险性评估程序，④江溯：《论刑事司法中的危险评估》，《南京社会科学》2021年第5期。例如，在我国刑事诉讼程序中涉及此类评估的程序包括但不限于是否及采取何种强制措施、审查起诉决定、是否使用戒具、是否采取或解除强制医疗、未成年被指控人社会调查、社区矫正调查评估⑤《社区矫正法》第18条规定：“社区矫正决定机关根据需要，可以委托社区矫正机构或者有关社会组织对被告人或者罪犯的社会危险性和对所居住社区的影响，进行调查评估，提出意见，供决定社区矫正时参考。居民委员会、村民委员会等组织应当提供必要的协助。”、宽缓量刑⑥《刑法》第37条规定法院可以根据犯罪情况和预防再犯罪的需要禁止罪犯从事相关职业；
第72条规定“应当宣告缓刑”的条件之一是“没有再犯罪的危险”及“宣告缓刑对所居住社区没有重大不良影响”。、减刑假释等刑罚执行决定⑦《刑法》第81条第1款规定假释的条件之一是“没有再犯罪的危险”；
《最高人民法院关于减刑、假释案件审理程序的规定》第5条第2款要求法院审理假释案件时“综合考虑罪犯的年龄、身体状况、性格特征、假释后生活来源以及监管条件等影响再犯罪的因素”。等。这类措施往往具有较强的保安处分性质，是对犯罪嫌疑人、被告人或罪犯未来行为的评估和预测，但会切实地影响刑事司法权力机关的相关决策，并现实干预相对人的实体或程序权利。

鉴于预测本身即为大数据分析的核心功能，其与社会危险性或再犯风险预测具有高度的契合性，因而可以看到算法在这一场景中的广泛应用。例如，有学者通过研究美国运用算法进行危险性评估的实践经验发现，算法运用于危险评估已经贯穿预测警务、审前拘留、起诉、判决、刑罚执行等各个环节。⑧江溯：《论刑事司法中的危险评估》，《南京社会科学》2021年第5期。

（三）场景三：裁判预测与指引

算法推论运用于刑事司法的第三个主要场景涉及到审判环节的裁判指引机制。与通过算法进行危险性分析进而影响个案量刑相比，裁判指引机制尽管影响的也是审判环节，但却是对裁判行为而非被指控人或罪犯行为的预测，尤其典型地体现为类案推送、量刑建议、裁判预测等实践应用。此类算法应用的实质是试图以算法模拟法官裁判，并以模拟的整体结果作为现实司法运行中裁判的参照。⑨郑曦：《人工智能技术在司法裁判中的运用及规制》，《中外法学》2021年第3期。

可以看出，这一场景是司法深度智能化的初步图像和过渡阶段，是诸如“AI法官”“电脑审判”“机器人法官”等概念的理想状态在技术阶段的现实运用。一方面，此种场景成为当前众多司法裁判算法应用开发的重点领域之一，并且成为同案同判原则在新时代的适用探索；
另一方面，这种阶段性也将其实际功能限定于“辅助”层面。①左卫民：《AI法官的时代会到来吗——基于中外司法人工智能的对比与展望》，《政法论坛》2021年第5期。也正是在这个意义上，现阶段该场景只能纳入算法推论而非算法决策的范围。

当前关于算法的规制重心更多在于上文论及的四个环节中的首尾部分，而针对中间环节的制度关注则相对较弱。以我国刚刚出台的《个人信息保护法》为例，可以看到其一方面着重强调数据收集过程中的知情同意和最少收集原则，强调在处理个人信息时保障其质量；
另一方面针对自动化决策设置了相应的说明义务。但是针对由数据到决策的中间过程，特别是针对用以支撑人工决策的算法推论方式、质量、评估和救济机制等方面，本法并未涉及。问题在于，尽管当前刑事司法领域算法的运用更多地停留在推论而非直接决策阶段，但这并非意味着算法推论不会干预公民的基本权利，由此形成现实问题与保障机制之间的错位。因此，在具体探讨算法推论规制之前，需要认识其对公民基本权利的干预风险。

（一）算法推论的权益损害风险

如前所述，算法推论的核心功能在于标识和评价。由此出发，算法推论的质量特别是错误标识主要在以下两个层面对公民基本权利形成不当干预的风险：其一是错误标识本身对于平等保护原则的违反；
其二是错误标识可能引发的后续歧视性待遇对于社会生活秩序稳定性的破坏。

第一个层面的风险是基于法律平等保护的考量。平等保护是宪法规定的基本原则。1948年的《世界人权宣言》和1966年的《公民权利和政治权利国际公约》将其确立为国际社会公认的基本原则；
我国《宪法》第33条第2款规定，“中华人民共和国公民在法律面前一律平等”，这也是对平等保护原则的明确阐述。平等保护原则是对公民遭遇歧视性对待的反对，而歧视的基础则是对相对人的不当分类。在国家权力运行中，“分类”这一概念描述的是国家机关针对特定个体所属群体进行识别，并以该识别结果为基础，对被识别的特定个体进行权利或义务的分配。②Steven M.Apple and Cary Coglianese，Algorithmic Governance and Administrative Law，in Woodrow Barfield（ed.），The Cambridge Handbook of The Law of Algorithms，Cambridge University Press，2020，p.171.

分类是否正当，在实质层面取决于其采用标准的适当性，在形式层面取决于其是否与法律的明确规定相违背。就实质正当性而言，典型的例证是对特定识别标准的否定。例如，我国《宪法》第34条禁止以“民族、种族、性别、职业、家庭出身、宗教信仰、教育程度、财产状况、居住期限”来限制或剥夺公民的选举权和被选举权。此时，分类标准是否正当取决于国家权力运行的目的，分类标准需要以能够实现该目的为前提，这是比例原则适当性要求的题中之义，也是《宪法》第34条以成年年龄作为选举权和被选举权权利主体划分标准的正当性基础。就形式正当性而言，主要关注的是与现有法律制度及相关概念的匹配度。对此，典型的反面例证是近些年引发广泛热议的美国再犯风险预测系统CAMPUS，其中再次逮捕（rearrest）是该系统判断再犯风险的重要标准。但逮捕明显与最终定罪并非同一法律概念，二者在事实和证据的确定性上相去甚远，这意味着被算法标识为高再犯风险的相对人很可能并未再次实施犯罪。③Justin B.Biddle，On Predicting Recidivism：Epistemic Risk，Tradeoffs，and Values in Machine Learning，Canadian Journal of Philosophy，First View（July 2020），pp.1-21.与之类似的是，近些年欧洲人权法院的一系列案件也牵涉到未被定罪人员的个人数据被存入罪犯数据库或被标识为罪犯的情形，法院认为这种错误存留本身亦构成对《欧洲人权公约》第8条的违反。④欧洲人权法院判决中具有代表性的此类案件是2008年的S.and Marper v.the United Kingdom案（application nos.30562/04 and 30566/04），本案中两名申请人尽管未被定罪，但其指纹、细胞样本和DNA样本被存入警方数据库。类似案件如2011年的Dimitrov-Kazakov v.Bulgaria案（application no.11379/03，申请人的个人信息被错误记入警方罪犯数据库并被标识为“强奸犯”）、2011年的Khelili v.Switzerland（application no.16188/07，未从事过性行业的申请人被警方录入系统并多年来被标识为“妓女”）、2013年的M.K.v.France案（application no.19522/09，未被定罪的申请人的指纹被长期录入并保存于警方数据库中）、2014年的Brunet v.France案（application no.21010/10，未被定罪的申请人的个人信息被录入警方的犯罪记录系统）。

近年来，算法歧视的问题已经引起理论界和实务界的广泛关注，①例如李成：《人工智能歧视的法律治理》，《中国法学》2021年第2期（强调算法解释、算法审核以及数字平权行动来实现反歧视法律数字化转型）；
丁晓东：《论算法的法律规制》，《中国社会科学》2020年第12期（提出场景化的算法规制路径，并依具体场景构建反算法歧视的具体制度）；
崔靖梓：《算法歧视挑战下平等权保护的危机与应对》，《法律科学》2019年第3期（建议建构人工智能学习权和差别性影响标准以识别算法歧视，推进法律与代码相结合的双重保护模式）；
刘友华：《算法偏见及其规制路径研究》，《法学杂志》2019年第6期（提出通过保证数据可查性与算法可审计性、以公平、透明和可责为标准规范算法应用）；
郑智航、徐昭曦：《大数据时代算法歧视的法律规制与司法审查——以美国法律实践为例》，《比较法研究》2019年第4期（提出通过法律规制与司法审查双重路径平衡数字鸿沟、抑制算法权力）。其运用于国家权力层面将直接与法律的平等保护原则形成冲突。需要看到的是，这种歧视不仅存在于算法决策的领域，同时也存在于辅助后续决策的算法推论领域。当分类标准缺乏正当性时，特别是在分类本身存在歧视的情况下，基于分类的标识不可避免地会产生偏差乃至错误，进而影响后续的决策正当性。

第二个层面的风险关注的是法律所保护的社会生活秩序的稳定性。如果说平等保护问题关注的是错误标识行为本身，那么，社会生活秩序的稳定性则关注的是错误标识的潜在后果。算法推论与算法决策的重要区别在于，前者并不直接导向对公民基本权利的现实干预。但是基于算法推论的识别和评价本身预示着未来形成决策的可能性，特别是在形成负面标识的情况下。因为这意味着相对人的正常生活和相关权益未来遭受干预的现实风险，进而对法律所保护的社会生活秩序的稳定性产生负面影响。例如在2011年欧洲人权法院审理的Dimitrov-Kazakov v.Bulgaria案②Dimitrov-Kazakov v.Bulgaria，ECtHR（2011），application no.11379/03.中，申请人因一起强奸案被警方讯问，尽管之后其未被起诉，但在警方记录系统中被标识为“强奸犯”。因为该标识，申请人之后在一系列涉及强奸或少女失踪案件中被警方反复盘问，其日常生活受到严重扰乱。欧洲人权法院最终认定该标识违反了《欧洲人权公约》第8条对私人生活的保护。

近年来，国际层面逐渐开始产生此类争议案件，典型的情形是通过算法将特定人员标识为潜在罪犯。例如，2021年美国最高法院审理的TransUnion LLC v.Ramirez案。③TransUnion LLC v.Ramirez，951 F.3d 1008.该案中，征信巨头TransUnion错误地将8185人标识为潜在恐怖分子和贩毒分子，并将其中1853人的此类信息提供给第三方机构，以便后者进行信用评价，作出是否雇佣等决定。该案的表层争点是集团诉讼的当事人资格问题，背后的核心焦点在于错误标识本身是否构成对公民权利的“实质损害”（concrete harm）。尽管法院在本案中作出了否定评价，并据此否定了标识信息未被使用的人员的当事人地位，但5：4的票数比也反映出争议的激烈程度。所以，有学者提出，是否侵犯隐私权不应当以传统的“实质损害”为标准。④Daniel J.Solove & Danielle Keats Citron，Standing and Privacy Harms：A Critique of TransUnion v.Ramirez，Boston University Law Review Online，vol.101（August 2021），pp.62-71.

我国当前关于刑事司法领域错误标识的相关研究和报道相对稀缺，但是现实中已然暴露出采用不合理标签的现象，例如，2019年湖南湘潭市发生的将失独家庭列入“扫黑除恶重点监管对象”的事件就引发了广泛的舆论争议。⑤相关事件报道参见《将“失独家庭”列入扫黑除恶对象，怎么想的？》（2019-03-27），搜狐网，https：//www.sohu.com/a/304080705_114988.可以预想的是，如果将类似“失独”的指标纳入到犯罪风险预测模型中去，不仅会扰乱风险预测本身，而且这一错误标签会借由算法黑箱而难以被察觉和规制，由此形成规制障碍问题。

（二）算法推论的规制障碍

算法推论尽管区别于最终决策，但并非与公民的基本权利无涉。其不仅可能直接影响甚至决定后续决策的质量，同时，标识本身就足以干扰相对人日常生活的稳定性。鉴于刑事司法活动的高强制性和刑罚权的高严厉性，算法推论之于相对人的权益干预将更为严重。如前所述，在由数据收集到最终决策的四个阶段中，当前立法主要关注的是首尾部分，中间涉及算法推论的部分则缺少必要的规则建设。这一点在司法实践中也有所体现，例如，在2020年的携程酒店大数据杀熟案件中，尽管媒体热议的是“杀熟”行为，但最终裁判的重点主要集中于非必要数据收集以及虚假宣传、价格欺诈两个事项。前者指向的是数据收集环节，后者指向的是最终价格决策的正当性。事实上并没有真正涉及算法的评估问题。①余建华、徐少华：《浙江一女子以携程采集非必要信息“杀熟”诉请退一赔三获支持》，《人民法院报》2021年7月13日，第3版。这种现象背后的成因主要涉及两个方面：一是损害结果的非显性；
二是过程的不透明性。

就损害结果的非显性而言，这一点从上文提及的TransUnion案中已经可以看出。具体来讲，这种非显性主要表现在两个方面：其一在于算法推论的损害往往是无形权益，不仅使得权利主体难以及时和充分察觉损害的发生，同时也使得该损害结果难以在具体案件中进行审查和衡量；
其二在于算法推论损害后果的非即时性，即所形成的不利后果之一是一种未来因相关决策而遭受实质侵害的风险，是对未来损害的预期，而非案发时已经产生的损害结果。

就推论过程的不透明性而言，这是近年来算法普受诟病的共性之处，其核心在于将算法运行过程描述为难以从外部进行观察、评估和控制的“黑箱”（blackbox）。这种不透明性使得算法推论的规制存在三个层面的障碍：第一，难以在事前认定算法本身包含偏见或歧视，更多地只能依赖实际不利决策发生后的结果评价；
第二，即便能够认定推论本身存在偏见或歧视，由于干预因素或参与主体的多元性，难以有效地进行责任认定，特别是难以将责任归于算法本身；
②张凌寒：《网络平台监管的算法问责制构建》，《东方法学》2021年第3期。第三，权益主体难以有效地对上述情形的存在以及与损害的因果关系举证和证明，进而加大了事后救济的难度。

回归到刑事司法的语境下，算法推论引发的权利损害风险更为严重和棘手。一方面，算法推论可能转化为强制措施、具体侦查措施、案件事实认定以及刑罚执行的主要依据，从而形成对相对人特别是犯罪嫌疑人、被告人和罪犯权益的重大减损；
另一方面，刑事诉讼中固有的控辩能力差异会借由算法推论的规制障碍而被进一步放大，从而实质性损及辩方获得有效辩护的权利。③裴炜：《论刑事数字辩护：以有效辩护为视角》，《法治现代化研究》2020年第4期。对此，刑事诉讼制度需要对算法推论的损害风险予以充分认知，在此基础上针对相对人的数字劣势，通过赋予其获得合理推论的权利，并为决策机关设置对应的诉讼义务，从而最大限度确保算法推论的正当性和合理性。

刑事诉讼中获得合理推论权的核心在于确保算法推论的合理性。其权利主体指向的是因算法推论而导致基本权益遭受减损或面临减损风险等不利后果的诉讼参与人，其中又以犯罪嫌疑人、被告人为主要关注对象。获得合理推论权的要素既包含程序的合理性，又包含实体的合理性。就前者而言，规制算法推论的首要思路仍然在于尽可能确保推论过程的透明可见，这不仅是后续审查的基础，同时也是相对人进行权利救济的前提。就后者而言，其一方面取决于算法推论所依赖的技术和数据的可靠性、完整性、准确性，另一方面也取决于对推论本身合理性的及时、有效的识别、矫正及救济。

之所以强调程序和实体两个层面的合理性，其原因在于单纯的程序层面的规制尽管易于实现，但也容易将权利保障这一目的异化为程序合规本身。而这正是Lauren B.Edelman所描述的“符号结构驱动”（mobilization of symbolic structures）现象，即通过采用符号、流程、程序、政策等方式使合规标准（compliance metric）取代法律程序，进而使得法律原先设定的实质目标无法达成。④L.B.Edelman，Working Law：Courts，Corporations，and Symbolic Civil Rights，University of Chicago Press，2016，p.153.也正是在这个意义上，在规制算法推论应用的过程中需要采取的是实质正当程序（substantive due process）的视角，⑤Margaret Hu，Big Data Blacklisting，Florida Law Review，vol.67，no.5（February 2016），pp.1735-1809.将重心放在“发生了什么”而非“怎么发生”之上。⑥Ari Ezra Waldman，“Algorithmic Legitimacy”，in Woodrow Barfield（ed.），The Cambridge Handbook of the Law of Algorithms，Cambridge University Press，2019，pp.119-120.这种视角的转变意味着当算法推论运用于辅助刑事司法决策时，我们不仅需要关注推论如何做出，即算法推论过程本身的可解释性问题，同时也更需要关注算法推论如何作用于最终决策。上述目标不仅取决于算法规制的整体规制体系，也取决于个案诉讼程序中的保障机制。

（一）合理推论权的系统保障

借用Margot Kaminski关于人工智能可归责性的理论框架，①Margot Kaminski以人工智能可归责性为出发点，将算法透明性要求区分为个体性透明（individual transparency）与系统性透明（systemic transparency），其中前者关注的是受算法影响的特定相对人对算法应用的知情，后者则关注的是围绕算法应用的机器系统和人类系统中错误、偏见、歧视等的可见性。See Margot E.Kaminski，The Right to Explanation，Explained，BERKELEY TECH.L.J.，vol.34，no.1（August 2019），pp.189-218；
Understanding Transparency in Algorithmic Accountability，in Woodrow Barfield（ed.），The Cambridge Handbook of the Law of Algorithms，Cambridge University Press，2019，pp.121-138.算法推论合理性的保障主要涉及三个层面：一是针对推论背后算法自身的技术规制；
二是针对与该算法开发、评测、认证、运行等相关的主体的规制；
三是对算法推论应用主体的规制。当前数据立法更多关注的是第一个层面，即强调算法背后技术原理的可靠性，对于算法可解释性的要求也主要指向的是这一点。但是，技术的可靠性并不等同于技术应用的合理性。作为一种价值判断，后者在前者的基础上更依赖于对技术运用中的人的规制，由此形成算法推论系统保障的后两个层面。

就算法开发、运行、评测相关主体的规制而言，其核心关注的是算法形成过程中的伦理嵌入。例如，隐私设计（privacy by design）等概念的提出体现的即是这一要求。当涉及到伦理问题，就意味着相关算法规制机制需要与特定应用场景相契合。一方面，算法开发、运行、评测等活动应当有熟悉该特定场景的专业人员参与，这进一步意味着需要设置相应的主体资质门槛；
另一方面，相关活动应当在实质性上与该特定场景的价值、原则、概念和规则相契合。

具体到刑事诉讼场景，这一层面的规制应当至少包含以下三方面内容：第一是参考隐私设计的整体思路。在算法开发中嵌入“数字无罪”理念，将“未经法院判决不得认定有罪”的原则贯穿算法开发始终，一方面，需要关注模型开发过程中对于有利于辩方的指标的探索，特别是增加数据与技术中立性的审查标准，同时形成辩方视角下的电子证据评估方法；
另一方面，在计算结果存疑时做有利于辩方的解释。第二是针对刑事诉讼程序设置类似于司法鉴定的算法技术开发资质。其目的在于形成具体行业标准与规范以适应本场景中算法推论的专业性要求，同时为事后相应法律责任的分配提供依据。第三是围绕该资质形成定期的算法更新、评测、审查机制，以确保算法开发、运行过程中存在的错误、偏见或歧视等缺陷能够被及时发现和矫正。②Radina Stoyknova，Digital Evidence：Unaddressed Threats to Fairness and the Presumption of Innocence，Computer Law & Security Review，vol.42（September 2021），pp.7-8.

就算法推论的应用主体而言，其主要指向的是依靠算法推论进行最终决策的刑事司法权力机关。对此类主体加以规制的目的在于，鉴于当前阶段刑事司法对于算法应用所保有的必要的谨慎态度，这种谨慎应当反映在整体规制体系的设计之中。首先，算法推论的应用应当以必要性和比例原则为框架，保证其适用符合实质正当程序的要求。其次，应当在刑事诉讼制度中建立起应用算法推论的明确的法律依据，划定算法推论的适用情形、范围和条件。再次，原则上应当存在其他实质性依据以支持决策，特别是在相关决策可能严重限制或剥夺公民人身和财产权利的情况下，应当禁止以算法推论作为决策的唯一实质性依据。最后，建立算法推论应用的司法审查机制，强化刑事司法的程序监督与制约。

（二）合理推论权的个案保障

合理推论权的系统保障在于尽可能在事前建立起相关机制，并相应地预防和降低算法推论在后续应用中的错误风险。但系统保障不足以避免算法推论在个案中的误用，因此，合理推论权仍然需要进一步在具体案件的诉讼程序中予以落实。考虑到算法推论相对人往往居于诉讼中的弱势地位，特别是犯罪嫌疑人、被告人，其与控方的力量差异是刑事诉讼的基本假设，因此需要强化国家积极保护义务。

首先，合理推论权以相对人的知情权保障为前提，也是其获得救济的基础。在依据算法推论进行决策的情形中，应当强调决策者的告知义务。原则上，刑事司法机关基于算法推论作出不利于辩方的决策时，应当承担告知义务。考虑到前文论及的算法推论损害后果的非显性和非即时性等特征，告知的启动不以相对人申请为前提，而是需要由决策机关主动履行。在告知可能妨碍诉讼顺利进行时，立法可以允许对告知进行限制，典型的情形是在侦查阶段告知可能妨碍侦查。但是这种限制需要有明确的法律授权，同时需要分层级、分场景进行阶梯设置。

其次，合理推论权的核心在于评价推论的合理性。鉴于相对人的技术能力弱势，合理性的判断对应的是决策机关的释明义务，即刑事司法权力机关应当对利用算法推论推进刑事诉讼程序、作出决定等承担前置的说明义务，这种说明义务的启动既可以依职权又可以依申请。但在以其作为剥夺人身自由决定、措施或判决的依据时，原则上应当将推论说明设置为法定义务。其他情况下，该项义务可以基于申请而启动。

再次，合理推论权的重要功能之一在于平衡控辩双方的数字能力差异。由此，我们提出以下两个方面的制度设计。第一，针对上文论及的系统保障机制，应当明确其违反足以构成相对人质疑算法推论合理性并启动相应救济程序的充分依据。此时，关于算法推论合理性的证明义务转移至决策方。第二，基于控辩平等武装原则的基本要求，有必要强化有专门知识背景的人员积极参与庭审并对算法推论的技术原理进行解释和评估的制度设计，并且针对严重干预公民基本权利的算法推论强制要求专家参与庭审。

最后，合理推论权的实现依赖于救济机制，其重心在于对推论可解释性的检验，以及在检验不能的情况下对该推论的法律效力的重新认定。就可解释性的检验而言，一方面意味着多模型下推论结果的可重复，另一方面意味着不可重复情况下的算法说明。通过多种算法模型形成的推论不一致时，针对可能严重干预甚至剥夺公民人身权、财产权的措施，从保障人权的角度出发，应选取最有利于被指控人的解释。就无法通过类似模型复检的情形而言，对于使用第三方技术形成的算法推论，一则应建立特定类型犯罪中的算法强制披露义务，该义务应当嵌入上文提及的刑事司法算法开发主体资质和行业规范之中；
二则应当建立起第三方技术人员的出庭说明义务，主要适用于控辩双方对推论的合理性存在争议，但无法通过算法本身进行外部评价，并且所涉事项对于定罪和量刑具有重要意义的情形。

在网络信息时代，社会治理的各个领域可能面临一些共同的挑战，算法治理便是其中的典型。不同场景中算法的具体运用方式、程度均存在差异，算法治理所要达到的目的亦存在差异。因此，算法规制的探讨不仅要着眼于宏观层面，还应结合具体场景的具体需要。在当前刑事司法的场景中，算法的应用尚未进展到决策阶段，但并不意味着对其进行规制的紧迫性更低。相反，恰恰因为算法更多地以推论的形式隐藏于最终决策之后，在可能严重干预乃至减损公民基本权利时，其危害性反而不易察觉，规制难度反而更高。对此，算法治理的相关研究需要关注到刑事司法领域的特殊性，同时刑事司法研究和制度建设也需要对当前广泛运用的算法推论予以及时回应。在这一过程中，国家刑罚权的高度强制性和严厉性使得形式意义上的正当程序已经难以满足需求，算法推论的规制不能仅仅停留在可解释性上，而是要进入到实质性与合理性的判断层面。这种合理性不仅仅是案件真实的需要，更是刑事诉讼运行中相对人重要权利得到有效保障的需要，是实质正当程序的题中应有之义。