在安全关键技术中承担照料责任:伦理层面的紧张关系
《Safety Science》:Holding the egg: ethical tensions of care in safety-critical technologies
【字体:
大
中
小
】
时间:2026年05月05日
来源:Safety Science 5.4
编辑推荐:
奥斯卡·奥维耶多-特雷斯帕拉西奥斯(Oscar Oviedo-Trespalacios)
代尔夫特理工大学技术、政策与管理学院价值、技术与创新系
荷兰代尔夫特,Jaffalaan 5,2628 BX
**摘要**
安全关键技术常常会持续数十年,其存在时间超过了最初
奥斯卡·奥维耶多-特雷斯帕拉西奥斯(Oscar Oviedo-Trespalacios)
代尔夫特理工大学技术、政策与管理学院价值、技术与创新系
荷兰代尔夫特,Jaffalaan 5,2628 BX
**摘要**
安全关键技术常常会持续数十年,其存在时间超过了最初的设计预期、组织安排和监管环境。然而,伦理与安全领域的学术研究主要集中在生命周期的早期阶段,强调设计保证、部署决策和预防措施,而很少提供概念资源来理解系统在运行中、老化后以及越来越难以修改或退役时的责任问题。本文提出了部署后的伦理关怀概念框架,探讨了当安全关键技术被实际应用并持续使用时,即使实际可控性、权威性、认知确定性和退出选项逐渐减弱,责任形式依然存在的现象。本文以动画电影《天使的蛋》(Oshii, 1985)作为启发工具——而非实证证据或电影分析——来揭示随着时间推移维护脆弱系统所涉及的伦理困境。在此基础上,本文提出了一个初步的概念框架,用于研究现有安全概念未能充分把握的伦理问题。该框架识别出六种相互关联的紧张关系:无需维修的关怀、无权威的责任、在认知不确定性下的关怀、无退出选项的脆弱性、继承的负担以及伦理失误的不可逆性。该框架进一步阐明了这些紧张关系如何作为能动性的限制和时空认知负担,这些限制由技术的持久性结构条件形成,并受到不可逆性伦理视野的影响。本文的贡献在于提供了一个概念性工具,用于识别和分析安全关键技术在整个运行生命周期中伦理负担的积累与分配,并为在约束条件下需要持续维护长寿命系统的实证研究指明了方向。
**1. 引言**
安全关键技术通常会长期使用,有时甚至长达数十年。在交通、医疗和工业领域,许多安全关键系统的寿命超过了最初的设计预期。在公共部门,大型信息系统也表现出类似情况:美国政府问责办公室的一份报告(U.S. Government Accountability Office, 2016)指出,联邦机构依赖于已有数十年的旧IT系统,这些系统占据了大部分运营预算,但很难现代化、替换或退役。一旦这些系统被嵌入使用,它们就会对变化产生抗拒,继续塑造日常实践中的风险模式、责任分配和潜在危害。因此,安全问题不能仅仅归结为合理的设计或初始部署,还需要考虑在整个运行生命周期中的持续关怀、警惕性和伦理责任。
安全科学领域长期以来一直在研究与基础设施老化、资产管理及长期风险治理相关的挑战。针对基础设施系统的研究表明,必须通过维护实践、组织安排和不断完善的监管环境来确保安全与可靠性的长期维持(Komljenovic et al., 2016, Little, 2012)。对重大危险设施的实证分析表明,老化资产和材料退化可能直接导致事故(Hansler et al., 2022)。这些系统常被视为复杂适应系统,其中风险随着时间推移,在技术组件、组织流程和外部条件之间的相互作用中产生和发展。尽管这类研究为管理老化技术系统提供了宝贵见解,但它们很少从伦理责任的角度来探讨技术持续运行时的责任问题,尤其是当技术可控性减弱且退出选项有限时的情况。
鉴于许多安全关键领域中长寿命系统的普遍存在,部署后伦理关怀的讨论相对缺乏。文献中确实有关于此类系统的伦理反思——例如Bowen(2000)探讨了安全关键软件开发和使用中的责任、能力和专业谨慎性。然而,这些研究大多侧重于设计阶段的决策和开发期间的专业行为。因此,当技术进入长期运行阶段——系统老化、设计选择难以修改且组织日益依赖旧系统时——所面临的伦理挑战在安全科学中仍缺乏系统的理论探讨。这限制了我们理解安全关键技术在整个运行生命周期中伦理责任如何被体验、分配和协商的能力。
针对这一背景,本文从流行文化中汲取了概念灵感。电影《天使的蛋》(1985)讲述了一个女孩在荒凉世界中呵护一个脆弱鸡蛋的故事,她与一个男孩短暂亲密,后者质疑她所保护对象的意义,并见证了那个脆弱物体的不可逆破坏。本文使用这部电影并非作为现实系统证据或电影分析,而是作为一种启发工具,帮助揭示和安全关键领域中普遍存在的伦理现象——如耐久性、在模糊性下的义务以及超出初始新颖性的持续责任。虽然本文整体分析了这部电影,但讨论仅针对少数几个能清晰体现这些伦理情境的片段。这些场景被用作叙事手段,而非实证材料,旨在阐明在长寿命安全关键系统中已可识别的紧张关系。
在学术界,将流行文化用于研究已有先例。在社会科学和人文学科中,电影、小说等文化作品常被用作揭示隐性假设、明晰概念差异和使抽象伦理动态更易于理解的工具,而无需将这些作品视为实证证据。在安全科学领域,Walker等人(2015)通过《星球大战》中的虚构死星案例,比较了基于组件和基于系统的安全分析方法,展示了不同分析方法如何揭示或掩盖复杂社会技术系统中的关键脆弱性。一些实证研究也将电影本身作为安全研究的对象,系统分析电影中的安全相关行为和风险实践(例如Tongren et al., 2010, Boppana et al., 2016)。总体而言,这些研究表明流行文化既是分析资源,也是获取安全相关见解的合法途径。本文将《天使的蛋》置于这一传统中,不是作为电影批评的对象,而是作为分析工具,用来探讨部署后的伦理紧张关系——即在技术持续存在时承担的关怀负担和摩擦。
本文基于这一思路,利用《天使的蛋》构建了一个部署后伦理关怀的概念框架,以此作为反思技术持续情况下责任的启发工具。这部电影并非作为现实系统证据,而是用于突出安全科学主导词汇中难以表达的伦理体验。通过将电影中的片段与长寿命安全关键系统中反复出现的伦理紧张关系联系起来,本文将这些反思与难以修改或退役的技术联系起来。本文的贡献在于提供概念性工具,用于分析技术持续存在时的责任问题,提出一个思考部署后关怀的初步框架,以支持安全科学在日益依赖技术的世界中处理超出新颖性、设计和初始控制范围的责任问题。
**2. 部署后的伦理关怀:安全科学的概念性问题**
本节介绍了部署后的伦理关怀概念,并将其置于现有的安全科学和技术伦理学研究中,阐明了推动本文后续框架发展的概念问题。部署后的伦理关怀指的是当安全关键技术在引入后长期运行并深入嵌入基础设施、组织流程和监管安排时产生的责任形式。在这种技术持续存在的条件下,即使重新设计、退出或有效管理的实际能力逐渐减弱,系统结果的责任依然存在。本文中的“部署”主要指技术的引入和早期融入运行实践的过程。“设计”和“保障”指在此之前为系统指定和证明可接受风险的活动,“控制”则指运营过程中参与者保留的实际调整、暂停或重新导向系统行为的能力。当技术充分嵌入使用,导致重新设计、干预或退出的机会减少时,部署后的关怀变得更加重要。因此,这种区分是分析性的而非时间性的:部署后的关怀不是指技术生命周期中的某个具体时刻,而是指系统持续运行但实际修改或退出能力受到限制的条件。
这一现象可以在当代基于人工智能的安全关键系统中观察到,例如医院中使用的机器学习临床决策支持工具。这些系统分析患者数据(如病历、实验室结果和影像)以生成预测或建议,帮助临床医生完成诊断、治疗计划或风险评估等任务。然而,一旦这些系统进入常规使用,系统层面的修改机会往往有限。因此,控制主要通过人为监督实现(例如临床医生审查或驳回建议),而非通过系统重新设计或退役。结果,即使操作者缺乏修改系统行为或果断停止其运行的实际能力,他们仍可能对结果负责。针对基于人工智能的安全关键系统的实证研究表明,这种责任模式普遍存在:即使影响系统行为的能力减弱,责任依然存在。在某些情况下,这会导致“责任黑洞”现象,即操作者在对系统控制有限的条件下仍承担伦理和法律责任(Ryan et al., 2023)。
长期以来,技术和工程领域的责任问题已被认为是时间复杂的,涵盖集体和不确定行动背景下的前瞻性和回顾性维度(Doorn & van de Poel, 2012)。在基础设施和安全关键系统的背景下,责任通常分散在多个行动者和机构之间,往往超出设计或故障的瞬间,包括维持、恢复和保护社会依赖的系统的持续义务(Van der Bruggen, 2008)。然而,现有的安全概念往往主要从技术、程序或组织角度定义责任,而不是将其视为在系统控制减弱时仍然存在的独特伦理现象(Dekker & Breakey, 2016)。部署后的伦理关怀关注的是即使实际控制、重新设计能力和明确权威受到限制的情况下,责任如何持续存在的问题。
本文基于此观点,利用《天使的蛋》来探讨技术持续存在下的伦理关怀概念。这部电影并非作为现实系统证据,而是作为一种叙事工具,用于突出在安全科学主导词汇中难以表达的伦理体验。通过将电影中的片段与长寿命安全关键系统中反复出现的伦理紧张关系联系起来,本文将这些反思与难以修改或退役的技术联系起来。本文的贡献在于提供概念性工具,而非实证案例研究,提出了一个关于部署后关怀的初步框架,旨在帮助安全科学应对超出新颖性、设计和初始控制范围的责任问题。通过引入分析技术持续存在下的责任的概念词汇,本文阐释了系统在运行中、老化后以及难以修改或退役时出现的反复出现的伦理紧张关系,并将日常安全实践(如监控、维护和警戒)重新定义为在约束条件下持续的伦理关怀形式。
为阐述这一观点,本文分为三个部分:第2节将部署后的伦理关怀定义为安全科学的一个问题,阐明了即使技术可控性、权威性和退出选项减弱,责任如何仍然存在;第3节引入了CARE-TECH框架,该框架识别了技术持续存在下产生的六种相互关联的伦理紧张关系;最后部分讨论了这一框架对安全科学的意义,并为未来的实证研究指明了方向。这种 operational use of care(操作的关怀方式)与科学技术研究和技术伦理学中发展出的关怀概念有共鸣,但并不完全相同。技术伦理学的研究探讨了关怀在理解社会技术实践和责任方面的相关性。例如,Puig de la Bellacasa(2011)引入了“护理事项”(matters of care)的概念,强调技术科学的组合不仅通过技术设计和治理得以维持,还通过持续的关注、维护以及对脆弱社会技术安排的責任来实现。基于这些见解,Baas、Metselaar 和 Klaassen(2022)从关怀伦理的角度出发,提出了“安全设计”(Safe-by-Design)的概念,认为安全不应仅仅被视为技术属性,而应是一种关系性和持续性的实践,在整个技术生命周期中,多个参与者共同承担着保障安全的责任。他们的“关怀圈”(circles of care)概念强调了如何在涉及技术设计、治理和使用的各方之间,通过持续的关注、責任和响应来实现安全。然而,本文主要将关怀概念作为一种概念性和描述性的视角来使用,而不是直接将其作为规范性的哲学框架来应用。在这种背景下,关怀指的是在系统持续运行的过程中,即使重新设计、撤出或有意义控制的机会变得受限时,仍要保持持续的关注、管理和实际参与,从而履行安全責任。
现有的关怀伦理学讨论主要集中在设计和创新过程上,而本文将讨论范围扩展到了安全关键技术(安全-critical technologies)的部署后阶段——在这个阶段,即使系统已经进入常规运行,仍然需要持续地保持关注和管理。虽然一些既定的安全概念能够捕捉在控制受限情况下维持安全的重要方面,但它们很少直接涉及其伦理含义。维护关注于为保持系统功能所需的技术和组织工作,但其规范性取向主要停留在工具层面:系统是根据预定义的性能期望来运行的。合规性通过遵循标准、法规和认证制度来建立责任,但它假设责任可以通过符合形式要求来履行。韧性强调系统在受到干扰时的适应能力和恢复能力,关注系统如何应对、调整并继续运作。安全管理将这些要素整合到组织结构中,将责任定义为可分配的、可审计的,并且可以进行优化。总的来说,这些方法对于维持安全是不可或缺的。然而,它们往往将责任视为可以通过干预、适应或程序性问责来解决的(Dekker 和 Breakey, 2016; McCall 和 Pruchnicki, 2017),而没有考虑在系统实际操控、重新设计或撤出的能力受到限制的情况下责任的持续性。
在涉及长期运行的社会技术基础设施和存在争议的转型过程的安全与风险治理研究中,也出现了类似的紧张关系。尽管存在越来越大的伦理或社会压力要求进行变革,但安全关键系统仍然在运行。最近的研究指出,从有害系统中撤出(包括化石燃料基础设施)在伦理上可能是有说服力的,但责任在这些基础设施、风险和制度依赖关系仍然活跃的长期阶段仍然存在(Oviedo-Trespalacios 等,2025)。在这种情况下,责任不能仅通过撤出来解除,因为安全关键系统在非理想转型期间仍会继续运作并可能造成伤害。这些分析指出了一个结构性问题:在制度锁定和退出受限的情况下,责任仍然存在。然而,这些分析并没有明确说明这种持续性的伦理特征。
“部署后的伦理关怀”(Ethical care after deployment)是指安全关键技术在其设计假设的预见范围之外继续运行的情况,即使重新设计、撤出或有意义的操控的实际能力变得越来越受限,对其后果的责任仍然存在。这种情况涉及到系统在伦理上仍然重要的场景——因为它们影响着风险、脆弱性和潜在的危害——但无法被有意义地重新设计、决定性地改进或干净地撤出。在这种情境下,责任不会因程序性合规或组织优化而消失,而是成为由那些必须继续关注脆弱且具有重大后果的系统所承担的道德负担。一种有影响力的尝试是致力于保护有意义的人类控制(意义的人为控制),这种框架将责任建立在维持对系统行为的跟踪(system behaviour tracking)和追溯(identifiable human agents)上(Santoni de Sio 和 Van den Hoven, 2018; Santoni de Sio 和 Mecacci, 2021),尽管这确实明确了责任可以持续的条件,但它仍然倾向于维护或恢复对技术系统的控制。当系统逐渐失去这些控制条件时,“部署后的伦理关怀”在另一种未被充分理论化的情况下变得最为明显。在这种情况下,即使系统操控、修改或撤出的实际能力随着时间的推移而减弱,责任仍然存在。
这种实际操控能力的减弱不仅是一个操作或治理问题;它还产生了一种独特的伦理负担,这种负担在安全科学中只是部分得到了表达。当长期运行的系统成为基础设施——即在组织上依赖于它们,停运成本高昂,且难以重新设计时——责任并没有消失;它反而积累起来,会在不同角色之间传递,并且往往不均衡地分配给最接近操作和维护的人员。当责任关系本身也受到结构性削弱时,这种负担会更加严重。技术哲学中的相关研究也指出,先进社会技术系统中责任的失败不能仅仅用控制减弱或监督不足来解释。例如,Vallor 和 Vierkant(2024)描述了一个“脆弱性缺口”(vulnerability gap),即制度和技术安排削弱了系统参与者与受系统影响者之间的相互问责关系。尽管这一诊断是在人工智能治理背景下提出的,但它强调了需要超越设计和部署阶段来审视责任和关怀的必要性,特别是在系统持续运行且责任在受限条件下仍然存在的情况下。
综上所述,这些研究表明,尽管控制能力下降,社会技术系统中的责任仍然可能存在。安全科学研究考察了维持老化系统所需组织和技术工作;治理研究强调了在有争议的基础设施转型期间责任的持续性;技术伦理学的研究试图通过诸如有意义的人类控制这样的框架或对退化问责关系的分析来保护责任。然而,这些贡献分别关注问题的不同方面,很少能够共同探讨当安全关键系统在重新设计、停止或有效操控能力下降的情况下,责任如何持续存在的伦理问题。尚未充分探讨的是,在这种情境下,责任是如何被体验、分配和维持的,当参与者必须继续关注那些仍然具有重大后果但越来越难以干预的系统时。因此,“部署后的伦理关怀”这一概念应运而生,它指出了当责任超出设计的预见范围,而对其后果的责任仍然存在的情况。它关注的是系统在伦理上仍然重要的场景——因为它们影响着风险、脆弱性和潜在危害——但却无法被有意义地重新设计、决定性地改进或干净地撤出。在这种情况下,责任不会因程序性合规或组织优化而消除,而是成为一种由参与者承担的道德负担,他们必须在没有明确授权、解决方案或结束前景的情况下,继续关注这些脆弱且具有重大后果的系统。
以下部分将通过引入 CARE-TECH 框架来进一步发展这一概念化,该框架阐明了在技术持续运行条件下出现的具体伦理紧张关系。
**3. CARE-TECH 框架:安全关键技术部署后的伦理关怀**
**3.1. 在技术持续运行条件下构建伦理关怀**
本节通过阐述在技术持续运行条件下出现的一系列伦理紧张关系,提出了“部署后的伦理关怀”(以下简称 CARE-TECH 框架)的概念框架。在这些条件下,安全关键系统仍在运行,而重新设计、撤出或有效控制的机会则越来越受限。本文将这些紧张关系视为持续存在的状况,而非离散的道德困境或二元的权衡,而是指尽管维持责任的实际、认知和制度条件逐渐受限,责任仍然活跃的状态。CARE-TECH 框架并不旨在作为失败模式的分类法、一套规范性的处方或干预指南,而是提供了一种结构化的方法来命名和探讨实践中已经存在但现有安全概念未能充分捕捉到的伦理状况,尤其是在技术持续运行和制度锁定的情况下。
CARE-TECH 框架是通过《天使之蛋》(Angel’s Egg)中的选定的场景启发式地发展起来的,这些场景有助于突出那些难以通过技术或组织分析单独揭示的伦理体验。重要的是,这些紧张关系本身并非源自电影;它们是从对长期运行的安全关键系统中反复出现的状况的反思中产生的,电影只是一个帮助这些伦理动态更具概念可见性的启发式工具。这些场景以描述性的方式处理,关注的是实际发生的现象而非象征意义,作为叙事提示,帮助揭示脆弱性、继承性和限制条件下持续关怀的相关紧张关系。每个紧张关系都通过简短的基于场景的描述来表达,随后是对所揭示的伦理状况及其与安全关键领域中可识别现实情况的共鸣的说明。总的来说,这些紧张关系并没有形成一个统一的规范立场,而是描述了在实际控制减弱、退出选项有限以及修复前景受限的情况下,伦理关怀所面临的摩擦、负担和不对称性。
**3.2. 伦理紧张关系**
下面描述的紧张关系揭示了在技术持续运行和操控能力受限条件下长期运行的安全关键系统中出现的不同维度的伦理关怀。它们并不是同一现象的不同标签,而是描述了部署后责任受到限制的不同情况。这里提出的六个紧张关系并不试图提供一个详尽的分类法,而是指在代理受限、技术持续运行和退出选项有限的情况下反复出现的模式。一些紧张关系涉及代理的局限性,即尽管修复系统或对其演变行使权力的能力受到限制,参与者仍然对安全结果负责。其他紧张关系反映了时间和认知上的负担,即责任必须在几代从业者之间维持,或在不可降级的不确定性条件下持续存在。此外,结构性的持续存在也带来了额外的紧张关系,即即使认识到系统的局限性,也无法安全地放弃这些系统,因为可行的退出选项被排除了。最后,某些故障可能导致不可逆后果的可能性加剧了所有其他紧张关系的伦理负担。后续的小节描述了这些紧张关系在实践中如何出现,并塑造了长期运行安全关键系统中责任的体验。
**3.2.1. 没有修复的关怀**
“女孩缓缓穿过了一座被摧毁的城市,将蛋紧紧抱在身体旁边。环境静止而荒凉:建筑物倒塌,机器处于休眠状态,看不到任何复兴的迹象。女孩反复检查蛋是否有裂缝,清洁它,并调整携带方式。她的行为没有改变周围的环境或改变蛋本身的状态。”这个场景突出了一种以保存为目的的关怀形式,而非改进。女孩的行为是持续而专注的,但并不旨在修复、优化或进步。关怀表现为在当前脆弱状态下努力维持某物的完整,尽管没有现实的恢复或转型前景。重要的是,这个场景并没有描绘疏忽或被动;它描绘的是在修复不再是一个有意义的选择的情况下所行使的责任。这里的关怀不是惯性,而是在限制下的持续道德努力。
在安全关键系统中,当技术由于遗留设计、过时或基础设施依赖而无法正常运行时,就会出现这种紧张关系。例如,在铁路行业中,信号系统作为长期运行的安全关键基础设施继续运行,这些系统由多代机械、电气和计算机互锁组件组成,其中许多在引入后几十年内仍然通过安全认证(Office of Rail and Road, 2021)。更换或大规模更新成本高昂且往往不可承受,而局部更改又受到与周围遗留系统接口需求的限制,使得在网络层面进行撤出或完全更换具有破坏性(Office of Rail and Road, 2021)。关于当代铁路信号系统的研究进一步表明,安全性的维护通常是通过在现有架构上添加稳定性和渐进式适应性来实现的,而不是通过彻底的重新设计(Aoun等人,2024年)。因此,组织仍然负责维护那些他们无法轻易现代化或果断淘汰的系统,这反映了技术在日常运营中的持久性,以及由此产生的后部署阶段的维护需求(这种需求是由技术的惯性而非主动的设计控制所塑造的)。在这种情况下,从业者的主要任务不是进行系统层面的修复或改造,而是在已知限制条件下防止系统性能下降并维持其可用性。尽管技术本身已无法进行实质性的修复,但伦理责任仍然存在。虽然安全科学传统上是从维护、可靠性和风险控制的角度来描述这些情况的,但在无法带来实质性改进或撤出技术的情境下,如何维持安全性的伦理问题就显得尤为突出了。
3.2.2. 没有权威的责任
“即使男孩反复质疑鸡蛋的价值,女孩仍然继续保护它。男孩未经她的同意就拿起了鸡蛋,并公然表示想要打破它。尽管女孩对鸡蛋负有责任,但她没有权力阻止他的行为,除了通过身体上的接触。”
在这里,责任显然在于女孩,但她对所照顾物品的命运却没有控制权。这个场景揭示了责任承担者与决策权之间的错位:尽管另一个行为者的存在削弱了女孩控制鸡蛋未来状态的能力,她保护鸡蛋的义务依然存在。这种紧张关系也体现在安全管理的关键场景中——在这些场景中,责任往往被赋予那些最接近系统操作的人,但他们可能缺乏足够的影响力来管理、修改或终止相关技术。
3.2.3. 在认知不确定性下的关怀
“鸡蛋内部的内容从未被展示。女孩相信有翅膀的东西会从里面孵化出来,而男孩则怀疑里面是否真的有什么。没有证据可以解决他们之间的分歧。女孩的关怀在缺乏确认或验证的情况下持续进行。”
这种紧张关系出现在知识结构不完整的情况下——在这种情况下,伦理责任需要在没有充分证据或验证的情况下持续存在,需要持续的警惕、克制和管理。一个类似的当代例子是深海采矿的治理问题。在海域治理中,即使临床医生对系统的内部决策过程控制有限,且只能部分理解推荐结果的生成机制,他们仍需对患者的健康结果承担道德和职业上的责任。尽管临床医生在最终决策上拥有正式的权威,但关键的解释和判断环节被委托给了不可预测的系统。这种在权力不对称下的伦理关怀现象表明,责任(以及实际上的问责制)往往是局部化的,而权力却分散在其它地方。
3.2.4. 没有退出的脆弱性
“女孩从未将鸡蛋永久放下,也没有放弃它。即使筋疲力尽,她依然会守护在鸡蛋旁。没有任何时候,离开鸡蛋成为一种可行的选择。”
这种情境下,关怀之所以必要,正是因为不存在安全的退出选项。与“没有修复的关怀”不同(后者指系统已经无法进行实质性改进或恢复的情况),“没有退出的脆弱性”指的是虽然系统存在缺陷,但撤出或更换系统并不现实。鸡蛋很脆弱,放弃它会是一种道德上的失败;然而继续承担这种责任则意味着持续的负担。在这种情况下,关怀不是因为它是最优或可持续的选择,而是因为撤出会立即带来不可接受的危害。
3.2.5. 继承的负担
“女孩并没有创造这个鸡蛋。她只是继承了一个已经存在、已经脆弱、已经有意义的物品。没有关于其起源的故事,也没有任何事先的选择或解释。”
这种责任是被动接受的,而不是主动选择的。女孩的责任源于她所处的环境和文化背景,与她的个人选择无关。在许多长期存在的、对安全性要求极高的系统中,责任会跨越工程师、操作员和组织的几代人进行处理。例如,NASA的旅行者号探测器项目就是一个例子:这些探测器是在上世纪70年代设计的,但其设计初衷、标准和运行环境已经随着时间的推移而发生变化。如今的工程师们并没有完全掌握初始设计时的所有信息,因此他们需要继续负责这些系统的安全运行和科学完整性。这种责任的继承体现了在结构上的不对称性:责任和问责制可能分布在不同的主体之间。
3.2.6. 伦理失败的不可逆转性
“一旦鸡蛋被打碎,就无法恢复到原来的状态。环境也无法回到之前的状态。女孩掉入水中的那一刻标志着一个不可逆转的转折点;后果一旦发生就无法挽回。”
这种情境下的关怀意味着即使无法完全了解或验证所需对象的状态,也必须持续进行预防和警惕。从安全科学的角度来看,这种不确定性是系统的固有特征。许多物种尚未被记录在案,恢复时间可能长达数百年,长期的生态系统动态也难以预测。然而,国际法要求在缺乏确凿证据的情况下仍需有效保护海洋环境,因此监管机构和各国政府必须采取行动。因此,越来越多的人呼吁对深海采矿实施预防性暂停或禁令。
3.3. 伦理紧张关系之间的相互作用
前面提到的各种伦理紧张关系在分析上是不同的,但它们并非孤立存在。实际上,它们在长期存在的、对安全性要求极高的技术中通常会同时出现。在这种情况下,即使设计控制、组织权威和实际的撤出选项都在减弱,责任仍然需要继续承担。图1通过示意图展示了这些紧张关系如何在结构和边界条件下相互作用和累积。同时,安全结果的责任往往被赋予那些对系统修改、采购或退役没有决策权的主体。这些情况相互强化:无力修复系统加剧了在没有决策权的情况下承担责任所带来的伦理压力,而有限的权限则将关怀的范围限制在维护、监控和控制上,而非改革。因此,即使实际履行这一责任的能力逐渐减弱,伦理责任依然存在。
另一组互动突显了时间和认知的负担,将继承的责任与认知不确定性下的关怀联系起来。对安全关键系统的责任往往由几代从业者、组织和监管者共同承担,他们既不是原始设计的制定者,也不能完全控制其持续演变。这种继承的责任常常伴随着无法通过额外分析或数据解决的认知不确定性,但它仍是复杂社会技术系统的结构性特征。当责任是继承而来而非主动选择时,关怀便转向了在信息不完整情况下的管理,而非基于充分信息的优化。这样一来,时间距离和认知限制共同增加了部署后关怀的伦理重量。
这些相互作用的紧张关系由结构性条件维持,使得伦理关怀成为不可避免。在没有退出选择的情况下,系统的脆弱性意味着继续运行这些系统在伦理上是必要的,因为退出可能会导致更大的伤害、风险转移或社会动荡。在这种情况下,关怀之所以持续,不是因为系统本身坚固或令人满意,而是因为放弃它们会产生不可接受的后果。这种状况将能动性的限制和时间-认知负担联系在一起:当修复不可行、权限受限且责任在不确定中继承时,退出选项也可能被排除,从而将关怀从战略选择转变为伦理义务。所有这些互动都在一个边界条件下展开:伦理失败的不可逆性。认识到某些失败将永久改变环境、社会或制度未来的情况,增强了在约束条件下关怀的道德重要性。责任之所以得以维持,不是因为可以保证安全的结果,而是因为失败的代价将由未来的用户、社区或生态系统承担,而这些代价是无法修复或逆转的。不可逆性因此并不构成额外的紧张关系,而是一个放大并稳定所有其他紧张关系的伦理框架。
综合来看,这些互动表明,部署后的伦理关怀源于两类紧张关系的汇聚——能动性的限制和时间-认知负担——并在伦理失败不可逆性的边界条件下持续发展。在这种背景下,伦理责任不能仅仅归结为个人美德、组织实践或治理机制。相反,它被体验为一种在控制、修复、确定性和退出逐渐受限的情况下持续维护安全的脆弱而持续的做法。“CARE-TECH”框架总结了这些关系,提供了一种结构化的方法,用以理解伦理紧张关系如何聚集、相互强化,并塑造长期存在的安全关键系统中责任的真实体验。
4. 启发式和概念范围的局限性
虽然《安吉尔之卵》为阐述持续状态下的伦理关怀提供了一种有力的启发式工具,但它也引入了一些重要的局限性。最显著的是,这部电影突出的是一个由单一照顾者维护的脆弱物体,这促使人们倾向于关注有限的责任和局部关怀。相比之下,安全关键技术很少是单一的或孤立的。它们通常嵌入在分布式、网络化且高度耦合的系统中,风险来源于组件、组织和时间尺度之间的相互作用。因此,本文中阐述的紧张关系主要适用于组件层面的管理或一线操作关怀,而不太适用于系统级动态,如级联故障、跨领域依赖性或集体协调失败。因此,“CARE-TECH”框架主要旨在阐明与长期存在的安全关键社会技术系统相关的伦理条件,这些系统的持续性限制了重新设计、修复或退出的机会。当责任可以直观体验时,伦理关怀的逻辑最为明显;将其扩展到完全网络化的社会技术系统则需要谨慎,而非直接套用。
第二个局限性涉及到整个框架中强调的不对称性。通过强调操作者、维护者和在没有任何权力、退出或修复机会的情况下维持关怀的当地行动者所承担的伦理负担,分析可能低估了上游的责任。设计师、监管者和组织领导者仍然在伦理上与安全关键系统的持续性有关,即使责任在操作层面感受最为强烈。电影以一个承担继承责任的单一人物为中心的叙事结构,几乎无法体现分布式责任或机构决策。如果没有明确的说明,这种不对称性可能会被误解为将责任向下转移,而不是分析更广泛的责任关系中伦理负担的分配不均。因此,该框架应被视为对现有安全和负责任创新问责机制的补充,而非替代。
最后,一些论点——特别是保护本身可能积累风险的观点——需要谨慎处理,以避免概念上的过度延伸。在不确定的世界中,几乎任何保存行为都可能被视为未来伤害的源头,从而增加重复论证的风险。这里的意图不是声称所有关怀在伦理上都是可疑的,而是要指出一种特定的部署后状态,在这种状态下,持续的保存会排除了其他未来可能性并加剧了长期脆弱性。此外,该框架仍然是为了概念上的清晰性和内在一致性而构建的,而非基于实证验证的。虽然这些紧张关系与安全关键领域中 well-documented 的历史经验相呼应,但它们并非来自案例研究,也不声称具有普遍性。其价值在于提供了一种语言,用于识别和讨论在持续状态下的伦理责任,而不是对特定技术决策进行评判。因此,该框架邀请实证参与和改进,而不是作为一个完整或详尽的描述。
5. 讨论
5.1. 对安全科学的影响
“CARE-TECH”框架对安全科学如何概念化长期存在的安全关键系统中的责任、关怀和伦理负担具有影响。它将伦理关注点从设计、部署或急性故障的时刻转移到了技术持续存在、老化并越来越难以修改或退出的长期运营期。通过这种方式,该框架通过强调伦理责任是一种持续且脆弱的实践,而非可以通过设计保证、程序合规或组织优化完全履行的条件,补充了已建立的安全概念(如维护、韧性和安全管理)。通常被视为技术或管理活动的活动(如监控、维护、补偿行动和警戒)因此被重新解释为在能动性受限、权限有限和知识不完整的情况下实施的伦理关怀形式。
该框架还重新定义了在社会技术系统中责任的分配和体验方式。它不将责任视为可以清晰分配、解决或耗尽的东西,而是强调其在长期技术系统中的累积性和继承性质,特别是在退出选项有限且失败将不可逆地塑造未来安全和危害模式的情况下。这一视角没有将责任向下转移,也没有用伦理关怀取代治理、监管或设计问责。相反,它提供了一个概念工具,用于研究伦理负担在实际中是如何维持和协商的,特别是由最接近操作和维护的参与者完成的。因此,该框架为部署后的安全情境提供了实证研究的视角——关注的焦点不是系统是否达到最优或理想化的标准,而是当控制、修复、确定性和退出逐渐受限时,伦理关怀是如何维持的。
5.2. 未来研究
尽管“CARE-TECH”框架本质上是概念性的,但它提出了一组关于长期存在的安全关键系统中伦理关怀如何实施、体验和分配的实证问题。该框架的目的不是将其作为预测模型进行验证,或将其实施组件作为可测量变量来操作,而是作为一种分析工具,用于研究即使技术可操控性下降、权限受限且退出选项有限的情况下,责任如何持续存在。表1中的研究问题直接源自“CARE-TECH”框架中阐述的伦理紧张关系。对于每个紧张关系,这些问题都集中在三个相互关联的实证维度上:从业者理解自己责任的推理和解释方式、日常安全工作中伦理关怀的实际实施方式,以及影响伦理负担在参与者之间和时间上分配的制度条件。通过这种方式,该框架并没有规定具体的实证方法,而是提供了一个结构化的词汇,用于研究部署后的责任是如何被合理化、协商和维持的。基于这一视角的实证研究对于阐明伦理负担如何在常规安全实践中被认识、常态化或掩盖,以及不同的组织和治理安排如何影响参与者在技术持续性和不可逆风险下的关怀维持能力,将具有特别的价值。
表1. “CARE-TECH”框架产生的实证问题和研究问题
| CARE-TECH 组件 | 需要探索的实证问题 | 典型的实证研究问题 |
| ------------- | ---------------- | ---------------------- |
| 无修复的关怀 | 在无法进行有意义的重新设计或改进的系统中如何维持安全?哪些组织和专业理由促使从业者优先选择保存而非系统改进?认识到修复不可行如何影响日常安全实践、警戒和风险管理策略? |
| 无权限的责任 | 责任与决策权之间的不对齐 | 一线行动者如何在系统修改或退出权限不在他们手中的情况下解释和证明他们的责任?这种责任-权限不对齐对决策、专业判断和感知的伦理负担有何影响? |
| 认知不确定性下的关怀 | 在持续且不可消除的不确定性条件下如何负责任地行动?当系统的关键方面或风险仍然不确定时,从业者如何推理责任?持续的不确定性如何影响预防性实践、决策阈值和组织对风险的态度? |
| 继承的负担 | 对早期假设设计的技术的代际责任 | 组织如何解释和合法化对早期假设设计的技术的继承责任?这种继承责任对知识转移、运营保守性和制度记忆的保存有何影响? |
| 无退出的脆弱性 | 继续依赖无法安全退出的系统 | 从业者如何证明继续依赖被认为脆弱或有限的系统的合理性?哪些组织和伦理考虑支持继续运行这些系统的决定? |
| 伦理失败的不可逆性 | 对潜在永久性后果的预期如何影响日常安全决策和组织风险容忍度?当故障可能永久改变环境、社会或基础设施条件时,从业者如何调整操作实践? |
5.3. 结论
安全关键技术越来越多地超出有效设计控制、组织权限和现实退出的范围而持续存在,但对其后果的责任并不会随时间而消散。本文提出了一个关于部署后伦理关怀的概念性解释,以解决安全科学中这一未充分理论化的现象,使用《安吉尔之卵》作为一个启发工具,使那些通常难以通过技术和管理术语表达的伦理体验变得可见。“CARE-TECH”框架命名了一组相互关联的紧张关系——无修复的关怀、无权限的责任、认知不确定性下的关怀、无退出的脆弱性、继承的负担以及伦理失败的不可逆性——并展示了这些紧张关系如何聚集为能动性的限制和时间-认知负担,在伦理失败不可逆性的边界条件下得到加强。通过将关怀视为在约束条件下持续关注脆弱和有后果的系统的实践,该框架补充了已建立的安全概念,而没有替代治理、监管或上游问责,同时提供了一种词汇,用于研究一旦系统投入运行后,伦理负担是如何被体验和协商的。未来的实证研究可以使用“CARE-TECH”作为分析工具,来研究这些紧张关系如何同时出现,责任如何在实践中分配和规范化,以及制度安排如何影响在控制、修复、确定性和退出逐渐受限的情况下维持伦理关怀的能力。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号