《Proceedings of the National Academy of Sciences》：A systematic map of methods for assessing societal benefits of Earth science information
背景与意义
在应对气候变化、水资源管理、生物多样性保护、可持续发展和公共卫生等全球挑战的背景下，来自卫星及其他遥感技术的遥感地球科学信息日益成为关键。这些数据通过算法、分析和模型转化为地球科学信息产品，如土地覆盖图、气候预报和干旱早期预警系统，为管理者与政策制定者提供信息，以支持具有社会影响的决策。地球科学信息的可用性和先进性加速了其在广泛决策场景中的应用，产生了多样的社会效益，例如在尼日利亚阻碍脊髓灰质炎传播、保护东太平洋的蓝鲸、改善撒哈拉以南非洲贫困村庄现金转移支付的针对性，以及赋予土著社区监测森林砍伐的能力。然而，尽管地球科学信息对社会效益的贡献无可否认，但这些贡献的规模和多样性却很少被评估，成功的必要条件也鲜有研究。如果不理解地球科学信息的价值，我们就有可能对保护或提升生活质量至关重要的信息投资不足。
地球科学信息价值评估的空白部分源于地球系统科学与社会科学及决策科学的分离，并且由于缺乏整合多元价值的信息-价值评估框架而进一步加剧。理解地球科学信息社会效益的广度和规模，即数据和数据产品在实际应用中对超越科学价值的社会期望结果所产生的价值，对于指导开发可操作、有意义且对社会需求可信的信息至关重要，从而为未来任务投资提供依据，获得公众支持，促进地球科学信息的采纳，并确保科学与政策目标良好对齐。
包容性和多元的价值体系长期以来一直是保护科学和可持续发展领域讨论的话题。政府间生物多样性和生态系统服务科学政策平台价值评估是一项由多元价值评估领域的众多专家进行的多年努力，它确定了反映自然和生态系统对人类重要性的三种价值类别：作为满足特定人类需求或利益手段的工具价值，例如更多收入、更高作物产量、更好的健康结果；独立于作为评估者的人类参考的内在价值，例如鲸鱼生存的权利，而不考虑人类偏好；以及源自有意义且通常是互惠的人类关系的关系价值，超越了手段与目的的关系，例如与神圣景观的联系、对社区的责任感。未能捕捉与非工具价值相关的潜在收益将极大地低估地球科学信息对社会效益的贡献。
地球科学信息，乃至任何信息，产生社会价值的机制在于其改善决策以实现社会期望结果的能力。它通过帮助界定决策背景和评估替代方案来做到这一点，从而减少导致不可预见或不良结果的决策可能性。量化“信息价值”的经济框架通常计算在有该信息的世界中做出的决策与没有该信息的世界中做出的决策的期望结果之差。此类决策分析方法在证明地球科学信息在改善以工具价值衡量的社会结果方面的潜力中发挥了关键作用。基于决策分析的价值信息模型非常适合在特定决策背景和统计参数假设下，以工具价值来量化社会期望结果，但这些模型不适合捕捉地球科学信息对内在价值和关系价值的定性贡献方式，例如公平的决策过程、可持续性、正义和人类福祉。其他评估方法可以通过定量、定性和混合方法途径，引出个人和社会对商品和服务的偏好，从而解释工具性和非工具性价值。虽然这些方法通常用于评估商品和服务的价值，但当它们用于解释使用地球科学信息的决策与不使用地球科学信息的决策之间的价值差异时，也具有评估信息价值的潜力。然而，这些不同方法在跨决策背景和社会价值类型，将地球科学信息的科学价值转化为明确社会价值方面的成功应用程度，仍然缺乏记录。
本研究旨在通过系统测绘同行评议文献，来识别那些使用评估方法比较了由地球科学信息支持的决策结果的研究。本研究旨在解决四个问题：1) 各种评估方法在何种程度上被用于评估地球科学信息的社会价值？2) 这些方法捕捉了哪些类型的价值（工具性、内在性、关系性），以及这些价值是如何表述的？3) 各种评估方法的应用在不同部门和决策背景中是如何分布的？最后，4) 存在哪些机会来发展更具包容性、系统性和跨学科的地球科学信息评估方法？
研究方法
我们的文献分析包括五个主要阶段：1) 制定检索式；2) 将检索式应用于学术数据库以获取引文集合；3) 根据标题和摘要筛选引文；4) 使用自然语言处理和语言模型对通过标题/摘要筛选阶段的论文进行全文筛选；5) 对论文进行编码，以识别地球科学信息数据源、评估方法、社会效益领域和价值类型。
为了制定检索式，我们聚焦于三个关键领域：1) 地球科学信息的应用；2) 应用地球科学信息的决策背景或分析框架；3) 基于使用地球科学信息的决策结果，社会效益的预期或观察到的变化。研究团队收集并通过专业网络征集了72份候选文件的初步集合，并根据这三个领域进行了筛选。在这72份候选文件中，有14份被确定为一个基准集，研究团队认为它们体现了地球科学信息的价值评估。从这个基准集出发，我们制定了一个结合三个领域的初步检索式：地球科学信息、决策背景和社会效益。初步术语集用于从Web of Science收集引文。我们利用R语言中的litsearchr包的功能，通过文本挖掘和关键词共现网络来识别其他术语，以增加检索式的包容性。最终的检索式被用于从Web of Science和Scopus收集引文，此外还包括来自美国地质调查局联合地球观测社会效益数字图书馆的经过策划的引文集。
检索结果经过清理，去除了会议摘要或论文集，以及缺失标题、作者、摘要或数字对象标识符字段的引文。在解决了标题、作者姓名和数字对象标识符字段之间的微小差异后，从合并的引文集中删除了重复引文。最终得到13823条独特的引文用于筛选和分析。
筛选分两个阶段进行，第一阶段标记训练集以训练监督学习分类模型，第二阶段应用分类模型预测更大文献集中相关的论文。在第一阶段，来自社会效益图书馆的引文以及来自Web of Science/Scopus语料库的随机样本约1000条引文，根据一组纳入标准进行了标题/摘要筛选，然后对标题/摘要“纳入”的论文进行全文筛选。所有标题/摘要筛选均使用基于网络的筛选应用程序Colandr进行，该程序利用机器学习和自然语言处理，根据用户筛选决策不断预测和排序引文的相关性。由此产生的第一阶段集合随后用于训练基于XLNet广义自回归预训练算法的分类模型，该算法考虑引文标题和摘要中单词集之间依赖关系的所有排列来“理解”上下文，从而将语料库中剩余的引文分类为“纳入”或“排除”。预测的“纳入”引文随后进行标题/摘要筛选，通过者再进行全文筛选。包含/排除分类模型在训练数据上显示出较低的假阴性率，但为了确保这在更大的文档集中成立，从预测的“排除”中随机抽取了1000个样本上传到Colandr。在筛选了其中200个文档并未发现与筛选标准相关的匹配后，此筛选阶段提前停止。在从Scopus、Web of Science和社会效益图书馆检索到的13823条独特引文中，我们的筛选过程最终仅有170份文档满足所有纳入筛选标准。在一位合著者的推荐下，筛选后又添加了一份参考文献，最终语料库包含171份文档。
最终语料库中包含的文档通过阅读全文进行手动编码，以根据附录表格识别评估方法和价值类型。所有分析和图表均使用R统计软件和tidyverse元包生成。
研究结果
筛选过程
将检索式应用于Scopus和Web of Science数据库，结合现有地球科学信息价值评估文献策划库的参考文献，共得到28331条记录。预筛选消除了会议摘要、虚假匹配、重复项和不完整记录，将语料库缩小到13823条独特引文。然后根据以下标准评估独特引文是否纳入：1) 该研究实质性使用了地球科学信息；2) 地球科学信息应用于决策背景；3) 基于地球科学信息的决策的预测或实现结果与替代信息集下的结果进行了比较；4) 结果差异以某种社会效益的形式呈现。综述被排除，因为它们不提供原始数据。预筛选后，社会效益图书馆中的完整记录以及另外1072份随机抽样的文档由团队手动筛选，并用作训练集，为剩余的12493条引文提供机器学习分类器模型信息。该分类器模型预测2287份文档为“纳入”，其余10206份为“排除”。所有预测的“纳入”文档随后经过与社会效益图书馆和训练样本相同的标题/摘要筛选过程，以消除假阳性。还对预测的“排除”文档的一个子集进行了筛选，以验证可忽略的假阴性率。在13823条独特引文中，770份文档充分满足标题/摘要筛选标准，并接受了全文最终筛选。全文筛选最终得出170份满足所有标准的文档，基于一位合著者的先验知识又添加了一份文档。所有标题/摘要筛选均在基于网络的机器学习辅助筛选应用程序Colandr中执行。使用Zotero参考文献管理软件检索和组织文档以进行全文筛选。我们研究中最终纳入的171份文档列表列于支持信息中。
评估方法
为了检验各种方法在评估地球科学信息社会效益方面的应用程度，我们检查了171篇纳入论文的全文，并记录了研究中实施的主要评估方法。我们在文献中发现的最常见方法是基于决策分析的定量经济方法：价值信息框架（82项研究，占纳入研究的48%）和成本效益分析（33项研究，占19%）。应用的定性或主观方法也经常被观察到，包括偏好评估调查（26项研究，占15%）和半结构化或深度访谈（23项研究，占13%）。审议和基于共识的方法很罕见。基于决策分析的方法比基于偏好引出的方法更常见。在171篇纳入的文档中，近三分之一（56项研究）应用了不止一种信息评估方法，共观察到227个评估方法实例。
为了理解地球科学信息评估文献中评估的价值类型分布，我们对每项研究进行了编码，以表明社会效益是否以货币工具价值、非货币工具价值、内在价值和/或关系价值的形式表达。纳入的研究最常以货币工具价值和/或非货币工具价值来衡量社会效益，许多研究同时考虑了多种工具性指标。以关系价值衡量社会效益的研究在文献中要少得多，并且更常使用定性偏好引出方法进行评估，特别是调查、访谈和焦点小组。没有论文以内在价值的术语描述决策结果。
我们语料库中的大多数研究仅应用了单一的地球科学信息价值评估方法。我们确定为实施多种方法的研究最常见的是结合两种基于决策分析的方法，特别是价值信息与成本效益分析。例如，Fritz等人应用价值信息框架估算效益，然后基于成本效益分析模拟边际成本，为假设的卫星遥感数据的地球科学信息构建其效益链模型。另一种常见的配对结合了个别访谈和焦点小组的偏好引出方法。例如，Roberts等人使用焦点小组/研讨会定性地预测天气预报信息对于避免维多利亚湖风暴相关溺水的价值，然后在实施恶劣天气预警系统后，通过用户访谈来量化已实现的挽救生命的效益。在其余36项多方法研究中，15项将价值信息与其他方法结合，16项将调查与其他方法结合，5项应用了其他组合。配对的基于决策分析的方法比配对的基于偏好引出的方法更常见，但有16项研究将偏好引出方法与决策分析方法相结合。
社会效益背景领域
为了理解地球科学信息评估在我们确定的文献中如何跨部门和决策背景应用，我们根据全球地球观测系统社会效益领域和美国国家航空航天局应用科学计划的现有类别，将主要社会效益分为八个一般决策背景领域。研究主要集中于农业背景下的地球科学信息社会效益，包括渔业和林业。数量较少但仍可观的研究考察了气候危害和影响、水资源、生态保护以及能力建设背景下的效益。社会效益在灾害应对、健康与空气质量以及野火背景下的研究最少。一些研究并未深入关注任何特定背景，而是广泛涉及各种或未分化的背景，例如跨多种潜在海洋用途的海洋观测网络的价值，或未区分用户背景的Landsat数据的价值。两项研究侧重于其他领域的地球科学信息效益：一项用于监测路面基础设施，另一项用于评估在受干扰景观中生活和娱乐的偏好。在171项纳入的研究中，我们观察到216个特定决策背景中的社会效益。
在多个决策背景下评估地球科学信息价值的研究最常同时考察农业影响与水资源、气候、生态保护和能力建设。四项研究考察了跨多种背景的能力建设，涉及培训和支持社区内具有不同角色的利益相关者群体，例如尼泊尔和坦桑尼亚的参与式制图项目。
讨论
尽管我们广泛、包容地搜索了关于地球观测信息价值评估多样方法的研究，但我们发现评估地球科学信息社会效益的例子非常少。如此低的纳入率可能反映出缺乏关于地球科学信息与价值的一般性研究，尽管我们的检索式在设计上具有包容性，以最大限度地发现文献中的边缘案例。直接涉及地球科学信息价值的研究匮乏表明，迫切需要更好地理解此类信息如何被用来产生社会价值，并确定能够有效评估这种价值的方法。本研究的一个关键目标是通过强调研究人员和实践者可用的各种方法，促进在地球科学信息研究中形成更系统的评估实践。
我们的系统图谱显示，价值信息方法一直是评估从使用地球科学信息进行决策支持中衍生出的社会效益的主要方法。价值信息是一种成熟且直观的方法，Macaulay描述了一个将价值信息应用于地球科学信息背景的框架，该框架继续影响着近期的研究计划。价值信息方法非常适合那些基于改进的信息集减少不确定性，可以预期能明确、可衡量地改善决策结果的情况。在错误成本高昂、效益可以表示为客观的（通常是工具性的）数量、并且结果对所采取的行动集高度敏感的情况下，价值信息方法尤其适用。因此，价值信息特别适合农业背景，在这种情况下，改进的季节性预测可以告知农民在不确定性面前关于作物选择和作物管理的决策，以最大化产量和利润。相反，价值信息可能不适合错误成本被外部化、结果难以量化或价值不可替代的情况。该方法直观、被广泛接受且可大规模应用的事实，可能会偏袒我们甚至提出的关于地球科学信息价值的问题类型。就像有人在路灯下而不是在他们丢失钥匙的黑暗小巷里寻找丢失的车钥匙——因为那里有光——我们有可能专注于用现有工具容易回答的问题，而不是开发适合最重要问题的方法。
此外，所有基于决策分析的评估方法必然关注可以量化的决策结果，并假设有明确界定的替代选择，因此也需要谨慎对待。许多被个人和社会重视的决策结果不可能客观量化，和/或可以在多种可能不可通约的价值类型上进行定性评估，并且面临比许多决策分析通常考虑的更为复杂的过程和决策替代方案范围。偏好引出方法可以更容易地解释与基于地球科学信息的决策结果相关的定性和主观效益，包括工具性和非工具性术语，以及关系价值。例如，Altamirano等人调查了人们对在不同程度景观干扰下访问、居住、欣赏和繁荣的偏好，比较了基于人眼水平照片的价值感知与基于遥感摄影的价值感知。Colloredo-Mansfeld等人通过参与式制图和深度访谈发现，获得无人机摄影访问权限的农民对土地的看法与之前不同，通过更强的规模感和互联感改善了关系价值。在汇总通过调查、访谈和选择实验引出的个人偏好时，此类方法也有其自身的注意事项：它们可能具有主观性且高度依赖于背景，难以大规模实施，并且需要注意确保结构效度，即工具是否真正测量了它想要测量的内容。
除了引出与地球科学信息相关的定性和主观结果外，偏好引出方法非常适合提供对决策过程本身的见解，揭示社区内的管理、责任和关怀等关系价值。例如，Eilola等人使用访谈和焦点小组来研究利用地球科学信息进行参与式制图如何改善从业者对工作质量、专业能力、参与度和空间理解的看法。Gonzalez和Kroger使用焦点小组和访谈来考察遥感数据的培训和采用如何提高土著人民保护其土地免受非法森林砍伐的赋权感和能动性。Styers调查了她的本科生，以评估将卫星数据纳入课程如何提高学生的参与度、好奇心、协作技能和学习成果。在这些案例和其他案例中，偏好引出方法提供了关于地球科学信息如何通过提高决策过程的显著性和合法性来创造独立于结果的价值。
少数研究弥合了决策分析方法和偏好引出方法之间的鸿沟，这可能突出了在利用前者的概率逻辑的同时，通过后者融入个人、社会和文化偏好细微差别的机会。例如，在几项相关研究中，Bouma等人应用贝叶斯决策分析来量化地球科学信息用于管理水质的社会效益，但利用专家调查来引出对地球科学信息准确性的先验信念和预期，以参数化贝叶斯分析，从而提供关于准确性感知（在纯粹的价值信息分析中常被忽略）如何影响决策和结果的见解。反过来，Luseno等人使用概念性贝叶斯框架来指导设计和实施对埃塞俄比亚和肯尼亚牧民关于地球科学信息衍生的气候预报偏好的调查和访谈，包括牧民基于传统预测方法的先验信念、对地球科学信息预报技能的信任度以及使用地球科学信息预报的可能性。他们的结果提供了关于文化规范偏好和传统认知方式如何可能掩盖采纳地球科学信息的潜在收益，或者相反，这些知识体系如何因错误假设地球科学信息的客观性而被边缘化的见解——这些见解在纯决策分析框架中很可能会丢失。
我们语料库中没有研究关注内在价值。当内在价值被定义为“独立于作为评估者的人类参考而表达的价值”时，正如政府间生物多样性和生态系统服务科学政策平台框架中那样，它可能难以在人类主导的评估中体现。即使在环境保护政策等领域，该政策的可衡量目标也必然以人类定义的结果为框架，因此实现这些目标应归类为工具价值，例如支持太平洋蓝鲸保护的遥感。然而，评估可能是出于内在价值的意图和关注而被推动的。考虑非工具价值是生态系统服务评估中一个快速发展的领域，包括包含超越人类价值观的土著和非人类中心世界观。随着决策者寻求衡量在联合国可持续发展目标和全球生物多样性框架中概述的目标方面的进展，评估地球科学信息非工具性社会效益的方法几乎肯定会变得更加复杂和得到更广泛的应用。
管理地球科学信息的科学、政治和商业结构，包括数据集是公开获取还是专有、免费还是商业，部分决定了谁可能从其应用中获益，但也决定了谁的价值体现在数据中。显然，免费提供地球科学信息数据增强了产生社会效益的能力；例如，在2008年从付费服务转变为免费开放数据政策后，Landsat数据的引用和下载量激增，最终刺激了数十亿美元的科学和社会效益。Alvarez León和Gleason分析了不同的财产权如何强化或挑战科学客观性的假设，并最终影响用户将地球科学信息转化为科学和社会价值的能力。例如，欧洲空间局SPOT任务近期的数据是商业化的，用户可以请求传感器指向特定商业利益区域进行成像。因此，历史的SPOT数据偏向于在捕获时对商业用户有价值的场景。相比之下，美国地质调查局的Landsat数据免费公开提供，其固定的传感路径避免了基于商业利益的偏差，尽管由于技术故障和合作国家间不一致的数据共享，档案地理区域覆盖可能存在系统性空白。任何在大时空尺度上应用地球科学信息的尝试，无论是来自免费还是商业来源，都必须承认数据中隐藏的这些技术、商业和政治偏见来源。
即使是免费公开的卫星数据，也伴随着技术和能力障碍，对许多从业者的使用构成重大障碍，并且与地面和当地知识整合不力阻碍了将遥感图像转化为可操作信息的机器学习算法的发展。在地球科学信息可能无意中导致风险的情况下，决策框架缺乏可能受影响社区的输入，并且存在不对称的行动风险。能力建设可以帮助当地社区和土著人民获取并整合地球科学信息，在包括保护、森林砍伐、海洋资源管理和适应气候变化在内的各种背景下共同创造知识。此类合作可以减少权力不对称，增加社区在寻求应对土著景观和领土面临的挑战时的能动性和自治。然而，它们也可能在技术采用者和非采用者之间制造内部权力分化，可能导致文化价值观的转变或丧失。
我们确定的大多数研究都侧重于使用地球科学信息带来的积极社会效益，但随着遥感数据质量和数量的进步加速了识别和监测地面物体和人员的能力，信息与隐私之间的权衡变得越来越重要。一般来说，遥感使观察者能够将观察者与被观察者之间的信息不对称，转向有利于观察者的一方。Brennan和Macauley描述了几个重要的用例，这些用例决定了信息不对称的转变是对社会有益还是有害，基于观察者和被观察者是政府行为体还是私人行为体，以及观察者与被观察者之间的关系是对抗性的还是合作性的。政府行为体监测和执行对保护政策、排放目标和和平条约的遵守能力，当然通过促进合作产生社会效益；监测也有望减少国际冲突、支持人权和应对种族灭绝。只要一个开放、透明的政府其法律和法规反映了被统治者的意愿和同意，这些信息不对称实际上可能促进社会效益，例如减少犯罪或污染。然而，如果缺乏这些有利条件，地球科学信息可能被滥用以侵犯个人在私人和公共空间的隐私权和结社权，并可能实现算法画像，在遥感技术日益增强的能力与个人隐私权之间造成明显的权衡。
越来越多的学术研究强调遥感数据和算法生成的数据如何嵌入系统性偏见，值得严格审视。例如，基于不完整或不均匀分布的生物多样性数据训练的保护算法，可以复制现有的地理和社会政治偏见，导致决策框架偏向于被充分研究的地区和分类群。这些研究共同强调，地球科学信息不是一个中性或纯粹技术性的基底；相反，它是一个社会技术系统，除非置于更具反思性和政治意识的框架内，否则其数据空白、算法简化和不均衡的地理分布有强化对生态动态误解的风险。
虽然从我们的目标语料库中排除的大多数论文要么没有应用地球科学信息数据，要么应用地球科学信息数据来计算其他结果，但两类被排除的论文值得进一步考虑。这两类研究为有兴趣评估地球科学信息社会效益的人提供了明确的机会。
首先，一些论文使用成本效益分析的近亲——成本效果分析，来证明地球科学信息数据集可以以更低的成本实现决策背景下相同或接近相同的性能。我们没有将这些纳入最终语料库，理由是如果地球科学信息替代方案之间的信息本身基本相同，任何给定决策的结果必然相同，因此使用地球科学信息不会产生额外的边际社会效益。我们承认，在资源受限的环境中，政府或非政府组织在一个领域节省的成本可以密切转化为另一个领域改善的社会结果，但这些间接效益在我们筛选的任何论文中都没有得到明确考察。虽然这些被排除的研究侧重于一次性分析，但劳动力和/或设备成本的降低意味着增加测量频率的潜力，这对于涉及快速变化现象的某些决策背景（例如灾害响应或野火管理）将证明有价值。我们纳入了几项明确评估更高空间分辨率效益的研究，尽管我们只遇到一项研究明确考虑了更高时间分辨率的价值。这表明了未来评估研究的机会，特别是在可获取卫星数据时间分辨率越来越高的趋势下。
其次，较大一部分被排除的论文比较了地球科学信息准确预测通过其他方法测量的地面现象的能力。例如，Marino研究了Sentinel-2时间序列图像划定向日葵作物子田的潜力，发现基于图像的植被指数为地面测量的作物状况提供了一个很好的替代指标；然而，对收获决策的影响和由此产生的社会效益并未探讨。同样，Andrada等人证明了基于无人机的激光雷达系统在快速准确测绘潜在野火燃料以进行森林管理方面的有效性，但作者没有量化这种有价值的科学信息带来的社会效益。此类验证研究通常报告准确度
