川海智库

报告概述

本报告详细介绍了RAND开发的比较判断工具Polling Rank，该工具通过成对比较由人类参与者对文本项进行排序，基于Thurstone比较判断定律和Bradley-Terry模型计算排名。报告阐述了比较判断的基本概念、应用领域（教育评估、政策分析等）、以及Polling Rank的具体实现：输入候选列表、生成匹配对、收集判断、计算概率估计与可靠性指标（尺度分离信度、折半信度）。通过一个应用案例（评估不同技术类型的重要性）展示了工具的使用流程。读者可了解如何将比较判断方法用于非定量项目的排序，尤其在保密的桌面推演环境中。

报告的核心结论

比较判断适用于非定量项目排序

报告指出，比较判断通过成对比较来量化无法直接测量的潜在构念（如风险影响、作品质量），在需要专家主观评估的场景中具有高效、可靠且灵活的优势，尤其适合政策分析中专家意见的整合。

Polling Rank可离线运行，完全在分类环境中完成比较判断，解决了商用工具（如No More Marking）无法满足保密需求的问题。

该工具基于Python开发，提供图形用户界面，支持数字和模拟两种判断收集方式，所有数据本地存储，适合在空间战指挥控制等敏感项目中使用。

比较判断在政策分析中具有高可靠性

报告引用了教育评估领域的文献，指出比较判断的SSR（尺度分离信度）通常高于0.7，且折半信度可通过Spearman-Brown公式计算。Polling Rank内置了这些可靠性指标，帮助研究者评估排序结果的稳定性。

工具可灵活适应小样本和变动专家池

比较判断不需要所有可能的成对比较，且允许中途添加或减少专家，对专家数量和时间窗口的波动有很高容忍度。Polling Rank的伪随机匹配算法确保每个候选至少被比较一次，同时避免重复匹配，优化了有限样本下的信息收集效率。

报告回答的关键问题

Polling Rank与No More Marking有何不同？

Polling Rank专为在保密环境下运行而设计，无需互联网连接，数据完全本地存储；而No More Marking是基于Web的商用工具，主要用于教育评估。Polling Rank还提供了针对政策分析场景优化的伪随机匹配算法，并支持模拟打印方式收集判断，适合桌面推演等线下活动中使用。

如何用比较判断进行排序？

比较判断通过让多个专家对候选对象进行成对比较，收集所有判断后使用Bradley-Terry模型计算每个候选获胜的概率估计，按概率大小排序。Polling Rank自动完成匹配生成、判断记录、概率计算和可靠性评估，用户只需提供候选列表、设定参数（如专家数和每人判断次数）并收集判断即可。

比较判断在政策分析中有哪些应用？

报告指出，比较判断可用于桌面推演（如C2R2方法中评估不同指挥控制概念的风险与韧性），也可用于任何需要专家对大量非定量项目进行优先排序的场景，如技术重要性评估、威胁排序、方案比较等。其优势包括快速、可靠、适应专家数量变化，且结果本身就是专家定义的构念。

报告中的代表性数据

9种技术、16位法官、每人8次判断

技术重要性评估样例

2025年，报告在示例用例中，对三个组织概念分别进行了一次比较判断，每次涉及9种技术类别、16位法官、每人做出8次判断，共120次匹配。最终通过Bradley-Terry模型得到排序。

以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。

完整报告包含什么

  • 用户指南：附录提供了Polling Rank的详细操作说明，包括如何创建新会话、导入候选列表、设置参数、通过数字或模拟方式收集判断、运行分析并查看结果。指南还解释了各输出文件（如matches.csv、ranking.csv）的含义。
  • 匹配选择算法：报告详细介绍了Polling Rank采用的伪随机匹配选择方法，基于四条公理（每个候选至少被评判一次、所有可能配对先被覆盖一次、同一法官不评判相同配对、剩余配对等概率选择）来优化小样本下的信息收集。
  • 可靠性计算方法：包括尺度分离信度（SSR）和折半信度的计算公式与实现细节。SSR基于估计值的标准差与均方根误差之比，折半信度通过随机分组并应用Spearman-Brown公式计算。
  • 示例应用案例：完整展示了Polling Rank在空间战争指挥控制通信与战斗管理（C3BM）项目中的实际使用，包括如何定义候选（9种技术类型）、设置参数（16位法官、每人8次判断）、在保密环境下通过模拟方式收集判断，并计算排名。
  • 比较判断的理论基础：第二章深入介绍了比较判断的起源（Thurstone的比较判断律）、在教育评估和其他领域的应用、以及与其他方法的对比，帮助读者理解方法的优势与局限性。
  • 未来改进方向：报告提出多项改进建议，如将工具编译为可执行文件降低使用门槛，开发网络功能支持远程判断，集成更多指标（如法官拟合度），以及探索结合大语言模型增强比较判断的可能性。
  • 研究设计框架：比较判断的六个步骤（提出研究问题、定义候选、创建匹配、收集判断、计算排名、评估可靠性）在报告中均有详细说明，并给出了针对政策分析场景的最佳实践建议。

本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。

相关报告