拒绝掉难的样本之后，剩下的准确率还算准确率吗

1 · 研究问题

当一个病理 AI 系统用「质量控制门」拒绝模糊/组织量少的切片、又用不确定性阈值把难例标为「待人工复核」时，报告的准确率对应多大的覆盖率（coverage）？在同一覆盖率下，蒙特卡洛 Dropout 的不确定性排序，比最朴素的「最大 softmax 概率」好多少？ 在预先固定的样本、对照与统计口径下，主效应的方向、幅度和不确定度分别是多少，结论能否在独立留出数据或独立重复中成立？

2 · 研究背景与空白

背景。 这条课题研究的不是“能不能做出一个结果”，而是一个现有结论在测量误差、样本差异和外推条件改变后还能不能站住。核心逻辑是把观察量、真实目标量与混杂因素分开：先用已知答案校验工具，再固定对照和重复单位，最后用误差棒判断差异。只给一个最高分、一次演示或一条相关关系，不能说明方法在新样本上可靠。

已有工作到哪一步。 ISEF 2026 ENBM037（Grand Award）「Low-Cost AI for Ovarian Carcinoma Subtyping」，摘要原文：「Using de-identified H&E whole-slide images from five ovarian cancer subtypes, it used EfficientNetV2-B0 with attention-based multiple instance learning（…）To improve safety, the system included an automated quality-control gate to reject blurred or low-tissue slides. Along with this, it used Monte Carlo dropout to measure predictive entropy so that uncertain cases could be flagged for review instead of being forcefully classified. OncoScan-X achieved 96.1% ± 2.3% balanced accuracy, maintained at least 90% of baseline performance under simulated Gaussian blur and sensor noise（…）Misclassified slides showed significantly higher predictive entropy.」它同时使用了 QC 门与不确定性标记，报告 96.1% 平衡准确率，摘要中未报告对应的覆盖率，也未与更简单的不确定性基线对比、未报告校准度。 「误分类切片的预测熵显著更高」是一个方向性陈述，不等于该排序在实用阈值下有多大的风险削减能力。

空白在于：选择性预测的风险–覆盖率曲线（risk–coverage curve），这是评估「会拒绝的模型」的正确工具，但在 ISEF 项目里几乎从不出现。关键洞察：任何模型只要拒绝足够多的样本，剩余样本上的准确率都可以任意高。因此「96.1% 准确率」如果不同时报告覆盖率，就没有信息量。 你的设计：(1) 在公开病理数据集（如 UBC-OCEAN 卵巢癌亚型、CAMELYON、PatchCamelyon）上训练一个与原研究同架构的模型；(2) 实现三种不确定性度量——MC Dropout 预测熵、最大 softmax 概率、深度集成的分歧度；(3) 画出三条风险–覆盖率曲线，计算 AURC（曲线下面积）；(4) 量化「质量控制门」单独贡献的覆盖率削减，把它与不确定性拒绝分开报告；(5) 检验 MC Dropout 的校准度（可靠性图、ECE）。 五字段原文的研究问句是：当一个病理 AI 系统用「质量控制门」拒绝模糊/组织量少的切片、又用不确定性阈值把难例标为「待人工复核」时，报告的准确率对应多大的覆盖率（coverage）？在同一覆盖率下，蒙特卡洛 Dropout 的不确定性排序，比最朴素的「最大 softmax 概率」好多少？ 这适合一年期学生课题，因为可以把主任务裁成一个对象、一个主指标和一个独立复核；即使预期差异不出现，只要校验与统计功效过关，零结果仍能界定已有结论的适用边界。

3 · 可检验假设

H1 在加入本课题预先规定的控制、校正或独立验证后，主指标将沿五字段框架所述预期方向变化，且相对基线变化 ≥ 10% 或标准化效应绝对值 ≥ 0.5；若 95% 置信区间同时排除这两个门槛，则 H1 被否证。两种尺度只选与主指标有意义的一种，并在预实验前写死。

H2 若 H1 被否证，备择机制是假定原观察主要由测量误差、样本构成、基础率、时间漂移或未控制混杂驱动；比较“仅含原变量”与“加入机制变量”的模型，若主效应方向改变或绝对值下降 ≥ 20%，则支持机制解释，否则报告当前分辨率下未找到证据。

4 · 量化验收标准

1. 方法学校验硬门槛。 用自建管线、装置或代码重跑一个答案已知的合成算例/标准样；主量反算偏差须 ≤ 5%。不过关则停止，且后续全部结论无效。
2. 统计口径预先写死。 独立样本、技术重复和连续观测分开计数；测量类每个关键条件至少 3 次独立重复，技术重复只估计仪器噪声，并用误差传播或方差分量合成不确定度。极不平衡分类主报 PR-AUC、precision、recall，不以 accuracy 为主，因为全猜多数类也会虚高；时间序列按时间划分并把随机划分仅作泄漏对照。
3. 正式采集前固定主指标、排除规则、对照、效应方向与 10%（或标准化效应 0.5）判据；报告全部独立重复、效应量和 95% 置信区间，不只报 p 值或最佳一次。
4. 至少完成一项阴性对照和一项敏感性分析；改变关键阈值、预处理或模型选择时，主结论不得仅由单一任意选择决定。
5. 用独立批次、独立留出段或第二种原理不同的方法复核主量；不一致时优先报告不一致与误差预算，不平均成一个“更好看”的数字。
6. 可复现性。 保存原始数据、清洗记录、参数、环境版本、随机种子、脚本和排除日志；第三方应能重建主表与主图。

5 · 数据与工具

用途	来源 / 工具
研究对象与主问题	当一个病理 AI 系统用「质量控制门」拒绝模糊/组织量少的切片、又用不确定性阈值把难例标为「待人工复核」时，报告的准确率对应多大的覆盖率（coverage）？在同一覆盖率下，蒙特卡洛 Dropout 的不确定性排序，比最朴素的「最大 softmax 概率」好多少？
原创切口	选择性预测的风险–覆盖率曲线（risk–coverage curve），这是评估「会拒绝的模型」的正确工具，但在 ISEF 项目里几乎从不出现。关键洞察：任何模型只要拒绝足够多的样本，剩余样本上的准确率都可以任意高。因此「96.1% 准确率」如果不同时报告覆盖率，就没有信息量。 你的设计：(1) 在公开病理数据集（如 UBC-OCEAN 卵巢癌亚型、CAMELYON、PatchCamelyon）上训练一个与原研究同架构的模型；(2) 实现三种不确定性度量——MC Dropout 预测熵、最大 softmax 概率、深度集成的分歧度；(3) 画出三条风险–覆盖率曲线，计算 AURC（曲线下面积）；(4) 量化「质量控制门」单独贡献的覆盖率削减，把它与不确定性拒绝分开报告；(5) 检验 MC Dropout 的校准度（可靠性图、ECE）。
前作与对照基准	ISEF 2026 ENBM037（Grand Award）「Low-Cost AI for Ovarian Carcinoma Subtyping」，摘要原文：「Using de-identified H&E whole-slide images from five ovarian cancer subtypes, it used EfficientNetV2-B0 with attention-based multiple instance learning（…）To improve safety, the system included an automated quality-control gate to reject blurred or low-tissue slides. Along with this, it used Monte Carlo dropout to measure predictive entropy so that uncertain cases could be flagged for review instead of being forcefully classified. OncoScan-X achieved 96.1% ± 2.3% balanced accuracy, maintained at least 90% of baseline performance under simulated Gaussian blur and sensor noise（…）Misclassified slides showed significantly higher predictive entropy.」它同时使用了 QC 门与不确定性标记，报告 96.1% 平衡准确率，摘要中未报告对应的覆盖率，也未与更简单的不确定性基线对比、未报告校准度。 「误分类切片的预测熵显著更高」是一个方向性陈述，不等于该排序在实用阈值下有多大的风险削减能力。；仅用于校验与对比，不计入本项目的数据贡献
数据/样本	需核实：可取得数量、独立单位、标签/测量定义、许可与缺失情况；未确认内容不得写成已具备
分析工具	纯 CPU、16 GB 笔记本可运行的开源工具优先；需核实版本、许可、输入格式、分组/时序划分和不确定度输出能力
校验材料	已知答案的合成数据、标准样或公开基准；仅用于校验与对比，不计入本项目的数据贡献
风险边界	可行性很高（公开数据 + 云 GPU，成本几百元）。最可能死在算力与训练时间——全切片图像（WSI）体量巨大。最便宜的规避方式： 用已经切好 patch 的公开数据集（PatchCamelyon 是 96×96 的小图，可在笔记本上跑），先把风险–覆盖率方法学完整跑通，再在更大数据上验证一两个点。这样你在第 2 周就有完整结果。

6 · 方法路径

1. 装环境或搭装置，跑通已知答案算例并完成校验。 锁定版本、单位、坐标/标签定义和误差计算；反算偏差 >5% 时只修方法，不进入正式样本。
2. 核实工具能力边界并逐条排查静默失败点。 五字段原约束为：可行性很高（公开数据 + 云 GPU，成本几百元）。最可能死在算力与训练时间——全切片图像（WSI）体量巨大。最便宜的规避方式： 用已经切好 patch 的公开数据集（PatchCamelyon 是 96×96 的小图，可在笔记本上跑），先把风险–覆盖率方法学完整跑通，再在更大数据上验证一两个点。这样你在第 2 周就有完整结果。 此外检查单位或标签错位、全数据预处理泄漏、相关观测冒充独立 n、缺失值静默填 0、默认参数改变口径、输出正常但物理量方向或尺度错误；每项用最小反例测试，不能以“软件未报错”作为通过。
3. 预注册最小设计。 把主问题收敛为一个对象、一个主指标、一个主要对照；写死样本单位、重复数、阈值、排除规则和降级触发条件。
4. 采集或整理正式数据。 保留原始输入与时间戳/批次，盲化能盲化的标签；协议偏离当天登记，不覆盖原记录。
5. 估计主效应与不确定度。 同时报原口径与校正口径，给出误差棒、效应量、失败样本和敏感性曲线；分类、时序或测量问题按 §4 执行。
6. 检验 H2 与边界条件。 H1 不成立时不临时换题，而是量化测量误差、样本构成、基础率、时间漂移或混杂能解释多少。
7. 独立交叉校验。 使用独立批次、留出时间段或第二种原理不同的方法复算主量；失败时以“不一致”为主结果，不选择性保留支持预期的路径。

7 · 新颖性边界

本课题不声称什么： 不声称首次进入该主题，不声称重新发现或推翻前作，也不把前作的项目编号、年份、奖级、引文和数字据为本项目结果；具体已有工作是：ISEF 2026 ENBM037（Grand Award）「Low-Cost AI for Ovarian Carcinoma Subtyping」，摘要原文：「Using de-identified H&E whole-slide images from five ovarian cancer subtypes, it used EfficientNetV2-B0 with attention-based multiple instance learning（…）To improve safety, the system included an automated quality-control gate to reject blurred or low-tissue slides. Along with this, it used Monte Carlo dropout to measure predictive entropy so that uncertain cases could be flagged for review instead of being forcefully classified. OncoScan-X achieved 96.1% ± 2.3% balanced accuracy, maintained at least 90% of baseline performance under simulated Gaussian blur and sensor noise（…）Misclassified slides showed significantly higher predictive entropy.」它同时使用了 QC 门与不确定性标记，报告 96.1% 平衡准确率，摘要中未报告对应的覆盖率，也未与更简单的不确定性基线对比、未报告校准度。 「误分类切片的预测熵显著更高」是一个方向性陈述，不等于该排序在实用阈值下有多大的风险削减能力。

已有工作做到哪一步： 五字段证据表明前作已完成其原始对象、方法或性能演示；本项目完整保留这条事实，不把摘要未写出的信息推断为“没有做”。数据集、器材规格、价格、货期或外部文献的任何补充均标为“需核实”。

本项目贡献（属「评价维度转换」；若使用全新独立对象则同时属「新样本独立检验」，若核心是校准与脚本则同时属「方法可复现性贡献」）： 选择性预测的风险–覆盖率曲线（risk–coverage curve），这是评估「会拒绝的模型」的正确工具，但在 ISEF 项目里几乎从不出现。关键洞察：任何模型只要拒绝足够多的样本，剩余样本上的准确率都可以任意高。因此「96.1% 准确率」如果不同时报告覆盖率，就没有信息量。 你的设计：(1) 在公开病理数据集（如 UBC-OCEAN 卵巢癌亚型、CAMELYON、PatchCamelyon）上训练一个与原研究同架构的模型；(2) 实现三种不确定性度量——MC Dropout 预测熵、最大 softmax 概率、深度集成的分歧度；(3) 画出三条风险–覆盖率曲线，计算 AURC（曲线下面积）；(4) 量化「质量控制门」单独贡献的覆盖率削减，把它与不确定性拒绝分开报告；(5) 检验 MC Dropout 的校准度（可靠性图、ECE）。 主结论是原结论在预注册控制与独立复核下的效应幅度及适用边界，不是附带造一个更复杂模型或装置。

为何有价值： 它把“看起来有效”转换为“在多大误差、何种样本和什么阈值下仍有效”。差异不显著同样是有效结论，但必须给出误差棒证明有能力分辨预注册的 10% 相对变化或标准化效应 0.5；置信区间过宽只能写“测不出来”。

8 · 决策门槛（go / no-go）

第 5 周末必须同时满足：校验偏差 ≤ 5%、至少取得计划独立样本的 20%、主指标能从原始输入稳定重算。任一不满足，立即启动具名降级路径 “单对象能力边界标定”：砍掉多对象/多模型比较，只保留最可得的一种对象、一个主指标和一个独立复核，转而报告误差、敏感性与最小可分辨效应；主结论仍是“原结论在什么条件下站得住”。

与“附属赛后不得修改”的冲突点：主指标、阈值、样本排除、对照、预处理和降级触发条件必须赛前定死。须提前核实： 可行性很高（公开数据 + 云 GPU，成本几百元）。最可能死在算力与训练时间——全切片图像（WSI）体量巨大。最便宜的规避方式： 用已经切好 patch 的公开数据集（PatchCamelyon 是 96×96 的小图，可在笔记本上跑），先把风险–覆盖率方法学完整跑通，再在更大数据上验证一两个点。这样你在第 2 周就有完整结果。 同时核实许可、设备/软件真实能力、场地、表格和采购可得性。已知困难及其定位：这些限制就是能力边界，不用未经核实的规格填补。选择前提：学生愿意做重复、校验和零结果解释。预算裁剪顺序：先砍多模型/多材料，再砍次要指标，再砍展示性装置；不得砍校验、主要对照、独立重复和交叉验证。

净实验窗口按 2026-08 至 12 月约 3–4 个月规划。按实际对象核实合规：附属赛后项目不得更改；展台禁液体（含水）、土壤、玻璃、锐器、化学品、干燥粉末、>100 Wh 电池和通电无人机，禁网址与二维码；家中不得培养任何潜在危险生物制剂；涉及脊椎动物、人类受试者、激光、高真空或 SDS 标注的致癌致畸化学品时，须在相应动作前确认审批。AI 不得用于撰写研究计划、摘要、展板或引文。

评分： O=8, W=9, F=9, S=7, Fit=7 → base=82.0，h=9 → [73, 91]，置信度：中

---