在同一批数据上调阈值再报告准确率，能虚高多少

1 · 研究问题

当一个分类器的判决阈值由同一份评估数据上的 Youden's J 指数确定时，报告出的准确率相对于嵌套交叉验证（阈值只在训练折上确定）高出多少？这个乐观偏倚随样本量与类别不平衡如何变化？ 在预先固定的样本、对照与统计口径下，主效应的方向、幅度和不确定度分别是多少，结论能否在独立留出数据或独立重复中成立？

2 · 研究背景与空白

背景。 这条课题研究的不是“能不能做出一个结果”，而是一个现有结论在测量误差、样本差异和外推条件改变后还能不能站住。核心逻辑是把观察量、真实目标量与混杂因素分开：先用已知答案校验工具，再固定对照和重复单位，最后用误差棒判断差异。只给一个最高分、一次演示或一条相关关系，不能说明方法在新样本上可靠。

已有工作到哪一步。 ISEF 2026 ENBM083（Grand Award + Special Award）「TremorPause」，摘要原文：「To evaluate motion, an Arduino-BLE glove collected IMU data from 60 participants. A Fast Fourier Transform pipeline distilled 2.3 million raw angular velocity data points into 24,000 feature vectors. To isolate tremors from voluntary motion, a Random Forest AI was augmented with a Sigmoid-weighting function, centered at Youden's J-Index, improving classification accuracy from 28.3% to 96.7% (p<0.001, AUC=0.89).」从 28.3% 提升到 96.7% 是 68 个百分点的跃升，来源是一个「以 Youden's J 为中心的 Sigmoid 加权函数」。摘要中未说明 Youden's J 是在训练折还是在评估数据上计算的，也未报告嵌套交叉验证。 另注：AUC = 0.89 与准确率 96.7% 并存本身值得推敲——AUC 0.89 是一个中等的判别力，通常不支持 96.7% 的准确率（除非类别极度不平衡，而那又会让准确率本身失去意义）。这个内部不一致是你课题最有力的切入点，但你必须先核实完整的评估协议，不能只凭摘要断言。

空白在于：一次乐观偏倚的定量测绘，用公开的可穿戴运动数据做，零受试者。 阈值选择是模型训练的一部分；在测试集上选阈值等于用测试集训练。你的设计：(1) 用公开的震颤/步态/加速度数据集（PhysioNet 上有多个帕金森与运动障碍的可穿戴数据集）；(2) 复现「随机森林 + 在评估集上按 Youden's J 选阈值」的流程，记录准确率；(3) 换成嵌套 CV（外层评估、内层选阈值），记录准确率；(4) 报告两者差值随 n 与不平衡度的变化曲面。交付物：一张「给定 n 与阳性率，非嵌套阈值选择会虚高多少个百分点」的查表。 五字段原文的研究问句是：当一个分类器的判决阈值由同一份评估数据上的 Youden's J 指数确定时，报告出的准确率相对于嵌套交叉验证（阈值只在训练折上确定）高出多少？这个乐观偏倚随样本量与类别不平衡如何变化？ 这适合一年期学生课题，因为可以把主任务裁成一个对象、一个主指标和一个独立复核；即使预期差异不出现，只要校验与统计功效过关，零结果仍能界定已有结论的适用边界。

3 · 可检验假设

H1 在加入本课题预先规定的控制、校正或独立验证后，主指标将沿五字段框架所述预期方向变化，且相对基线变化 ≥ 10% 或标准化效应绝对值 ≥ 0.5；若 95% 置信区间同时排除这两个门槛，则 H1 被否证。两种尺度只选与主指标有意义的一种，并在预实验前写死。

H2 若 H1 被否证，备择机制是假定原观察主要由测量误差、样本构成、基础率、时间漂移或未控制混杂驱动；比较“仅含原变量”与“加入机制变量”的模型，若主效应方向改变或绝对值下降 ≥ 20%，则支持机制解释，否则报告当前分辨率下未找到证据。

4 · 量化验收标准

1. 方法学校验硬门槛。 用自建管线、装置或代码重跑一个答案已知的合成算例/标准样；主量反算偏差须 ≤ 5%。不过关则停止，且后续全部结论无效。
2. 统计口径预先写死。 独立样本、技术重复和连续观测分开计数；测量类每个关键条件至少 3 次独立重复，技术重复只估计仪器噪声，并用误差传播或方差分量合成不确定度。极不平衡分类主报 PR-AUC、precision、recall，不以 accuracy 为主，因为全猜多数类也会虚高；时间序列按时间划分并把随机划分仅作泄漏对照。
3. 正式采集前固定主指标、排除规则、对照、效应方向与 10%（或标准化效应 0.5）判据；报告全部独立重复、效应量和 95% 置信区间，不只报 p 值或最佳一次。
4. 至少完成一项阴性对照和一项敏感性分析；改变关键阈值、预处理或模型选择时，主结论不得仅由单一任意选择决定。
5. 用独立批次、独立留出段或第二种原理不同的方法复核主量；不一致时优先报告不一致与误差预算，不平均成一个“更好看”的数字。
6. 可复现性。 保存原始数据、清洗记录、参数、环境版本、随机种子、脚本和排除日志；第三方应能重建主表与主图。

5 · 数据与工具

用途	来源 / 工具
研究对象与主问题	当一个分类器的判决阈值由同一份评估数据上的 Youden's J 指数确定时，报告出的准确率相对于嵌套交叉验证（阈值只在训练折上确定）高出多少？这个乐观偏倚随样本量与类别不平衡如何变化？
原创切口	一次乐观偏倚的定量测绘，用公开的可穿戴运动数据做，零受试者。 阈值选择是模型训练的一部分；在测试集上选阈值等于用测试集训练。你的设计：(1) 用公开的震颤/步态/加速度数据集（PhysioNet 上有多个帕金森与运动障碍的可穿戴数据集）；(2) 复现「随机森林 + 在评估集上按 Youden's J 选阈值」的流程，记录准确率；(3) 换成嵌套 CV（外层评估、内层选阈值），记录准确率；(4) 报告两者差值随 n 与不平衡度的变化曲面。交付物：一张「给定 n 与阳性率，非嵌套阈值选择会虚高多少个百分点」的查表。
前作与对照基准	ISEF 2026 ENBM083（Grand Award + Special Award）「TremorPause」，摘要原文：「To evaluate motion, an Arduino-BLE glove collected IMU data from 60 participants. A Fast Fourier Transform pipeline distilled 2.3 million raw angular velocity data points into 24,000 feature vectors. To isolate tremors from voluntary motion, a Random Forest AI was augmented with a Sigmoid-weighting function, centered at Youden's J-Index, improving classification accuracy from 28.3% to 96.7% (p<0.001, AUC=0.89).」从 28.3% 提升到 96.7% 是 68 个百分点的跃升，来源是一个「以 Youden's J 为中心的 Sigmoid 加权函数」。摘要中未说明 Youden's J 是在训练折还是在评估数据上计算的，也未报告嵌套交叉验证。 另注：AUC = 0.89 与准确率 96.7% 并存本身值得推敲——AUC 0.89 是一个中等的判别力，通常不支持 96.7% 的准确率（除非类别极度不平衡，而那又会让准确率本身失去意义）。这个内部不一致是你课题最有力的切入点，但你必须先核实完整的评估协议，不能只凭摘要断言。；仅用于校验与对比，不计入本项目的数据贡献
数据/样本	需核实：可取得数量、独立单位、标签/测量定义、许可与缺失情况；未确认内容不得写成已具备
分析工具	纯 CPU、16 GB 笔记本可运行的开源工具优先；需核实版本、许可、输入格式、分组/时序划分和不确定度输出能力
校验材料	已知答案的合成数据、标准样或公开基准；仅用于校验与对比，不计入本项目的数据贡献
风险边界	可行性极高（公开数据 + 一台笔记本）。最可能死在新颖性被文献占据。最便宜的规避方式： 把交付物做成一个自动审计工具：输入某个已发表流程的描述（样本量、阳性率、是否嵌套），输出「该报告准确率的预期虚高幅度」，并在若干公开数据集上实证标定。工具比结论更难被抢跑。

6 · 方法路径

1. 装环境或搭装置，跑通已知答案算例并完成校验。 锁定版本、单位、坐标/标签定义和误差计算；反算偏差 >5% 时只修方法，不进入正式样本。
2. 核实工具能力边界并逐条排查静默失败点。 五字段原约束为：可行性极高（公开数据 + 一台笔记本）。最可能死在新颖性被文献占据。最便宜的规避方式： 把交付物做成一个自动审计工具：输入某个已发表流程的描述（样本量、阳性率、是否嵌套），输出「该报告准确率的预期虚高幅度」，并在若干公开数据集上实证标定。工具比结论更难被抢跑。 此外检查单位或标签错位、全数据预处理泄漏、相关观测冒充独立 n、缺失值静默填 0、默认参数改变口径、输出正常但物理量方向或尺度错误；每项用最小反例测试，不能以“软件未报错”作为通过。
3. 预注册最小设计。 把主问题收敛为一个对象、一个主指标、一个主要对照；写死样本单位、重复数、阈值、排除规则和降级触发条件。
4. 采集或整理正式数据。 保留原始输入与时间戳/批次，盲化能盲化的标签；协议偏离当天登记，不覆盖原记录。
5. 估计主效应与不确定度。 同时报原口径与校正口径，给出误差棒、效应量、失败样本和敏感性曲线；分类、时序或测量问题按 §4 执行。
6. 检验 H2 与边界条件。 H1 不成立时不临时换题，而是量化测量误差、样本构成、基础率、时间漂移或混杂能解释多少。
7. 独立交叉校验。 使用独立批次、留出时间段或第二种原理不同的方法复算主量；失败时以“不一致”为主结果，不选择性保留支持预期的路径。

7 · 新颖性边界

本课题不声称什么： 不声称首次进入该主题，不声称重新发现或推翻前作，也不把前作的项目编号、年份、奖级、引文和数字据为本项目结果；具体已有工作是：ISEF 2026 ENBM083（Grand Award + Special Award）「TremorPause」，摘要原文：「To evaluate motion, an Arduino-BLE glove collected IMU data from 60 participants. A Fast Fourier Transform pipeline distilled 2.3 million raw angular velocity data points into 24,000 feature vectors. To isolate tremors from voluntary motion, a Random Forest AI was augmented with a Sigmoid-weighting function, centered at Youden's J-Index, improving classification accuracy from 28.3% to 96.7% (p<0.001, AUC=0.89).」从 28.3% 提升到 96.7% 是 68 个百分点的跃升，来源是一个「以 Youden's J 为中心的 Sigmoid 加权函数」。摘要中未说明 Youden's J 是在训练折还是在评估数据上计算的，也未报告嵌套交叉验证。 另注：AUC = 0.89 与准确率 96.7% 并存本身值得推敲——AUC 0.89 是一个中等的判别力，通常不支持 96.7% 的准确率（除非类别极度不平衡，而那又会让准确率本身失去意义）。这个内部不一致是你课题最有力的切入点，但你必须先核实完整的评估协议，不能只凭摘要断言。

已有工作做到哪一步： 五字段证据表明前作已完成其原始对象、方法或性能演示；本项目完整保留这条事实，不把摘要未写出的信息推断为“没有做”。数据集、器材规格、价格、货期或外部文献的任何补充均标为“需核实”。

本项目贡献（属「评价维度转换」；若使用全新独立对象则同时属「新样本独立检验」，若核心是校准与脚本则同时属「方法可复现性贡献」）： 一次乐观偏倚的定量测绘，用公开的可穿戴运动数据做，零受试者。 阈值选择是模型训练的一部分；在测试集上选阈值等于用测试集训练。你的设计：(1) 用公开的震颤/步态/加速度数据集（PhysioNet 上有多个帕金森与运动障碍的可穿戴数据集）；(2) 复现「随机森林 + 在评估集上按 Youden's J 选阈值」的流程，记录准确率；(3) 换成嵌套 CV（外层评估、内层选阈值），记录准确率；(4) 报告两者差值随 n 与不平衡度的变化曲面。交付物：一张「给定 n 与阳性率，非嵌套阈值选择会虚高多少个百分点」的查表。 主结论是原结论在预注册控制与独立复核下的效应幅度及适用边界，不是附带造一个更复杂模型或装置。

为何有价值： 它把“看起来有效”转换为“在多大误差、何种样本和什么阈值下仍有效”。差异不显著同样是有效结论，但必须给出误差棒证明有能力分辨预注册的 10% 相对变化或标准化效应 0.5；置信区间过宽只能写“测不出来”。

8 · 决策门槛（go / no-go）

第 5 周末必须同时满足：校验偏差 ≤ 5%、至少取得计划独立样本的 20%、主指标能从原始输入稳定重算。任一不满足，立即启动具名降级路径 “单对象能力边界标定”：砍掉多对象/多模型比较，只保留最可得的一种对象、一个主指标和一个独立复核，转而报告误差、敏感性与最小可分辨效应；主结论仍是“原结论在什么条件下站得住”。

与“附属赛后不得修改”的冲突点：主指标、阈值、样本排除、对照、预处理和降级触发条件必须赛前定死。须提前核实： 可行性极高（公开数据 + 一台笔记本）。最可能死在新颖性被文献占据。最便宜的规避方式： 把交付物做成一个自动审计工具：输入某个已发表流程的描述（样本量、阳性率、是否嵌套），输出「该报告准确率的预期虚高幅度」，并在若干公开数据集上实证标定。工具比结论更难被抢跑。 同时核实许可、设备/软件真实能力、场地、表格和采购可得性。已知困难及其定位：这些限制就是能力边界，不用未经核实的规格填补。选择前提：学生愿意做重复、校验和零结果解释。预算裁剪顺序：先砍多模型/多材料，再砍次要指标，再砍展示性装置；不得砍校验、主要对照、独立重复和交叉验证。

净实验窗口按 2026-08 至 12 月约 3–4 个月规划。按实际对象核实合规：附属赛后项目不得更改；展台禁液体（含水）、土壤、玻璃、锐器、化学品、干燥粉末、>100 Wh 电池和通电无人机，禁网址与二维码；家中不得培养任何潜在危险生物制剂；涉及脊椎动物、人类受试者、激光、高真空或 SDS 标注的致癌致畸化学品时，须在相应动作前确认审批。AI 不得用于撰写研究计划、摘要、展板或引文。

评分： O=8, W=9, F=9, S=7, Fit=8 → base=83.0，h=9 → [74, 92]，置信度：中

---