用合成数据训练、用合成数据测试，测出来的是模型还是生成器

1 · 研究问题

当一个分类器在「按生物学规则生成的合成样本」上训练、又在同一生成器产出的「盲测集」上评估时，它的 95% 准确率反映的是真实预测能力，还是生成器自身的规则？把同一模型放到真实基因组–表型配对数据上，准确率掉多少？ 在预先固定的样本、对照与统计口径下，主效应的方向、幅度和不确定度分别是多少，结论能否在独立留出数据或独立重复中成立？

2 · 研究背景与空白

背景。 这条课题研究的不是“能不能做出一个结果”，而是一个现有结论在测量误差、样本差异和外推条件改变后还能不能站住。核心逻辑是把观察量、真实目标量与混杂因素分开：先用已知答案校验工具，再固定对照和重复单位，最后用误差棒判断差异。只给一个最高分、一次演示或一条相关关系，不能说明方法在新样本上可靠。

已有工作到哪一步。 ISEF 2026 TMED087T（Special Award）「AI Biosensor for H. pylori Mutation Detection」，摘要原文：「The AI component, a multi-output Random Forest classifier trained on 10,000 biologically informed synthetic strains, predicts resistance to six antibiotics, MDR status, virulence level, and gastric cancer risk using 29 genomic features. SMOTE was applied to address class imbalance. The model achieved 95% MDR accuracy, >91% per-antibiotic accuracy, and AUC >0.93, with strong generalization on blind testing.」它报告了「盲测上的强泛化」，但盲测集同样来自那 10,000 条合成菌株的生成过程。摘要中未提及在真实临床分离株数据上的验证。 另注：SMOTE 在交叉验证之前应用会造成额外的乐观偏倚——这是第二条可查的线。 文献前作：未核查（合成数据评估的陷阱、SMOTE 泄漏问题都有专门文献，必查）。

空白在于：合成–真实鸿沟（synthetic-to-real gap）的定量测量。 这是 ISEF 里极其普遍、极少被审视的失效模式：合成数据的标签是由生成规则决定的，模型只要学会那套规则就能拿到高分，与真实世界的复杂性无关。你的设计：(1) 复现一个「按已知耐药突变规则生成菌株」的生成器；(2) 在其产出上训练分类器，记录合成盲测准确率；(3) 在真实的公开基因型–表型数据集（如 CRyPTIC 结核耐药数据集、PATRIC/BV-BRC 的抗菌谱数据）上评估同一模型；(4) 量化鸿沟，并拆解成「规则不完整」与「真实数据噪声」两部分。 五字段原文的研究问句是：当一个分类器在「按生物学规则生成的合成样本」上训练、又在同一生成器产出的「盲测集」上评估时，它的 95% 准确率反映的是真实预测能力，还是生成器自身的规则？把同一模型放到真实基因组–表型配对数据上，准确率掉多少？ 这适合一年期学生课题，因为可以把主任务裁成一个对象、一个主指标和一个独立复核；即使预期差异不出现，只要校验与统计功效过关，零结果仍能界定已有结论的适用边界。

3 · 可检验假设

H1 在加入本课题预先规定的控制、校正或独立验证后，主指标将沿五字段框架所述预期方向变化，且相对基线变化 ≥ 10% 或标准化效应绝对值 ≥ 0.5；若 95% 置信区间同时排除这两个门槛，则 H1 被否证。两种尺度只选与主指标有意义的一种，并在预实验前写死。

H2 若 H1 被否证，备择机制是假定原观察主要由测量误差、样本构成、基础率、时间漂移或未控制混杂驱动；比较“仅含原变量”与“加入机制变量”的模型，若主效应方向改变或绝对值下降 ≥ 20%，则支持机制解释，否则报告当前分辨率下未找到证据。

4 · 量化验收标准

1. 方法学校验硬门槛。 用自建管线、装置或代码重跑一个答案已知的合成算例/标准样；主量反算偏差须 ≤ 5%。不过关则停止，且后续全部结论无效。
2. 统计口径预先写死。 独立样本、技术重复和连续观测分开计数；测量类每个关键条件至少 3 次独立重复，技术重复只估计仪器噪声，并用误差传播或方差分量合成不确定度。极不平衡分类主报 PR-AUC、precision、recall，不以 accuracy 为主，因为全猜多数类也会虚高；时间序列按时间划分并把随机划分仅作泄漏对照。
3. 正式采集前固定主指标、排除规则、对照、效应方向与 10%（或标准化效应 0.5）判据；报告全部独立重复、效应量和 95% 置信区间，不只报 p 值或最佳一次。
4. 至少完成一项阴性对照和一项敏感性分析；改变关键阈值、预处理或模型选择时，主结论不得仅由单一任意选择决定。
5. 用独立批次、独立留出段或第二种原理不同的方法复核主量；不一致时优先报告不一致与误差预算，不平均成一个“更好看”的数字。
6. 可复现性。 保存原始数据、清洗记录、参数、环境版本、随机种子、脚本和排除日志；第三方应能重建主表与主图。

5 · 数据与工具

用途	来源 / 工具
研究对象与主问题	当一个分类器在「按生物学规则生成的合成样本」上训练、又在同一生成器产出的「盲测集」上评估时，它的 95% 准确率反映的是真实预测能力，还是生成器自身的规则？把同一模型放到真实基因组–表型配对数据上，准确率掉多少？
原创切口	合成–真实鸿沟（synthetic-to-real gap）的定量测量。 这是 ISEF 里极其普遍、极少被审视的失效模式：合成数据的标签是由生成规则决定的，模型只要学会那套规则就能拿到高分，与真实世界的复杂性无关。你的设计：(1) 复现一个「按已知耐药突变规则生成菌株」的生成器；(2) 在其产出上训练分类器，记录合成盲测准确率；(3) 在真实的公开基因型–表型数据集（如 CRyPTIC 结核耐药数据集、PATRIC/BV-BRC 的抗菌谱数据）上评估同一模型；(4) 量化鸿沟，并拆解成「规则不完整」与「真实数据噪声」两部分。
前作与对照基准	ISEF 2026 TMED087T（Special Award）「AI Biosensor for H. pylori Mutation Detection」，摘要原文：「The AI component, a multi-output Random Forest classifier trained on 10,000 biologically informed synthetic strains, predicts resistance to six antibiotics, MDR status, virulence level, and gastric cancer risk using 29 genomic features. SMOTE was applied to address class imbalance. The model achieved 95% MDR accuracy, >91% per-antibiotic accuracy, and AUC >0.93, with strong generalization on blind testing.」它报告了「盲测上的强泛化」，但盲测集同样来自那 10,000 条合成菌株的生成过程。摘要中未提及在真实临床分离株数据上的验证。 另注：SMOTE 在交叉验证之前应用会造成额外的乐观偏倚——这是第二条可查的线。 文献前作：未核查（合成数据评估的陷阱、SMOTE 泄漏问题都有专门文献，必查）。；仅用于校验与对比，不计入本项目的数据贡献
数据/样本	需核实：可取得数量、独立单位、标签/测量定义、许可与缺失情况；未确认内容不得写成已具备
分析工具	纯 CPU、16 GB 笔记本可运行的开源工具优先；需核实版本、许可、输入格式、分组/时序划分和不确定度输出能力
校验材料	已知答案的合成数据、标准样或公开基准；仅用于校验与对比，不计入本项目的数据贡献
风险边界	最可能死在真实数据集的规模与标注质量。 CRyPTIC 等数据集体量大、清洗需要功夫。最便宜的规避方式： 缩小到 2–3 种药物、一个物种，把深度做够；宁可少而准。

6 · 方法路径

1. 装环境或搭装置，跑通已知答案算例并完成校验。 锁定版本、单位、坐标/标签定义和误差计算；反算偏差 >5% 时只修方法，不进入正式样本。
2. 核实工具能力边界并逐条排查静默失败点。 五字段原约束为：最可能死在真实数据集的规模与标注质量。 CRyPTIC 等数据集体量大、清洗需要功夫。最便宜的规避方式： 缩小到 2–3 种药物、一个物种，把深度做够；宁可少而准。 此外检查单位或标签错位、全数据预处理泄漏、相关观测冒充独立 n、缺失值静默填 0、默认参数改变口径、输出正常但物理量方向或尺度错误；每项用最小反例测试，不能以“软件未报错”作为通过。
3. 预注册最小设计。 把主问题收敛为一个对象、一个主指标、一个主要对照；写死样本单位、重复数、阈值、排除规则和降级触发条件。
4. 采集或整理正式数据。 保留原始输入与时间戳/批次，盲化能盲化的标签；协议偏离当天登记，不覆盖原记录。
5. 估计主效应与不确定度。 同时报原口径与校正口径，给出误差棒、效应量、失败样本和敏感性曲线；分类、时序或测量问题按 §4 执行。
6. 检验 H2 与边界条件。 H1 不成立时不临时换题，而是量化测量误差、样本构成、基础率、时间漂移或混杂能解释多少。
7. 独立交叉校验。 使用独立批次、留出时间段或第二种原理不同的方法复算主量；失败时以“不一致”为主结果，不选择性保留支持预期的路径。

7 · 新颖性边界

本课题不声称什么： 不声称首次进入该主题，不声称重新发现或推翻前作，也不把前作的项目编号、年份、奖级、引文和数字据为本项目结果；具体已有工作是：ISEF 2026 TMED087T（Special Award）「AI Biosensor for H. pylori Mutation Detection」，摘要原文：「The AI component, a multi-output Random Forest classifier trained on 10,000 biologically informed synthetic strains, predicts resistance to six antibiotics, MDR status, virulence level, and gastric cancer risk using 29 genomic features. SMOTE was applied to address class imbalance. The model achieved 95% MDR accuracy, >91% per-antibiotic accuracy, and AUC >0.93, with strong generalization on blind testing.」它报告了「盲测上的强泛化」，但盲测集同样来自那 10,000 条合成菌株的生成过程。摘要中未提及在真实临床分离株数据上的验证。 另注：SMOTE 在交叉验证之前应用会造成额外的乐观偏倚——这是第二条可查的线。 文献前作：未核查（合成数据评估的陷阱、SMOTE 泄漏问题都有专门文献，必查）。

已有工作做到哪一步： 五字段证据表明前作已完成其原始对象、方法或性能演示；本项目完整保留这条事实，不把摘要未写出的信息推断为“没有做”。数据集、器材规格、价格、货期或外部文献的任何补充均标为“需核实”。

本项目贡献（属「评价维度转换」；若使用全新独立对象则同时属「新样本独立检验」，若核心是校准与脚本则同时属「方法可复现性贡献」）： 合成–真实鸿沟（synthetic-to-real gap）的定量测量。 这是 ISEF 里极其普遍、极少被审视的失效模式：合成数据的标签是由生成规则决定的，模型只要学会那套规则就能拿到高分，与真实世界的复杂性无关。你的设计：(1) 复现一个「按已知耐药突变规则生成菌株」的生成器；(2) 在其产出上训练分类器，记录合成盲测准确率；(3) 在真实的公开基因型–表型数据集（如 CRyPTIC 结核耐药数据集、PATRIC/BV-BRC 的抗菌谱数据）上评估同一模型；(4) 量化鸿沟，并拆解成「规则不完整」与「真实数据噪声」两部分。 主结论是原结论在预注册控制与独立复核下的效应幅度及适用边界，不是附带造一个更复杂模型或装置。

为何有价值： 它把“看起来有效”转换为“在多大误差、何种样本和什么阈值下仍有效”。差异不显著同样是有效结论，但必须给出误差棒证明有能力分辨预注册的 10% 相对变化或标准化效应 0.5；置信区间过宽只能写“测不出来”。

8 · 决策门槛（go / no-go）

第 5 周末必须同时满足：校验偏差 ≤ 5%、至少取得计划独立样本的 20%、主指标能从原始输入稳定重算。任一不满足，立即启动具名降级路径 “单对象能力边界标定”：砍掉多对象/多模型比较，只保留最可得的一种对象、一个主指标和一个独立复核，转而报告误差、敏感性与最小可分辨效应；主结论仍是“原结论在什么条件下站得住”。

与“附属赛后不得修改”的冲突点：主指标、阈值、样本排除、对照、预处理和降级触发条件必须赛前定死。须提前核实： 最可能死在真实数据集的规模与标注质量。 CRyPTIC 等数据集体量大、清洗需要功夫。最便宜的规避方式： 缩小到 2–3 种药物、一个物种，把深度做够；宁可少而准。 同时核实许可、设备/软件真实能力、场地、表格和采购可得性。已知困难及其定位：这些限制就是能力边界，不用未经核实的规格填补。选择前提：学生愿意做重复、校验和零结果解释。预算裁剪顺序：先砍多模型/多材料，再砍次要指标，再砍展示性装置；不得砍校验、主要对照、独立重复和交叉验证。

净实验窗口按 2026-08 至 12 月约 3–4 个月规划。按实际对象核实合规：附属赛后项目不得更改；展台禁液体（含水）、土壤、玻璃、锐器、化学品、干燥粉末、>100 Wh 电池和通电无人机，禁网址与二维码；家中不得培养任何潜在危险生物制剂；涉及脊椎动物、人类受试者、激光、高真空或 SDS 标注的致癌致畸化学品时，须在相应动作前确认审批。AI 不得用于撰写研究计划、摘要、展板或引文。

评分： O=9, W=9, F=8, S=8, Fit=8 → base=85.8，h=9 → [77, 95]，置信度：中

---