医疗问答 AI 换成低资源语言后，错误率涨多少、错在哪

1 · 研究问题

一个基于检索增强生成（RAG）的医疗问答系统，在从英语切换到低资源语言时，其回答的事实正确率下降多少？下降中有多少来自检索失败（检索不到正确文档），多少来自生成失败（检索到了但答错）？ 在预先固定的样本、对照与统计口径下，主效应的方向、幅度和不确定度分别是多少，结论能否在独立留出数据或独立重复中成立？

2 · 研究背景与空白

背景。 这条课题研究的不是“能不能做出一个结果”，而是一个现有结论在测量误差、样本差异和外推条件改变后还能不能站住。核心逻辑是把观察量、真实目标量与混杂因素分开：先用已知答案校验工具，再固定对照和重复单位，最后用误差棒判断差异。只给一个最高分、一次演示或一条相关关系，不能说明方法在新样本上可靠。

已有工作到哪一步。 ISEF 2026 BMED041（Special Award）「ArogyaLoka HealthBridge AI: Patient Care Assistant」，摘要原文：「The first module uses a Retrieval-Augmented Generation (RAG) pipeline connected to a verified medical knowledge base, combined with native-language natural language processing to deliver accurate, context-aware health guidance（…）Evaluated against benchmarks for diagnostic accuracy, language coverage, and processing latency, results demonstrate that AI-driven multilingual platforms can advance research, development, and innovation in global health equity.」它报告了「针对诊断准确率、语言覆盖、处理延迟的基准评测」，摘要中未给出具体数字，也未分解错误来源。

⚠️ 这一条同时是一个合规教学案例。 原项目的产品逻辑是「向用户提供健康指导」。如果你把这样的系统给真人用户测试并返回结果，2027 规则下直接撞线（禁止向受试者提供建议、诊断或医学信息）。本课题的设计是纯离线评测：只用公开基准题库，不接触任何活人，不部署任何面向用户的服务。 这是这个热门方向在 2027 规则下唯一走得通的形态。

文献前作：未核查（多语言医疗 LLM 评测、RAG 错误归因都是当前热点，论文很多且更新极快，必查最近 12 个月的 arXiv）。

空白在于：错误来源的分解，加一个明确合规的评测协议。 现有的多语言医疗 AI 项目普遍报告一个总体准确率，但不区分是检索坏了还是生成坏了——而这两者的修复方式完全不同。你搭一个可控的 RAG 流水线，用公开医学问答基准（MedQA、MedMCQA、PubMedQA 等有公开测试集的），把题目机器翻译成若干低资源语言，然后分别测量：检索召回率@k、给定正确文档时的生成正确率、端到端正确率。再加一个安全维度：统计「自信的错误答案」比例——即模型给出明确断言但事实错误的比例，这是医疗场景中真正危险的失效模式。 五字段原文的研究问句是：一个基于检索增强生成（RAG）的医疗问答系统，在从英语切换到低资源语言时，其回答的事实正确率下降多少？下降中有多少来自检索失败（检索不到正确文档），多少来自生成失败（检索到了但答错）？ 这适合一年期学生课题，因为可以把主任务裁成一个对象、一个主指标和一个独立复核；即使预期差异不出现，只要校验与统计功效过关，零结果仍能界定已有结论的适用边界。

3 · 可检验假设

H1 在加入本课题预先规定的控制、校正或独立验证后，主指标将沿五字段框架所述预期方向变化，且相对基线变化 ≥ 10% 或标准化效应绝对值 ≥ 0.5；若 95% 置信区间同时排除这两个门槛，则 H1 被否证。两种尺度只选与主指标有意义的一种，并在预实验前写死。

H2 若 H1 被否证，备择机制是假定原观察主要由测量误差、样本构成、基础率、时间漂移或未控制混杂驱动；比较“仅含原变量”与“加入机制变量”的模型，若主效应方向改变或绝对值下降 ≥ 20%，则支持机制解释，否则报告当前分辨率下未找到证据。

4 · 量化验收标准

1. 方法学校验硬门槛。 用自建管线、装置或代码重跑一个答案已知的合成算例/标准样；主量反算偏差须 ≤ 5%。不过关则停止，且后续全部结论无效。
2. 统计口径预先写死。 独立样本、技术重复和连续观测分开计数；测量类每个关键条件至少 3 次独立重复，技术重复只估计仪器噪声，并用误差传播或方差分量合成不确定度。极不平衡分类主报 PR-AUC、precision、recall，不以 accuracy 为主，因为全猜多数类也会虚高；时间序列按时间划分并把随机划分仅作泄漏对照。
3. 正式采集前固定主指标、排除规则、对照、效应方向与 10%（或标准化效应 0.5）判据；报告全部独立重复、效应量和 95% 置信区间，不只报 p 值或最佳一次。
4. 至少完成一项阴性对照和一项敏感性分析；改变关键阈值、预处理或模型选择时，主结论不得仅由单一任意选择决定。
5. 用独立批次、独立留出段或第二种原理不同的方法复核主量；不一致时优先报告不一致与误差预算，不平均成一个“更好看”的数字。
6. 可复现性。 保存原始数据、清洗记录、参数、环境版本、随机种子、脚本和排除日志；第三方应能重建主表与主图。

5 · 数据与工具

用途	来源 / 工具
研究对象与主问题	一个基于检索增强生成（RAG）的医疗问答系统，在从英语切换到低资源语言时，其回答的事实正确率下降多少？下降中有多少来自检索失败（检索不到正确文档），多少来自生成失败（检索到了但答错）？
原创切口	错误来源的分解，加一个明确合规的评测协议。 现有的多语言医疗 AI 项目普遍报告一个总体准确率，但不区分是检索坏了还是生成坏了——而这两者的修复方式完全不同。你搭一个可控的 RAG 流水线，用公开医学问答基准（MedQA、MedMCQA、PubMedQA 等有公开测试集的），把题目机器翻译成若干低资源语言，然后分别测量：检索召回率@k、给定正确文档时的生成正确率、端到端正确率。再加一个安全维度：统计「自信的错误答案」比例——即模型给出明确断言但事实错误的比例，这是医疗场景中真正危险的失效模式。
前作与对照基准	ISEF 2026 BMED041（Special Award）「ArogyaLoka HealthBridge AI: Patient Care Assistant」，摘要原文：「The first module uses a Retrieval-Augmented Generation (RAG) pipeline connected to a verified medical knowledge base, combined with native-language natural language processing to deliver accurate, context-aware health guidance（…）Evaluated against benchmarks for diagnostic accuracy, language coverage, and processing latency, results demonstrate that AI-driven multilingual platforms can advance research, development, and innovation in global health equity.」它报告了「针对诊断准确率、语言覆盖、处理延迟的基准评测」，摘要中未给出具体数字，也未分解错误来源。 ⚠️ 这一条同时是一个合规教学案例。 原项目的产品逻辑是「向用户提供健康指导」。如果你把这样的系统给真人用户测试并返回结果，2027 规则下直接撞线（禁止向受试者提供建议、诊断或医学信息）。本课题的设计是纯离线评测：只用公开基准题库，不接触任何活人，不部署任何面向用户的服务。 这是这个热门方向在 2027 规则下唯一走得通的形态。 文献前作：未核查（多语言医疗 LLM 评测、RAG 错误归因都是当前热点，论文很多且更新极快，必查最近 12 个月的 arXiv）。；仅用于校验与对比，不计入本项目的数据贡献
数据/样本	需核实：可取得数量、独立单位、标签/测量定义、许可与缺失情况；未确认内容不得写成已具备
分析工具	纯 CPU、16 GB 笔记本可运行的开源工具优先；需核实版本、许可、输入格式、分组/时序划分和不确定度输出能力
校验材料	已知答案的合成数据、标准样或公开基准；仅用于校验与对比，不计入本项目的数据贡献
风险边界	最可能死在被已有工作抢跑——这个方向学术界推进极快。最便宜的规避方式： 把语言选择落到本地语料几乎没人做的语种上（例如你自己母语的方言变体、或某个具体的南亚/东南亚低资源语言），并公开你的翻译后基准与标注，让贡献落在「一个可复用的评测集」而不是「一个结论」上。

6 · 方法路径

1. 装环境或搭装置，跑通已知答案算例并完成校验。 锁定版本、单位、坐标/标签定义和误差计算；反算偏差 >5% 时只修方法，不进入正式样本。
2. 核实工具能力边界并逐条排查静默失败点。 五字段原约束为：最可能死在被已有工作抢跑——这个方向学术界推进极快。最便宜的规避方式： 把语言选择落到本地语料几乎没人做的语种上（例如你自己母语的方言变体、或某个具体的南亚/东南亚低资源语言），并公开你的翻译后基准与标注，让贡献落在「一个可复用的评测集」而不是「一个结论」上。 此外检查单位或标签错位、全数据预处理泄漏、相关观测冒充独立 n、缺失值静默填 0、默认参数改变口径、输出正常但物理量方向或尺度错误；每项用最小反例测试，不能以“软件未报错”作为通过。
3. 预注册最小设计。 把主问题收敛为一个对象、一个主指标、一个主要对照；写死样本单位、重复数、阈值、排除规则和降级触发条件。
4. 采集或整理正式数据。 保留原始输入与时间戳/批次，盲化能盲化的标签；协议偏离当天登记，不覆盖原记录。
5. 估计主效应与不确定度。 同时报原口径与校正口径，给出误差棒、效应量、失败样本和敏感性曲线；分类、时序或测量问题按 §4 执行。
6. 检验 H2 与边界条件。 H1 不成立时不临时换题，而是量化测量误差、样本构成、基础率、时间漂移或混杂能解释多少。
7. 独立交叉校验。 使用独立批次、留出时间段或第二种原理不同的方法复算主量；失败时以“不一致”为主结果，不选择性保留支持预期的路径。

7 · 新颖性边界

本课题不声称什么： 不声称首次进入该主题，不声称重新发现或推翻前作，也不把前作的项目编号、年份、奖级、引文和数字据为本项目结果；具体已有工作是：ISEF 2026 BMED041（Special Award）「ArogyaLoka HealthBridge AI: Patient Care Assistant」，摘要原文：「The first module uses a Retrieval-Augmented Generation (RAG) pipeline connected to a verified medical knowledge base, combined with native-language natural language processing to deliver accurate, context-aware health guidance（…）Evaluated against benchmarks for diagnostic accuracy, language coverage, and processing latency, results demonstrate that AI-driven multilingual platforms can advance research, development, and innovation in global health equity.」它报告了「针对诊断准确率、语言覆盖、处理延迟的基准评测」，摘要中未给出具体数字，也未分解错误来源。

⚠️ 这一条同时是一个合规教学案例。 原项目的产品逻辑是「向用户提供健康指导」。如果你把这样的系统给真人用户测试并返回结果，2027 规则下直接撞线（禁止向受试者提供建议、诊断或医学信息）。本课题的设计是纯离线评测：只用公开基准题库，不接触任何活人，不部署任何面向用户的服务。 这是这个热门方向在 2027 规则下唯一走得通的形态。

文献前作：未核查（多语言医疗 LLM 评测、RAG 错误归因都是当前热点，论文很多且更新极快，必查最近 12 个月的 arXiv）。

已有工作做到哪一步： 五字段证据表明前作已完成其原始对象、方法或性能演示；本项目完整保留这条事实，不把摘要未写出的信息推断为“没有做”。数据集、器材规格、价格、货期或外部文献的任何补充均标为“需核实”。

本项目贡献（属「评价维度转换」；若使用全新独立对象则同时属「新样本独立检验」，若核心是校准与脚本则同时属「方法可复现性贡献」）： 错误来源的分解，加一个明确合规的评测协议。 现有的多语言医疗 AI 项目普遍报告一个总体准确率，但不区分是检索坏了还是生成坏了——而这两者的修复方式完全不同。你搭一个可控的 RAG 流水线，用公开医学问答基准（MedQA、MedMCQA、PubMedQA 等有公开测试集的），把题目机器翻译成若干低资源语言，然后分别测量：检索召回率@k、给定正确文档时的生成正确率、端到端正确率。再加一个安全维度：统计「自信的错误答案」比例——即模型给出明确断言但事实错误的比例，这是医疗场景中真正危险的失效模式。 主结论是原结论在预注册控制与独立复核下的效应幅度及适用边界，不是附带造一个更复杂模型或装置。

为何有价值： 它把“看起来有效”转换为“在多大误差、何种样本和什么阈值下仍有效”。差异不显著同样是有效结论，但必须给出误差棒证明有能力分辨预注册的 10% 相对变化或标准化效应 0.5；置信区间过宽只能写“测不出来”。

8 · 决策门槛（go / no-go）

第 5 周末必须同时满足：校验偏差 ≤ 5%、至少取得计划独立样本的 20%、主指标能从原始输入稳定重算。任一不满足，立即启动具名降级路径 “单对象能力边界标定”：砍掉多对象/多模型比较，只保留最可得的一种对象、一个主指标和一个独立复核，转而报告误差、敏感性与最小可分辨效应；主结论仍是“原结论在什么条件下站得住”。

与“附属赛后不得修改”的冲突点：主指标、阈值、样本排除、对照、预处理和降级触发条件必须赛前定死。须提前核实： 最可能死在被已有工作抢跑——这个方向学术界推进极快。最便宜的规避方式： 把语言选择落到本地语料几乎没人做的语种上（例如你自己母语的方言变体、或某个具体的南亚/东南亚低资源语言），并公开你的翻译后基准与标注，让贡献落在「一个可复用的评测集」而不是「一个结论」上。 同时核实许可、设备/软件真实能力、场地、表格和采购可得性。已知困难及其定位：这些限制就是能力边界，不用未经核实的规格填补。选择前提：学生愿意做重复、校验和零结果解释。预算裁剪顺序：先砍多模型/多材料，再砍次要指标，再砍展示性装置；不得砍校验、主要对照、独立重复和交叉验证。

净实验窗口按 2026-08 至 12 月约 3–4 个月规划。按实际对象核实合规：附属赛后项目不得更改；展台禁液体（含水）、土壤、玻璃、锐器、化学品、干燥粉末、>100 Wh 电池和通电无人机，禁网址与二维码；家中不得培养任何潜在危险生物制剂；涉及脊椎动物、人类受试者、激光、高真空或 SDS 标注的致癌致畸化学品时，须在相应动作前确认审批。AI 不得用于撰写研究计划、摘要、展板或引文。

评分： O=8, W=8, F=9, S=9, Fit=7 → base=82.2，h=9 → [73, 91]，置信度：中

---

自己继续找题

上面 15 条全部是同一个动作：拿一个近届获奖作品，问它没问的那个关于自身有效性的问题。

这个动作有数据支撑：跨 21 个类别两届的统计显示，与获奖相关性最强的三项摘要特征是含百分比量化结果、显式新颖性主张、机理/因果语言（详见 00-跨赛道通用发现.md）。「检验已有工作的有效性」天然同时满足这三条。

操作流程：

bash python3 analysis/mine_isef.py --cat BMED --awarded-only "你感兴趣的关键词"

检索 ISEF 2022–2026 五届。然后去读它的完整摘要原文（/Volumes/Mac-Mini/workspaces/tian2-edu/ISEF-Scrape/output/projects-2025-full/ 与 projects-2026-awards/ 下的 manifest.json）。只读标题就断言「它没做 X」是本流程唯一的致命伤——被评委用原文当场驳倒，无法挽回。

读到摘要后，按这个顺序问：

1. 它的读数测的是它说的那个东西吗？（B6 培养法测不出门水平比值；B8 BR 反应受乙醇干扰；E 类里的代理指标问题）
2. 它有没有排除掉一个同时变化的混杂变量？（B10 渗透压；B7 辅料糖；B12 空气污染）
3. 它的统计显著性，在零假设下有多容易产生？（B3 多重比较；B5 重叠；B14 小样本）
4. 换一个数据集/一台仪器/一个分析选择，结论还成立吗？（B1 时间漂移；B2 站点切分；B11 规格曲线；B13 2D→3D）

然后按这个顺序否决（前两步零成本）：

① 是否触发人类受试者/生物合规红线（本组头号杀手，见开头） ② 时间窗口（净 3–4 个月）与表征可得性——「我要声称的那件事，需要哪台仪器才能证明？拿不到就换方向。」 ③ ISEF 近五届有无同题（用上面的脚本） ④ 文献前作（本文件全部空缺，必须自己补）

最后一句实话： 本文件给出的评分区间是我基于本地语料的判断，不是预测。评委看的是你答不答得出他的追问，那是我观察不到的。区间宽度（h）反映的是我的证据有多少，不是你的项目有多好。