← 科研日志
2026年6月25日
Week17 分类模型 Plan_1 完整探究总结
今日工作概述
完成了分类模型 Plan_1 从缺陷诊断到最终版交付的全流程探究,共经历 6 个阶段,最终确定 NN + CatBoost Blending + Isotonic 校准 为当前最优分类方案。
核心结论
选定方案:并联 Blending(PATH B)
- 融合权重:NN=0.883,CatBoost=0.117
- 操作点:Recall ≥ 80% 下最小 FP(t=0.223)
- 内部测试:Recall=82.2%,Spec=87.0%,FP=35,FN=8,AUC=0.902
- 外部验证(Bayes 调整后):FP=10,FN=1,Recall=85.7%,AUC=0.937
探究阶段回顾
阶段 1 — 缺陷修复:发现并修复原版三处数据泄露(Optuna 用 y_test 寻优)、一处死代码、一处绘图报错,同时将特征从 13 个扩展为 19 个(自动提取)。
阶段 2 — 双路径对比:串联 Cascade(AUC=0.690)vs 并联 Blending(AUC=0.915)。串联 AUC 低的根本原因是两段概率量纲不统一导致全局排序失效。
阶段 3 — 三模型扩展:加入 RF 后 AUC 升至 0.924,但 FP 从 59 增至 76,淘汰。RF 的贡献在概率校准(Brier 改善),而非分类边界。
阶段 4 — FP 优化:Isotonic 概率校准(Brier 0.189→0.081)+ 全阈值扫描权衡曲线,发现 Recall≥90%/85%/Youden 三个准则落在同一点,真正的改善点在 Recall≥80%(FP=35,FN=8)。
阶段 5 — 外部验证:Bayes 先验调整(14.2%→4.5%)将外部 FP 从 47 降至 10,方法论合规(仅依赖先验数字,不接触外部标签)。
阶段 6 — 最终版交付:完整代码 Plan_1_最终版.py,含全部可视化看板和外部验证报告,推送至 GitHub。
待讨论
- 与导师商议 Recall 目标值(82% vs 93%,即 FN=8 vs FN=3 的临床取舍)
- 了解本院/科室近三年巨大儿发生率,用于 App 部署时固定 Bayes 先验
明日计划
开始分类模型 Plan_2 的阅读与修改探究。