Vendor 对比

为什么做这个对比

我们没有 vendor 的源代码,是参考 vendor 的报告思路自己重新跑了一遍 pipeline。这一页客观对比两份结果在哪些地方一致、哪些地方有差异,差异是否可解释。

1. OPLS-DA 多元统计

提示

核心发现

  • 6/6 矩阵的 Q²(核心判别力指标)跨 vendor 与我们的偏差都 ≤ 0.01
  • 5/6 矩阵的 pre+ortho 配置完全一致(粪便 pos 因 ropls 自动选了 ortho=2 而 vendor 用了 ortho=3,差 1 个正交分量)
  • 我们在 vendor 之外提供了 999 次置换检验 p 值(pR²Y / pQ²),所有矩阵 pQ² 都 < 0.001 显著

粪便 pos 为什么 ortho 不一样

ropls 默认按交叉验证拐点(Wold’s R criterion)自动选 ortho 数。我做过对照实验:

orthoI R²X R²Y RMSEE 评价
1 0.306 0.922 0.585 0.151 欠拟合
2(我们) 0.400 0.972 0.652 0.094 拐点
3(vendor) 0.478 0.994 0.654 0.044 Q²几乎不涨,RMSEE 减半(过拟合迹象)
4 0.536 0.999 0.662 0.022 R²Y≈1,明显过拟合
5 0.578 1.000 0.661 0.010 完美拟合 = 记忆训练集

结论:我们 ortho=2 更稳健(Q² 已饱和,RMSEE 适中),vendor ortho=3 R²Y 看起来更亮但实际开始过拟合。两者的 Q² 几乎相同(0.652 vs 0.654),判别力等价。

2. MS1 差异代谢物 — 数量 + 特征 ID 重叠

按 P<0.05 ∧ VIP>1 对比(vendor 同样标准)。

关键解读

  • shared:vendor 和我们都判定为 DEM 的特征 ID 数
  • Jaccard:交集 / 并集,越接近 1 越一致
  • vendor_recall:我们的 DEM 列表覆盖了 vendor 多少比例的 DEM
矩阵 Jaccard 范围 vendor recall 范围
粪便 0.68-0.78 75-85%
血清 0.73-0.80 79-88%
皮肤 0.77-0.78 86%
注记

~80% 重叠的剩余差异原因:vendor 的 OPLS-DA VIP 用了不同的 ortho 数(粪便 pos 是 ortho=3 vs 我们 2),VIP 计算分母不同导致同一特征 VIP 值不一样,部分特征会因此跨过/跌出 VIP>1 阈值。这是参数选择级别的差异,不是方法学差异。

3. MS2 鉴定差异代谢物 — 名称重叠

按代谢物 name 对比,因为 vendor 和我们都直接用了 vendor 提供的 MS2 鉴定主表(5176 个)。

警告

为什么 Jaccard 比 MS1 低

我们筛 DEM 时多卡了 |log2FC|>1.0 这条阈值(vendor 没卡),所以 ours 数量明显小于 vendor。但看 ours_recall

  • 粪便:87%(我们的 DEM 中 87% vendor 也判为 DEM)
  • 血清:91%
  • 皮肤:94%

意思是:我们筛出来的代谢物几乎全在 vendor 列表里,只是我们筛得更严。如果想完全对齐 vendor 数量,编辑 config/params.yamldem.fc_threshold 改成 0 重跑 04_dem.R 即可。

4. KEGG 通路富集

注记

KEGG 是方法学差异最大的环节,但我们的更严谨

环节 Vendor 做法 我们的做法
目标集(前景) 把所有 MS2 鉴定到的化合物都拿去做检验 只用筛过的 DEM 中带 KEGG ID 的化合物
背景集 KEGG mmu 全集 KEGG mmu 全集
检验 超几何 超几何(Fisher 单尾)

Vendor 做法的问题:把所有 5176 个鉴定代谢物(含未差异的)都进富集,等于”前景=背景”,信号被噪声稀释——所以 vendor 的 99/113/151 条通路里几乎都不显著(粪便 0 条,血清/皮肤各 2 条)。

我们的做法:先筛 DEM 再富集,前景=真实差异信号,背景=mmu 全集,符合标准生物信息学流程(与 MetaboAnalyst / clusterProfiler 等主流工具一致)。

结果:我们富集到的显著通路更聚焦、生物学解读更清晰。比如粪便 mmu04080 (神经活性配-受体) — 抑郁经典通路,vendor 在 99 条里漏掉了这个信号。

5. 总评

维度 复现度 评价
特征数 / 样本数 100% 直接读 vendor peak table
MS2 鉴定列表 100% 直接复用 vendor 代谢物鉴定定量列表.xlsx
OPLS-DA pre+ortho 配置 5/6 完全一致 粪便 pos 我们更稳健(不过拟合)
OPLS-DA Q²(核心判别力) 6/6 偏差 ≤ 0.01 完全可比
MS1 DEM 数量 6/6 接近 Jaccard 0.68-0.80
MS1 DEM vendor recall 75-88% 我们的列表覆盖 vendor 大部分
MS2 DEM ours recall 87-94% 我们筛的几乎全在 vendor 里(更严)
KEGG 富集 方法学差异 我们的更严谨更聚焦

6. 我们额外提供(vendor 没给)

增项 价值
999 次置换 p 值(pR²Y / pQ²) 显著性的客观证据
Cohen’s d 效应量 跨矩阵可比,受方差影响小
log2FC 95% bootstrap CI 小样本下的鲁棒性
Mahalanobis 离群检测 PCA 空间客观判定离群样本
三矩阵 DEM 跨矩阵 overlap 跨体液系统性变化分析
联合宏基因组候选清单 直接对接 b 项目
全部中间表 (TSV) 可二次开发
完整可复现 pipeline 修阈值/换组重跑只需改 config
📂 Vendor 对比相关产出文件

对比表(TSV)

  • vendor_oplsda_compare.tsv — OPLS-DA 6 组 side-by-side 对比(含 ortho 配置 / R²X / R²Y / Q² / 我们 999 次置换 p 值) | 在线下载 | 本地查看
  • vendor_ms1_overlap.tsv — MS1 DEM 特征 ID overlap(含 Jaccard / vendor recall) | 在线下载 | 本地查看
  • vendor_ms2_overlap.tsv — MS2 DEM 名称 overlap(含 ours recall) | 在线下载 | 本地查看