返回目录
公开知识笔记 · 不进入目录

特征聚合与多模态融合

公开知识笔记

特征聚合与多模态融合

一句话理解:同一个对象可以有多种表示;特征融合就是把这些“不同角度的描述”合成一个供下游预测使用的向量。

1. A3Net融合的到底是什么

A3Net不是简单融合原始数据库,而是融合两条网络通路产生的表示:

两者分别回答“对象自身结构是什么”和“跨对象交互是什么”。

2. 常见融合方式

方式 做法 特点
早期融合 原始特征先拼接再编码 简单,但不同模态尺度可能冲突
中期融合 各自编码后再交互/合并 保留各模态专门编码器,A3Net接近此类
晚期融合 各模型先预测,再融合分数 易解释,但跨模态细粒度交互较弱

3. A3Net的固定加权融合

论文给出的FAM为:

x=(1−γd)dGAM+γddCAMx=(1-\gamma_d)d_{GAM}+\gamma_d d_{CAM} y=(1−γs)sGAM+γssCAMy=(1-\gamma_s)s_{GAM}+\gamma_s s_{CAM}

x,yx,y分别是最终药物和副作用向量。论文设置γd=γs=0.15\gamma_d=\gamma_s=0.15,意味着GAM占0.85,CAM占0.15。

4. 为什么不能直接相加

融合前通常要保证:

  1. 向量维度一致;
  2. 数值尺度不过度悬殊;
  3. 两路表示的行顺序一一对应;
  4. 权重公式实现无误。

A3Net代码的药物融合符合论文,但副作用一侧写成1 - alpha*x_e + alpha*...,而不是(1-alpha)*x_e + alpha*...。少一对括号会引入常数1,这是公式与代码的确定不一致。

5. 固定权重与自适应权重

固定γ\gamma对所有样本相同,优点是简单稳定,缺点是不同药物可能需要不同融合比例。可扩展为门控融合:

g=σ(W[dGAM;dCAM]+b)g=\sigma(W[d_{GAM};d_{CAM}]+b) d=(1−g)⊙dGAM+g⊙dCAMd=(1-g)\odot d_{GAM}+g\odot d_{CAM}

这样每个样本甚至每个特征维度都能学习自己的权重,但模型也更复杂、更易过拟合,需要严格消融与验证。

6. 怎样判断融合是否真的有用

不能只看完整模型最好,还要比较:仅GAM、仅CAM、简单平均、固定权重、自适应门控,并报告各折波动。A3Net消融中并非每个指标都由完整模型占优,所以更谨慎的结论是“双路融合改善总体权衡”。

相关概念

相关论文

  • A3Net精读笔记(A3Net)