返回目录
公开知识笔记 · 不进入目录
特征聚合与多模态融合
公开知识笔记
特征聚合与多模态融合
一句话理解:同一个对象可以有多种表示;特征融合就是把这些“不同角度的描述”合成一个供下游预测使用的向量。
1. A3Net融合的到底是什么
A3Net不是简单融合原始数据库,而是融合两条网络通路产生的表示:
- GAM表示:来自图注意力网络GAT,强调药物内部化学结构和副作用相似图;
- CAM表示:来自拼接token后的Transformer注意力,强调药物原子与副作用token的共同上下文。
两者分别回答“对象自身结构是什么”和“跨对象交互是什么”。
2. 常见融合方式
| 方式 | 做法 | 特点 |
|---|---|---|
| 早期融合 | 原始特征先拼接再编码 | 简单,但不同模态尺度可能冲突 |
| 中期融合 | 各自编码后再交互/合并 | 保留各模态专门编码器,A3Net接近此类 |
| 晚期融合 | 各模型先预测,再融合分数 | 易解释,但跨模态细粒度交互较弱 |
3. A3Net的固定加权融合
论文给出的FAM为:
分别是最终药物和副作用向量。论文设置,意味着GAM占0.85,CAM占0.15。
4. 为什么不能直接相加
融合前通常要保证:
- 向量维度一致;
- 数值尺度不过度悬殊;
- 两路表示的行顺序一一对应;
- 权重公式实现无误。
A3Net代码的药物融合符合论文,但副作用一侧写成1 - alpha*x_e + alpha*...,而不是(1-alpha)*x_e + alpha*...。少一对括号会引入常数1,这是公式与代码的确定不一致。
5. 固定权重与自适应权重
固定对所有样本相同,优点是简单稳定,缺点是不同药物可能需要不同融合比例。可扩展为门控融合:
这样每个样本甚至每个特征维度都能学习自己的权重,但模型也更复杂、更易过拟合,需要严格消融与验证。
6. 怎样判断融合是否真的有用
不能只看完整模型最好,还要比较:仅GAM、仅CAM、简单平均、固定权重、自适应门控,并报告各折波动。A3Net消融中并非每个指标都由完整模型占优,所以更谨慎的结论是“双路融合改善总体权衡”。
相关概念
- 多视图学习与多视图聚类:多种表示联合学习的更一般框架
- 矩阵内积解码与矩阵补全:融合后向量的下游解码器
- 预测模型评价指标:判断融合收益不能只看单一指标
相关论文
- A3Net精读笔记(A3Net)
被以下札记引用
2026-W35