预测模型评价指标

一句话理解：A3Net既要把真正关联排到前面，又要把频率数值预测准确，所以必须同时看排序指标和回归/相关指标。

1. 先问“你到底在评价什么”

目标	典型指标	核心问题
区分关联与未知	AUC	正例是否普遍排在未知项前面
顶部推荐质量	Precision@K、Recall@K、NDCG@K、mAP	前K个推荐是否有用、顺序是否合理
数值频率准确	RMSE、MAE	预测等级离真实等级多远
相对次序一致	Spearman	高频/低频的排序是否一致

一个模型可能排序很好但数值误差大，也可能频率拟合不错却无法发现未知关联。不能用单一指标概括全部能力。

AUC可直观理解为：随机抽一个正例和一个负例，模型把正例分数排得更高的概率。0.5约等于随机，1表示完美排序。

风险在于A3Net数据中的“负例”大多其实是未记录项。若其中包含真实关联，AUC就会把部分正确发现算成错误，见正例-未标注学习PU Learning。

Precision@K=\frac{\text{前K个推荐中的相关项数}}{K}

Recall@K=\frac{\text{前K个推荐中的相关项数}}{\text{全部相关项数}}

Precision关心推荐列表“纯不纯”，Recall关心已知相关项“找全多少”。当每种药物的已知副作用数差异很大时，两者应一起看。

NDCG@K不仅看前K个是否相关，还让靠前位置贡献更大，并可处理分级相关性。它适合“用户更关心列表顶部”的场景。

mAP先对每个查询计算Average Precision，再求平均。它综合考察相关项在整个排序中的位置，但不同实现的宏平均/微平均方式可能不同，复现时要对齐代码。

RMSE=\sqrt{\frac{1}{n}\sum_i(\hat y_i-y_i)^2}

MAE=\frac{1}{n}\sum_i|\hat y_i-y_i|

RMSE对大误差惩罚更重，MAE更接近平均偏差。二者越低越好。若只在有记录频率上计算，它们不反映发现新关联的能力。

Spearman比较预测排序与真实排序是否一致，不要求二者数值完全相同。若模型总能区分高频和低频，即使整体数值有偏移，Spearman仍可能较高。取值越接近1越好。

A3Net在warm/cold start的AUC、mAP、NDCG等排序指标整体较强，但RMSE、MAE和Spearman并非全部最好。这说明它更擅长关联排序，不能据此说频率数值预测在所有方面都最准确。

指标均值应搭配各折标准差、置信区间或显著性检验。AUC只高0.005或0.007时，如果不知道折间波动，就不能确定差异是否稳定。