[nlp] KL散度与JS散度

1.KL散度 KL散度( Kullback–Leibler divergence) (最大类间散度) 是描述两个概率分布差异的一种测度。对于两个概率分布P、Q,二者越相似,KL散度越小。 KL散度的性质:P:真实分布,Q:P的拟合分布 非负性:KL(P||Q)>=0,当P=Q时,KL(P||Q)=0; 反身性:KL(P||P)=0 非对称性:D(P||Q) ≠ D(Q||P) KL散度不满足三角不等式 from scipy import stats P = [0.2, 0.4, 0.4] Q = [0.4, 0.2, 0.5] print(stats.entropy(P,Q)) 0.144