谁能比较一下卡方距离、KL距离和互信息

卡方我不熟悉,KL Divergence和 MI是有关联的: 【谁能比较一下卡方距离、KL距离和互信息】 谁能比较一下卡方距离、KL距离和互信息
KL Divergence 衡量的是两个概率分布的相似度,那么MI衡量的就是两个概率分布的独立性。这两个区别还是很大的,需要根据具体需求来选择。比如feature selection的时候应该用MI,但是选择loss function的话直接用KL Divergence才是合适的。


    推荐阅读