python gensim里的log_perplexity得出的结果是困惑度吗


python gensim里的log_perplexity得出的结果是困惑度吗

按官方文档,是不是说log_perplexity()得到的是bound score,困惑度perplexity=2^(-bound),也就是=2^(-log_perplexity())?
知道的大佬请告知一下,我也不确定。
****************************************************更新
仔细找了网上的博客,https://blog.csdn.net/qq_23926575/article/details/79472742
这篇文章说的很详细,也有代码,他是根据Blei的LDA论文(http://jmlr.csail.mit.edu/papers/v3/blei03a.html)中提出的困惑度公式实现的。
后来我发现,gensim中的函数反算得来的困惑度是单词的困惑度,Blei论文中的困惑度是概率模型的困惑度,直观上感觉应该模型困惑度更靠谱一点,但我不明白为啥在gensim的lda模型里出现单词困惑度函数,如果它不能用,为啥有这个函数?于是我想看看这两者有没有正相关性,如果正相关性很大,那这两个指标都可以用。所以我就用python试了一下:
1、设gensim中log_perplexity()函数反算的困惑度为perp1;Blei论文中的perplexity(使用上面博客中的代码实现)为perp2。
【python gensim里的log_perplexity得出的结果是困惑度吗】 2、
python gensim里的log_perplexity得出的结果是困惑度吗

首先训练了话题数为5,10,15三种情况的LDA模型,存为list。然后计算perp1和perp2。
3、结果:
python gensim里的log_perplexity得出的结果是困惑度吗

话题数5,10,15对应的perp1与perp2并不正相关o(╥﹏╥)o
求大佬解疑答惑T T

■网友
得出的应该是bound值吧,输出的日志信息里面有困惑度的值


    推荐阅读