python gensim里的log_perplexity得出的结果是困惑度吗
按官方文档,是不是说log_perplexity()得到的是bound score,困惑度perplexity=2^(-bound),也就是=2^(-log_perplexity())?
知道的大佬请告知一下,我也不确定。
****************************************************更新
仔细找了网上的博客,https://blog.csdn.net/qq_23926575/article/details/79472742
这篇文章说的很详细,也有代码,他是根据Blei的LDA论文(http://jmlr.csail.mit.edu/papers/v3/blei03a.html)中提出的困惑度公式实现的。
后来我发现,gensim中的函数反算得来的困惑度是单词的困惑度,Blei论文中的困惑度是概率模型的困惑度,直观上感觉应该模型困惑度更靠谱一点,但我不明白为啥在gensim的lda模型里出现单词困惑度函数,如果它不能用,为啥有这个函数?于是我想看看这两者有没有正相关性,如果正相关性很大,那这两个指标都可以用。所以我就用python试了一下:
1、设gensim中log_perplexity()函数反算的困惑度为perp1;Blei论文中的perplexity(使用上面博客中的代码实现)为perp2。
【python gensim里的log_perplexity得出的结果是困惑度吗】 2、
首先训练了话题数为5,10,15三种情况的LDA模型,存为list。然后计算perp1和perp2。
3、结果:
话题数5,10,15对应的perp1与perp2并不正相关o(╥﹏╥)o
求大佬解疑答惑T T
■网友
得出的应该是bound值吧,输出的日志信息里面有困惑度的值
推荐阅读
- 边城满洲里,冬日里的温暖
- 怎样成为一名合格的Python程序员?
- python 爬虫,咋获得输入验证码之后的搜索结果
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 汽车知识|冬日里的追光者——诺马迪森“征途者B”
- 轮胎|暖暖的冬日,想和这里的花儿一起怒放!
- 零基础入门学习啥语言好
- |邢台车主反映:行驶里程2600公里的新车,积碳竟像跑了10万公里
- 怎么样将家里的液晶电视和笔记本电脑连接
- 汽车知识|“大五座”SUV里的杰出代表 实拍本田UR-V