PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解
粗略回答一些吧。题主可能勿略了Empircal Bayes的‘two levels of inference’策略(其实就是迭代啦)
【PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解】 1.计算
的后验
2.Evidence最大化,此处Evidence指的是超参数的Evidence
其中第一步将从历史数据D得到的信息incorporate到的后验中
然后在第二步中将这个信息最大化以得到超参数
的estimate(其实就是最大后验啦),也就是将
积分掉(即marginalize),得到
,然后maximize
经过上面两步迭代,我们的模型也就train好了,我们认为得到的参数已经能够代表我们的模型了。
好了,开始正面回答题主的问题,书上的求导“单纯从求导的角度看,这是完全不对的”,当然是不对的啦,不过您求出一个‘从求导的角度正确’的结果试试?这些东西相互依赖,应该得不到‘closed form’的解的,所以才需要上面’两步走‘的iterative re-estimation啊!至于为啥迭代法是正确的,我是从EM的角度理解的,E就对应于此处的的求解,M在这里reduce为最大化超参数似然
而非
相对于
的期望而已。
如有错误之处,还望指正
?
推荐阅读
- 行业投资阶段服务类的B2B项目,两个产品方向,但联动,在商业计划书中两个产品并存会不会不聚焦
- 目前亚马逊中国的kindle电子书中错别字特别多,公司是否有重视这块的问题
- 《科技想要啥(what technology wants)》一书中有哪些你不同意的观点
- IPO早知道|招股书中的嘀嗒出行:网约车之外的四轮出行生态为何更具增量
- 怎么样合理使用电脑提高效率
- 亲情家族|《其实我是一条鱼》:有人为孩子解读奉献,有人从书中体会人生
- 奋斗吧小青年|童书中角色的“坏行为”,真的会带坏孩子吗?
- 超幸福一家|孩子从读图过渡读字咋这么难?我从这套书中找到几个破解小方法
- 烟雨琴殇|儿童图书中动物“异性相吸”片段引争议 作者现场回应
- 龙书中提到的“双缓冲区”在实际的编译器中有运用吗