PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解

粗略回答一些吧。题主可能勿略了Empircal Bayes的‘two levels of inference’策略(其实就是迭代啦)
【PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解】 1.计算PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解
的后验PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解
2.Evidence最大化,此处Evidence指的是超参数的EvidencePRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解

其中第一步将从历史数据D得到的信息incorporate到的后验中PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解
然后在第二步中将这个信息最大化以得到超参数PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解
的estimate(其实就是最大后验啦),也就是将PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解
积分掉(即marginalize),得到PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解
,然后maximize
经过上面两步迭代,我们的模型也就train好了,我们认为得到的参数已经能够代表我们的模型了。
好了,开始正面回答题主的问题,书上的求导“单纯从求导的角度看,这是完全不对的”,当然是不对的啦,不过您求出一个‘从求导的角度正确’的结果试试?这些东西相互依赖,应该得不到‘closed form’的解的,所以才需要上面’两步走‘的iterative re-estimation啊!至于为啥迭代法是正确的,我是从EM的角度理解的,E就对应于此处的的求解,M在这里reduce为最大化超参数似然PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解
而非PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解
相对于PRML(MLAPP)书中关于线性回归的 Empirical Bayes 推导要怎样理解
的期望而已。
如有错误之处,还望指正
?


    推荐阅读