江苏龙网

  1. 首页 > 生活 > >

香农互信息可能随着信号的检测精度的提高而下降吗

有限量化等级下，可以认为这是原有信道(模拟信道)的一个简化（数字信道），中间本身折损了一部分信道容量（信息处理只会让信息越变越少，噪声越变越多）。提升量化等级当然可以减少这里信道容量的损失。此外互信息这个概念我有理由相信在题主的问题范畴内其实是个没有什么用的东西，恕我直言因为我不相信题主所涉的问题能够建立稳定和可信的信源和信道分布模型。
■网友
互信息的定义：
【香农互信息可能随着信号的检测精度的提高而下降吗】 I(X,Y)=H(X)-H(X|Y)
其中H(X)是X的熵也就X的不确定性，H(X|Y)表示知道Y的情况下对X的不确定性，这样来看的话，互信息是知道Y的情况下对X的不确定的减小，换言之就是： 互信息在检测X这个问题上 Y能够提供的信息量，这个值是由信道本身决定的。 在一定的信道条件下，互信息量是任何检测方法能挖掘的信息量最大值，所以互信息是Y所蕴藏的信息上限。在同样的信道条件下， 提高检测精度意味着更加逼近这个上限。检测精度越高你就从Y里边挖到的信息越多，但Y所包含的关于X的信息（即X和Y的互信息）本身是不会变的。

■网友
题主描述的情况可以建模成X --\u0026gt; Y --\u0026gt; Z，其中X是最初的神经元活动，Y是采样信号，Z是最后的观察信号，感觉楼主描述的是Y和Z之间的互信息，在这种情况下是可能的。下面是我自己的理解：从奈奎斯特采样定理，由于X是一个波动很快的信号，那么这时候的采样频率要至少是X的最高频率的两倍，才可以从Y中完整回复出X，所以采样这时候X和Y的互信息是先上升后大概不变的过程：当采样频率不够奈奎斯特采样频率的时候，即便采用更高的频率，X和Z之间的互信息可能增长不是很多，从而导致Y和Z之间的互信息下降；反之频率大于奈奎斯特采样频率时，准确的精度供处理，才会出现Y和Z之间的互信息上升。供讨论
■网友
理论上当然可能，跟R，S的相关性有关~
■网友
这个问的很具体啊，信息论不是我擅长的，谢谢亲的邀请。
■网友
听女人抱怨是一个很典型的例子：提高检测精度（不是一边DOTA一边听，而是拿起抱枕开始茶话会），你的确能获得更精准的情报，但是伴随而来的是更多无关的blablabla.最终你无法忍受这种低效率的沟通方式，而重新打开了电脑：）


    推荐阅读


    上一篇：关于红旗Linux奇虎360合作 推国产自主操作系统你咋看?

    下一篇：能不能实现一个简单廉价的电路，能够反馈由一个发射器发出的特定的电磁信号并被信号发射器接收