信息到底是什么? 什么是信息


信息到底是什么? 什么是信息

文章插图
什么是信息(到底什么是信息?)
牛顿的激光火焰剑理论如果非要用一个词来形容我们的时代,那应该是:信息时代 。
在此之前,瓦特的蒸汽机开启了蒸汽时代,有了电和磁的知识,人类进入了电时代 。如今,由于人类对信息的探索,人类开始了信息时代 。在信息时代,有伟大的发明家和科学家,如发明电报的莫尔斯,发明电话的贝尔,发明无线电技术的马可尼等等 。
莫尔斯的自画像
但一直有一个问题困扰着科学家,那就是:如何测量信息?
比如我们常说:信息量这么大 。什么样的信息是大量信息?其实谁也说不准 。
如果我们梦想回到牛顿的时代,就会发现在牛顿的巨著《自然哲学的数学原理》中,前十几页只做了一件事,就是给它下定义 。

现在我们熟悉了很多概念,比如密度、质量、力 。都是由牛顿定义的 。
牛顿的定义不同于一般的定义 。他的定义使得这些物理量能够被测量和量化 。
与伟大的牛顿力学相比,牛顿为物理学开拓的研究方法奠定了现代物理学的基础 。数学家Mike Alder曾在一篇文章中总结提出:牛顿的烈焰Las信息资源网er剑 。
译文是牛顿的激光火焰剑理论,具体内容是:
一切不能实验和观察的东西都不值得争论 。

所以对于科学来说,定义和观察非常重要,有七个国际单位 。当然还有其他不在其中的,但是可以通过七个国际单位引进 。

信息论因此,信息论要成为一门科学,首先必须确立信息的定义,它是可以量化和测量的,它必须有一个可靠的单位 。
其实科学家都知道这个道理,只是实施起来真的很难 。很多科学家尝试过很多方法,比如通过比较信息的重要性来衡量信息,但都失败了 。
直到1948年,一位天才发表了一篇名为《通信的数学原理》的文章,对信息给出了非常详细的定义,而这篇文章也彻底奠定了现代信息论的基础,一直沿用至今 。这位天才作家的名字叫克劳德·艾尔伍德·香农 。

信息的基本单位:比特那么香农是如何解决这个问题的呢?
香农认为:
一个事物的信息量取决于它克服了多少不确定性 。
比如我和你有一个很好的朋友 。他通常早上10点到公司,晚上10点回家 。有一天,我告诉你:他今晚11点会在家 。这句话对你来说其实是一句废话,信息量为零 。这是因为,如你所知,此刻他可能在家 。因此,事故或不确定性就是信息 。
因此,香农将信息的定量测量与不确定性联系起来,给出了信息的基本单位:比特 。
我们可以这样理解比特 。如果抛一枚理想的硬币,正面和反面的概率完全相同 。为了找出它是正的还是负的,你需要1比特的信息 。

如果这枚硬币不是理想硬币,但正面信息资源网较重,则有较大概率出现硬币翻转过来,反面朝上的情况 。此时,要找出正面朝上还是背面朝上,所需信息应小于1位 。这是因为你猜中结果的概率更高 。
如果稍微复杂一点,假设你在做选择题 。有4个选项 。如果你想确定这个问题的最终答案,你需要多少比特的信息?
可能很多人的第一反应是:4位 。其实这是不对的 。要知道,你不会傻到一次问对方一个选项(通过信息消除不确定性的过程) 。
如果你聪明,你会采取二分法,
你可以先问:答案是在A和B之间吗?
如果对方回答:是的 。
那么你只需要在A和B之间再问一次:答案是A吗?
如果对方回答:是的 。
那么你已经确定了结果是A,整个过程你只用了2比特的信息 。
同理,如果你先问:答案是在A和B之间吗?
如果对方回答:没有 。
那实际上排除了A和B,答案在C和D,所以你只需要再问一遍:答案是C吗?
如果对方回答:没有 。
那么你已经确定结果是D,整个过程仍然使用2比特的信息 。
你甚至可以把比特想象成人民币,假设一个比特是一块钱,每做一次选择都要花一块钱 。如果你想解决抛理想硬币的问题,你只需要一块钱就可以做到 。而如果四选一,就需要两块钱 。
所以,现在你应该明白了吧?其实信息是用来消除不确定性的 。但是问题又来了 。会消除哪些不确定性?
答案:信息来源 。
这个信息源其实指的是抛硬币本身,是不确定的,可能是正面的,也可能是负面的 。信息源的不确定性称为信息熵 。所以,我们可以知道,


推荐阅读