江苏龙网

  1. 主页 > 生活百科 > >

布朗运动实验视频 布朗运动

布朗运动(布朗运动实验视频)
梯度下降算法是机器学习中最流行的优化技术之一 。有三种:批量梯度下降(GD)、随机梯度下降(SGD)和小批量梯度下降(每次迭代用于计算损失函数梯度的数据量不同) 。
本文旨在描述基于朗之万动力学(Langevin dynamics，LD)的全局优化器的研究进展 。它起源于20世纪初阿尔伯特·爱因斯坦和保罗·朗之万关于统计力学的著作 。
我将从理论物理的角度提供一个优雅的解释，为什么梯度下降的变化是一个有效的全局优化器 。
奇迹的一年没有迹象表明一场革命即将发生 。1904年，如果阿尔伯特·爱因斯坦放弃了物理学，他的科学家同事可能都不会注意到 。幸运的是，这种情况并没有发生 。1905年，这位年轻的专利局职员发表了四篇革命性的论文 。

艾伯特 。爱因斯坦
流体中的随机运动在其中一篇论文中，爱因斯坦推导出了所谓的布朗运动模型，即液体中悬浮颗粒的随机运动，这种运动是由与更小的快速运动的分子(如水中运动的花粉颗粒)的碰撞引起的 。

布朗运动:尘埃粒子和气体分子之间的碰撞
在这篇论文中，他证实了原子和分子的存在，从而诞生了物理学的一个新分支——分子动力学，开创了应用数学的一个全新领域——随机微积分 。
朗之万动力学1908年，在爱因斯坦发表其里程碑式的论文三年后，法国物理学家保罗·朗之万发表了另一篇开创性的文章，他在文章中总结了爱因斯坦的理论，并发展了一个描述布朗运动的新微分方程，即今天的朗之万方程(le):

其中x是运动粒子的位置，m是其质量，r表示一个(随机)力与一个更小的快速运动的流体分子产生碰撞(见上面的动画)，f表示任何其他外力 。随机力R是δ相关的平稳高斯过程，其均值和方差如下:

r是正常过程 。
术语“增量相关”意味着不同时间的两个力是零相关的 。LE是描述非平衡热力学的第一个数学方程 。

法国物理学家保罗·朗之万
如果粒子的质量足够小，我们可以把左边设为零 。另外，我们可以用一些势能的导数来表示一个(保守的)力 。我们得到:

小朗之万质量方程
写作:

其中δt是带有移动项的小时间间隔，我们得到小质量粒子的离散朗之万方程:

小惯性粒子的离散朗之万方程 。
这样，朗之万方程描述了经历布朗运动的粒子的增量位移 。
布朗运动的Python代码为了模拟二维离散布朗过程，采用了两个一维过程 。步骤如下:
首先，选择时间步数的“步数” 。
坐标x和y是随机跳跃的累积和(函数np.cumsum()用于计算它们) 。
中点x和y是通过使用np.interp()插值计算的 。
然后用plot()函数绘制布朗运动 。
代码是:
将numpy作为np导入
将matplotlib.pyplot作为plt导入
%matplotlib inlinesteps = 5000
随机种子(42)
x，y = NP . cumsum(NP . random . randn(steps))、NP . cumsum(NP . random . randn(steps))点数= 10
IP =λx，步数，点数:np.interp(np.arange(步数*点数)，
np.arange(步骤)*点数，
x)
x，Y = ip(x，步数，点数)，ip(y，步数，点数)fig，ax = plt.subplots(1，1，figsize=(10，10))
ax.set_title('布朗运动')
ax.set_xlabel('x ')
ax.set_ylabel('y ')
ax.plot(X，Y，color='blue '，
marker='o '，markersize=1)

布朗运动图
朗之万动力学与全局极小值朗之万动力学的一个重要性质是随机过程x(t)(其中x(t)服从上面给出的朗之万方程)的扩散分布p(x)收敛于平稳分布，即普遍存在的玻尔兹曼分布(BD) 。

麦克斯韦-玻耳兹曼分布
它集中在势能E(x)的全局极小值附近(从它的泛函形式我们很容易看出BD峰在势能E(x)的全局极小值处) 。更准确地说，如果温度以不连续的步骤缓慢降至零:

那么p(x)在n较大时收敛到玻尔兹曼分布(x收敛到E(x)的全局最小值) 。朗之万方程的时变温度通常被解释为描述亚稳态物理状态向系统基态(即能量的全局极小值)的衰变 。因此，我们可以使用朗之万动力学来设计算法，使它可以是潜在的非凸函数的全局最小化 。
该原理是模拟退火技术的基础，用于获得近似的全局最优函数 。

模拟退火在求最大值中的应用 。
梯度下降算法现在我将转向机器学习优化算法 。
梯度下降是一种简单的迭代优化算法，用于最小化(或最大化)函数 。在机器学习的背景下，这些函数是损失函数 。具体来说，考虑一个多元损失函数L(w)，定义围绕某个固定点P的所有点W，GD算法基于一个简单的性质，即从任意点P开始，函数L(w)在其负梯度方向衰减最快:


推荐阅读


上一篇：单网卡共享上网 共享卫士

下一篇：不动产房屋征收补偿标准 不动产权证