LSTM的三个门的输出,是0-1之间的数字,还是0-1之间的向量

【LSTM的三个门的输出,是0-1之间的数字,还是0-1之间的向量】 标准的是控制的元素,即门的输出是一个向量,这个向量的维度与cell 的维度相同。

■网友
重新修改一下回答呀,就你提出的问题来说,是的那个控制向量中的元素。这里涉及到三类向量,第一个是被门控制的向量,我们给起名s=; 第二个是门向量,起名gate=; 第三个是决定门开关程度的向量(在标准LSTM中,是input和hidden layer的组合)。题主问的应该是门gate是一个数还是一个向量,如果是一个数的话,对向量s的每个元素的作用效果都是一样的; 如果是一个向量的话,则gate向量和s向量同维度,并做的是按元素相乘,得到的也是同维度输出,对于s向量的每个元素作用效果是不一样的。在标准LSTM中,用的是后者。
■网友
LSTM的三个门输出数字和向量的情况都有。门(input,forget,output)输出的维度和cell状态的维度一致即可。也就是说三个门的输出分别控制被控制向量(cell input,cell(t-1),cell(t))中的元素。举个例子,如果cell状态的维度是1,那么被控制向量(cell input,cell(t-1),cell(t))的维度也都是1,那么三个门的输出都是0-1之间的数字(选用sigmoid激活函数);如果cell状态的维度是N,那么被控制向量(cell input,cell(t-1),cell(t))的维度也分别都是N,那么三个门的输出都是0-1之间的向量(选用sigmoid激活函数),且门输出向量的维度都是N。


    推荐阅读