LSTM的三个门的输出,是0-1之间的数字,还是0-1之间的向量
【LSTM的三个门的输出,是0-1之间的数字,还是0-1之间的向量】 标准的是控制的元素,即门的输出是一个向量,这个向量的维度与cell 的维度相同。
■网友
重新修改一下回答呀,就你提出的问题来说,是的那个控制向量中的元素。这里涉及到三类向量,第一个是被门控制的向量,我们给起名s=; 第二个是门向量,起名gate=; 第三个是决定门开关程度的向量(在标准LSTM中,是input和hidden layer的组合)。题主问的应该是门gate是一个数还是一个向量,如果是一个数的话,对向量s的每个元素的作用效果都是一样的; 如果是一个向量的话,则gate向量和s向量同维度,并做的是按元素相乘,得到的也是同维度输出,对于s向量的每个元素作用效果是不一样的。在标准LSTM中,用的是后者。
■网友
LSTM的三个门输出数字和向量的情况都有。门(input,forget,output)输出的维度和cell状态的维度一致即可。也就是说三个门的输出分别控制被控制向量(cell input,cell(t-1),cell(t))中的元素。举个例子,如果cell状态的维度是1,那么被控制向量(cell input,cell(t-1),cell(t))的维度也都是1,那么三个门的输出都是0-1之间的数字(选用sigmoid激活函数);如果cell状态的维度是N,那么被控制向量(cell input,cell(t-1),cell(t))的维度也分别都是N,那么三个门的输出都是0-1之间的向量(选用sigmoid激活函数),且门输出向量的维度都是N。
推荐阅读
- 大学再有三个月就结束了,没学到知识,参加一个软件测试培训机构好吗
- 宝宝|长大大多是“有福之人”,占一点也很好宝宝身上这三个部位越大
- |邳州市岔河镇探索创新工作方法以“三个凝聚”助力统战工作提质增效
- 销量|哈弗三杰太强悍,三车型销量破8万辆,还有谁?
- 孩子|和在夏天出生哪个更好?冬天生三个优势遥遥领先孩子在冬天出生
- 雷克萨斯ES|37.4万提了雷克萨斯ES,用车三个月时间,车主有话说
- 趣头条|2021款大众朗逸实车到店,内饰很大方,轴距2688mm,动力输出稳定
- 老易聊车|这代步车再度刷新纪录!三个月销量近7万台,不足3万就能买
- 怎样看待斗鱼拖欠小主播三个月工资的事件
- 汽车|三个关键词,告诉你宝马iX3比奔驰EQC强在哪?