tensorflow中怎样实现自己特定要求的网络层，例如一个稀疏结构的全连接，固定一些权值w为0
这个不太清楚，我可能得去查查文档才行，不过我这里有很大的疑问， FC 稀疏的话不是会浪费计算资源吗？inception 里面都设计专门的结构来减少FC的稀疏性， 什么样的场景希望FC的weights是要稀疏的？
■网友
稀疏的全连接层我想了好久还没理解物理含义，如果是避免过拟合临时弃用隐节点，dropout应该是更好的方案，如果是希望输入层的部分weights为0，那么这部分特征不作为输入即可。至于如何定义一个新的网络结构，我提供些思路。如果是类似全连接层，我们其实并没有调用TensorFlow类似tf.full_connect()这样的接口，而是使用tf.mul()和tf.add()的矩阵运行，因为矩阵运算是全部相乘因此矩阵中的参数也就是全连接层的weights。你可以很容易实现一个类似全连接层的网络结构，例如X * weights + 2 * bias，这是全连接的变形，我们每次都加上两个bias（实际上并没有特别的效果）。如果是RNN或者LSTM新的网络结果，我们通过TensorFlow封装的tf.rnn()库也可以看到具体的实现，这里我们需要用Python定义一个新的op，在Python或C++层实现这个op的forward计算和gradient计算，推荐参考StackOverflow这个提问 Tensorflow: How to make a custom activation function with only python? 。实现新的op，我们可以在定义网络的任意一部分调用，例如前面链接是实现一个新的激活函数，我们也可以实现任意的矩阵运算或者是类似RNN的包含状态的运算，当然如果是Google paper中提到的算法和模型很快也会有Google开发者实现的op供大家直接使用。
■网友
可以在损失函数中加上惩罚项进行稀疏约束，一般用KL散度作为惩罚项
推荐阅读
- 聪明人养花，这3种“花”怎样也要养一盆，每年能省不少医药费
- 北京22家市属医院均开展安检基本实现重点区域安检措施全覆盖
- 长江流域渔民退捕“上岸”实现扩产新致富
- 实现“甜蜜计划”，这对中哈跨国夫妻好甜
- 北京地铁11号线西段三座车站提前实现主体结构封顶
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起，QQ钱包开始提现收费
- 银行it人怎样转型
- 汽车|冬天怎样让车内温度快速升高？座椅加热的最佳使用方式二，外循环的作用总结
- 怎样进入通信行业