【论文学习】Two-Stream总结

最近研究two stream网络，顺便整理一下，

未完待续

2017/12/08

1、14年Two-stream convolutional networks for action recognition in videos

首次提出two stream网络，主要分为两个流，空间流处理静止图像帧，得到形状信息，时间流处理连续多帧稠密光流，得到运动信息。两个流最后经过softmax后，做分类分数的融合，可以采用平均法或者是SVM。不过这两个流都是二维卷积操作。

论文没有公开源代码。

2、15年Towards Good Practices for Very Deep Two-Stream ConvNets

同样是two stream网络，空间流是224x224x3，时间流是224x224x10。最后在训练时做了几个策略：

预训练：空间流在ImageNet上预训练，时间流中的光流转换为0-255灰度图，在ImageNet上预训练。

更小的learning_rate：时间为0.005，每1万次迭代减少1/10，3万次停止。空间为0.001，每4000次迭代减少1/10，1万次停止。

more data—data argumentation：由于数据集过小的原因，采用裁剪增加数据集，4个角和1个中心，还有各种尺度的裁剪。从{26,224,192,168}中选择尺度与纵横比进行裁剪。

high dropout rate：

多GPU训练

此论文有公开源代码，用的是PyTorch写的。

3、16年Temporal Segment Networks Towards Good Practices for Deep Action Recognition

和上一篇是同一批作者，应该是把上一篇的内容丰富了一些，但还没有具体去看。上一篇5页，这一篇17页，后面再说吧。

提出两点贡献：

提出一个temporal segment network(TSN)网络，基于视频的动作识别网络，结合了稀疏时间采样策略，和大规模时间结构建模。（将视频分成K个序列，随机抽取一个，网络在所有的序列上共享参数）

一系列优化的策略，估计跟上一篇差不太多。

4、16年Convolutional Two-Stream Network Fusion for Video Action Recognition

此论文有公开源代码，用的是MATLAB。

5、17年Hidden Two-Stream Convolutional Networks for Action Recognition

此论文有公开源代码，用的是Caffe。

6、16年利用CNN生成光流图像FlowNet 2.0 Evolution of Optical Flow Estimation with Deep Networks