在深度学习中，当数据量不够大时候，常常采用下面4中方法 - 好文

深度学习中的Data Augmentation方法（转）基于keras
<https://www.cnblogs.com/love6tao/p/5841648.html>

https://www.cnblogs.com/love6tao/p/5841648.html
<https://www.cnblogs.com/love6tao/p/5841648.html>

在深度学习中，当数据量不够大时候，常常采用下面4中方法：

1. 人工增加训练集的大小。通过平移，翻转，加噪声等方法从已有数据中创造出一批“新”的数据。也就是数据增强

2. 正规化。数据量比较小会导致模型过拟合，使得训练误差很小而测试误差特别大。通过在Loss Function后面加上正则项可以抑制过拟合的产生。
缺点是引入了一个需要手动调整的超参数。详见 https://www.wikiwand.com/en/Regularization_(mathematics)3

<https://link.zhihu.com/?target=https%3A//www.wikiwand.com/en/Regularization_%28mathematics%29>

。辍学。这也是一种正则化手段。不过跟以上不同的是它通过随机将部分神经元的输出置零来实现。详见
http://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf
<https://link.zhihu.com/?target=http%3A//www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf>

4. 无监督预训练。用Auto-Encoder或者RBM的卷积形式一层一层地做无监督预训练，最后加上分类层做有监督的微调。参考
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.207.1102&rep=rep1&type=pdf

<https://link.zhihu.com/?target=http%3A//citeseerx.ist.psu.edu/viewdoc/download%3Fdoi%3D10.1.1.207.1102%26rep%3Drep1%26type%3Dpdf>

下面我们来讨论数据扩充：

不同的任务背景下，我们可以通过图像的几何变换，使用以下一种或多种组合数据增强变换来增加输入数据的量。
这里具体的方法都来自数字图像处理的内容，相关的知识点介绍，网上都有，就不一一介绍了。

* 旋转| 反射变换（Rotation / reflection）：随机旋转图像一定角度; 改变图像内容的朝向;
* 翻转变换（flip）：沿着水平或者垂直方向翻转图像;
* 缩放变换（zoom）：按照一定的比例放大或者缩小图像;
* 平移变换（shift）：在图像平面上对图像以一定方式进行平移;
可以采用随机或人为定义的方式指定平移范围和平移步长，沿水平或竖直方向进行平移。改变图像内容的位置;
* 尺度变换（scale）：对图像按照指定的尺度因子，进行放大或缩小; 或者参照SIFT特征提取思想，利用指定的尺度因子对图像滤波构造尺度空间。
改变图像内容的大小或模糊程度;
* 对比度变换（对比）：在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变。
对每个像素的S和V分量进行指数运算（指数因子在0.25到4之间），增加光照变化;
* 噪声扰动（noise）：对图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声;
* 颜色变换（颜色）：在训练集像素值的RGB颜色空间进行PCA，得到RGB空间的3个主方向向量，3个特征值，p1，p2，p3，λ1，λ2，λ3。
对每幅图像的每个像素积Ixy = [IRxy，IGxy，IBxy] T，进行加上如下的变化：
[P1，P2，P3] [α1λ1，α2λ2，α3λ3] T ...

其中：的αi是满足均值为0，方差为0.1的随机变量。

代码实现

作为实现部分，这里介绍一下在蟒蛇环境下，利用已有的开源代码库Keras作为实践：

<>
1 # -*- coding: utf-8 -*- 2 __author__ = 'Administrator' 3 4 # import
packages 5 from keras.preprocessing.image import ImageDataGenerator,
array_to_img, img_to_array, load_img 6 7 datagen = ImageDataGenerator( 8
rotation_range=0.2, 9 width_shift_range=0.2, 10 height_shift_range=0.2, 11
shear_range=0.2, 12 zoom_range=0.2, 13 horizontal_flip=True, 14
fill_mode='nearest') 15 16 img =
load_img('C:\Users\Administrator\Desktop\dataA\lena.jpg') # this is a PIL
image, please replace to your own file path 17 x = img_to_array(img) # this is
a Numpy array with shape (3, 150, 150) 18 x = x.reshape((1,) + x.shape) # this
is a Numpy array with shape (1, 3, 150, 150) 19 20 # the .flow() command below
generates batches of randomly transformed images 21 # and saves the results to
the `preview/` directory 22 23 i = 0 24 for batch in datagen.flow(x, 25
batch_size=1, 26
save_to_dir='C:\Users\Administrator\Desktop\dataA\pre',#生成后的图像保存路径 27
save_prefix='lena', 28 save_format='jpg'): 29 i += 1 30 if i > 20:
#这个20指出要扩增多少个数据 31 break # otherwise the generator would loop indefinitely
<>

主要函数：ImageDataGenerator　实现了大多数上文中提到的图像几何变换方法。

* rotation_range：旋转范围，随机旋转（0-180）度;
* width_shift and height_shift：随机沿着水平或者垂直方向，以图像的长宽小部分百分比为变化范围进行平移;
* rescale：对图像按照指定的尺度因子，进行放大或缩小，设置值在0 - 1之间，通常为1/255;
* shear_range：水平或垂直投影变换，参考这里 <https://en.wikipedia.org/wiki/Shear_mapping>
https://keras.io/preprocessing/image/
* zoom_range：按比例随机缩放图像尺寸;
* horizontal_flip：水平翻转图像;
* fill_mode：填充像素，出现在旋转或平移之后。
效果如下图所示：

转载于：HTTP：//blog.csdn.net/mduanfire/article/details/51674098

为什么要做变形，或者说数据增强。从这个网站可以看出http://scs.ryerson.ca/~aharley/vis/conv/手写字符稍微变形点，就有可能识别出错，因此数据增强可以生成一些变形的数据，让网络提前适应

查看代码

查看代码

https://github.com/mdbloice/Augmentor

热门工具换一换