无人机视频的电子稳像
1.小型无人机数据介绍
1.1 图像介绍：
1. 影像航向重叠度和旁向重叠度都不够规则；
2. 像幅较小、像片数量多；
3. 影像的倾角过大且倾斜方向没有规律；
4. 航摄区域地形起伏大、高程变化显著，影像间的比例尺差异大、选偏角大；
5. 影像有明显畸变等这些情况下实现自动空三是现有数据摄影测量系统的主要挑战，在大多数下都将导致错误结果。
1.2.视频数据介绍
1. 视频飞行过程中存在高频的抖动，使得无人机拍摄的视频存在抖动；
2. 摄像机拍摄的视频帧图像存在较大畸变，对于后续数据处理存在很大问题；
3. 1080P高清视频用于目标识别跟踪，所需要处理的数据量非常大。
2. 小型无人机电子稳像作用
1. 能够去除视频中存在的抖动、晃动等因素，使得视频画面过度更加平稳，减少视觉疲劳；
2. 能够增加目标识别与跟踪的精度。
3. 电子稳像
电子稳像根据其处理方式不同可以分为实时稳像和后续稳像两种；
实时电子稳像是在无人机飞行过程中根据实时处理算法对摄像机拍摄到的视频进行实时处理；后续电子稳像是无人机在飞行结束之后对其视频进行后续处理。
3.1 实时电子稳像
3.1.1 基本原理
电子稳像不同于图像处理技术中的图像恢复,图像恢复是针对每一帧模糊的图像,而电子稳像稳定的是一个图像序列,图像序列的不稳定是由于帧与帧间图像变化在监视器上反映出来的不稳定,一个基本条件是图像序列中的每一帧是清晰的。
3.1.2常用方法
实时电子稳像常用的处理方法包括：灰度投影方法、基于图像特征方法、基于图像块方法、基于背景差法
下面我们详细介绍下灰度投影方法：
灰度投影
灰度投影方法是将二维的图像矩阵映射到一维来处理，即x，y方向分别计算，每行每列的像素值总和
分解为：
和 
计算每行每列的和，这样在行方向和列方向分别计算其前后两帧图像的相关性
如上图，相关性最大的位置也就是该方向上图像相对的偏移值，上图中u即为某方向的偏移值，这样能够方便快捷的获取X，Y方向上的偏移量，之后通过运动补偿来实现稳像。
3.2 后续电子稳像
后续电子稳像方法主要是根据视频图像所有帧的运动轨迹（局部运动）来对进行优化，获得精确地全局运动，使得图像之间的运动更加平滑，衔接性更好。
3.2.1 特点
处理精度比实时稳像高，但处理算法的计算复杂度高，处理过程消耗时间多。
3.2.2 常用算法
Google发表的稳像处理算法：
Tripod -> DP(t) = 0
Dolly or pan -> D2P(t) = 0
Ease in and out transitions -> D3P(t) = 0
通过实验验证10:1:100情况下效果最优，再加上框架约束和特征约束，最终获得优化的全局路径
微软的稳像处理算法：
该算法的核心分为两点：1）图像的分块，单一的运动模型很难拟合整张图像，将图像分为若干块分别作为一个运动模块使得图像局部拟合效果更加，这样使得图像不会出现严重的变形现象；2）图像分块角点的估算，通过视频帧图像间匹配的特征点来推算给块图像的四个角点，再通过迭代使得图像块的路径最优和图像块与块之间的衔接更加平缓。
opencv 电子稳像例子：
海中听音 