CN101540822A - 高分辨率大视场航空成像装置及其方法 - Google Patents

Abstract

本发明公布了一种高分辨率大视场航空成像装置及其方法。该装置包括四个高分辨率的摄像头、DSP、显示器和支架，拍摄方法是在DSP嵌入式开发系统中实现的，其工作过程为：首先，利用系统硬件参数计算或标定得到相邻图像重叠比例，直接剪切拼接；其次，针对直接拼接的小错位，利用去均值归一化灰度互相关算法进行矫正；最后，根据拼接区域色差均值，采用差补方法对图像进行全局校正，从而获得高分辨率大视场的航空图像。本发明实现了保证大视场的同时，可以兼顾高分辨率，从而使成像装置可以一次性拍摄到高分辨率大视场的航空图像。

Description

高分辨率大视场航空成像装置及其方法

技术领域

本发明涉及一种高分辨率大视场航空成像装置及其方法，具体用于获得高分辨率大视场航空图像。

背景技术

航空拍摄在战场侦察、森林火灾监控、资源调查、环境污染监测、自然灾害区域评估等方面有着广泛的应用。为了得到广阔、完整的实时目标场景图，急需高分辨率大视场成像方法。然而，在当前的视觉系统中，大视场与高分辨率是不可兼得的，如需获得高分辨率图像，则需牺牲大视场的要求，反之则需要降低分辨率来获得大视场。

昆虫并列型复眼中的每个小眼都是相对独立的，向着不同的方向。每个小眼只能看到整个物体的一部分，虽然单眼小、视场小，但是数量众多的单眼组成的复眼视场很开阔，有些昆虫水平视野可达240度，垂直视野可达360度。

目前，为了快速获得高分辨率的大视场航空视频图像，采用多张单独拍摄的图像序列拼接起来的方法，相对而言图像序列之间的连贯性降低。本发明受昆虫复眼的结构和视觉机理的启发，设计研制了一个能够一次性拍摄高分辨率大视场航空图像的航空成像装置。

发明内容

本发明受昆虫复眼的结构和视觉机理的启发，设计研制了多个摄像头模仿复眼中小眼的高分辨率大视场成像装置，并提出了一种仿生的直接拼接新算法。本发明是采取以下的技术方案来实现的：

高分辨率大视场航空成像装置，其特征在于：包括4个高分辨率摄像头，装置整体呈弧面，DSP与摄像头连接，DSP采集四个摄像头的视频信号，根据装置的硬件参数获得相邻两图像的重叠比例直接进行图像拼接，针对直接拼接的小错位和拼接缝处色差，利用拼接算法进行水平、垂直、旋转小错位矫正和消除色差，将四幅图像拼接成高分辨率大视场航空图像，摄像头和DSP构成图像采集和处理系统，另外还包括图像输出装置。

前述的高分辨率大视场航空成像装置，其特征在于，所述高分辨率大视场航空拍摄图像的重叠比例是，根据摄像头的水平像场角和垂直像场角，按照整体呈弧面放置摄像头，即保证相邻两个摄像头的视场有一定的重叠。根据摄像头的焦距、CCD的尺寸和相邻两摄像头之间的位置关系，通过数学建模和分析获得重叠比例与硬件参数之间的关系，即当装置的硬件参数：摄像头的焦距、CCD的尺寸和相邻两摄像头之间的位置一定时，相邻两个摄像头所得图像之间的重叠比例保持不变。根据这个关系可以通过参数计算或标定的方法，获得相邻两个摄像头所得到的图像之间的重叠比例，其推导如下：

镜头对无穷远调焦时，镜头像方主点到图像宽度张角称为镜头的水平像场角，镜头像方主点到图像高度张角称为镜头的垂直像场角。

$\mathrm{\α}=2\mathrm{arctg}\frac{a^{\′}}{2f}$ ${\mathrm{\α}}^{\′}=2\mathrm{arctg}\frac{b^{\′}}{2f}---\left(1\right)$

其中，α是镜头的水平像场角，α′是镜头的垂直像场角，a′是CCD有效宽度，b′是CCD的有效高度，f是镜头的焦距。

当两个光学参数相同，保持一定角度的摄像机对同一个方向摄像时，其视场重叠情况如图4所示。其中，图4(b)为系统的正视图；β为两视场的重叠交角；a′是CCD有效宽度，b′是CCD的有效高度，f为透镜的焦距，α为摄像系统的水平视场角；CCD2所能记录的视场如图1中“scene1”所示，CCD1所能记录的视场如图中“scene2”所示。设场景的长、宽分别为a、b，两摄像机视场重叠区域的宽度为q。

根据系统的正视图，图4(b)所示，重叠部分q所对应的CCD的长度q′为

$q^{\′}=\frac{a^{\′}}{2}-f*\tan (\frac{\mathrm{\α}}{2}-\mathrm{\β})---\left(2\right)$

CCD的长度，由式(1)得

$a^{\′}=2*f*\tan \frac{\mathrm{\α}}{2}---\left(3\right)$

由式(2)、式(3)得

$\frac{q^{\′}}{a^{\′}}=\frac{1}{2}-\frac{\tan (\frac{\mathrm{\α}}{2}-\mathrm{\β})}{2*\tan \frac{\mathrm{\α}}{2}}---\left(4\right)$

同理可得

$\frac{q^{\′}}{b^{\′}}=\frac{1}{2}-\frac{\tan (\frac{{\mathrm{\α}}^{\′}}{2}-{\mathrm{\β}}^{\′})}{2*\tan \frac{{\mathrm{\α}}^{\′}}{2}}---\left(5\right)$

高分辨率大视场航空成像装置的拼接算法，其特征在于：根据上述的相邻两个摄像头所得图像的重叠比例作为粗匹配点，利用空间域的去均值归一化灰度互相关的拼接算法，获得精匹配点。然后，采用了基于灰度的图像融合算法，消除拼接缝处的色差。

前述高分辨率大视场航空成像方法，其特征在于：包括以下步骤：

第一步，对相邻两个摄像头获得的航空图像进行拼接，即根据该两个摄像头构成的视场的重叠比例，获得两幅图像的粗匹配点，然后针对粗匹配点存在水平、垂直和旋转小错位问题，利用去均值归一化灰度互相关的算法进行矫正，得到精匹配点。最后利用基于灰度的图像融合算法，消除拼接缝处的色差，得到该两个摄像头的拼接图。

第二步，对另两个相邻摄像头获得的航空图像进行拼接，即根据另两个摄像头构成的视场的重叠比例，获得两幅图像的粗匹配点，然后针对粗匹配点存在水平、垂直和旋转小错位问题，利用去均值归一化灰度互相关的算法进行矫正，得到精匹配点。最后基于灰度的利用图像融合算法，消除拼接缝处的色差，得到另两个相邻摄像头的拼接图。

第三步，对两组相邻摄像头得到的两组拼接图进行拼接，然后针对粗匹配点存在水平、垂直和旋转小错位问题，利用去均值归一化灰度互相关的算法进行矫正，得到精匹配点。最后利用基于灰度的图像融合算法，消除拼接缝处的色差，获得高分辨率大视场航空图像，并将结果保存并显示。

至此，一个完整的高分辨率大视场航空图像获得过程执行完毕。

本发明装置及其方法实现了保证大视场的同时，可以兼顾高分辨率，从而使装置可以一次性拍摄到高分辨率大视场的航空图像。

附图说明

图1为本发明分辨率大视场航空成像装置的图像采集系统的示意图；

图2为图像采集系统四个摄像头的仰视图；

图3为图像采集系统的正视图；

图4(a)、4(b)为本发明分辨率大视场航空成像装置的数学模型；

图5为本发明高分辨率大视场航空图像拍摄方法的流程图；

具体实施方式

下面结合具体实施方式对本发明做进一步的详细说明。

参照图1所示，高分辨率大视场航空成像装置，包括用于采集图像的图像采集系统；将图像采集系统的视频信号，按相邻两图像的重叠比例直接进行图像拼接，针对直接拼接的小错位和拼接缝处色差，利用拼接算法进行水平、垂直、旋转小错位矫正和消除色差，将多幅图像拼接成高分辨率大视场航空图像的图像处理系统。

参照图2、图3所示，图像采集系统整体呈弧面为4个高分辨率摄像头10、20、30、40，图像处理系统为DSP，其与4个摄像头连接，DSP采集四个摄像头的视频信号。

图像采集系统的多个摄像头根据摄像头的水平像场角和垂直像场角，按照整体呈弧面放置，即保证相邻两个摄像头的视场有一定的重叠。根据摄像头的焦距、CCD的尺寸和相邻两摄像头之间的位置关系，通过数学建模和分析获得重叠比例与硬件参数之间的关系，即当装置的硬件参数：摄像头的焦距、CCD的尺寸和相邻两摄像头之间的位置一定时，相邻两个摄像头所得图像之间的重叠比例保持不变。根据这个关系可以通过参数计算或标定的方法，获得相邻两个摄像头所得到的图像之间的重叠比例，其推导如下：

镜头对无穷远调焦时，镜头像方主点到图像宽度张角称为镜头的水平像场角，镜头像方主点到图像高度张角称为镜头的垂直像场角。

$\mathrm{\α}=2\mathrm{arctg}\frac{a^{\′}}{2f}$ ${\mathrm{\α}}^{\′}=2\mathrm{arctg}\frac{b^{\′}}{2f}---\left(1\right)$

其中，α是镜头的水平像场角，α′是镜头的垂直像场角，a′是CCD有效宽度，b′是CCD的有效高度，f是镜头的焦距。

当两个光学参数相同，保持一定角度的摄像机对同一个方向摄像时，其视场重叠情况如图4所示。其中，图4(b)为系统的正视图；β为两视场的重叠交角；a′是CCD有效宽度，b′是CCD的有效高度，f为透镜的焦距，α为摄像系统的水平视场角；CCD2所能记录的视场如图1中“scene1”所示，CCD1所能记录的视场如图中“scene2”所示。设场景的长、宽分别为a、b，两摄像机视场重叠区域的宽度为q。

根据系统的正视图，图4(b)所示，重叠部分q所对应的CCD的长度q为

$q^{\′}=\frac{a^{\′}}{2}-f*\tan (\frac{\mathrm{\α}}{2}-\mathrm{\β})---\left(2\right)$

CCD的长度，由式(1)得

$a^{\′}=2*f*\tan \frac{\mathrm{\α}}{2}---\left(3\right)$

由式(2)、式(3)得

$\frac{q^{\′}}{a^{\′}}=\frac{1}{2}-\frac{\tan (\frac{\mathrm{\α}}{2}-\mathrm{\β})}{2*\tan \frac{\mathrm{\α}}{2}}---\left(4\right)$

同理可得

$\frac{q^{\′}}{b^{\′}}=\frac{1}{2}-\frac{\tan (\frac{{\mathrm{\α}}^{\′}}{2}-{\mathrm{\β}}^{\′})}{2*\tan \frac{{\mathrm{\α}}^{\′}}{2}}---\left(5\right)$

根据航空成像装置的示意图，如图1所示，摄像头10、20、30、40保持图像采集装置整体呈弧面放置，DSP采集四个摄像头的视频信号，根据拼接算法将四幅图像拼接成高分辨率大视场图像。即根据摄像头的焦距、CCD的尺寸和摄像头之间的夹角，通过式(4)、(5)或标定的方法获得相邻两个视场的重叠比例；根据相邻两个摄像头所得图像的重叠比例作为粗匹配点，利用空间域的去均值归一化灰度互相关的拼接算法，获得精匹配点；然后，采用了基于灰度的图像融合算法，消除拼接缝处的色差。拼接算法流程图见图5。

具体来说，包括以下步骤：

第一步，对其中的两部摄像头10、20获得的航空图像进行拼接，即根据视场1、2的重叠比例，获得两幅图像的粗匹配点，然后针对粗匹配点存在水平、垂直和旋转小错位问题，利用去均值归一化灰度互相关的算法进行矫正，得到精匹配点。最后利用基于灰度的图像融合算法，消除拼接缝处的色差，得到摄像头10，20的拼接图A。

第二步，同理，对另外两部摄像头30、40获得的航空图像进行拼接，即根据该相邻两个摄像头的视场3、4的重叠比例，获得两幅图像的粗匹配点，然后针对粗匹配点存在水平、垂直和旋转小错位问题，利用去均值归一化灰度互相关的算法进行矫正，得到精匹配点。最后基于灰度的利用图像融合算法，消除拼接缝处的色差，得到该两部摄像头的拼接图B。

第三步，对拼接图A、B进行拼接，即根据视场1、3的重叠比例，获得两幅拼接图A、B的粗匹配点，然后针对粗匹配点存在水平、垂直和旋转小错位问题，利用去均值归一化灰度互相关的算法进行矫正，得到精匹配点。最后利用基于灰度的图像融合算法，消除拼接缝处的色差，获得高分辨率大视场航空图像，并将结果保存并显示。

综上所述，针对航空拍摄急需的高分辨率大视场成像系统，本发明根据昆虫复眼结构和视觉机理，提出了高分辨率大视场航空成像系统和图像快速自动拼接算法。实验结果表明，该系统具有较好的适应性、实时性和拼接精度，可以一次性捕捉大视场高分辨率的影像，不但增强了图片的连贯性而且降低了后期处理的成本。为航空拍摄高分辨率大视场图像提供了一种新的方法。

上述具体实施方式不以任何形式限制本发明的技术方案，凡是采用等同替换或等效变换的方式所获得的技术方案均落在本发明的保护范围。

Claims (6)

1.高分辨率大视场航空成像装置，其特征在于：包括用于采集图像的图像采集系统；将图像采集系统的视频信号，按相邻两图像的重叠比例直接进行图像拼接，针对直接拼接的小错位和拼接缝处色差，利用拼接算法进行水平、垂直、旋转小错位矫正和消除色差，将多幅图像拼接成高分辨率大视场航空图像的图像处理系统，以及图像输出装置，图像采集系统与图像处理系统连接，图像输出装置与图像处理装置连接。

2、根据权利要求1所述的高分辨率大视场航空成像装置，其特征在于所述图像采集系统由4个摄像头组成，整体组成的外形呈弧面，以保证相邻两个摄像头的视场有一定的重叠。

3.一种实现权利要求2所述高分辨率大视场航空成像装置的方法，其特征在于包括以下步骤：

图像采集系统采集图像，根据摄像头的焦距、CCD的尺寸和摄像头之间的夹角，计算获得相邻两个视场的重叠比例，并传输至图像处理系统；

图像处理系统采集四个摄像头的视频信号，根据拼接算法将四幅图像拼接成高分辨率大视场图像，并输出至图像输出装置。

4、根据权利要求3所述的实现方法，其特征在于：图像处理系统采集四个摄像头的视频信号，根据拼接算法将四幅图像拼接成高分辨率大视场图像是：

首先，对相邻第一组摄像获得的航空图像进行拼接，即根据该组摄像头分别构成的视场的重叠比例，获得两幅图像的粗匹配点，然后针对粗匹配点存在水平、垂直和旋转小错位问题，利用去均值归一化灰度互相关的算法进行矫正，得到精匹配点，最后利用基于灰度的图像融合算法，消除拼接缝处的色差，得到该相邻摄像头的拼接图。

其次，对另一组相邻摄像头获得的航空图像进行拼接，即根据该相邻摄像头构成的视场的重叠比例，获得两幅图像的粗匹配点，然后针对粗匹配点存在水平、垂直和旋转小错位问题，利用去均值归一化灰度互相关的算法进行矫正，得到精匹配点，最后基于灰度的利用图像融合算法，消除拼接缝处的色差，得到另一组相邻摄像头的拼接图。

最后，对两组相邻摄像头分别构成的两幅拼接图进行拼接，获得两幅拼接图的粗匹配点，然后针对粗匹配点存在水平、垂直和旋转小错位问题，利用去均值归一化灰度互相关的算法进行矫正，得到精匹配点；最后利用基于灰度的图像融合算法，消除拼接缝处的色差，获得高分辨率大视场航空拍摄图像。

5、根据权利要求4所述的实现方法，其特征在于，所述相邻两图像的重叠比例的获得是通过按照整体呈弧面放置摄像头，使相邻两个摄像头的视场有一定的重叠而获得。

6、根据权利要求4所述的实现方法，其特征在于相邻两图像的重叠比例的计算是：

当两个光学参数相同，保持一定角度的摄像机对同一个方向摄像时，其视场产生重叠，当两个光学参数相同，保持一定角度的摄像机对同一个方向摄像时，其视场重叠比例为：

$\frac{q^{\′}}{a^{\′}}=\frac{1}{2}-\frac{\tan (\frac{\mathrm{\α}}{2}-\mathrm{\β})}{2*\tan \frac{\mathrm{\α}}{2}}$ $\frac{q^{\′}}{b^{\′}}=\frac{1}{2}-\frac{\tan (\frac{{\mathrm{\α}}^{\′}}{2}-{\mathrm{\β}}^{\′})}{2*\tan \frac{{\mathrm{\α}}^{\′}}{2}}---\left(1\right)$

其中，α是镜头的水平像场角，α′是镜头的垂直像场角，a′是CCD有效宽度，b′是CCD的有效高度，q′采集重叠视场的CCD长度，β为相邻两视场之间的交角。

Images