[go: up one dir, main page]

CN111818262B - 图像重建方法及装置 - Google Patents

图像重建方法及装置 Download PDF

Info

Publication number
CN111818262B
CN111818262B CN202010649902.3A CN202010649902A CN111818262B CN 111818262 B CN111818262 B CN 111818262B CN 202010649902 A CN202010649902 A CN 202010649902A CN 111818262 B CN111818262 B CN 111818262B
Authority
CN
China
Prior art keywords
focus
long
image
short
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010649902.3A
Other languages
English (en)
Other versions
CN111818262A (zh
Inventor
杜斌
马士杰
杨志翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Network Co Ltd
Original Assignee
Hangzhou Ezviz Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Network Co Ltd filed Critical Hangzhou Ezviz Network Co Ltd
Priority to CN202010649902.3A priority Critical patent/CN111818262B/zh
Publication of CN111818262A publication Critical patent/CN111818262A/zh
Priority to ES21837695T priority patent/ES2998242T3/es
Priority to EP21837695.2A priority patent/EP4164209B1/en
Priority to PCT/CN2021/105023 priority patent/WO2022007851A1/zh
Priority to US18/004,209 priority patent/US11778327B2/en
Application granted granted Critical
Publication of CN111818262B publication Critical patent/CN111818262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提出图像重建方法及装置。方法包括：当满足长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；接收到变焦请求，对当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集；对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像。本发明实施例既保留了短焦图像的大视场的优点，又提高了清晰度。

Description

图像重建方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及图像重建方法及装置。
背景技术
由于短焦相机视场角大，长焦相机视场角小，当用相同规格的图像传感器采集图像时，长焦图像的清晰度高短焦图像的清晰度低。为了融合两个焦段图像做成变焦的效果，需要用软件的方法提高图像空间分辨率，即超分辨率算法。
超分辨率指的是将低分辨率图像重建出相应的高分辨率图像。现有的超分辨率算法一般有单帧超分辨算法和参考高清图像的超分辨率算法。单帧超分辨算法对图像的提高效果有限且算法复杂度一般较高。
利用高清参考图像的超分辨率方法充分利用参考图像和待处理图像的优势合成高品质图像。现有方案中，是利用长短焦双焦相机，同时采集大视场广角图像和高清长焦图像，然后利用广角相机和长焦相机视场重叠部分，将长焦图像的高分辨率信息迁移到短焦图像的可修复区域，并以修复后的短焦图像为基础进行数字变焦。这种方法比较适用于短焦图像中与长焦图像重叠区域与其他区域画面比较接近的场景，但是，如果图像画面各部分存在重大差别，局部信息的指导意义并不大，甚至造成错误，导致画面效果更差。
发明内容
本发明实施例提出图像重建方法及装置，以在保留双目长短焦云台摄像机采集的短焦图像的大视场的优点的前提下，提高短焦图像的清晰度。
本发明实施例的技术方案是这样实现的：
一种图像重建方法，该方法包括：
当满足预设长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠；
接收到变焦请求，对所述双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；
对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小配准；
对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；
分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像；
其中，双目长短焦云台摄像机由短焦相机和长焦相机构成，且短焦相机和长焦相机的相对位置固定且同时随云台旋转。
所述分别将第二短焦图像中的每个分块与该分块的匹配块进行融合包括：
提取每个分块的匹配块的高频分量，分别将每个分块与该分块的匹配块的高频分量进行融合。
所述分别将第二短焦图像中的每个分块与该分块的匹配块的高频分量进行融合包括：
根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重；
分别将每个匹配块的高频分量乘以对应的融合权重后再与对应的分块叠加，得到短焦重建图像。
所述根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重包括：
计算
Figure BDA0002574559920000031
其中，Wk为第二短焦图像的第k个分块的匹配块的融合权重，
Figure BDA0002574559920000032
Sk为第二短焦图像的第k个分块与匹配块的相似度，
Figure BDA0002574559920000033
Smax为第二短焦图像的所有分块与匹配块的相似度中的最大值，α为预设值。
所述分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块包括：
根据采集第一短焦图像时的云台角度、采集第一长焦图像集中的每一帧长焦图像的云台角度、以及短焦镜头和长焦镜头的视场差，分别为第二短焦图像的每个分块在第二长焦图像集的所有长焦图像中搜索位置匹配的匹配块；
或者，采用预设的模板匹配算法，分别为每个分块在第二长焦图像集的所有长焦图像中搜索图像相似度最高的匹配块。
所述提取第二短焦图像中的每个分块的匹配块的高频分量包括：
对该匹配块在第二长焦图像集中所在的长焦图像进行降采样，使得降采样后的图像分辨率与第一短焦图像的分辨率相同，再对降采样后的图像进行插值，使得插值后的图像分辨率等于第二短焦图像的分辨率，将该匹配块减去该匹配块在插值后的图像中的对应块得到该匹配块的高频分量。
所述满足预设长焦图像集采集条件包括：
当双目长短焦云台摄像机开机时，或者，当前采集到的短焦图像的测光值与最近一次采集的长焦图像集中的长焦图像的测光值的差值大于预设第一阈值，或者，当前采集的短焦图像与最近一次采集的长焦图像集中的一长焦图像在同一位置的分块的图像相似度小于预设第二阈值。
所述满足预设长焦图像集采集条件之后、驱动双目长短焦云台摄像机的云台在整个视场范围内转动之前进一步包括：
判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求，且判定结果为是；
且，当判定结果为否时，等待预设时长后，返回所述判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求的动作。
一种图像重建装置，该装置包括：存储器以及可访问存储器的处理器，该存储器存储指令，该指令在由处理器执行时使得处理器执行如上任一所述的方法的步骤。
一种双目长短焦云台摄像机，包括：短焦相机、长焦相机以及云台，其中，短焦相机和长焦相机的相对位置固定且同时随云台旋转；
且，短焦相机和长焦相机分别具有与图像重建装置通信的接口，并分别通过各自的通信接口将各自采集的原始短焦图像和原始长焦图像发送给图像重建装置。
本发明实施例中，为短焦图像中的每一分块在长焦图像中搜索匹配块，然后将匹配块与短焦图像中的分块融合，来得到短焦重建图像，从而短焦重建图像既保留了短焦图像的大视场的优点，又提高了清晰度。
附图说明
图1为本发明实施例提供的双目长短焦云台摄像机的短焦镜头和长焦镜头的视场关系；
图2为本发明一实施例提供的图像重建方法流程图；
图3为本发明另一实施例提供的图像重建方法流程图；
图4为本发明实施例提供的短焦图像覆盖的视场与云台位置的关系示例图；
图5为本发明实施例提供的图像重建装置的结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
为方便理解，首先给出以下解释：
焦距：指从透镜中心到光聚集之焦点的距离，一般6mm(毫米)以上称为长焦，6mm以下称为短焦。
无极旋转：没有限位，可以在指定方向一直旋转。
图像拼接融合指的是将存在公共部分的两张图像拼为一张起到扩大视场角或提高清晰度的作用。例如：在双目长短焦云台摄像机的监控场景下，根据长焦图像与短焦图像的公共部分，以长焦图像替换短焦图像中二者的公共部分，以同时利用短焦相机视场大的优点和长焦相机清晰度高的优点。但是当画面放大时，来自短焦图像部分的清晰度低的问题会越来越明显。为了解决该问题，本发明给出如下解决方案：
本发明实施例首先提出了一种双目长短焦云台摄像机，云台可以水平和垂直旋转，有两颗镜头和两颗传感器，短焦传感器与短焦镜头构成短焦相机，短焦镜头的视野较大，能够覆盖较大的监控范围，长焦传感器与长焦镜头构成长焦相机，长焦镜头的视野较小，但是清晰度较高。
本发明实施例提出的双目长短焦云台摄像机，短焦镜头和长焦镜头的相对位置固定，光轴平行且尽量接近。该双目长短焦云台摄像机的云台可以水平无极旋转，垂直0到-90度旋转，在这种情况下，短焦镜头的水平视场角为120度，垂直视场角为68度，长焦镜头的水平视场角为30度，垂直视场角为17度。且有陀螺仪检测云台位置。长、短焦传感器的分辨率可以是相同的，也可以是不同的。不过要保证长焦镜头的画面的分辨率，建议长焦传感器的分辨率在1080P及以上。
短焦镜头和长焦镜头的视场关系如图1保持不变。如图1所示，中心小矩形包含的区域是长焦镜头的视场，外侧大矩形包含的区域是短焦镜头的视场。
图2为本发明一实施例提供的图像重建方法流程图，其具体步骤如下：
步骤201：当满足预设长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠。
步骤202：接收到变焦请求，对双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像。
步骤203：对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小配准。
由于长焦镜头的视野小于短焦镜头的视野，因此，对于同一目标，其在长焦图像中的大小是大于在短焦图像中的大小的，要将长、短焦图像融合，必须将第一长焦图像集中的长焦图像缩小，以使得长焦图像中的同一目标的大小与该目标在第二短焦图像中的大小相同。
步骤204：对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块。
步骤205：分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像。
其中，双目长短焦云台摄像机由短焦相机和长焦相机构成，且短焦相机和长焦相机的相对位置固定且同时随云台旋转。
通过上述实施例，为短焦图像中的每一分块在长焦图像中搜索匹配块，然后将匹配块与短焦图像中的分块融合，来得到短焦重建图像，从而短焦重建图像既保留了短焦图像的大视场的优点，又提高了清晰度。
一可选实施例中，步骤205中，分别将第二短焦图像中的每个分块与该分块的匹配块进行融合包括：提取第二短焦图像中的每个分块的匹配块的高频分量，分别将第二短焦图像中的每个分块与该分块的匹配块的高频分量进行融合。
上述实施例中，通过提取匹配块的高频分量，从而保留了长焦图像中的轮廓或细节部分，将匹配块的高频分量与第二短焦图像中的分块进行融合，从而能够弥补短焦图像细节不清晰的缺陷，提高了短焦重建图像的清晰度。
一可选实施例中，分别将第二短焦图像中的每个分块与该分块的匹配块的高频分量进行融合包括：根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，计算每个匹配块的融合权重；分别将每个匹配块的高频分量乘以对应的融合权重后再与对应的分块叠加，得到短焦重建图像。
上述实施例中，当匹配块与其对应的分块的相似度越高时，为该匹配块分配的权重越大，从而在长焦图像与短焦图像相近时，能够消除差异，而在长焦图像与短焦图像存在差异如：有物体进入或离开时，能够强化该差异，避免重建错误。
一可选实施例中，根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，计算每个匹配块的融合权重包括：
计算
Figure BDA0002574559920000071
其中，Wk为第二短焦图像的第k个分块的匹配块的融合权重，
Figure BDA0002574559920000072
Sk为第二短焦图像的第k个分块与匹配块的相似度，
Figure BDA0002574559920000073
Smax为第二短焦图像的所有分块与匹配块的相似度中的最大值，α为预设值。
上述实施例中，给出了根据分块与匹配块的相似度，确定匹配块的融合权重的计算方式。
一可选实施例中，步骤204中，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块包括：根据采集第一短焦图像时的云台角度、采集第一长焦图像集中的每一帧长焦图像的云台角度、以及短焦镜头和长焦镜头的视场差，分别为第二短焦图像的每个分块在第二长焦图像集的所有长焦图像中搜索位置匹配的匹配块；或者，采用预设的模板匹配算法，分别为每个分块在第二长焦图像集的所有长焦图像中搜索图像相似度最高的匹配块。
上述实施例，实现了为第二短焦图像的每个分块在长焦图像中搜索匹配块。
一可选实施例中，提取第二短焦图像中的每个分块的匹配块的高频分量包括：对该匹配块在第二长焦图像集中所在的长焦图像进行降采样，使得降采样后的图像分辨率与第一短焦图像的分辨率相同，再对降采样后的图像进行插值，使得插值后的图像分辨率等于第二短焦图像的分辨率，将该匹配块减去该匹配块在插值后的图像中的对应块，得到该匹配块的高频分量。
通过该实施例，实现了对匹配块的高频分量的提取。
一可选实施例中，步骤201中，满足预设长焦图像集采集条件包括：当双目长短焦云台摄像机开机时，或者，当前采集到的短焦图像的测光值与最近一次采集的长焦图像集中的长焦图像的测光值的差值大于预设第一阈值，或者，当前采集的短焦图像与最近一次采集的长焦图像集中的一长焦图像在同一位置的分块的图像相似度小于预设第二阈值。
上述实施例中，在双目长短焦云台摄像机开机时，或者环境光照发生变化时，或者当监控场景发生改变时，重新采集长焦图像集，从而保证了短焦图像重建的准确性。
一可选实施例中，步骤201中，满足预设长焦图像集采集条件之后、驱动双目长短焦云台摄像机的云台在整个视场范围内转动之前进一步包括：
判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求，且判定结果为是；
且，当判定结果为否时，等待预设时长后，返回所述判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求的动作。
上述实施例中，在当前采集的短焦图像中没有报警目标且当前没有图像预览要求时，再开始采集长焦图像集，从而避免了跟丢报警目标，并避免了妨碍用户的图像预览要求。
图3为本发明另一实施例提供的图像重建方法流程图，其具体步骤如下：
步骤301：双目长短焦云台摄像机启动，云台在其视场范围内进行水平和垂直转动，长焦相机和短焦传感器实时采集短焦图像和长焦图像。
步骤302：当满足长焦图像集采集条件时，驱动云台在整个视场范围内转动，并将云台在每个预设采集点采集到的长焦图像放入第一长焦图像集，直至云台遍历完所有采集点。
预先设定长焦图像集采集条件。长焦图像集采集条件如：双目长短焦云台摄像机启动时、环境亮度变化时、和/或场景内容变化(如：双目长短焦云台摄像机位置发生改变)时。
其中，环境亮度发生变化可通过如下方式确定：当前采集到的短焦图像的测光值与最近一次采集的长焦图像集中的长焦图像的测光值的差值大于预设第一阈值。
场景内容变化可通过如下方式确定：当前采集的短焦图像与最近一次采集的长焦图像集中的一长焦图像在同一位置的分块的图像相似度小于预设第二阈值。
设云台初始位置为零点，此时水平和垂直的方位角都为0，则预设采集点可设为：从0点开始水平每转25度设置一个采集点、垂直每转12度设置一个采集点。
步骤303：当接收到外部输入的携带变焦系数的变焦请求时，采用预设的插值算法对当前短焦图像(设为第一短焦图像)进行插值，得到符合变焦请求的第二短焦图像。
插值算法属于成熟算法，具体采用哪种算法本实施例不作限定，例如：可采用双线性插值、或者双三次插值、或者最小曲率插值等算法。
步骤304：根据长焦镜头和短焦镜头的焦距，以及步骤303采用的变焦系数，计算将步骤302中采集的第一长焦图像集中的长焦图像与第二短焦图像中的同一目标的大小配准时，长焦图像对应的缩小系数，采用该缩小系数，对最近采集的第一长焦图像集中的每一帧长焦图像进行降采样处理，得到第二长焦图像集。
步骤305：将第二短焦图像划分为预设大小且不重叠的多个分块，对于每个分块，在第二长焦图像集的所有长焦图像中搜索与该分块最匹配的匹配块，并记录每个分块与其匹配块的相似度。
具体地，本步骤中在为每个分块搜索匹配块之前，首先根据采集第一短焦图像时的云台角度、以及采集第一长焦图像集中的每一帧长焦图像时的云台角度，在第二长焦图像集中选择与第二短焦图像的视场有重合之处的长焦图像，然后，对于每个分块，在所选择的长焦图像中搜索与该分块最匹配的匹配块。
例如：设采集第一短焦图像时的云台位置为(x,y)，x表示水平角度，y表示垂直角度，则第一短焦图像覆盖的视场如图4所示，在第一长焦图像集中选择在该视场范围内的长焦图像即可。
本步骤中在第二长焦图像集的所有长焦图像中搜索与该分块最匹配的匹配块可以采用如下方法之一：
方法一、根据采集第一短焦图像时的云台角度、采集第一长焦图像集中的每一帧长焦图像的云台角度、以及短焦镜头和长焦镜头的视场差，分别为第二短焦图像的每个分块在所选择的长焦图像中搜索与分块的位置匹配的匹配块；
位置匹配即，分块与匹配块对应的是监控场景中的同一位置。
方法二，采用预设的模板匹配算法，分别为每个分块在所选择的长焦图像中搜索图像相似度最高的匹配块。
模板匹配算法可采用：MAD(Mean Absolute Difference，平均绝对差)、SAD(Sumof Absolute Difference，绝对误差和算法)或者SSD(Sum of Squared Difference，误差平方和)等算法。
步骤306：当为第二短焦图像的所有分块都搜索到匹配块时，对每个匹配块所在的长焦图像进行降采样，使得降采样后的图像分辨率等于第一短焦图像的分辨率，再采用预设的插值算法对降采样后的图像进行插值，使得插值后的图像分辨率等于第二短焦图像的分辨率，将插值后的图像称为低频长焦图像，对于每个匹配块，将该匹配块减去该匹配块在低频长焦图像中对应的块，得到该匹配块的高频分量。
步骤307：计算每个匹配块的融合权重
Figure BDA0002574559920000111
其中，Wk为第二短焦图像的第k个分块的匹配块的融合权重，
Figure BDA0002574559920000112
Sk为第二短焦图像的第k个分块与匹配块的相似度，
Figure BDA0002574559920000113
Smax为第二短焦图像的所有分块与匹配块的相似度中的最大值，α为预设值，根据经验确定，一般地，α＝0.5。
步骤308：对于第二短焦图像中的每个分块，将该分块的匹配块的高频分量乘以对应的融合权重后再与该分块叠加，得到该分块的重建块；所有分块的重建块构成了短焦重建图像。
在步骤205和步骤308中得到短焦重建图像后，就可将该短焦重建图像与当前采集的长焦图像进行融合，得到最终输出给用户的融合图像，融合过程具体如下：
设当前采集的长焦图像为第三长焦图像，则：
步骤01：则计算将第三长焦图像与该短焦重建图像中的同一目标的大小配准时第三长焦图像对应的缩小系数；
步骤02：根据计算出的缩小系数，对第三长焦图像进行缩小处理，得到第四长焦图像；
步骤03：根据当前长焦镜头与短焦镜头的相对角度，计算当第四长焦图像和该短焦重建图像中的同一目标的位置配准时第四长焦图像在该短焦重建图像中的位置；
步骤04：根据第四长焦图像在该短焦重建图像中的位置，将第四长焦图像覆盖到该短焦重建图像上，得到最终输出给用户的融合图像。
可见，由于对原始短焦图像进行了本发明实施例的超分辨率重建处理，从而使得最终输出给用户的融合图像的中间画面和四周画面清晰度差异大大减少。
图5为本发明实施例提供的图像重建装置的结构示意图，该装置主要包括：存储器501以及可访问存储器501的处理器502，该存储器501存储指令，该指令在由处理器502执行时使得处理器502执行如步骤201～205，或者步骤301～308所述的方法的步骤。
本发明实施例还提供一种长短焦双目云台摄像机，包括：短焦相机、长焦相机和云台，其中，短焦相机和长焦相机的相对位置固定且同时随云台旋转；且，短焦相机和长焦相机分别具有与图像重建装置通信的接口，并分别通过各自的通信接口将各自采集的原始短焦图像和原始长焦图像发送给图像重建装置。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种图像重建方法，其特征在于，该方法包括：
当满足预设长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠；
接收到变焦请求，对所述双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；
对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小配准；
对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；
分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像；
其中，双目长短焦云台摄像机由短焦相机和长焦相机构成，且短焦相机和长焦相机的相对位置固定且同时随云台旋转。
2.根据权利要求1所述的方法，其特征在于，所述分别将第二短焦图像中的每个分块与该分块的匹配块进行融合包括：
提取每个分块的匹配块的高频分量，分别将每个分块与该分块的匹配块的高频分量进行融合。
3.根据权利要求2所述的方法，其特征在于，所述分别将第二短焦图像中的每个分块与该分块的匹配块的高频分量进行融合包括：
根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重；
分别将每个匹配块的高频分量乘以对应的融合权重后再与对应的分块叠加，得到短焦重建图像。
4.根据权利要求3所述的方法，其特征在于，所述根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重包括：
计算
Figure FDA0003242686820000021
其中，Wk为第二短焦图像的第k个分块的匹配块的融合权重，
Figure FDA0003242686820000022
Sk为第二短焦图像的第k个分块与匹配块的相似度，
Figure FDA0003242686820000023
Smax为第二短焦图像的所有分块与匹配块的相似度中的最大值，α为预设值。
5.根据权利要求1所述的方法，其特征在于，所述分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块包括：
根据采集第一短焦图像时的云台角度、采集第一长焦图像集中的每一帧长焦图像的云台角度、以及短焦镜头和长焦镜头的视场差，分别为第二短焦图像的每个分块在第二长焦图像集的所有长焦图像中搜索位置匹配的匹配块；
或者，采用预设的模板匹配算法，分别为每个分块在第二长焦图像集的所有长焦图像中搜索图像相似度最高的匹配块。
6.根据权利要求2所述的方法，其特征在于，所述提取第二短焦图像中的每个分块的匹配块的高频分量包括：
对该匹配块在第二长焦图像集中所在的长焦图像进行降采样，使得降采样后的图像分辨率与第一短焦图像的分辨率相同，再对降采样后的图像进行插值，使得插值后的图像分辨率等于第二短焦图像的分辨率，将该匹配块减去该匹配块在插值后的图像中的对应块得到该匹配块的高频分量。
7.根据权利要求1所述的方法，其特征在于，所述满足预设长焦图像集采集条件包括：
当双目长短焦云台摄像机开机时，或者，当前采集到的短焦图像的测光值与最近一次采集的长焦图像集中的长焦图像的测光值的差值大于预设第一阈值，或者，当前采集的短焦图像与最近一次采集的长焦图像集中的一长焦图像在同一位置的分块的图像相似度小于预设第二阈值。
8.根据权利要求1所述的方法，其特征在于，所述满足预设长焦图像集采集条件之后、驱动双目长短焦云台摄像机的云台在整个视场范围内转动之前进一步包括：
判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求，且判定结果为是；
且，当判定结果为否时，等待预设时长后，返回所述判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求的动作。
9.一种图像重建装置，其特征在于，该装置包括：存储器以及可访问存储器的处理器，该存储器存储指令，该指令在由处理器执行时使得处理器执行如权利要求1至8任一所述的方法的步骤。
10.一种双目长短焦云台摄像机，其特征在于，包括：短焦相机、长焦相机以及云台，其中，短焦相机和长焦相机的相对位置固定且同时随云台旋转；
且，短焦相机和长焦相机分别具有与图像重建装置通信的接口，并分别通过各自的通信接口将各自采集的原始短焦图像和原始长焦图像发送给图像重建装置；
其中，所述图像重建装置在满足预设长焦图像集采集条件时，驱动所述双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠；
且，所述图像重建装置接收到变焦请求，对所述双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；
所述图像重建装置对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小配准；
所述图像重建装置对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；
所述图像重建装置分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像。
CN202010649902.3A 2020-07-08 2020-07-08 图像重建方法及装置 Active CN111818262B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010649902.3A CN111818262B (zh) 2020-07-08 2020-07-08 图像重建方法及装置
ES21837695T ES2998242T3 (en) 2020-07-08 2021-07-07 Image reconstruction method and apparatus
EP21837695.2A EP4164209B1 (en) 2020-07-08 2021-07-07 Image reconstruction method and apparatus
PCT/CN2021/105023 WO2022007851A1 (zh) 2020-07-08 2021-07-07 图像重建方法及装置
US18/004,209 US11778327B2 (en) 2020-07-08 2021-07-07 Image reconstruction method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010649902.3A CN111818262B (zh) 2020-07-08 2020-07-08 图像重建方法及装置

Publications (2)

Publication Number Publication Date
CN111818262A CN111818262A (zh) 2020-10-23
CN111818262B true CN111818262B (zh) 2021-12-03

Family

ID=72841966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010649902.3A Active CN111818262B (zh) 2020-07-08 2020-07-08 图像重建方法及装置

Country Status (5)

Country Link
US (1) US11778327B2 (zh)
EP (1) EP4164209B1 (zh)
CN (1) CN111818262B (zh)
ES (1) ES2998242T3 (zh)
WO (1) WO2022007851A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818262B (zh) * 2020-07-08 2021-12-03 杭州萤石软件有限公司 图像重建方法及装置
CN115714922B (zh) * 2021-08-19 2025-11-04 宜宾市极米光电有限公司 图像拍摄系统、方法、装置、处理设备及介质
CN115880198B (zh) * 2023-02-01 2023-07-07 荣耀终端有限公司 图像处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200450A (zh) * 2014-08-25 2014-12-10 华南理工大学 一种红外热图像清晰度增强方法
CN106254777A (zh) * 2016-08-23 2016-12-21 深圳市德盟科技有限公司 一种一体化智能星光级云台摄像机
CN108401104A (zh) * 2018-02-08 2018-08-14 浙江大学 基于频带修复和超分辨的双焦相机数字变焦方法
CN109285136A (zh) * 2018-08-31 2019-01-29 清华-伯克利深圳学院筹备办公室 一种图像的多尺度融合方法、装置、存储介质及终端
CN110378850A (zh) * 2019-07-09 2019-10-25 浙江大学 一种结合块匹配和神经网络的变焦图像生成方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075258A1 (en) * 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
CN2842490Y (zh) * 2005-09-22 2006-11-29 天津市亚安科技电子有限公司 基于双摄像机结构的云台
WO2010108119A2 (en) * 2009-03-19 2010-09-23 Flextronics Ap, Llc Dual sensor camera
CN109040553B (zh) * 2013-06-13 2021-04-13 核心光电有限公司 双孔径变焦数字摄影机
KR102159910B1 (ko) * 2015-08-13 2020-10-23 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
KR102369223B1 (ko) * 2015-12-29 2022-03-02 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
JP2017158123A (ja) * 2016-03-04 2017-09-07 ソニー株式会社 信号処理装置および撮像装置
US10432869B2 (en) * 2016-09-07 2019-10-01 Multimedia Image Solution Limited Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
WO2018092379A1 (ja) * 2016-11-17 2018-05-24 ソニー株式会社 画像処理装置と画像処理方法
CN106791400B (zh) * 2016-12-23 2019-08-20 维沃移动通信有限公司 一种图像显示方法及移动终端
US10972672B2 (en) * 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
CN109492507B (zh) * 2017-09-12 2022-09-23 阿波罗智能技术(北京)有限公司 红绿灯状态的识别方法及装置、计算机设备及可读介质
WO2019167363A1 (ja) * 2018-03-01 2019-09-06 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN110868541B (zh) * 2019-11-19 2021-04-20 展讯通信（上海）有限公司 视场融合方法及装置、存储介质、终端
CN117372248A (zh) * 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
CN111818262B (zh) * 2020-07-08 2021-12-03 杭州萤石软件有限公司 图像重建方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200450A (zh) * 2014-08-25 2014-12-10 华南理工大学 一种红外热图像清晰度增强方法
CN106254777A (zh) * 2016-08-23 2016-12-21 深圳市德盟科技有限公司 一种一体化智能星光级云台摄像机
CN108401104A (zh) * 2018-02-08 2018-08-14 浙江大学 基于频带修复和超分辨的双焦相机数字变焦方法
CN109285136A (zh) * 2018-08-31 2019-01-29 清华-伯克利深圳学院筹备办公室 一种图像的多尺度融合方法、装置、存储介质及终端
CN110378850A (zh) * 2019-07-09 2019-10-25 浙江大学 一种结合块匹配和神经网络的变焦图像生成方法

Also Published As

Publication number Publication date
ES2998242T3 (en) 2025-02-19
CN111818262A (zh) 2020-10-23
US11778327B2 (en) 2023-10-03
WO2022007851A1 (zh) 2022-01-13
EP4164209A4 (en) 2023-11-01
EP4164209A1 (en) 2023-04-12
EP4164209B1 (en) 2024-09-25
US20230269475A1 (en) 2023-08-24

Similar Documents

Publication Publication Date Title
CN111818262B (zh) 图像重建方法及装置
CN109167924B (zh) 基于混合相机的视频成像方法、系统、设备及存储介质
CN111818304B (zh) 图像融合方法及装置
CN111292278B (zh) 图像融合方法及装置、存储介质、终端
US5602584A (en) Apparatus for producing a panoramic image using a plurality of optical systems
CN109005334B (zh) 一种成像方法、装置、终端和存储介质
WO2014023231A1 (zh) 宽视场超高分辨率光学成像系统及方法
US20110255775A1 (en) Methods, systems, and computer-readable storage media for generating three-dimensional (3d) images of a scene
CN113129241A (zh) 图像处理方法及装置、计算机可读介质、电子设备
CN110493525A (zh) 变焦图像确定方法及装置、存储介质、终端
CN101082766A (zh) 一种快速采集全景图像的设备和方法
TW201143352A (en) Image processor, image processing method, and image processing program
CN110771140A (zh) 云台系统及其图像处理方法、无人机
CN112532839A (zh) 一种摄像头模组、成像方法、成像装置及移动设备
CN115578710A (zh) 一种汽车后视全景图像处理系统
CN112738363A (zh) 一种光路切换方法和监控模组
WO2013051228A1 (en) Imaging apparatus and video recording and reproducing system
CN110009636A (zh) 一种集成式的公路隧道可变焦视觉检测系统
CN112132148B (zh) 一种基于手机摄像头拍摄多幅照片自动拼接的文档扫描方法
CN113327198A (zh) 一种远距离双目视频拼接方法及系统
CN106558078B (zh) 一种双目立体视觉摄像机及其摄像方法
US20240364856A1 (en) Methods, systems, and computer-readable storage media for generating three-dimensional (3d) images of a scene
CN108810426A (zh) 一种红外大视场拼接方法及拼接系统
WO2020187197A1 (zh) 成像设备的变焦方法、图像处理方法及成像设备
CN115775205A (zh) 多头相机图片拼接方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant