[go: up one dir, main page]

CN111681164A - 一种全景图像局部首尾相接巡航的装置与方法 - Google Patents

一种全景图像局部首尾相接巡航的装置与方法 Download PDF

Info

Publication number
CN111681164A
CN111681164A CN202010479623.7A CN202010479623A CN111681164A CN 111681164 A CN111681164 A CN 111681164A CN 202010479623 A CN202010479623 A CN 202010479623A CN 111681164 A CN111681164 A CN 111681164A
Authority
CN
China
Prior art keywords
image
intercepted
panoramic
images
panoramic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010479623.7A
Other languages
English (en)
Other versions
CN111681164B (zh
Inventor
于燕斌
邓东强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU SHENGGUANG MICROELECTRONICS CO Ltd
Original Assignee
GUANGZHOU SHENGGUANG MICROELECTRONICS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU SHENGGUANG MICROELECTRONICS CO Ltd filed Critical GUANGZHOU SHENGGUANG MICROELECTRONICS CO Ltd
Priority to CN202010479623.7A priority Critical patent/CN111681164B/zh
Publication of CN111681164A publication Critical patent/CN111681164A/zh
Application granted granted Critical
Publication of CN111681164B publication Critical patent/CN111681164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种全景图像局部首尾相接巡航的装置，包括：图像变换模块，用于将多镜头组采集的多个原始图像进行变换处理得到多个实景图像；图像融合模块，用于将多个实景图像进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于DDR存储器中；图像截取模块，用于从DDR存储器中获取多图像拼接融合的360度全景图像，所述图像截图模块包括图像截取窗口，所述图像截取窗口在全景图像上向左或者向右移动以实现巡航时，截取局部图像并存储到DDR存储器中；图像拼接模块，用于从所述DDR存储器中读取截取的图像，并将读取到的截取图像进行拼接。本发明支持跨首尾无缝连接，实现360度范围内任意角度显示图像，成本低且响应迅速。

Description

一种全景图像局部首尾相接巡航的装置与方法
技术领域
本发明涉及信息技术领域，具体涉及一种全景图像局部首尾相接巡航的装置与方法。
背景技术
现有的局部巡航有以下几种实现方式：
1.云台方案，如图1所示，市面上大部分监控产品采用，通过云台的左右/上下运动(机械运动)带动摄像机转动，从而实现在接近360度范围内的图像巡航。但云台方案也存在以下缺陷：容易实现，成本偏高，且机械部件长时间运动容易损坏；即使是市面上的超快速球机，相比电子巡航来说响应速度还是慢了很多；受限于机械设计与成本，很多产品无法实现360度任意巡航(一般是300度左右)；云台在转动过程中，基于卷帘快门图像传感器的设备由于果冻效应图像会拉伸变形，需待云台停止不动状态图像才稳定。
2.鱼眼镜头方案，如图2所示，市面上有很多产品采用此方案，使用一个高分辨率的大鱼眼镜头来实现360度全景，该方式下的局部巡航比较容易实现，只需要在图像中裁取一部分区域再做图像映射即可。鱼眼镜头方案成本低、容易实现，同时缺陷也很明显：首先是畸变严重，这是由镜头的物理特性决定的，即使是通过畸变矫正手段来纠正，图像的清晰度等比也有所降低；其次，只是从图像中截取一部分出来做巡航，且通过畸变纠正后的图像一般是不规则的形状，为适配显示终端的显示还必须进行第二次裁剪，故此会极大的降低图像的分辨率。
上述两种现有的局部巡航的实现方案无法实现跨首尾方式的巡航显示，也就是无法实现360度任意位置的局部显示。
因此，有必要对现有的技术进行进一步改进，提供一种成本低、响应迅速的全景图像局部首尾相接巡航的装置与方法，支持跨首尾无缝连接，实现360度任意位置巡航图像稳定显示，同时去云台化以降低故障率。
发明内容
本发明的目的是针对现有技术的不足，提供一种成本低、响应迅速的全景图像局部首尾相接巡航的装置与方法，以高性价比的方式实现360度任意位置巡航图像稳定显示，同时去云台化以降低故障率。
为实现上述发明目的，本发明采取的技术方案为：一种全景图像局部首尾相接巡航的装置，包括依次连接的多镜头组、MLMS芯片以及显示终端，多镜头组用于采集多个原始图像，并通过VI视频输入方式传输到MLMS芯片中进行处理后，输出到显示终端进行显示；所述MLMS芯片包括：
图像变换模块，用于将多镜头组采集的多个原始图像进行ISP图像信号处理、PT投影变换以及畸变校正处理后，得到多个实景图像；
图像融合模块，用于将图像变换模块进行变换处理后得到的多个实景图像进行深度计算，并对计算结果进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于 DDR存储器中；
图像截取模块，用于从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；所述图像截取模块将全景图像的左端标记为首部，右端标记为尾部；所述图像截图模块包括图像截取窗口，所述图像截取窗口在多图像拼接融合的360度全景图像上向左或者向右移动以实现巡航时，所述图像截取模块对所述图像截取窗口内的局部图像进行识别，若识别到所述图像截取窗口没有跨越全景图像的首尾两部分，则截取全景图像的局部图像并标记为第一截取图像存储到DDR存储器中；若识别到所述图像截取窗口跨越全景图像的首尾两部分，则图像截取模块计算全景图像的首部和尾部所需截取的局部图像并通过截取窗口进行截取，然后将截取到的图像分别标记为第二截取图像和第三截取图像存储到DDR存储器中；
图像拼接模块，用于从所述DDR存储器中读取截取图像，并将读取到的截取图像进行拼接；若读取到的截取图像为第一截取图像，则通过VO视频输出的方式将第一截取图像作为巡航图像输出到显示终端进行显示；若读取到的截取图像为第二截取图像和第三截取图像，则将第二截取图像和第三截取图像进行首尾无缝拼接，然后通过VO视频输出的方式将拼接后的图像作为巡航图像输出到显示终端进行显示。
优选地，所述多镜头组包括多个镜头/传感器；所述多个镜头/传感器与所述图像变换模块连接，以将采集到的多个原始图像传输到图像变换模块进行变换处理。
优选地，所述图像截取窗口为长度可调的矩形窗口，所述图像截取窗口的宽度与所述全景图像的宽度一致。
优选地，所述图像截取模块还用于，将全景图像最左端的位置标记为“0位置”，将全景图像最右端的位置标记为“全景图像结束位置”，将全景图像上距离“0位置”右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”；同时，根据巡航图像的宽度，将全景图像首部图像副本拷贝到全景图像的尾部。
优选地，所述图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝结束位置”，则所述图像截取窗口起始位置切换到“全景图像结束位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出；所述图像截取窗口向右移动以实现巡航时，当所述图像截取窗口起始位置移动至“全景图像结束位置”，则所述图像截取窗口起始位置切换到“0位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出。
优选地，所述图像截取模块还用于，将全景图像最左端的位置标记为“全景图像起始位置”，将全景图像上距离全景图像最右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”，根据巡航图像的宽度，将全景图像尾部图像副本拷贝到全景图像的首部，同时，将全景图像尾部图像副本最左端的位置标记为“0位置”。
优选地，所述图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“0位置”，则所述图像截取窗口起始位置切换到“全景图像起始位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出；所述图像截取窗口向右移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝起始位置”，则所述图像截取窗口起始位置切换到“0位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出。
本发明还提供一种全景图像局部首尾相接巡航的方法，该方法包括以下步骤：
图像变换步骤：将多镜头组采集的多个原始图像进行ISP图像信号处理、PT投影变换以及畸变校正处理后，得到多个实景图像；
图像融合步骤：将进行变换处理后得到的多个实景图像进行深度计算，并对计算结果进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于DDR存储器中；
图像截取步骤：从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；将全景图像的左端标记为首部，右端标记为尾部；图像截取窗口在多图像拼接融合的360度全景图像上向左或者向右移动以实现巡航时，对所述图像截取窗口内的局部图像进行识别，若识别到所述图像截取窗口没有跨越全景图像的首尾两部分，则截取全景图像的局部图像并标记为第一截取图像存储到DDR存储器中；若识别到所述图像截取窗口跨越全景图像的首尾两部分，则计算全景图像的首部和尾部所需截取的局部图像并通过图像截取窗口进行截取，然后将截取到的图像分别标记为第二截取图像和第三截取图像存储到DDR存储器中；
图像拼接步骤：从所述DDR存储器中读取截取图像，并将读取到的截取图像进行拼接；若读取到的截取图像为第一截取图像，则通过VO视频输出的方式将第一截取图像作为巡航图像输出；若读取到的截取图像为第二截取图像和第三截取图像，则将第二截取图像和第三截取图像进行首尾无缝拼接，然后通过VO视频输出的方式将拼接后的图像作为巡航图像输出。
优选地，还包括图像显示步骤：通过显示终端显示巡航图像。
有益效果
与现有技术相比，本发明取得的有益效果至少包括：
1.本发明实现全景图像的电子巡航，替换云台，降低故障率，降低整体成本。
2.本发明输出的巡航图像支持首尾无缝连接，实现360度范围内任意角度显示图像。
3.本发明的巡航图像显示稳定，无果冻效应和严重的图形变形。
4.本发明的局部图像显示切换响应迅速，响应时间在毫秒级别。
附图说明
图1为现有的云台方案结构图。
图2为现有的鱼眼镜头方案结构图。
图3为本发明实施例1的左巡航时图像截取窗口在全景图像最左边的示意图。
图4为本发明实施例1的左巡航时图像截取窗口位于全景图像中间某个位置的示意图。
图5为本发明实施例1的左巡航时图像截取窗口在全景图像最右边的示意图。
图6为本发明实施例1的左巡航时图像截取窗口跨全景图像首尾的示意图。
图7为本发明实施例1的右巡航时图像截取窗口在全景图像最右边的示意图。
图8为本发明实施例1的右巡航时图像截取窗口位于全景图像中间某个位置的示意图。
图9为本发明实施例1的右巡航时图像截取窗口在全景图像最左边的示意图。
图10为本发明实施例1的右巡航时图像截取窗口跨全景图像首尾的示意图。
图11为本发明实施例1的装置的结构示意图。
图12为本发明实施例1的方法的流程图。
图13为本发明实施例2的图像截取窗口左巡航时的示意图。
图14为本发明实施例2的图像截取窗口右巡航时的示意图。
图15为本发明实施例2的装置的结构示意图。
图16为本发明实施例2的方法的流程图。
图17为本发明实施例3的图像截取窗口左巡航示意图。
图18为本发明实施例3的图像截取窗口右巡航时的示意图。
图19为本发明实施例3的方法的流程图。
具体实施方式
为了使本领域技术人员更好地理解本发明的技术方案，下面结合具体实施例对本发明作进一步的详细说明。下面描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。实施例中未注明具体技术或条件的，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。
实施例1
如图3至图12所示，一种全景图像局部首尾相接巡航的装置，包括依次连接的多镜头组、MLMS芯片以及显示终端，多镜头组用于采集多个原始图像，并通过VI(Video Input，视频输入)视频输入方式传输到MLMS(Multi-Lens Multi-Sensors，多镜头多传感器)芯片中进行处理后，输出到显示终端进行显示；
如图11所示，本发明采用集成电路技术，在所述MLMS芯片中集成了图像变换模块、图像融合模块、DDR存储器、图像截取模块、图像拼接模块，可以降低整体的开发成本。
所述多镜头组包括多个镜头/传感器；所述多个镜头/传感器与所述图像变换模块连接，以将采集到的多个原始图像传输到图像变换模块进行变换处理。
图像变换模块，用于将多镜头组采集的多个原始图像进行ISP(Image SingalProcessing，图像信号处理)图像信号处理、PT(Projection Transformation，投影变换)投影变换处理以及畸变校正处理后，得到多个实景图像；
ISP用于对原始图像进行质量处理，主要功能有线性及非线性校正、噪声去除、坏点去除、内插、白平衡、自动曝光控制、对比度、饱和度以及锐度等，在不同的光学条件下较好的还原现场细节。
图像融合模块，用于将图像变换模块进行变换处理后得到的多个实景图像进行深度计算，并对计算结果进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于 DDR(Double Data Rate)存储器中；
图像截取模块，用于从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；所述图像截取模块将全景图像的左端标记为首部，右端标记为尾部；所述图像截图模块包括图像截取窗口，所述图像截取窗口为长度可调的矩形窗口，所述图像截取窗口的宽度与所述全景图像的宽度一致。
所述图像截取窗口在多图像拼接融合的360度全景图像上向左或者向右移动以实现巡航时，所述图像截取模块对所述图像截取窗口内的局部图像进行识别，若识别到所述图像截取窗口没有跨越全景图像的首尾两部分，则截取全景图像的局部图像并标记为第一截取图像存储到DDR存储器中；若识别到所述图像截取窗口跨越全景图像的首尾两部分，则图像截取模块计算全景图像的首部和尾部所需截取的局部图像并通过截取窗口进行截取，然后将截取到的图像分别标记为第二截取图像和第三截取图像存储到DDR存储器中；
具体地，所述图像截取窗口向右移动，实现全景图像的左训航，视觉效果上图像从左向右滚动，所述图像截取窗口向左移动，实现全景图像的右训航，视觉效果上图像从右向左滚动。
图像拼接模块，用于从所述DDR存储器中读取截取图像，并将读取到的截取图像进行拼接；若读取到的截取图像为第一截取图像，则通过VO(Video Output，视频输出)视频输出的方式将第一截取图像作为巡航图像输出到显示终端进行显示；若读取到的截取图像为第二截取图像和第三截取图像，则将第二截取图像和第三截取图像进行首尾无缝拼接，然后通过VO视频输出的方式将拼接后的图像作为巡航图像输出到显示终端进行显示，实现360度任意角度的局部图像输出。
如图12所示，本发明还提供了一种全景图像局部首尾相接巡航的方法，该方法应用于如上述所述的一种全景图像局部首尾相接巡航的装置中，该方法包括以下步骤：
图像变换步骤：将多镜头组采集的多个原始图像进行ISP图像信号处理、PT投影变换以及畸变校正处理后，得到多个实景图像；
图像融合步骤：将进行变换处理后得到的多个实景图像进行深度计算，并对计算结果进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于DDR存储器中；
图像截取步骤：从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；将全景图像的左端标记为首部，右端标记为尾部；图像截取窗口在多图像拼接融合的360度全景图像上向左或者向右移动以实现巡航时，对所述图像截取窗口内的局部图像进行识别，若识别到所述图像截取窗口没有跨越全景图像的首尾两部分，则截取全景图像的局部图像并标记为第一截取图像存储到DDR存储器中；若识别到所述图像截取窗口跨越全景图像的首尾两部分，则图像截取模块计算全景图像的首部和尾部所需截取的局部图像并通过图像截取窗口进行截取，然后将截取到的图像分别标记为第二截取图像和第三截取图像存储到DDR存储器中；
图像拼接步骤：从所述DDR存储器中读取截取图像，并将读取到的截取图像进行拼接；若读取到的截取图像为第一截取图像，则通过VO视频输出的方式将第一截取图像作为巡航图像输出；若读取到的截取图像为第二截取图像和第三截取图像，则将第二截取图像和第三截取图像进行首尾无缝拼接，然后通过VO视频输出的方式将拼接后的图像作为巡航图像输出到显示终端。
图像显示步骤：通过显示终端显示巡航图像。
本实施例提供的一种全景图像局部首尾相接巡航的方法和装置，实现了全景图像的电子巡航，替换云台，以降低故障率，从而降低整体成本；另外，输出的巡航图像支持首尾无缝连接，实现360度范围内任意角度显示图像，且巡航图像显示稳定，无果冻效应和严重的图形变形；同时，局部图像显示切换响应迅速，响应时间在毫秒级别。
实施例2
本发明的实施方式之一，如图13至图15所示，本实施例的主要技术方案与实施例1基本相同，在本实施例中未作解释的特征，采用实施例1中的解释，在此不再进行赘述。本实施例与实施例1的区别在于：
所述图像截取模块从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；所述图像截取模块将全景图像左端的位置标记为首部，右端的位置标记为尾部，将全景图像最左端的位置标记为“0位置”，将全景图像最右端的位置标记为“全景图像结束位置”，将全景图像上距离“0位置”右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”，根据巡航图像的宽度，将全景图像首部图像副本拷贝到全景图像的尾部；所述图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝结束位置”，则所述图像截取窗口起始位置切换到“全景图像结束位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出；所述图像截取窗口向右移动以实现巡航时，当所述图像截取窗口起始位置移动至“全景图像结束位置”，则所述图像截取窗口起始位置切换到“0位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出
本实施例还提供了一种全景图像局部首尾相接巡航的方法，如图16所示，本实施例的方法与实施例1的方法的区别在于：
图像截取步骤：从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；将全景图像左端的位置标记为首部，右端的位置标记为尾部，将全景图像最左端的位置标记为“0位置”，将全景图像最右端的位置标记为“全景图像结束位置”，将全景图像上距离“0位置”右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”，根据巡航图像的宽度，将全景图像首部图像副本拷贝到全景图像的尾部；所述图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝结束位置”，则所述图像截取窗口起始位置切换到“全景图像结束位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出；所述图像截取窗口向右移动以实现巡航时，当所述图像截取窗口起始位置移动至“全景图像结束位置”，则所述图像截取窗口起始位置切换到“0位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出；
图像显示步骤：通过显示终端显示巡航图像。
本实施例通过将全景图像首部图像副本拷贝到全景图像的尾部，对图像截取窗口起始位置进行切换，将所述图像截取窗口截取的局部图像作为巡航图像输出到显示终端进行显示，实现360度内任意角度的局部无缝连接输出。
实施例3
本发明的实施方式之一，如图17和图18所示，本实施例的主要技术方案与实施例1或者实施例2基本相同，在本实施例中未作解释的特征，采用实施例1或者实施例2 中的解释，在此不再进行赘述。本实施例与实施例1或者实施例2的区别在于：所述图像截取模块从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的 360度全景图像进行截取；所述图像截取模块将全景图像左端的位置标记为首部，右端的位置标记为尾部，将全景图像最左端的位置标记为“全景图像起始位置”，将全景图像上距离全景图像最右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”，根据巡航图像的宽度，将全景图像尾部图像副本拷贝到全景图像的首部，同时，将全景图像尾部图像副本最左端的位置标记为“0位置”；所述图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“0位置”，则所述图像截取窗口起始位置切换到“全景图像起始位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出，实现360度内任意角度的无缝连接的局部输出；所述图像截取窗口向右移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝起始位置”，则所述图像截取窗口起始位置切换到“0 位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出到显示终端进行显示，实现360度内任意角度的无缝连接的局部图像输出。
本实施例还提供了一种全景图像局部首尾相接巡航的方法，如图19所示，本实施例的方法与实施例1以及实施例2的区别在于：
图像截取步骤：从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；将全景图像左端的位置标记为首部，将全景图像最左端的位置标记为“全景图像起始位置”，将全景图像上距离全景图像最右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”，根据巡航图像的宽度，将全景图像尾部图像副本拷贝到全景图像的首部，同时，将全景图像尾部图像副本最左端的位置标记为“0 位置”；图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“0位置”，则所述图像截取窗口起始位置切换到“全景图像起始位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出，实现360度内任意角度的无缝连接的局部输出；所述图像截取窗口向右移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝起始位置”，则所述图像截取窗口起始位置切换到“0位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出。
图像显示步骤：通过显示终端显示巡航图像。
本实施例通过将全景图像尾部图像副本拷贝到全景图像的首部，然后对图像截取窗口起始位置进行切换，将所述图像截取窗口截取的局部图像作为巡航图像输出，实现360度内任意角度的无缝连接的局部图像输出。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准；根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (9)

1.一种全景图像局部首尾相接巡航的装置，包括依次连接的多镜头组、MLMS芯片以及显示终端，多镜头组用于采集多个原始图像，并通过VI视频输入方式传输到MLMS芯片中进行处理后，输出到显示终端进行显示；其特征在于，所述MLMS芯片包括：
图像变换模块，用于将多镜头组采集的多个原始图像进行ISP图像信号处理、PT投影变换处理以及畸变校正处理后，得到多个实景图像；
图像融合模块，用于将图像变换模块进行变换处理后得到的多个实景图像进行深度计算，并对计算结果进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于DDR存储器中；
图像截取模块，用于从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；所述图像截取模块将全景图像的左端标记为首部，右端标记为尾部；所述图像截图模块包括图像截取窗口，所述图像截取窗口在多图像拼接融合的360度全景图像上向左或者向右移动以实现巡航时，所述图像截取模块对所述图像截取窗口内的局部图像进行识别，若识别到所述图像截取窗口没有跨越全景图像的首尾两部分，则截取全景图像的局部图像并标记为第一截取图像存储到DDR存储器中；若识别到所述图像截取窗口跨越全景图像的首尾两部分，则图像截取模块计算全景图像的首部和尾部所需截取的局部图像并通过截取窗口进行截取，然后将截取到的图像分别标记为第二截取图像和第三截取图像存储到DDR存储器中；
图像拼接模块，用于从所述DDR存储器中读取截取图像，并将读取到的截取图像进行拼接；若读取到的截取图像为第一截取图像，则通过VO视频输出的方式将第一截取图像作为巡航图像输出到显示终端进行显示；若读取到的截取图像为第二截取图像和第三截取图像，则将第二截取图像和第三截取图像进行首尾无缝拼接，然后通过VO视频输出的方式将拼接后的图像作为巡航图像输出到显示终端进行显示。
2.根据权利要求1所述的一种全景图像局部首尾相接巡航的装置，其特征在于，所述多镜头组包括多个镜头/传感器；所述多个镜头/传感器与所述图像变换模块连接，以将采集到的多个原始图像传输到图像变换模块进行变换处理。
3.根据权利要求1所述的一种全景图像局部首尾相接巡航的装置，其特征在于，所述图像截取窗口为长度可调的矩形窗口，所述图像截取窗口的宽度与所述全景图像的宽度一致。
4.根据权利要求1所述的一种全景图像局部首尾相接巡航的装置，其特征在于，所述图像截取模块还用于，将全景图像最左端的位置标记为“0位置”，将全景图像最右端的位置标记为“全景图像结束位置”，将全景图像上距离“0位置”右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”；同时，根据巡航图像的宽度，将全景图像首部图像副本拷贝到全景图像的尾部。
5.根据权利要求4所述的一种全景图像局部首尾相接巡航的装置，其特征在于，所述图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝结束位置”，则所述图像截取窗口起始位置切换到“全景图像结束位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出；所述图像截取窗口向右移动以实现巡航时，当所述图像截取窗口起始位置移动至“全景图像结束位置”，则所述图像截取窗口起始位置切换到“0位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出。
6.根据权利要求1所述的一种全景图像局部首尾相接巡航的装置，其特征在于，所述图像截取模块还用于，将全景图像最左端的位置标记为“全景图像起始位置”，将全景图像上距离全景图像最右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”，根据巡航图像的宽度，将全景图像尾部图像副本拷贝到全景图像的首部，同时，将全景图像尾部图像副本最左端的位置标记为“0位置”。
7.根据权利要求6所述的一种全景图像局部首尾相接巡航的装置，其特征在于，所述图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“0位置”，则所述图像截取窗口起始位置切换到“全景图像起始位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出；所述图像截取窗口向右移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝起始位置”，则所述图像截取窗口起始位置切换到“0位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出。
8.一种全景图像局部首尾相接巡航的方法，该方法应用于如权利要求1～3任意一项所述的一种全景图像局部首尾相接巡航的装置中，其特征在于，该方法包括以下步骤：
图像变换步骤：将多镜头组采集的多个原始图像进行ISP图像信号处理、PT投影变换处理以及畸变校正处理后，得到多个实景图像；
图像融合步骤：将进行变换处理后得到的多个实景图像进行深度计算，并对计算结果进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于DDR存储器中；
图像截取步骤：从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；将全景图像的左端标记为首部，右端标记为尾部；图像截取窗口在多图像拼接融合的360度全景图像上向左或者向右移动以实现巡航时，对所述图像截取窗口内的局部图像进行识别，若识别到所述图像截取窗口没有跨越全景图像的首尾两部分，则截取全景图像的局部图像并标记为第一截取图像存储到DDR存储器中；若识别到所述图像截取窗口跨越全景图像的首尾两部分，则计算全景图像的首部和尾部所需截取的局部图像并通过图像截取窗口进行截取，然后将截取到的图像分别标记为第二截取图像和第三截取图像存储到DDR存储器中；
图像拼接步骤：从所述DDR存储器中读取截取图像，并将读取到的截取图像进行拼接；若读取到的截取图像为第一截取图像，则通过VO视频输出的方式将第一截取图像作为巡航图像输出；若读取到的截取图像为第二截取图像和第三截取图像，则将第二截取图像和第三截取图像进行首尾无缝拼接，然后通过VO视频输出的方式将拼接后的图像作为巡航图像输出。
9.如权利要求8所述的一种全景图像局部首尾相接巡航的方法，其特征在于，还包括图像显示步骤：通过显示终端显示巡航图像。
CN202010479623.7A 2020-05-29 2020-05-29 一种全景图像局部首尾相接巡航的装置与方法 Active CN111681164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010479623.7A CN111681164B (zh) 2020-05-29 2020-05-29 一种全景图像局部首尾相接巡航的装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010479623.7A CN111681164B (zh) 2020-05-29 2020-05-29 一种全景图像局部首尾相接巡航的装置与方法

Publications (2)

Publication Number Publication Date
CN111681164A true CN111681164A (zh) 2020-09-18
CN111681164B CN111681164B (zh) 2023-06-16

Family

ID=72434501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010479623.7A Active CN111681164B (zh) 2020-05-29 2020-05-29 一种全景图像局部首尾相接巡航的装置与方法

Country Status (1)

Country Link
CN (1) CN111681164B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807166A (zh) * 2021-07-31 2021-12-17 深圳市数商时代科技有限公司 图像处理方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016015585A1 (zh) * 2014-07-31 2016-02-04 维沃移动通信有限公司 一种终端设备的截屏方法及其终端设备、计算机程序产品和计算机可读记录介质
CN109064391A (zh) * 2018-08-02 2018-12-21 哈尔滨市舍科技有限公司 一种全景图像处理方法和全景图像处理装置
CN109089048A (zh) * 2018-10-18 2018-12-25 广州市盛光微电子有限公司 多镜头全景联动装置及方法
CN109309788A (zh) * 2018-10-18 2019-02-05 广州市盛光微电子有限公司 多镜头图像拼接装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016015585A1 (zh) * 2014-07-31 2016-02-04 维沃移动通信有限公司 一种终端设备的截屏方法及其终端设备、计算机程序产品和计算机可读记录介质
CN109064391A (zh) * 2018-08-02 2018-12-21 哈尔滨市舍科技有限公司 一种全景图像处理方法和全景图像处理装置
CN109089048A (zh) * 2018-10-18 2018-12-25 广州市盛光微电子有限公司 多镜头全景联动装置及方法
CN109309788A (zh) * 2018-10-18 2019-02-05 广州市盛光微电子有限公司 多镜头图像拼接装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马杰: "360°全景图像拼接技术研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807166A (zh) * 2021-07-31 2021-12-17 深圳市数商时代科技有限公司 图像处理方法、装置及存储介质
CN113807166B (zh) * 2021-07-31 2024-03-08 深圳市数商时代科技有限公司 图像处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN111681164B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
US7450165B2 (en) Multiple-view processing in wide-angle video camera
JP5432697B2 (ja) 撮像装置及びその制御方法
JP4354076B2 (ja) 画枠センタリング調整方法および撮像装置
JP5950678B2 (ja) 撮像装置、制御方法、及びプログラム
JP5706654B2 (ja) 撮影機器、画像表示方法及びプログラム
JP2008252461A (ja) 撮像装置
JPH0795623A (ja) 立体撮像装置
JP2003052058A (ja) 立体画像撮像装置
JPH10200836A (ja) 画像投影装置
JP4028306B2 (ja) デジタル撮像装置
CN111343360B (zh) 一种校正参数获得方法
CN111681164B (zh) 一种全景图像局部首尾相接巡航的装置与方法
JP6664240B2 (ja) 撮像システム並びに撮像装置及びその制御方法
WO2017104102A1 (ja) 撮像装置
JP2005012423A (ja) 撮像装置及び信号処理装置
CN111971948B (zh) 多眼相机系统、多眼拍摄用相机头、图像处理装置、多眼拍摄用程序和多眼拍摄方法
JP2013084124A (ja) 撮像システム、撮像装置および画像処理方法
JP2021190864A (ja) 監視カメラ
JP2007184720A (ja) 画像撮影装置
JP5904886B2 (ja) 撮像装置、欠陥処理方法、欠陥処理プログラムおよび電子情報機器
JP2018207254A (ja) 撮像装置、制御方法、プログラム及び撮像システム
JP2007049266A (ja) 画像撮像装置
JP3450469B2 (ja) カメラ
WO2012054059A1 (en) Altering focus lens magnification in a video frame
JP2010119029A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right

Effective date of registration: 20231219

Granted publication date: 20230616

PP01 Preservation of patent right