[go: up one dir, main page]

CN107920199A - 图像处理系统及包括所述图像处理系统的电子装置 - Google Patents

图像处理系统及包括所述图像处理系统的电子装置 Download PDF

Info

Publication number
CN107920199A
CN107920199A CN201710850634.XA CN201710850634A CN107920199A CN 107920199 A CN107920199 A CN 107920199A CN 201710850634 A CN201710850634 A CN 201710850634A CN 107920199 A CN107920199 A CN 107920199A
Authority
CN
China
Prior art keywords
image
output
processing system
image processing
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710850634.XA
Other languages
English (en)
Other versions
CN107920199B (zh
Inventor
朴东珍
李志弘
郑盛煐
金德秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202010411806.5A priority Critical patent/CN111614898B/zh
Publication of CN107920199A publication Critical patent/CN107920199A/zh
Application granted granted Critical
Publication of CN107920199B publication Critical patent/CN107920199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/04—Reversed telephoto objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种包括多个图像传感器的图像处理系统及包括所述图像处理系统的电子装置。一种图像处理系统可包括：第一图像传感器、第二图像传感器和图像处理装置。所述图像处理装置可被配置为：通过对第一图像数据和第二图像数据分别进行处理来获得第一图像和第二图像。当输出图像的缩放因数小于第一参考值时，所述图像处理装置可基于第一图像来输出图像，当输出图像的缩放因数在第一参考值与第二参考值之间时，所述图像处理装置可通过基于第一图像的第一参考坐标对第二图像的第二参考坐标的位置进行校正来产生校正图像，当输出图像的缩放因数超过第二参考值时，所述图像处理装置可基于第二图像来输出图像。

Description

图像处理系统及包括所述图像处理系统的电子装置
本申请要求于2016年10月5日在韩国知识产权局提交的第10-2016-0128474号韩国专利申请的优先权，所述申请的全部内容通过引用其全部合并于此。
技术领域
本发明构思的实施例涉及一种电子装置，更具体地，涉及一种图像处理系统以及包括该系统的电子装置。
背景技术
数字图像捕捉装置(诸如数码相机和数码摄像机)可通过使用图像传感器获得图像。智能电话和/或个人计算机(PC)可使用图像传感器获得图像。图像传感器可包括电荷耦合器件(CCD)和/或CMOS图像传感器(CIS)。
图像传感器可包括多个图像传感器像素。可以以阵列的形式排列图像传感器像素。图像传感器像素可基于入射到图像传感器像素上的光来输出模拟信号。从图像传感器像素输出的模拟信号可被转换为数字信号，并且所述数字信号在经过数字化之后可被存储为图像数据。
发明内容
本发明构思的一些实施例可提供可减少在校正图像的处理中消耗的电能的图像处理系统以及包括所述图像处理系统的电子装置。
根据本发明构思的一些实施例，可提供图像处理系统。所述图像处理系统可包括：第一图像传感器、第二图像传感器和图像处理装置。第一图像传感器可被配置为获得对象的第一图像数据。第二图像传感器可被配置为获得所述对象的全部或部分的第二图像数据。图像处理装置可被配置为执行以下操作，其中，所述操作包括：通过对第一图像数据和第二图像数据分别进行处理来获得第一图像和第二图像。所述操作可包括：当缩放因数在第一参考值与第二参考值之间时，通过基于第一图像的第一参考坐标对第二图像的第二参考坐标的位置进行校正来产生校正图像。所述操作可包括：当缩放因数超过第二参考值时基于第二图像来输出输出图像，当缩放因数在第一参考值与第二参考值之间时基于校正图像来输出输出图像，当缩放因数小于第一参考值时基于第一图像来输出输出图像。
根据本发明构思的一些实施例，可提供电子装置。所述电子装置可包括：第一图像传感器、第二图像传感器和图像处理装置。第一图像传感器可被配置为获得对象的第一图像数据。第二图像传感器可被配置为获得所述对象的第二图像数据。图像处理装置可被配置为执行以下操作，其中，所述操作包括：通过对第一图像数据和第二图像数据分别进行处理来获得第一图像和第二图像。所述操作可包括：当没有接收到第一图像数据时，输出在第一时间期间通过基于第一图像的第一参考坐标对第二图像的第二参考坐标的位置进行校正而产生的校正图像。所述操作可包括：在没有基于第一图像的第一参考坐标对第二图像的第二参考坐标的位置进行校正的情况下，在第一时间之后基于第二图像输出输出图像。
根据本发明构思的一些实施例，可提供图像处理系统。所述图像处理系统可包括：第一图像传感器，被配置为获得对象的第一图像数据；第二图像传感器，与第一图像传感器物理相隔特定距离。第二图像传感器可被配置为获得所述对象的第二图像数据。所述图像处理系统可包括：第一图像处理器，与第一图像传感器耦接，并被配置为基于第一图像数据产生第一图像；第二图像处理器，与第二图像传感器耦接，并被配置为基于第二图像数据产生第二图像。所述图像处理系统可包括：校正电路，可被配置为接收第一图像和第二图像，并且通过基于第一图像的参考坐标对第二图像的坐标进行转换来产生经过校正的图像。所述图像处理系统可包括：控制器，可被配置为控制所述图像处理系统启用校正电路并在第一时间内将经过校正的图像输出为输出图像，然后停用校正电路并在第二时间内将第二图像输出为输出图像。
附图说明
根据详细的描述以及附图，本发明构思将变得更清楚，其中，除非另有指示，否则贯穿各种附图，相同的标号可指相同的部件。
图1是示出根据本发明构思的一些实施例的图像处理系统的框图。
图2是示出根据本发明构思的一些实施例的由第一图像传感器和第二图像传感器拍摄对象的方法的操作的概念框图。
图3是示出根据本发明构思的一些实施例的对图1的图像处理系统进行操作的方法的操作的流程图。
图4是示出根据本发明构思的一些实施例的由第一图像传感器和第二图像传感器拍摄对象的方法的操作的概念框图。
图5是示出根据本发明构思的一些实施例的当输出图像中包括的对象的缩放因数增加时，在图1的图像处理系统产生输出图像的方法的操作的概念框图。
图6是示出根据本发明构思的一些实施例的当输出图像中包括的对象的缩放因数减少时，在图1的图像处理系统产生输出图像的方法的操作的概念框图。
图7是示出根据本发明构思的一些实施例的在图1的图像处理系统对图像中包括的对象进行放大的方法的操作的流程图。
图8是示出根据本发明构思的一些实施例的图像处理系统的框图。
图9是示出根据本发明构思的一些实施例的由第一图像传感器至第三图像传感器拍摄对象的方法的操作的概念框图。
图10是示出根据本发明构思的一些实施例的图8的图像处理系统校正第一图像的方法的操作的概念流程图。
图11是示出根据本发明构思的一些实施例的图8的图像处理系统校正第二图像的方法的操作的概念流程图。
图12是示出根据本发明构思的一些实施例的通过图8的图像处理系统产生输出图像的方法的操作的概念流程图。
图13是示出根据本发明构思的一些实施例的在图8的图像处理系统中第三图像传感器方法的图像拍摄方法的操作的概念框图。
图14是示出根据本发明构思的一些实施例的图8的图像处理系统产生输出图像的方法的操作的概念流程图。
图15是示出根据本发明构思的一些实施例的包括图像处理系统的电子装置的框图。
具体实施方式
将参照附图在下文中更充分地描述本发明构思，其中，本发明构思的示例性实施例在附图中示出。从以下将参照附图将被更加详细描述的示例性实施例，本发明构思以及实现本发明构思的方法将是清楚的。然而，本发明构思的实施例可以以不同的形式被实现，并且不应被构造为限于这里阐述的实施例。而是，提供这些实施例使得本公开将是完整的，并且将本发明构思的范围充分传达给本领域技术人员。
如在此使用的，除非上下文另外明确地指示，否则单数术语还意图包括复数形式。将理解，当元件被称为“连接到”或“耦接到”另一元件时，它可直接连接或耦接到所述另一元件，或可存在中间元件。如在此使用的，术语“和/或”包括一个或更多个相关所列项的任意组合和所有组合。还将理解，当在此使用术语“包含”、“包含…的”、“包括”和/或“包括…的”时，所述术语表示存在叙述的特征、整体、步骤、操作、元件和/或组件，但不排除一个或更多个其他特征、整体、步骤、操作、元件、组件和/或它们的组的存在或添加。
类似地，将理解，当元件(诸如层、区域或基底)被称为“连接到”另一元件或在另一元件“之上”时，该元件可直接连接到所述另一元件或在所述另一元件之上，或者可存在中间元件。相反地，术语“直接”表示不存在中间元件。此外，可使用剖视图作为本发明构思的理想示例性视图来描述在详细描述中所描述的实施例。因此，可根据制造技术和/或允许的误差来修改示例性视图的形状。因此本发明构思的实施例不限于示例性视图中示出的特定形状，而是可包括可根据制造工艺而创造的其他形状。
此处解释并示出的本发明构思的实施例可包括它们的互补对端。贯穿说明书，相同的参考标号或相同的参考指示符表示相同的元件。
图1是示出根据本发明构思的一些实施例的图像处理系统的框图。图像处理系统100可被包括在各种电子装置中。例如，图像处理系统100可被包括在以下至少一个之中：个人计算机、台式计算机、平板计算机、数码相机、摄像机、智能电话、移动装置和/或可穿戴装置。
参照图1，图像处理系统100可包括：第一图像传感器110、第二图像传感器120和图像处理装置130。
第一图像传感器110可对对象S的全部或部分进行拍摄。第一图像传感器110可将捕捉的结果产生为第一图像数据。第二图像传感器120可对对象S的全部或部分进行拍摄。第二图像传感器120可将捕捉的结果产生为第二图像数据。第一图像传感器110和第二图像传感器120可将第一图像数据和第二图像数据发送到图像处理装置130。第一图像传感器110和第二图像传感器120的操作可由图像处理装置130来控制。
例如，可使用CCD传感器或互补金属氧化物半导体(COMS)传感器中的一个来实现第一图像传感器110和第二图像传感器120中的每一个。在第一图像传感器110和第二图像传感器120的每个图像传感器中可分别集成多个光电二极管元件。当光线入射在第一图像传感器110和第二图像传感器120上时，一些光电二极管元件可基于入射光的量来产生电子。第一图像传感器110和第二图像传感器120可基于由此产生的电子的量来分别产生第一图像数据和第二图像数据。图1中示出的图像处理系统100包括两个图像传感器110和120。然而，本发明构思的实施例可不限于此。例如，图像处理系统100可包括三个或更多个图像传感器。
图像处理装置130可包括：第一处理器131、第二处理器132、控制器133、校正电路134和复用器135。
根据本发明构思的一些实施例，图像处理系统100可包括第一处理器131和第二处理器132。第一处理器131和第二处理器132可分别处理由第一图像传感器110捕捉的第一图像数据和由第二图像传感器120捕捉的第二图像数据。由第一图像传感器110捕捉的第一图像数据和由第二图像传感器120捕捉的第二图像数据可彼此不同。
第一处理器131可从第一图像传感器110接收第一图像数据。例如，第一处理器131可以以帧为单位来校正第一图像数据。更详细地，第一处理器131可消除第一图像数据中包括的噪声。为防止当第一图像数据被输出到显示器装置时产生的图像失真，第一处理器131可提前对第一图像数据中的失真值进行补偿。第一处理器131可对第一图像数据的白平衡进行校正。第一处理器131可通过调整第一图像数据的区域的尺寸来产生输出图像。
第一处理器131可控制第一图像传感器110的操作。例如，第一处理器131可控制包括在第一图像传感器110中的快门的打开操作或关闭操作。更详细地，第一处理器131可打开第一图像传感器110的快门直到对象图像的亮度值达到参考值为止。第一处理器131可控制第一镜头的位置以调整第一图像传感器110与对象S之间的焦距。
可基于由第一处理器131校正的第一图像数据来产生第一图像。第一处理器131可将第一图像发送到控制器133、校正电路134和复用器135。第一处理器131的操作可由控制器133控制。
第二处理器132可从第二图像传感器120接收第二图像数据。第二处理器132可控制第二图像传感器120的操作。第二处理器132可校正第二图像数据。可基于由第二处理器132校正的第二图像数据来产生第二图像。第二处理器132可将第二图像发送到控制器133、校正电路134和复用器135。第二处理器132的操作可与第一处理器131的操作相似或相同。因此，为了简洁可省略对第二处理器132的操作方法的详细描述。
控制器133可控制图像处理装置130的整体操作。例如，控制器133可单独地控制第一处理器131和第二处理器132的操作。控制器133可从第一处理器131接收第一图像并且从第二处理器132接收第二图像。例如，控制器133可感测(或检测)第一图像传感器110和第二图像传感器120中的每个的聚焦程度，或感测(或检测)图像处理系统100的移动。可选地，控制器133可感测关于输出图像OI的缩放因数ZF的信息。
控制器133可基于感测结果来控制校正电路134的操作。控制器133可对由校正电路134执行的图像的变形校正进行控制。变形校正可包括将图像的形状变换为另一形状。更详细地，变形校正可包括将图像中包括的每个像素的坐标变换为参考坐标。可根据位置变换规则来变换各个坐标。例如，位置变换规则可使用单应方式或重新映射方式。可通过使用位置变换规则将图像中包括的像素的坐标变换为参考坐标。
变形校正的程度可通过在执行重新映射时使用的校正系数值来确定，或通过用于单应运算的矩阵来确定。例如，变形校正的程度可随校正系数值的增加而增加，并且变形校正的程度可随校正系数值变得更接近于“1”而减小。可选地，变形校正的程度可通过改变矩阵的秩来调整，并且当所述矩阵与单位矩阵相应时可不执行变形校正。
控制器133可控制校正电路134，使得变形校正可对第一图像与第二图像之间的重叠区域被做出。控制器133可控制校正电路134以基于第一图像来对第二图像执行变形校正。可选地，控制器133可控制校正电路134以基于第二图像来对第一图像执行变形校正。
控制器133可从第一图像的像素的坐标提取第一参考坐标，并且可从第二图像的像素的坐标提取第二参考坐标。
根据本发明构思的一些实施例，控制器133可对在校正电路134中做出变形校正时的时间进行控制。例如，控制器133可包括用于对做出变形校正的时间进行控制的计时器。在控制器133的控制下，可在参考时间期间在校正电路134中做出变形校正。当参考时间过去后，控制器133可停止校正电路134的操作。
在一些实施例中，控制器133可对第一图像和第二图像中的每个图像的帧的数量进行计数。控制器133可包括用于对第一图像和第二图像中的每个图像的帧的数量进行计数的计数器电路。
例如，控制器133可从当校正电路134的变形校正开始时的时间点起对第一图像和第二图像中的每个图像的帧的数量进行计数。在控制器133的控制下，控制电路134可执行变形校正直到第一图像和第二图像中的每个图像的帧的数量达到参考计数为止。控制器133可在第一图像和第二图像中的每个图像的帧的数量达到参考计数时停止校正电路134的操作。
校正电路134可从第一处理器131接收第一图像并从第二处理器132接收第二图像。校正电路134的操作可由控制器133控制。
校正电路134可从控制器133接收关于第一图像中包括的第一参考坐标以及第二图像中包括的第二参考坐标的信息。校正电路134可通过使用第一参考坐标和第二参考坐标来对第一图像和第二图像执行变形校正。
当校正电路134对第一图像和第二图像之间的重叠区域执行变形校正时，校正电路134可将第一图像和第二图像中的一个图像设置为参考图像。例如，第一图像可以是参考图像。校正电路134可从第一图像中的与第二图像重叠的区域提取参考坐标，并且可从第二图像中的与第一图像重叠的相应区域提取参考坐标。校正电路134可基于第一图像的参考坐标来校正第二图像的参考坐标的位置。
当校正电路134通过使用第一图像对第二图像做出变形校正时，校正电路134可基于第一图像的第一参考坐标来校正第二图像的第二参考坐标的位置。当校正电路134通过使用第二图像对第一图像做出变形校正时，校正电路134可基于第二图像的第二参考坐标来校正第一图像的第一参考坐标的位置。校正电路134可在参考时间期间执行变形校正。校正电路134可向复用器135提供通过变形校正而产生的校正图像。
复用器135可从第一处理器131接收第一图像并且从第二处理器132接收第二图像。复用器135可从校正电路134接收经过校正的图像。复用器135的操作可由控制器133控制。在控制器133的控制下，复用器135可选择第一图像、第二图像和校正图像中的一个作为输出图像OI。图像处理系统100可通过电子装置的显示器向电子装置的用户提供输出图像OI。可选地，图像处理系统100可将输出图像OI发送到另一电子装置。
变形校正对于基于由多个图像传感器110和120产生的图像产生输出图像来说可能是必要的。然而，当图像处理系统100执行了长时间的变形校正时，图像处理系统100在针对变形校正的操作处理中可能消耗大量电能。根据本发明构思的一些实施例，图像处理系统100可仅在参考时间期间执行变形校正，并且如果参考时间过去，则图像处理系统100可在不执行变形校正的情况下产生输出图像。根据本发明构思的一些实施例，图像处理系统100可通过缩短变形校正的时间来降低耗电。
图2是示出根据本发明构思的一些实施例的由第一图像传感器和第二图像传感器拍摄对象的方法的操作的概念框图。参照图1和图2，第一图像传感器110和第二图像传感器120中的每一个可拍摄对象S。第一图像传感器110可位于第一方向d1，第二图像传感器120可位于与第一方向d1相反的第二方向d2。第一图像传感器110和第二图像传感器120可彼此隔开第一距离D1。
由于第一图像传感器110和第二图像传感器120之间的物理距离D1，第一图像传感器110和第二图像传感器120可以以不同角度拍摄对象S。例如，由第一图像传感器110拍摄的第一图像I1可包括从第一方向d1观看的对象S。由第二图像传感器120拍摄的第二图像I2可包括从第二方向d2观看的对象S。因此，第一图像I1中包括的对象S的位置可与第二图像I2中包括的对象S的位置不同。
图3是示出根据本发明构思的一些实施例的操作图1的图像处理系统的方法的操作的流程图。参照图1至图3，在操作S110中，图像处理系统100可产生第一图像和第二图像。例如，参照图1描述的第一图像可与图2中示出的第一图像I1相同，并且参照图1描述的第二图像可与图2中示出的第二图像I2相同。在操作S120中，图像处理系统100可选择第一图像或第二图像作为输出图像。
在操作S130中，图像处理系统100可基于第一图像的第一参考坐标以及第二图像的第二参考坐标来产生校正图像。例如，可基于第一图像的像素的坐标来设置第一图像的第一参考坐标，并且可基于第二图像的像素的坐标来设置第二图像的第二参考坐标。校正电路134可将第一图像和第二图像中的一个设置为参考图像，并可基于参考图像的参考坐标对另一图像的参考坐标的位置进行校正。
在操作S140中，图像处理系统100可确定校正时间是否超过参考时间。如果校正时间没有超过参考时间(否),则所述处理可再次进行到操作S130以执行产生校正图像的处理。如果校正时间超过参考时间(是)，则在操作S150中，图像处理系统100可停止变形校正。例如，在执行变形校正时，图像处理系统100可降低变形校正所需的转换系数值。
图4是示出根据本发明构思的一些实施例的由第一图像传感器和第二图像传感器拍摄对象的方法的操作的概念框图。参照图1和图4，在一些实施例中，第一图像传感器110可通过使用广角镜头来拍摄对象S。广角镜头可具有宽视角。例如，普通镜头的视角可以是约44°至约50°，而广角镜头的视角可以是约60°至约80°。然而，本发明构思的实施例不限于此。例如，在一些实施例中，广角镜头的视角可比80°更宽。第一图像传感器110可对对象S的第一区域A1进行拍摄。例如，第一区域A1可与对象S的整个区域相同，然而本发明构思的实施例不限于此。
在一些实施例中，第二图像传感器120可通过使用长焦镜头来拍摄对象S。长焦镜头可具有比广角镜头更窄的视角。例如，在一些实施例中，长焦镜头的视角可小于15°，然而本发明构思的实施例不限于此。因此，第二图像传感器120可对对象S的第二区域A2进行拍摄。第二区域A2可以是对象S的整个区域的一部分。第二区域A2可比第一区域A1小。
第一图像传感器110可位于第一方向d1，第二图像传感器120可位于与第一方向d1相反的第二方向d2。第一图像传感器110和第二图像传感器120可彼此隔开第二距离D2。
由于第一图像传感器110和第二图像传感器120之间的物理距离D2，第一图像传感器110和第二图像传感器120可以以不同角度拍摄对象S。第一图像传感器110可将从第一方向d1观看的第一区域A1的对象S产生为第一图像I1。第二图像传感器120可将从第二方向d2观看的第二区域A2的对象S产生为第二图像I2。
可在图像处理系统100中使用具有不同视角的图像传感器110和图像传感器120以在当输出图像中包括的对象的缩放因数改变时可一致地提供清晰的图像。将参照图5至图7更加充分地描述当输出图像中包括的对象的缩放因数改变时，图像处理系统100产生输出图像的方法。
图5是示出根据本发明构思的一些实施例的当输出图像中包括的对象的缩放因数增加时在图1的图像处理系统产生输出图像的方法的操作的概念框图。参照图5，输出图像OI中包括的对象的尺寸可随着缩放因数ZF的增加而变得增大(或放大)。即使缩放因数ZF增加，输出图像的尺寸也可保持不变。
参照图1、图4和图5，控制器133可获得关于缩放因数ZF的信息。当缩放因数ZF是“1”时，由第一图像传感器110拍摄的第一图像I1可被输出为输出图像OI。例如，控制器113可激活第一图像传感器110，并且可去激活第二图像传感器120。当激活了第一图像传感器110时，第一图像传感器110可拍摄对象S。当去激活了第二图像传感器120时，第二图像传感器120可不拍摄对象S。可选地，第一图像传感器和第二图像传感器均可拍摄对象S，并且控制器133可控制复用器135来将第一图像I1输出为输出图像OI。
第一图像I1中包括的对象可与输出图像OI的缩放因数ZF的增加成比例地放大。例如，控制器133可控制第一处理器133来放大对象。第一处理器131可基于缩放因数ZF来对第一图像I1中包括的对象进行放大。当缩放因数ZF达到第一参考值rv1时，第一处理器131可对第一图像I1的第一图像区域a1进行放大。例如，第一处理器131可将第一图像区域a1放大到与输出图像OI的尺寸相同。放大的第一图像区域a1可被产生为输出图像OI。随着缩放因数ZF接近第二参考值rv2，第一图像I1的第一图像区域a1的尺寸可变得更小。
当缩放因数ZF达到第二参考值rv2时，可基于由第二图像传感器120拍摄的第二图像I2来产生输出图像OI，而非基于由第一图像传感器110拍摄的第一图像I1来产生输出图像OI。例如，控制器133可去激活第一图像传感器110并可激活第二图像传感器120。当第一图像传感器110被去激活时，第一图像传感器110不可拍摄对象S。当第二图像传感器120被激活时，第二图像传感器120可拍摄对象S。
当缩放因数ZF达到第二参考值rv2时，可将第二图像传感器120的放大的第二区域A2的图像产生为输出图像OI。当缩放因数ZF达到第二参考值rv2时，与当输出图像OI基于第二图像I2的放大的对象而产生的情况相比，当输出图像OI基于第一图像I1的放大的对象而产生时输出图像OI的质量更差。换句话说，当缩放因数变的足够大使得将被放大的区域等于或小于第二图像传感器120的区域A2时，可通过基于具有比第一图像传感器110更窄的视角的第二图像传感器120产生输出图像OI来提高输出的质量。因此，当缩放因数ZF达到第二参考值rv2时，图像处理装置130可通过使用第二图像I2而非通过使用第一图像I1来产生输出图像OI。可选地，第一图像传感器110和第二图像传感器120可拍摄对象S，并且控制器133可控制校正电路134基于第二图像I2来产生输出图像。
参照图4和图5，第一图像传感器110的对第一区域A1进行拍摄的方向可与第二图像传感器120的对第二区域A2进行拍摄的方向不同。因此，如果由第二图像传感器120拍摄的第二图像I2被直接输出为输出图像OI，则输出图像OI中包括的对象的位置可被改变。为了防止对象的位置的改变，校正电路134可对第二图像I2执行变形校正。
更详细地，当缩放因数ZF达到第二参考值rv2时，控制器133可允许校正电路134执行变形校正。控制器133可向校正电路134提供关于第一图像的第一参考坐标以及第二图像的第二参考坐标的信息。校正电路14可基于第一图像I1的第一参考坐标来校正第二图像I2的第二参考坐标的位置。结合上面描述的处理，即使对象随着缩放因数ZF的增加而成比例地被放大，输出图像OI中的对象的位置也可能不被改变。在这种情况下，由图像处理系统100消耗的电能可能增加。
第二处理器132可基于缩放因数ZF来对第二图像I2中包括的对象进行放大。当缩放因数ZF达到第三参考值rv3时，第二处理器132可对第二图像I2的第二图像区域a2进行放大。例如，第二处理器132可将第二图像区域a2放大为与输出图像OI的尺寸相同。
校正电路134可基于第一图像I1的参考坐标来校正第二图像区域a2的参考坐标的位置。经过校正的第二图像区域a2可被产生为输出图像OI。结合上述描述的处理，即使对象被放大，输出图像OI中的对象的位置也可能不被改变。随着缩放因数ZF接近于第四参考值rv4，第二图像I2的第二图像区域a2的尺寸会变的更小。随着缩放因数ZF从第二参考值rv2接近第四参考值rv4，变形校正的程度可降低。例如，变形校正所需的校正系数值可近似于“1”，或矩阵可变为单位矩阵。
当缩放因数ZF达到第四参考值rv4时，第二处理器132可对第二图像I2的第二图像区域a2中包括的对象进行放大。例如，第二处理器132可将第二图像区域a2放大为与输出图像OI的尺寸相同。校正电路134可不对经过放大的第二图像区域a2执行变形校正。经过放大的第二图像区域a2可被输出为输出图像OI。结合上述描述的处理，可改变输出图像OI中的对象的位置。为校正位置改变，校正电路134可对第二图像区域a2执行平移校正或剪切校正。由图像处理系统100消耗的电能可降低。
当输出图像OI中包括的对象的缩放因数ZF增加时，对对象进行拍摄的图像传感器的种类可被改变。当对对象进行拍摄的图像传感器的种类被改变时，图像处理系统100可对图像I1和图像I2执行变形校正。然而，在图像处理系统100执行了长时间的变形校正的情况下，图像处理系统100可能消耗大量电能。为减少耗电，根据本发明构思的一些实施例，图像处理系统100可在缩放因数ZF达到参考值时不执行变形校正。因此，可提高图像处理系统100的电能效率。
换句话说，随着缩放因数的增加，当缩放因数变为等于第二参考值rv2时，由于第二图像传感器120的视角更窄，所以图像处理系统100可从基于第一图像I1产生输出图像OI改变为基于第二图像I2来产生输出图像OI以提高质量。然而，当缩放因数变为等于第二参考值rv2并且输出图像OI是基于第二图像I2产生的时，校正电路134可对第二图像I2执行变形校正。随着缩放因数进一步增加而接近第三参考值rv3，变形校正的程度可降低。随着缩放因数进一步增加而接近第四参考值rv4时，可停止变形校正。
图6是示出根据本发明构思的一些实施例的当输出图像中包括的对象的缩放因数减少时在图1的图像处理系统产生输出图像的方法的操作的概念框图。当输出图像OI中包括的对象的尺寸减少(或缩小)时，缩放因数ZF的值可减少。
参照图1、图4和图6，当缩放因数ZF等于第四参考值rv4时，图像处理装置130的第二处理器132可基于第二图像I2的第二图像区域a2来产生输出图像OI。例如，第二处理器132可将第二图像区域a2放大为与输出图像OI的尺寸相同。经过放大的第二图像区域a2可被输出为输出图像OI。
在第二图像I2中，随着缩放因数ZF变为小于第四参考值rv4，第二图像区域a2的尺寸可变得更大。例如，随着缩放因数ZF接近于第三参考值rv3，第二图像区域a2的尺寸可变得更大，并且第二图像区域a2的放大率可变得更小。第二处理器132可将第二图像区域a2放大为与输出图像OI的尺寸相同。
校正电路134可基于第一图像I1的参考坐标对经过放大的第二图像区域a2的参考坐标的位置进行校正。经过校正的第二图像区域a2可被产生为输出图像OI。结合上述描述的处理，输出图像OI中的对象的位置可被改变。
随着缩放因数ZF接近于第二参考值rv2，第二图像区域a2可变得更大。当缩放因数ZF达到第二参考值rv2时，第二图像区域a2的尺寸可变为与由第二图像传感器120拍摄的第二图像I2的尺寸相同。第二处理器132可不再放大第二图像I2。校正电路134可基于第一图像I1的参考坐标来对第二图像区域a2的参考坐标的位置进行校正。经过校正的第二图像I2可被产生为输出图像OI。
当缩放因数ZF变得比第二参考值rv2更小时，可基于由第一图像传感器110拍摄的第一图像I1来产生输出图像OI，而不是基于由第二图像传感器120拍摄的第二图像I2来产生输出图像OI。当缩放因数ZF达到第一参考值rv1时，第一处理器131可对第一图像I1的第一图像区域a1中包括的对象进行放大。例如，第一处理器131可将第一图像区域a1放大为与输出图像OI的尺寸相同。经过放大的第一图像区域a1可被产生为输出图像OI。随着缩放因数ZF接近于“1”，第一图像I1的第一图像区域a1的尺寸可变得更大。最后，当缩放因数ZF是“1”时，由第一图像传感器110拍摄的第一图像I1可被产生为输出图像OI。
换句话说，当缩放因数等于第四参考值rv4时，图像处理系统100可在不需要变形校正的情况下基于第二图像I2来产生输出图像OI。随着缩放因数减少为接近于第三参考值rv3，图像处理系统100可利用变形校正基于第二图像来产生输出图像OI。随着缩放因数进一步减少变为小于第二参考值rv2，图像处理系统100可从基于第二图像I2产生输出图像OI改变为基于第一图像I1产生输出图像OI，并且可停止变形校正。
图7是示出根据本发明构思的一些实施例的在图1的图像处理系统对图像中包括的对象进行放大的方法的操作的流程图。参照图1、图4、图5和图7，在操作S210中，图像处理系统100可基于第一图像I1产生输出图像OI。在操作S220中，可放大第一图像I1中包括的对象。随着第一图像I1的对象被放大，缩放因数ZF可变得更大。
在操作S230中，图像处理系统100可确定缩放因数ZF是否不小于第二参考值rv2。如果缩放因数ZF小于第二参考值rv2(否)，则处理可返回到操作S220以重复对第一图像I1的对象进行放大的处理。如果缩放因数ZF不小于第二参考值rv2(是)，则在操作S240中，图像处理系统100可基于通过对第一图像和第二图像进行校正而产生的校正图像来产生输出图像OI。图像处理系统100可通过基于第一图像的参考坐标来对第二图像的参考坐标的位置进行校正来产生校正图像。校正图像可被产生为输出图像OI。
在操作S250中，图像处理系统100可确定缩放因数ZF是否不小于第四参考值rv4。如果缩放因数ZF小于第四参考值rv4(否)，则处理可返回到操作S240以重复产生校正图像的处理。如果缩放因数ZF不小于第四参考值rv4(是)，则在操作S260中，图像处理系统100可停止校正操作并可基于第二图像I2来产生输出图像OI。
图8是示出根据本发明构思的一些实施例的图像处理系统的框图。参照图8，图像处理系统200可包括：第一图像传感器210、第二图像传感器220、第三图像传感器230和图像处理装置240。将参照图9来描述第一图像传感器210、第二图像传感器220和第三图像传感器230。
图9是示出根据本发明构思的一些实施例的由第一图像传感器至第三图像传感器拍摄对象的方法的操作的概念框图。参照图8和图9，第一图像传感器210至第三图像传感器230可被排列为彼此隔开相等的距离D。例如，第一图像传感器210可位于第一方向d1，第三图像传感器230可位于与第一方向d1相反的第二方向d2。第二图像传感器220可位于第一图像传感器210与第三图像传感器230之间。
由于第一图像传感器210至第三图像传感器230彼此隔开物理距离D，因此第一图像传感器至第三图像传感器230可以以不同角度分别拍摄对象S1至对象S3。例如，第一图像传感器210可拍摄包括第一对象S1以及第二对象S2的一部分S2_1的第一区域B1。第二图像传感器220可拍摄包括第二对象S2的第二区域B2。第三图像传感器230可拍摄包括第三对象S3以及第二对象S2的一部分S2_2的第三区域B3。
返回图8，第一图像传感器210至第三图像传感器230可基于拍摄结果分别产生第一图像数据至第三图像数据。第一图像数据至第三图像数据可被发送到图像处理装置240。
图像处理装置240可包括：第一处理器241、第二处理器242、第三处理器243、控制器244、校正电路245和复用器246。第一处理器241、第二处理器242和第三处理器243可分别接收第一图像数据、第二图像数据和第三图像数据。第一处理器241、第二处理器242和第三处理器243可分别消除第一图像数据、第二图像数据和第三图像数据的噪声并可校正它们的失真值和白平衡。
第一处理器241可校正第一图像数据以产生第一图像，第二处理器242可校正第二图像数据以产生第二图像。第三处理器243可校正第三图像数据以产生第三图像。第一处理器241至第三处理器243中的每一个可将相应图像发送到控制器244、校正电路245和复用器246。
控制器244可控制图像处理装置240的整体操作。控制器244可分别从第一处理器241、第二处理器242和第三处理器243接收第一图像数据、第二图像数据和第三图像数据。控制器244可感测(或检测)第一图像传感器210、第二图像传感器220或第三图像传感器230的聚焦的程度，或者可感测(或检测)图像处理系统200的移动。可选地，控制器244可感测关于输出图像OI的缩放因数ZF的信息。
当在第一图像传感器210至第三图像传感器230之间发生拍摄切换时，控制器244可控制校正电路245。例如，控制器244可对由校正电路245执行的图像的变形校正进行控制。例如，控制器244可向校正电路245提供以下信息：关于第一图像的第一参考坐标的信息、关于第二图像的第二参考坐标的信息和关于第三图像的第三参考坐标的信息。可基于第一图像的像素的坐标来设置第一图像的第一参考坐标。可基于第二图像的像素的坐标来设置第二图像的第二参考坐标。可基于第三图像的像素的坐标来设置第三图像的第三参考坐标。
控制器244可控制在校正电路245中做出变形校正的时间。例如，控制器244可包括用于对做出变形校正的时间进行控制的计时器。在控制器244的控制下，可在参考时间期间在校正电路245中做出变形校正。当参考时间过去时，控制器244可停止校正电路245的操作。
可选地，控制器244可对接收的第一图像和第二图像中的每个图像的帧的数量进行计数。控制器244可包括用于对第一图像和第二图像中的每个图像的帧的数量进行计数的计数器电路。
例如，当在第一图像传感器210至第三图像传感器230之间发生拍摄切换时，控制器244可从当校正电路245的变形校正开始时的时间点起对第一图像至第三图像中的每个图像的帧的数量进行计数。在控制器244的控制下，校正电路245可执行变形校正直到第一图像至第三图像中的每个图像的帧的数量达到参考计数为止。当第一图像至第三图像中的每个图像的帧的数量达到参考计数时，控制器244可停止校正电路245的操作。
校正电路245可在控制器244的控制下对第一图像至第三图像执行变形校正。校正电路245可通过使用第一图像的第一参考坐标至第三图像的第三参考坐标来执行变形校正。将参照图10至图14来描述由校正电路245执行的图像校正方法。
图10是示出根据本发明构思的一些实施例的图8的图像处理系统校正第一图像的方法的操作的概念流程图。当校正电路245基于第一图像至第三图像产生输出图像OI时，校正电路245可将第一图像至第三图像作为一个图像进行校正。
参照图10，由第一图像传感器210拍摄的第一图像J1和由第二图像传感器220拍摄的第二图像J2可部分重叠。第一图像J1和第二图像J2可以以不同的角度被拍摄。由于这个原因，第二对象S2的包括在第一图像J1中的部分S2_1与第二对象S2的包括在第二图像J2中的部分S2_1可能彼此不匹配。校正电路245可执行用于与第二对象S2的包括在重叠的区域中的部分S2_1进行匹配的变形校正。例如，校正电路245可基于第二图像J2对第一图像J1执行变形校正。这仅仅是一个示例，校正电路245可基于第一图像J1对第二图像J2执行变形校正。
例如，第一图像J1的与第二图像J2重叠的区域可由第一参考坐标“a”、“b”、“c”和“d”来限定。第二图像J2的与第一图像J1重叠的区域可由第二参考坐标“A”、“B”、“C”和“D”来限定。在第一图像J1和第二图像J2中的每个图像中，可由四个坐标来限定重叠的区域。这仅仅是一个示例，在第一图像J1和第二图像J2中的每个图像中，可由五个或更多个坐标来限定重叠的区域。
为执行变形校正，校正电路245可将第一图像J1的第一参考坐标“a”、“b”、“c”和“d”分别移动到第二图像J2的第二参考坐标“A”、“B”、“C”和“D”。校正电路245可对第一图像J1进行校正以产生经过校正的第一图像J1’。在这种情况下，第二对象S2的包括在经过校正的第一图像J1’中的部分S2_1与第二对象S2的包括在第二图像J2中的部分S2_1可彼此匹配。
图11是示出根据本发明构思的一些实施例的图8的图像处理系统校正第二图像的方法的操作的概念流程图。参照图11，第二图像J2与由第三图像传感器230拍摄的第三图像J3可部分重叠。第二图像J2和第三图像J3可以以不同的角度被拍摄。由于这个原因，第二对象S2的包括在第二图像J2中的部分S2_2与第二对象S2的包括在第三图像J3中的部分S2_2可能彼此不匹配。校正电路245可执行用于与第二对象S2的包括在重叠的区域中的部分S2_2进行匹配的变形校正。例如，校正电路245可基于第二图像J2对第三图像J3执行变形校正。这仅仅是一个示例，校正电路245可基于第三图像J3对第二图像J2执行变形校正。
例如，第三图像J3的与第二图像J2重叠的区域可由第三参考坐标“e”、“f”、“g”和“h”来限定。例如，第二图像J2的与第三图像J3重叠的区域可由第四参考坐标“E”、“F”、“G”和“H”来限定。在第二图像J2和第三图像J3中的每个图像中，可由四个坐标来限定重叠的区域。这仅仅是一个示例，在第二图像J2和第三图像J3中的每个图像中，可由五个或更多个坐标来限定重叠的区域。
为执行变形校正，校正电路245可将第三图像J3的第三参考坐标“e”、“f”、“g”和“h”分别移动到第二图像J2的第四参考坐标“E”、“F”、“G”和“H”。校正电路245可对第三图像J3进行校正以产生经过校正的第三图像J3’。在这种情况下，第二对象S2的包括在经过校正的第三图像J3’中的部分S2_2与第二对象S2的包括在第二图像J2中的部分S2_2可彼此匹配。
图12是示出根据本发明构思的一些实施例的由图8的图像处理系统产生输出图像的方法的操作的概念流程图。参照图10至图12，校正电路245可基于经过校正的第一图像J1’、第二图像J2和经过校正的第三图像J3’来产生输出图像OI。在变形校正中由图像处理系统200消耗的电能可能增加。
返回图8，第一图像传感器210至第三图像传感器230的一些的拍摄可被中断。例如，当接收到用户请求时或当在第一图像传感器210至第三图像传感器230之间发生了拍摄切换时，控制器244可从第一图像传感器210至第三图像传感器230选择性地接收图像。将参考图13至图14来描述第一图像传感器210至第三图像传感器230的一些的拍摄被中断时图像处理系统100的操作方法。
图13是示出根据本发明构思的一些实施例的在图8的图像处理系统中第三图像传感器方法的图像拍摄方法的操作的概念框图。图14是示出根据本发明构思的一些实施例的图8的图像处理系统产生输出图像的方法的操作的概念流程图。参照图9和图13，第一图像传感器210和第二图像传感器220可不执行拍摄，仅第三图像传感器230可执行拍摄。第三图像传感器230可对第二对象的部分S2_2和第三对象S3进行拍摄。
参照图14，校正电路245可基于第二图像J2来校正第三图像J3以产生经过校正的第三图像J3’。校正电路245产生经过校正的第三图像J3’的方法可与参照图11描述的方法相似或相同。因此可省略对校正电路245产生经过校正的第三图像J3’的方法的详细描述。经过校正的第三图像J3’可被产生为输出图像OI。
第一图像传感器210和第二图像传感器220的拍摄可被中断，而输出图像OI基于由第一图像传感器210至第三图像传感器230拍摄的第一图像至第三图像而产生。当第三图像J3在没有变形校正的情况下被直接输出为输出图像OI时，输出图像OI中包括的对象(例如，第二对象的部分S2_2)的位置可被改变。为防止对象的位置改变，校正电路245可将经过校正的第三图像J3’输出为输出图像OI。校正电路245可在第一时间期间对第三图像J3执行变形校正。
在这种情况下，由图像处理系统100消耗的电能可能小于当一个输出图像OI基于经过校正的第一图像J1’、第二图像J2和经过校正的第三图像J3’来产生时所消耗的电能。然而，图像处理系统200仍然可能消耗大量电能。在第一时间之后，校正电路245可将第三图像J3输出为输出图像OI。如果变形校正被中断，则可减少由图像处理系统200消耗的电能。
返回图8，校正电路245可用与参照图14所描述的方法相同的方法来执行变形校正。校正电路245可将经过校正的图像发送到复用器246。
复用器246可分别从第一处理器241、第二处理器242和第三处理器243接收第一图像数据、第二图像数据和第三图像数据。复用器246可从校正电路245接收经过校正的图像。复用器246可在控制器244的控制下选择第一图像、第二图像以及校正图像中的一个图像作为输出图像OI。
根据本发明构思的一些实施例，图像处理系统200可仅在参考时间期间执行变形校正，并且如果参考时间过去，则可在不执行变形校正的情况下产生输出图像。根据本发明构思的一些实施例，图像处理系统200可通过缩短变形校正时间来减少耗电。
图15是示出根据本发明构思的一些实施例的包括图像处理系统的电子装置的框图。电子装置1000可以是智能电话。然而，本发明构思的实施例不限于此。例如，电子装置1000可以是蜂窝式电话、平板PC、笔记本计算机、数码相机、智能指环和智能手表中的一种。参照图15，电子装置1000可包括两个图像传感器1100和1200。例如，第一图像传感器1100可通过使用广角镜头来拍摄对象，第二图像传感器1200可通过使用长焦镜头来拍摄对象。
电子装置1000可包括用于对由第一图像传感器1100和第二图像传感器1200拍摄的图像进行处理的图像处理装置1300。图像处理装置1300可基于参照图1至图14中的一个或更多个附图所描述的装置和方法来处理图像。
根据本发明构思的一些实施例，电子装置1000可仅在参考时间期间执行变形校正，并且如果参考时间过去，则可在不执行变形校正的情况下产生输出图像。根据本发明构思的一些实施例，电子装置1000可通过缩短变形校正时间来减少耗电。
根据本发明构思的一些实施例，在图像处理系统以及包括该图像处理系统的电子装置中，可通过减少校正拍摄的图像所需的计算量来减少电子装置的耗电，因此可提高电能效率。
虽然已参照一些实施例描述了本发明构思，但是在不脱离本发明构思的情况下可做出各种改变和修改。因此，上述实施例不是限制性的，而是示意性的。

Claims (20)

1.一种图像处理系统，包括：
第一图像传感器，被配置为获得对象的第一图像数据；
第二图像传感器，被配置为获得所述对象的全部或部分的第二图像数据；
图像处理装置，被配置为执行以下操作，其中，所述操作包括：
通过对第一图像数据和第二图像数据分别进行处理来获得第一图像和第二图像；
当缩放因数在第一参考值与第二参考值之间时，通过基于第一图像的第一参考坐标对第二图像的第二参考坐标的位置进行校正来产生校正图像；
当缩放因数超过第二参考值时基于第二图像来输出输出图像，当缩放因数在第一参考值与第二参考值之间时基于校正图像来输出输出图像，以及当缩放因数小于第一参考值时基于第一图像来输出输出图像。
2.如权利要求1所述的图像处理系统，其中，第一图像传感器被配置为使用广角镜头来获得第一图像数据。
3.如权利要求1所述的图像处理系统，其中，第二图像传感器被配置为使用长焦镜头来获得第二图像数据。
4.如权利要求1所述的图像处理系统，其中，所述图像处理装置的操作还包括：
基于第一图像的第一参考坐标使用校正系数值来对第二图像的第二参考坐标的位置进行校正；
当缩放因数从第一参考值接近于第二参考值时，减少所述校正系数值。
5.如权利要求1所述的图像处理系统，其中，第一图像的第一参考坐标基于第一图像的像素的坐标，并且
其中，第二图像的第二参考坐标基于第二图像的像素的坐标。
6.如权利要求1所述的图像处理系统，其中，当执行所述操作时，所述图像处理装置被配置为：当输出图像的缩放因数在第一参考值和第二参考值之间时，消耗第一电量。
7.如权利要求6所述的图像处理系统，其中，当执行所述操作时，所述图像处理装置被配置为：当输出图像的缩放因数超过第二参考值时，消耗第二电量，其中，第二电量少于第一电量。
8.一种电子装置，包括：
第一图像传感器，被配置为获得对象的第一图像数据；
第二图像传感器，被配置为获得所述对象的第二图像数据；
图像处理装置，被配置为执行以下操作，其中，所述操作包括：
通过对第一图像数据和第二图像数据分别进行处理来获得第一图像和第二图像；
当没有接收到第一图像数据时，输出在第一时间期间通过基于第一图像的第一参考坐标对第二图像的第二参考坐标的位置进行校正而产生的校正图像；
在没有基于第一图像的第一参考坐标对第二图像的第二参考坐标的位置进行校正的情况下，在第一时间之后基于第二图像输出输出图像。
9.如权利要求8所述的电子装置，
其中，当执行所述操作时，所述图像处理装置被配置为：当产生并输出了校正图像时，在第一时间期间消耗第一电量，以及
其中，当执行所述操作时，所述图像处理装置被配置为：在没有基于第一图像的第一参考坐标对第二图像的第二参考坐标的位置进行校正的情况下，当基于第二图像输出了输出图像时，在第一时间之后消耗第二电量，其中，第二电量与第一电量不同。
10.如权利要求9所述的电子装置，其中，第一电量大于第二电量。
11.如权利要求8所述的电子装置，还包括：
第三图像传感器，被配置为获得所述对象的第三图像数据，
其中，所述图像处理装置的操作还包括：通过对第三图像数据进行处理来获得第三图像。
12.如权利要求11所述的电子装置，其中，所述图像处理装置的操作还包括：
基于第一图像、校正图像以及第二校正图像来输出第二输出图像，其中，校正图像是通过基于第一图像的第一参考坐标来对第二图像的第二参考坐标的位置进行校正而产生，第二校正图像是通过基于第一图像的第四参考坐标来对第三图像的第三参考坐标的位置进行校正而产生，
当所述图像处理装置没有接收到第一图像数据和第二图像数据时，输出在第二时间期间通过基于第一图像的第四参考坐标来对第三图像的第三参考坐标的位置进行校正而产生的第二校正图像；
在没有基于第一图像的第四参考坐标对第三图像的第三参考坐标的位置进行校正的情况下，在第二时间之后基于第三图像输出第三输出图像。
13.如权利要12所述的电子装置，
其中，当执行所述操作时，所述图像处理装置被配置为：当基于第一图像、校正图像以及第二校正图像产生第二输出图像时，消耗第一电量，
其中，当执行所述操作时，所述图像处理装置被配置为：当产生并输出了第二校正图像时，在第二时间期间消耗第二电量，
其中，当执行所述操作时，所述图像处理装置被配置为：在没有基于第一图像的第四参考坐标对第三图像的第三参考坐标的位置进行校正的情况下，当基于第三图像输出了第三输出图像时，在第二时间之后消耗第三电量。
14.如权利要求13所述的电子装置，其中，第二电量大于第三电量，第一电量大于第二电量。
15.如权利要求12所述的电子装置，
其中，第一图像的第一参考坐标和第四参考坐标基于第一图像的像素的坐标，
其中，第二图像的第二参考坐标基于第二图像的像素的坐标，
其中，第三图像的第三参考坐标基于第三图像的像素的坐标。
16.一种图像处理系统，包括：
第一图像传感器，被配置为获得对象的第一图像数据；
第二图像传感器，与第一图像传感器物理相隔特定距离，其中，第二图像传感器被配置为获得所述对象的第二图像数据；
第一图像处理器，与第一图像传感器耦接，并被配置为基于第一图像数据产生第一图像；
第二图像处理器，与第二图像传感器耦接，并被配置为基于第二图像数据产生第二图像；
校正电路，被配置为接收第一图像和第二图像，并且通过基于第一图像的参考坐标对第二图像的坐标进行转换来产生经过校正的图像；
控制器，被配置为控制所述图像处理系统启用所述校正电路并在第一时间内将经过校正的图像输出为输出图像，然后停用所述校正电路并在第二时间内将第二图像输出为输出图像。
17.如权利要求16所述的图像处理系统，
其中，第一图像处理器被配置为通过基于缩放因数对第一图像数据的一部分进行放大来产生第一图像；
其中，第二图像处理器被配置为通过基于缩放因数对第二图像数据的一部分进行放大来产生第二图像；
其中，所述控制器被配置为当缩放因数超过阈值时从第一时间转变到第二时间。
18.如权利要求17所述的图像处理系统，其中，所述校正电路被配置为在第一时间期间与缩放因数的增加成比例地降低变形校正的程度。
19.如权利要求16所述的图像处理系统，其中，所述控制器被配置为在预定持续时间过去之后从第一时间转变到第二时间。
20.如权利要求19所述的图像处理系统，其中，所述校正电路被配置为在第一时间期间降低变形校正的程度。
CN201710850634.XA 2016-10-05 2017-09-20 图像处理系统及包括所述图像处理系统的电子装置 Active CN107920199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010411806.5A CN111614898B (zh) 2016-10-05 2017-09-20 图像处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0128474 2016-10-05
KR1020160128474A KR102560780B1 (ko) 2016-10-05 2016-10-05 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010411806.5A Division CN111614898B (zh) 2016-10-05 2017-09-20 图像处理系统

Publications (2)

Publication Number Publication Date
CN107920199A true CN107920199A (zh) 2018-04-17
CN107920199B CN107920199B (zh) 2021-08-17

Family

ID=61758549

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710850634.XA Active CN107920199B (zh) 2016-10-05 2017-09-20 图像处理系统及包括所述图像处理系统的电子装置
CN202010411806.5A Active CN111614898B (zh) 2016-10-05 2017-09-20 图像处理系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010411806.5A Active CN111614898B (zh) 2016-10-05 2017-09-20 图像处理系统

Country Status (3)

Country Link
US (3) US10652471B2 (zh)
KR (1) KR102560780B1 (zh)
CN (2) CN107920199B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381252A (zh) * 2019-07-18 2019-10-25 湖南宏动光电有限公司 一种图形处理系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356300B2 (en) * 2016-12-23 2019-07-16 Mediatek Inc. Seamless zooming on dual camera
KR102204596B1 (ko) * 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
US10488371B1 (en) 2018-05-04 2019-11-26 United Technologies Corporation Nondestructive inspection using thermoacoustic imagery and method therefor
US11268881B2 (en) 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection
US10958843B2 (en) * 2018-05-04 2021-03-23 Raytheon Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
US10928362B2 (en) * 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US10473593B1 (en) 2018-05-04 2019-11-12 United Technologies Corporation System and method for damage detection by cast shadows
US10685433B2 (en) 2018-05-04 2020-06-16 Raytheon Technologies Corporation Nondestructive coating imperfection detection system and method therefor
CN113194242B (zh) * 2020-01-14 2022-09-20 荣耀终端有限公司 一种长焦场景下的拍摄方法及移动终端
US11405563B2 (en) * 2020-11-10 2022-08-02 Qualcomm Incorporated Spatial alignment transform without FOV loss
CN115967846B (zh) * 2021-10-09 2024-09-17 荣耀终端有限公司 一种图像处理方法及电子设备
CN119299814A (zh) 2021-10-09 2025-01-10 荣耀终端有限公司 一种图像处理方法及电子设备
US12489987B2 (en) * 2023-10-02 2025-12-02 Qualcomm Incorporated Image processing resource sharing for image sensors

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US20100097443A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Controller in a Camera for Creating a Panoramic Image
WO2013157658A1 (ja) * 2012-04-20 2013-10-24 株式会社タムロン 赤外線ズームレンズ
CN104104919A (zh) * 2014-07-24 2014-10-15 山东神戎电子股份有限公司 一种监视仪的镜头同轴矫正方法
US20160050374A1 (en) * 2013-06-13 2016-02-18 Corephotonics Ltd. Dual aperture zoom digital camera
CN105527702A (zh) * 2015-08-11 2016-04-27 浙江舜宇光学有限公司 组合式变焦镜头

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594676A (en) 1994-12-22 1997-01-14 Genesis Microchip Inc. Digital image warping system
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
JP2005215160A (ja) * 2004-01-28 2005-08-11 Ftc:Kk 撮影レンズモジュールおよびカメラ
US7236306B2 (en) * 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
US8059185B2 (en) * 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
US7742624B2 (en) 2006-04-25 2010-06-22 Motorola, Inc. Perspective improvement for image and video applications
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP4614373B2 (ja) * 2009-03-17 2011-01-19 エンパイア テクノロジー ディベロップメント エルエルシー 画像表示システム、画像表示装置、画像提供装置およびその方法
US9584733B2 (en) * 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
US8982246B2 (en) * 2010-10-22 2015-03-17 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and camera body having optical zoom function and digital zoom function
JP5645704B2 (ja) * 2011-02-18 2014-12-24 キヤノン株式会社 画像処理装置、及びその制御方法
US8649558B2 (en) 2011-05-31 2014-02-11 Wisconsin Alumni Research Foundation Video processing with region-based warping
GB2496393B (en) * 2011-11-09 2016-08-24 Canon Kk Method and device for generating a super-resolution image portion
GB2497119B (en) 2011-12-01 2013-12-25 Sony Corp Image processing system and method
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US9232139B2 (en) * 2012-07-24 2016-01-05 Apple Inc. Image stabilization using striped output transformation unit
TWI456985B (zh) * 2012-10-17 2014-10-11 Vivotek Inc 多攝影機的整合處理系統及其方法
CN103973963B (zh) * 2013-02-06 2017-11-21 聚晶半导体股份有限公司 图像获取装置及其图像处理方法
JP6153354B2 (ja) * 2013-03-15 2017-06-28 オリンパス株式会社 撮影機器及び撮影方法
CN105389774B (zh) * 2014-09-05 2019-03-01 华为技术有限公司 对齐图像的方法和装置
CN105657237B (zh) * 2014-11-13 2019-02-19 聚晶半导体股份有限公司 图像获取装置及其数字变焦方法
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
CN204206364U (zh) * 2014-11-21 2015-03-11 冠捷显示科技（厦门）有限公司 一种基于双目摄像头的影像预处理装置
US9998663B1 (en) * 2015-01-07 2018-06-12 Car360 Inc. Surround image capture and processing
CN105812653B (zh) * 2015-01-16 2019-05-10 奥林巴斯株式会社 摄像装置和摄像方法
US9800798B2 (en) * 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
US10458812B2 (en) * 2015-10-30 2019-10-29 Invensense, Inc. Sensor output configuration

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US20100097443A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Controller in a Camera for Creating a Panoramic Image
WO2013157658A1 (ja) * 2012-04-20 2013-10-24 株式会社タムロン 赤外線ズームレンズ
US20160050374A1 (en) * 2013-06-13 2016-02-18 Corephotonics Ltd. Dual aperture zoom digital camera
CN104104919A (zh) * 2014-07-24 2014-10-15 山东神戎电子股份有限公司 一种监视仪的镜头同轴矫正方法
CN105527702A (zh) * 2015-08-11 2016-04-27 浙江舜宇光学有限公司 组合式变焦镜头

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381252A (zh) * 2019-07-18 2019-10-25 湖南宏动光电有限公司 一种图形处理系统

Also Published As

Publication number Publication date
US11190700B2 (en) 2021-11-30
KR102560780B1 (ko) 2023-07-28
US20200236286A1 (en) 2020-07-23
KR20180038111A (ko) 2018-04-16
US10652471B2 (en) 2020-05-12
CN111614898B (zh) 2022-04-05
US20180098000A1 (en) 2018-04-05
US20220086354A1 (en) 2022-03-17
CN111614898A (zh) 2020-09-01
US11962906B2 (en) 2024-04-16
CN107920199B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN107920199B (zh) 图像处理系统及包括所述图像处理系统的电子装置
CN107079100B (zh) 用于相机阵列的透镜移位校正的方法和系统
CN103108120B (zh) 变焦控制方法和设备
US8467627B2 (en) Method and apparatus for performing warp processing on an input image
CN105376474B (zh) 图像采集装置及其自动对焦方法
US9749539B2 (en) Image processing apparatus for correcting a distortion of a still image generated from a frame image of a moving image, image capturing apparatus, image generation apparatus, and image processing method
US20160080657A1 (en) Image capturing device and digital zoom method
US9549126B2 (en) Digital photographing apparatus and control method thereof
US9111129B2 (en) Subject detecting method and apparatus, and digital photographing apparatus
US8648960B2 (en) Digital photographing apparatus and control method thereof
CN104285435A (zh) 摄像装置及信号校正方法
US8810712B2 (en) Camera system and auto focus method
CN107636692A (zh) 图像捕获设备及操作其的方法
TWI549500B (zh) 影像擷取方法及使用此方法之影像擷取裝置
JP2021052396A (ja) 複数のイメージセンサにより獲得されるイメージデータに基づいてビデオｈｄｒ処理を遂行するための電子装置
JP6669959B2 (ja) 画像処理装置、撮影装置、画像処理方法、画像処理プログラム
US20100020202A1 (en) Camera apparatus, and image processing apparatus and image processing method
US8681235B2 (en) Apparatus for processing digital image signal that obtains still image at desired point in time and method of controlling the apparatus
CN105472263B (zh) 影像撷取方法及使用此方法的影像撷取设备
CN108141530A (zh) 图像处理装置、图像处理方法及程序
US20110074982A1 (en) Apparatus and method for digital photographing
TW202232932A (zh) 多感測器設備中的相機感測器改變
CN106556961A (zh) 摄像装置及其操作方法
CN103576416B (zh) 具有自动对焦功能的影像撷取装置及自动对焦方法
CN107306331A (zh) 图像处理方法及可携式电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant