[go: up one dir, main page]

WO2020235167A1 - 撮像装置、撮像方法及び記憶媒体 - Google Patents

撮像装置、撮像方法及び記憶媒体 Download PDF

Info

Publication number
WO2020235167A1
WO2020235167A1 PCT/JP2020/007560 JP2020007560W WO2020235167A1 WO 2020235167 A1 WO2020235167 A1 WO 2020235167A1 JP 2020007560 W JP2020007560 W JP 2020007560W WO 2020235167 A1 WO2020235167 A1 WO 2020235167A1
Authority
WO
WIPO (PCT)
Prior art keywords
determination
unit
camera
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/007560
Other languages
English (en)
French (fr)
Inventor
夏季 甲斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2021520058A priority Critical patent/JP7211502B2/ja
Priority to US17/611,636 priority patent/US12010435B2/en
Publication of WO2020235167A1 publication Critical patent/WO2020235167A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to an image pickup device, an image pickup method and a storage medium, and for example, an image pickup device, an image pickup method and a storage medium for capturing an image to be captured for Visual SLAM using an auto-tuning camera such as a smartphone.
  • Visual SLAM Video Simultaneous Localization And Mapping
  • a technique for simultaneously estimating a self-position and creating a 3D map from a two-dimensional image of a moving camera is known as a technique for simultaneously estimating a self-position and creating a 3D map from a two-dimensional image of a moving camera.
  • Visual SLAM is roughly divided into a direct method that directly refers to pixel values and an indirect method that extracts feature points from an image.
  • the position of the object represented by the point on the captured image is identified while moving the camera.
  • small differences in conditions such as the shooting method and the way the camera is moved greatly affect the estimation accuracy of the camera matrix.
  • Patent Document 1 proposes a method that facilitates the initialization of SLAM by determining whether the pivot (movement) of the camera is correct, and when detecting movement in an inappropriate direction, notifying the user of the appropriate direction. Has been done.
  • the imaging device of one embodiment includes an imaging unit capable of adjusting camera parameters in imaging, a determination unit that determines whether the imaging data captured by the imaging unit is an image suitable for a computer vision application, and the determination unit. Based on the determination, a parameter adjusting unit for adjusting the camera parameters is provided.
  • an image is captured, it is determined whether the captured imaging data is an image suitable for a computer vision application, and the camera parameters are adjusted based on the determination.
  • the storage medium of one embodiment has an imaging step of capturing an image and a determination step of determining whether the captured imaging data is an image suitable for a computer vision application, and adjusts the camera parameters based on the determination.
  • the program that causes the computer to execute the step is stored.
  • photometric calibration can be performed at low cost in the application of capturing an image for self-position estimation.
  • the accuracy can be improved in the application of capturing an image for self-position estimation using a simple camera.
  • FIG. 1 It is a block diagram which shows the schematic structure of the image pickup apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the schematic structure of the image pickup apparatus which concerns on Embodiment 2.
  • FIG. 2 It is a flowchart which shows an example of the schematic operation of the image pickup apparatus 200 which concerns on Embodiment 2.
  • FIG. It is a flowchart which shows an example of the determination procedure of the image pickup apparatus 200 which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the schematic structure of the image pickup apparatus which concerns on Embodiment 3.
  • FIG. 1 It is a block diagram which shows the schematic structure of the image pickup apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the schematic structure of the image pickup apparatus which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the schematic structure of the image pickup apparatus which concerns on Embodiment 2.
  • FIG. 1 is a block diagram showing a schematic configuration of an image pickup apparatus according to a first embodiment.
  • the image pickup apparatus 100 includes a camera unit 101, a determination unit 102, and a parameter adjustment unit 103.
  • the camera unit 101 is an imaging unit capable of adjusting camera parameters of the imaging device such as focus and exposure time.
  • the camera unit 101 includes a lens, an aperture, a shutter, and an image sensor.
  • the camera unit 101 may be a camera attached to a smartphone or a simple web camera capable of variably setting camera parameters such as focus and exposure time.
  • the camera unit 101 takes an image according to the set camera parameters, and outputs the captured image to the determination unit 102.
  • the determination unit 102 determines whether the image captured by the camera unit 101 is an image suitable for a computer vision application that processes the captured image. Then, the determination unit 102 outputs the determination result to the parameter adjustment unit 103.
  • the parameter adjustment unit 103 adjusts the camera parameters of the camera unit 101 based on the result of the determination by the determination unit 102. Then, the parameter adjusting unit 103 sets the adjusted camera parameters in the camera unit 101.
  • the image pickup apparatus of the first embodiment it is determined whether or not the captured image is an image suitable for a computer vision application, and the camera parameters of the camera to be imaged are adjusted based on the determination result. It is possible to enable photometric calibration at low cost in the application of capturing an image for self-position estimation. Further, according to the image pickup apparatus of the first embodiment, the accuracy can be improved when an image for self-position estimation is captured by using a simple camera.
  • the above-mentioned determination unit 102 and parameter adjustment unit 103 may be composed of an electronic circuit. Further, the determination unit 102 and the parameter adjustment unit 103 described above may be configured by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array). Further, the determination unit 102 and the parameter adjustment unit 103 described above may include a CPU (Central Processing Unit) and a memory.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the camera parameters can be adjusted at any timing, but it is preferably executed in the initialization process before imaging.
  • FIG. 2 is a block diagram showing a schematic configuration of the image pickup apparatus according to the second embodiment.
  • the image pickup apparatus 200 includes a camera unit 201, a determination unit 202, a parameter adjustment direction determination unit 203, and a parameter change amount determination unit 204.
  • the parameter adjustment direction determination unit 203 and the parameter change amount determination unit 204 are detailed configurations of the parameter adjustment unit 103 described in the first embodiment.
  • the camera unit 201 is an imaging unit capable of adjusting camera parameters of the imaging device such as focus and exposure time.
  • the camera unit 201 includes a lens, an aperture, a shutter, and an image sensor like the camera unit 101.
  • the camera unit 201 may be a camera attached to a smartphone or a simple web camera capable of variably setting camera parameters such as focus and exposure time.
  • the camera unit 201 takes an image according to the set camera parameters, and outputs the captured image to the determination unit 202.
  • the determination unit 202 determines whether the image captured by the camera unit 201 is an image suitable for Visual SLAM. For example, the determination unit 202 makes at least one determination of edge determination, blur determination, and noise determination. In the following description, an example in which the determination unit 202 determines by combining edge determination, blur determination, and noise determination will be described. Then, the determination unit 202 outputs the determination result to the parameter adjustment direction determination unit 203.
  • the parameter adjustment direction determination unit 203 determines the adjustment direction of each camera parameter based on the result of the determination unit 202.
  • Camera parameters include at least one of exposure time, ISO sensitivity and focal length. Further, the camera parameter may be a white balance or an F value.
  • the parameter adjustment direction determination unit 203 determines which of the plurality of camera parameters the value of the parameter is to be increased or decreased (increased or decreased).
  • the parameter change amount determination unit 204 determines the change amount of each camera parameter based on the result of the determination unit 202, and sets a new camera parameter in the camera unit 201 together with the result of the parameter adjustment direction determination unit 203.
  • the above-mentioned determination unit 202, parameter adjustment direction determination unit 203, and parameter change amount determination unit 204 may be composed of an electronic circuit. Further, the determination unit 202, the parameter adjustment direction determination unit 203, and the parameter change amount determination unit 204 may be configured by an integrated circuit such as an ASIC or FPGA. Further, the determination unit 202, the parameter adjustment direction determination unit 203, and the parameter change amount determination unit 204 may include a CPU and a memory.
  • FIG. 3 is a flowchart showing an example of a schematic operation of the image pickup apparatus 200 according to the second embodiment.
  • step S301 shooting with the camera is started, and the operation of the user holding the camera and moving is started. Then, the process proceeds to step S302.
  • a list of camera parameters to be adjusted for Visual SLAM which is the target computer vision application, is created, and the process proceeds to step S303.
  • the list of camera parameters to be adjusted may include any camera parameters. For example, exposure time and ISO sensitivity, which are effective camera parameters for Visual SLAM using the direct method, are suitable as camera parameters to be adjusted.
  • step S303 the camera unit 201 starts shooting with the camera parameters of the initial setting values, and sends the shot image to the determination unit 202. Then, the process proceeds to step S304.
  • the user holding the camera shall move around after starting the shooting.
  • This is a technology in which Visual SLAM calculates the position between the camera position and the surrounding environment by moving the camera. SLAM maps cannot be generated while the camera is stationary, and even with the technology of the present invention, images suitable for Visual SLAM can be obtained. It is necessary to move the camera to determine whether it is possible to shoot. Further, the moving of the camera of the present invention does not require a special fixing device, and the user may take an image of the surroundings by any method.
  • step S304 the determination unit 202 determines whether the acquired image is an image suitable for Visual SLAM. Then, if the acquired image is not an image suitable for Visual SLAM, the process proceeds to step S305. If the acquired image is an image suitable for Visual SLAM, the process ends. The specific determination procedure will be described later.
  • step S305 the parameter adjustment direction determination unit 203 determines the item for which the acquired image is not suitable for Visual SLAM, so that the camera parameter adjustment direction is determined. Then, the information regarding the camera parameter to be adjusted and the adjustment direction is output from the parameter adjustment direction determination unit 203 to the parameter change amount determination unit 204.
  • step S306 the parameter change amount determination unit 204 receives the camera parameter to be adjusted and the adjustment direction from the parameter adjustment direction determination unit 203. Then, the parameter change amount determination unit 204 determines the change amount of the camera parameter. Then, the process proceeds to step S307.
  • step S307 the corresponding camera parameter of the camera unit 201 is set to a value to be changed.
  • FIG. 4 is a flowchart showing an example of the determination procedure of the image pickup apparatus 200 according to the second embodiment.
  • step S401 the determination unit 202 first performs a blur determination on the acquired image. If a blur is detected, the process proceeds to step S402. If no blur is detected, the process proceeds to step S403.
  • step S402 the determination unit 202 determines that the blur is not detected and the condition is not met, and proceeds to step S408.
  • step S403 the determination unit 202 makes a random noise determination. If random noise is detected, the process proceeds to step S404. If no edge is detected, the process proceeds to step S405.
  • step S404 the determination unit 202 detects random noise, determines that the condition has not been reached, and proceeds to step S408.
  • step S405 the determination unit 202 performs edge determination. If no edge is detected, the process proceeds to step S406. If an edge is detected, the process proceeds to step S407.
  • step S406 the determination unit 202 determines that the edge has not been detected and the condition has not been reached, and proceeds to step S408.
  • step S407 True that satisfies the condition is returned to the parameter adjustment direction determination unit 203, and the process ends.
  • step S408 False indicating that the condition is not satisfied and the detection item for which the condition is not met are returned to the parameter adjustment direction determination unit 203, and the process ends.
  • An arbitrary determination algorithm may be used in the blur determination in step S401, the random noise determination in step S403, and the edge determination in step S405.
  • the parameter adjustment direction determination unit 203 determines the adjustment direction of the camera parameter from the detection items that have not been reached, and outputs the parameter change amount determination unit 204 to the parameter change amount determination unit 204.
  • the parameter adjustment direction determination unit 203 determines in the direction of lowering the exposure time. Further, when the detection item that has not been reached is the random noise determination, the parameter adjustment direction determination unit 203 determines in the direction of lowering the ISO sensitivity. Then, when the edge is not detected, the parameter adjustment direction determination unit 203 determines in the direction of increasing both the exposure time and the ISO sensitivity. The parameter adjustment direction determination unit 203 outputs the adjustment direction of the determined camera parameter to the parameter change amount determination unit 204.
  • the parameter change amount determination unit 204 receives the camera parameter to be adjusted and the adjustment direction from the parameter adjustment direction determination unit 203, and determines the change amount. Then, the parameter change amount determination unit 204 changes the set value of the corresponding camera parameter of the camera unit 201 from this change amount.
  • the amount of change in each camera parameter may be x [%] of the currently set value (where x is an arbitrary real number).
  • the parameter change amount determination unit 204 sets a method of inclining the setting value such as 2x [%] of the currently set value or a random numerical value. You may.
  • the camera unit 201 resumes shooting with the camera parameters set from the parameter change amount determination unit. Then, the camera parameters are repeatedly adjusted until the condition of the determination unit 202 is satisfied.
  • the image pickup apparatus of the second embodiment it is determined by a plurality of determination methods whether or not the captured image is an image suitable for the computer vision application, and the parameter is determined based on the determination that the condition is not satisfied.
  • the adjustment direction and the item By determining the adjustment direction and the item, appropriate camera parameters can be adjusted, and the accuracy can be improved when an image for self-position estimation is taken.
  • Visual SLAM which is the target computer vision application, especially Visual SLAM that uses the direct method.
  • Example 1 A more specific example of adjusting the camera parameters of the second embodiment will be described below. It is assumed that the camera parameters of the second embodiment are adjusted using the camera attached to the smartphone. The adjustment of camera parameters shall be executed by the application running on the smartphone. Targeting Visual SLAM, which is a direct method as a computer vision application, the camera parameters to be adjusted are exposure time and ISO sensitivity.
  • the auto-tuning function of the camera attached to the smartphone is turned off, the exposure time of the camera parameters is 10 [ms], and the ISO sensitivity is 100 [-], and the user activates the camera attached to the smartphone. And start moving.
  • the image taken with the camera parameters initially set in the camera unit 201 is sent to the determination unit 202.
  • the determination unit 202 first performs a convolution operation using the Laplacian kernel, which is famous as a blur determination, on the received image, and calculates the variance. If the variance value calculated by the blur determination is less than a certain threshold value, the received image is determined to have blurred.
  • the threshold value at this time is an arbitrary value, for example, 60.0. When the variance calculated by the blur determination exceeds a certain threshold value, the process proceeds to the next determination.
  • the threshold value at this time may be any value, for example, 10. If the number of points obtained by the random noise determination is less than the threshold value, the process proceeds to the next determination.
  • the convolution operation is performed using the Laplacian kernel as in the blur judgment, and the variance is calculated. If the variance value calculated as the edge determination is less than a certain threshold value, the received image is determined to have failed the edge determination.
  • the threshold value at this time may be any value, for example, 150.0.
  • the parameter adjustment direction determination unit 203 determines to adjust in the direction of lowering the exposure time [ms] of the camera parameter.
  • the camera unit 201 sends the captured image to the determination unit 202 with the exposure time set to 5 [ms].
  • the determination unit 202 performs blur determination, random noise determination, and edge determination again on the received image, and repeatedly executes the above adjustment procedure until the conditions are satisfied.
  • the determination in the determination unit 202 is executed in the order of blur determination, random noise determination, and edge determination, but the order of these determination procedures is not particularly limited. Moreover, the algorithm used for each determination may be executed by any algorithm.
  • FIG. 5 is a block diagram showing a schematic configuration of the image pickup apparatus according to the third embodiment.
  • the image pickup apparatus 500 includes a camera unit 501, a CPU 502, a memory 503, and a display unit 504.
  • the camera unit 501 is an imaging unit capable of adjusting camera parameters of the imaging device such as focus and exposure time.
  • the camera unit 501 includes a lens, an aperture, a shutter, and an image sensor. Then, the camera unit 501 converts the light received by the image sensor into an electric signal and outputs it to the CPU 502 and the memory 503.
  • the CPU 502 is a processor that executes the processing of the determination unit 102 and the parameter adjustment unit 103 of the first embodiment, or the determination unit 202, the parameter adjustment direction determination unit 203, and the parameter change amount determination unit 204 of the second embodiment.
  • the memory 503 is a memory that stores numerical values used for data, parameters, calculations, and determinations of captured images.
  • the memory 503 is a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the display unit 504 is a display device that displays the captured image and the result of self-position estimation.
  • the display unit 504 may be an LCD (Liquid Crystal Display).
  • the imaging devices of the first and second embodiments can be realized as hardware. Further, the program stored in the memory 503 can also be executed on the CPU 502.
  • Each element described in the drawing as a functional block that performs various processing can be composed of a CPU, a memory, and other circuits in terms of hardware, and in terms of software, by a program loaded in the memory. It will be realized. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various ways by hardware only, software only, or a combination thereof, and is not limited to any of them.
  • Non-transitory computer-readable media include various types of tangible recording media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W and a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory)).
  • a semiconductor memory for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory)
  • the program may also be supplied to the computer by various types of temporary computer-readable media.
  • Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)

Abstract

自己位置推定を行うための画像を撮像する用途において、低コストで測光較正を可能とすることができる撮像装置、撮像方法及びプログラムを提供すること。　撮像装置（１００）は、撮像におけるカメラパラメータを調節可能な撮像部（１０１）と、撮像部（１０１）において撮像された撮像データがコンピュータビジョンアプリケーションに適した画像であるか判定する判定部（１０２）と、判定部（１０２）の判定に基づいて、カメラパラメータを調節するパラメータ調整部（１０３）と、を備える。

Description

撮像装置、撮像方法及び記憶媒体
　本発明は撮像装置、撮像方法及び記憶媒体に関し、例えば、スマートフォンなどのオートチューニングカメラを用いてVisual SLAM用撮像画像を撮像する撮像装置、撮像方法及び記憶媒体に関する。
　近年、ＧＰＳ（Global Positioning System）信号などが利用できない環境においても、自己位置を推定する技術の開発が盛んに行われている。このような技術の一例として、移動するカメラの2次元画像から自己位置推定と3Dマップ作成を同時に行う技術をVisual SLAM (Visual Simultaneous Localization And Mapping)が知られている。Visual SLAMは、画素値を直接参照するdirect手法と、画像内から特徴点を抽出するindirect手法に大別される。
　このようなVisual SLAM技術において、正確で高品質なSLAMマップを作成するには、しっかりとカメラパラメータを調整する初期化プロセスが必要となる。
　Visual SLAMの初期化プロセスではカメラの内部パラメータを含むカメラ行列を推定するために、カメラを移動させながら撮像画像上の点が表す物体の位置を同定する。このプロセスは、撮影方法やカメラの移動の仕方など細かな条件の違いがカメラ行列の推定精度に大きな影響を及ぼす。
　特許文献1ではカメラのピボット（移動）が正しいかどうかを判定し、不適切な方向への移動を検出すると、適切な向きについてユーザに通知することでSLAMの初期化を容易にする方式が提案されている。
特表２０１６－５２７５８３号公報
　既存のVisual SLAMでは、CCDセンサを積んだ産業用カメラで撮影された映像を入力としたSLAMマップの生成に取り組まれてきた。産業用カメラを用いたVisual SLAMでは、測光センサの値を取得してレンズの光学的減衰特性をモデル化することで光学的な歪みを補正する測光較正が提案されているが、産業用カメラは高コストとなる問題がある。
　一方でスマートフォン付属のカメラや市販のwebカメラは、産業用カメラと比較すると低コストだが、画像処理による光学的補正をするための測光センサの精度が低い、または測光センサの測定結果を取得できないので、測光較正が困難であるという問題があった。
　このように、自己位置推定を行うための画像を撮像する用途において、低コストで測光較正を可能とする撮像装置は、実現されていなかった。
　一実施形態の撮像装置は、撮像におけるカメラパラメータを調節可能な撮像部と、前記撮像部において撮像された撮像データがコンピュータビジョンアプリケーションに適した画像であるか判定する判定部と、前記判定部の判定に基づいて、前記カメラパラメータを調節するパラメータ調整部と、を備えるようにした。
　一実施形態の撮像方法は、画像を撮像し、撮像された撮像データがコンピュータビジョンアプリケーションに適した画像であるか判定し、前記判定に基づいて、カメラパラメータを調節するようにした。
　一実施形態の記憶媒体は、画像を撮像する撮像ステップと、撮像された撮像データがコンピュータビジョンアプリケーションに適した画像であるか判定する判定ステップし、前記判定に基づいて、カメラパラメータを調節する調節ステップをコンピュータに実行させるプログラムが格納されるようにした。
　本発明の撮像装置、撮像方法及び記憶媒体によれば、自己位置推定を行うための画像を撮像する用途において、低コストで測光較正を可能とすることができる。この結果、簡易なカメラを用いて、自己位置推定を行うための画像を撮像する用途において、精度を向上させることができる。
実施の形態１に係る撮像装置の概略構成を示すブロック図である。 実施の形態２に係る撮像装置の概略構成を示すブロック図である。 実施の形態２に係る撮像装置２００の概略動作の一例を示すフローチャートである。 実施の形態２に係る撮像装置２００の判定手順の一例を示すフローチャートである。 実施の形態３にかかる撮像装置の概略構成を示すブロック図である。
　＜実施の形態１＞
　以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１に係る撮像装置の概略構成を示すブロック図である。図１において、撮像装置１００は、カメラ部１０１と、判定部１０２と、パラメータ調整部１０３とを備える。
　カメラ部１０１は、フォーカスや露光時間などの撮像装置のカメラパラメータを調整可能な撮像部である。例えば、カメラ部１０１は、レンズ、絞り、シャッター及び撮像素子を備える。具体的には、カメラ部１０１は、フォーカスや露光時間などのカメラパラメータを可変設定可能なスマートフォン付属のカメラや簡易なｗｅｂカメラであってもよい。
　そしてカメラ部１０１は、設定されたカメラパラメータに従って撮像し、撮像した画像を判定部１０２に出力する。
　判定部１０２は、カメラ部１０１が撮像した画像が、撮像画像を処理するコンピュータビジョンアプリケーションに適した画像であるか判定する。そして、判定部１０２は、判定結果をパラメータ調整部１０３に出力する。
　パラメータ調整部１０３は、判定部１０２が判定した結果を基に、カメラ部１０１のカメラパラメータを調整する。そしてパラメータ調整部１０３は、カメラ部１０１に調整したカメラパラメータを設定する。
　このように実施の形態１の撮像装置によれば、撮像した画像がコンピュータビジョンアプリケーションに適した画像であるかどうか判定し、判定結果に基づいて、撮像するカメラのカメラパラメータを調整することにより、自己位置推定を行うための画像を撮像する用途において、低コストで測光較正を可能とすることができる。また、実施の形態１の撮像装置によれば、簡易なカメラを用いて、自己位置推定を行うための画像を撮像する場合に、精度を向上させることができる。
　上述の判定部１０２及びパラメータ調整部１０３は、電子回路で構成されてもよい。また、上述の判定部１０２及びパラメータ調整部１０３は、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）のような集積回路で構成されてもよい。また、上述の判定部１０２及びパラメータ調整部１０３は、ＣＰＵ（Central Processing Unit）及びメモリを備えてもよい。
　なお、実施の形態１の撮像装置において、カメラパラメータの調整は、任意のタイミングで実施できるが、撮像前の初期化プロセスにおいて実行されることが好適である。
　＜実施の形態２＞
　実施の形態２では、実施の形態１の調整内容をより詳細に説明する。図２は、実施の形態２に係る撮像装置の概略構成を示すブロック図である。図２において、撮像装置２００は、カメラ部２０１と、判定部２０２と、パラメータ調整方向決定部２０３と、パラメータ変化量決定部２０４と、を備える。パラメータ調整方向決定部２０３及びパラメータ変化量決定部２０４は、実施の形態１で説明したパラメータ調整部１０３の詳細な構成である。
　カメラ部２０１は、フォーカスや露光時間などの撮像装置のカメラパラメータを調整可能な撮像部である。例えば、カメラ部２０１は、カメラ部１０１と同様にレンズ、絞り、シャッター及び撮像素子を備える。具体的には、カメラ部２０１は、フォーカスや露光時間などのカメラパラメータを可変設定可能なスマートフォン付属のカメラや簡易なｗｅｂカメラであってもよい。
　そしてカメラ部２０１は、設定されたカメラパラメータに従って撮像し、撮像した画像を判定部２０２に出力する。
　判定部２０２は、カメラ部２０１が撮像した画像が、撮像画像がVisual SLAMに適した画像であるか判定する。例えば、判定部２０２は、エッジ判定、ブラー判定及びノイズ判定の少なくとも１つの判定を行う。以下の説明では、判定部２０２がエッジ判定、ブラー判定及びノイズ判定を組み合わせて判定する例について説明する。そして、判定部２０２は、判定結果をパラメータ調整方向決定部２０３に出力する。
　パラメータ調整方向決定部２０３は、判定部２０２の結果に基づいて、各カメラパラメータの調整方向を決定する。カメラパラメータは、露光時間、ＩＳＯ感度及び焦点距離の少なくとも１つを含む。また、カメラパラメータは、ホワイトバランスまたはF値であってもよい。
　パラメータ調整方向決定部２０３は、複数のカメラパラメータのうち、どのパラメータの値を上下（増加または減少）させるかを決定する。
　パラメータ変化量決定部２０４は、判定部２０２の結果に基づいて、各カメラパラメータの変化量を決定し、パラメータ調整方向決定部２０３の結果と合わせてカメラ部２０１に新しいカメラパラメータを設定する。
　上述の判定部２０２、パラメータ調整方向決定部２０３及びパラメータ変化量決定部２０４は、電子回路で構成されてもよい。また、上述の判定部２０２、パラメータ調整方向決定部２０３及びパラメータ変化量決定部２０４は、ＡＳＩＣまたはＦＰＧＡのような集積回路で構成されてもよい。また、上述の判定部２０２、パラメータ調整方向決定部２０３及びパラメータ変化量決定部２０４は、ＣＰＵ及びメモリを備えてもよい。
　以上の構成により、撮像装置２００はカメラパラメータを調整する。次に、撮像装置２００の調整動作について説明する。図３は、実施の形態２に係る撮像装置２００の概略動作の一例を示すフローチャートである。
　まず、ステップＳ３０１において、カメラの撮影を開始し、ユーザがカメラを持って移動する動作を開始する。そしてステップＳ３０２に進む。
　ステップＳ３０２において、対象とするコンピュータビジョンアプリケーションであるVisual SLAMに対して調整するカメラパラメータのリストが作成され、ステップＳ３０３に進む。調整するカメラパラメータのリストは任意のカメラパラメータを含んでも良い。例えば、direct手法を利用したVisual SLAMに対して有効なカメラパラメータである露光時間とISO感度が、調整するカメラパラメータとして好適である。
　ステップＳ３０３において、カメラ部２０１は、初期設定値のカメラパラメータで撮影を開始し、撮影した画像を判定部２０２に送る。そしてステップＳ３０４に進む。この時、カメラを持ったユーザは撮影を開始後、動き回るものとする。これはVisual SLAMがカメラの移動によってカメラ位置と周囲の環境との位置を算出する技術で、カメラが静止したままではSLAMマップの生成はできず、本発明の技術でもVisual SLAMに適した画像が撮影できているかどうか判定するためにカメラを移動させる必要がある。また本発明のカメラの移動には特別な固定装置は不要であり、ユーザが任意の方法で周辺を撮影すれば良い。
　ステップＳ３０４において、判定部２０２は、取得した画像がVisual SLAMに適した画像であるか判定する。そして、取得した画像がVisual SLAMに適した画像ではない場合、ステップＳ３０５に進む。取得した画像がVisual SLAMに適した画像である場合、処理を終了する。具体的な判定手順は後述する。
　ステップＳ３０５において、パラメータ調整方向決定部２０３が、取得した画像がVisual SLAMに適していない項目を決定することにより、カメラパラメータの調整方向が決定される。そして、調整するカメラパラメータと調整方向に関する情報が、パラメータ調整方向決定部２０３からパラメータ変化量決定部２０４に出力される。
　ステップＳ３０６において、パラメータ変化量決定部２０４が、パラメータ調整方向決定部２０３から調整するカメラパラメータと調整方向を受け取る。そして、パラメータ変化量決定部２０４が、カメラパラメータの変化量を決定する。そしてステップＳ３０７に進む。
　ステップＳ３０７において、カメラ部２０１の該当するカメラパラメータを変更する値に設定する。
　以上の手順により、撮像装置２００はカメラパラメータを調整する。次に詳細な判定手順について説明する。図４は、実施の形態２に係る撮像装置２００の判定手順の一例を示すフローチャートである。
　まず、ステップＳ４０１において、判定部２０２は、取得した画像に対して、まずブラー判定を行う。ブラーが検出された場合、ステップＳ４０２に進む。また、ブラーが検出されなかった場合、ステップＳ４０３に進む。
　ステップＳ４０２において、判定部２０２は、ブラーが検出されず、条件未達と判断し、ステップＳ４０８に進む。
　ステップＳ４０３において、判定部２０２は、ランダムノイズ判定を行う。ランダムノイズが検出された場合、ステップＳ４０４に進む。また、エッジが検出されなかった場合、ステップＳ４０５に進む。
　ステップＳ４０４において、判定部２０２は、ランダムノイズが検出され、条件未達と判断し、ステップＳ４０８に進む。
　ステップＳ４０５において、判定部２０２は、エッジ判定を行う。エッジが検出されていない場合、ステップＳ４０６に進む。また、エッジが検出された場合、ステップＳ４０７に進む。
　ステップＳ４０６において、判定部２０２は、エッジが検出されず、条件未達と判断し、ステップＳ４０８に進む。
　ステップＳ４０７において、条件を満たすＴｒｕｅがパラメータ調整方向決定部２０３に返され、処理を終了する。
　ステップＳ４０８において、条件を満たさないことを示すＦａｌｓｅと条件未達の検出項目がパラメータ調整方向決定部２０３に返され、処理を終了する。なお、ステップＳ４０１のブラー判定、ステップＳ４０３のランダムノイズ判定、ステップＳ４０５のエッジ判定では任意の判定アルゴリズムを用いてよい。
　次に判定結果に基づいてカメラパラメータの調整方向を決定する動作及びカメラパラメータの設定値決定の動作の詳細について説明する。
＜カメラパラメータの調整方向の決定＞
　パラメータ調整方向決定部２０３は、未達となった検出項目からカメラパラメータの調整方向を決定し、パラメータ変化量決定部２０４に出力する。
　例えば、未達となった検出項目がブラー判定だった場合、パラメータ調整方向決定部２０３は露光時間を下げる方向に決定する。また、未達となった検出項目がランダムノイズ判定だった場合、パラメータ調整方向決定部２０３はＩＳＯ感度を下げる方向に決定する。そして、エッジが検出されなかった場合、パラメータ調整方向決定部２０３は露光時間、ＩＳＯ感度ともに上げる方向に決定する。パラメータ調整方向決定部２０３は、決定したカメラパラメータの調整方向をパラメータ変化量決定部２０４に出力する。
＜カメラパラメータの設定値＞
　パラメータ変化量決定部２０４は、パラメータ調整方向決定部２０３から調整するカメラパラメータと調整方向を受け取り、変化量を決定する。そして、パラメータ変化量決定部２０４は、この変化量からカメラ部２０１の該当するカメラパラメータの設定値を変更する。例えば、各カメラパラメータの変化量は、現在設定されている設定値のｘ［％］として良い（ただしｘは任意の実数とする）。また、パラメータ変化量決定部２０４は、直前の調整方向と同じ調整方向を受け取った場合、現在設定されている設定値の２ｘ［％］のように傾斜を付ける方法や、ランダムな数値で設定してもよい。
　カメラ部２０１はパラメータ変化量決定部から設定されたカメラパラメータで撮影を再開する。そして、判定部２０２の条件が満たされるまで繰り返しカメラパラメータが調整される。
　上述した図３及び図４の説明のように、判定部２０２ですべての条件を満たすと、調整の手順は終了する。
　このように、実施の形態２の撮像装置によれば、撮像した画像がコンピュータビジョンアプリケーションに適した画像であるかどうか、複数の判定方法で判定し、条件を満たさなかった判定に基づいてパラメータの調整方向及び項目を決定することにより、適切なカメラパラメータの調整ができ、自己位置推定を行うための画像を撮像する場合に、精度を向上させることができる。
　例えば、スマートフォン付属のカメラや簡易なwebカメラを用いても、対象とするコンピュータビジョンアプリケーションであるVisual SLAM、特にdirect手法を利用したVisual SLAMによるSLAMマップの生成精度を向上させることができる。
　＜実施例１＞
　以下に、実施の形態２のカメラパラメータの調整のより具体的な例について説明する。
　スマートフォン付属のカメラを用いて実施の形態２のカメラパラメータの調整を実施したとする。なお、カメラパラメータの調整はスマートフォン上で動作するアプリケーションで実行されるものとする。コンピュータビジョンアプリケーションとしてdirect手法なVisual SLAMを対象とし、調整するカメラパラメータは露光時間とＩＳＯ感度とする。
　初期の状態で、スマートフォン付属のカメラのオートチューニング機能をオフにしてあり、カメラパラメータの露光時間が１０［ｍｓ］で、ＩＳＯ感度が１００［－］だったとし、ユーザがスマートフォン付属のカメラを起動して移動を開始したとする。
　カメラ部２０１に初期設定されたカメラパラメータで撮影された画像を判定部２０２に送る。
　判定部２０２は受け取った画像に対して、まずはブラー判定として有名なラプラシアンカーネルを用いた畳み込み演算を行い、分散を算出する。ブラー判定で算出された分散値がある閾値未満となった場合、受け取った画像はブラーが検出されたものと判定する。このときの閾値は任意の値とし、例えば６０．０とする。ブラー判定で算出された分散がある閾値以上となった場合、次の判定に移行する。
　次に、ランダムノイズ判定として、Canny検出を行い、検出結果に線ではなく点がある閾値以上存在した場合、受け取った画像はランダムノイズが検出されたものと判定する。このときの閾値は任意の値でよく、例えば１０としてもよい。ランダムノイズ判定で求められた点の数が閾値未満だった場合、次の判定に移行する。
　最後にエッジ判定として、ブラー判定と同様、ラプラシアンカーネルを用いて畳み込み演算を行い、分散を算出する。エッジ判定として算出された分散値がある閾値未満となった場合、受け取った画像はエッジ判定に失敗したものと判定する。このときの閾値は任意の値でよく、例えば１５０．０としてもよい。エッジ判定で算出された分散が閾値以上だった場合、判定部２０２は条件を満たし、カメラパラメータの調整を終了する。
　判定部２０２により判定された結果、ブラーが検出された場合、パラメータ調整方向決定部２０３はカメラパラメータの露光時間[ms]を下げる方向に調整することを決定する。
　次にパラメータ変化量決定部２０４は、露光時間[ms]の減少量について決定する。変化量の決定には、前述の通り任意の方式を採用するが、ここではランダムな値として5[ms]が選択されたものとする。現在の露光時間の設定値が10[ms]なので、パラメータ変化量決定部は露光時間のカメラパラメータを10[ms]-5[ms]=5[ms]としてカメラ部２０１に設定する。
　カメラ部２０１は露光時間を5[ms]にして撮影された画像を判定部２０２に送る。
　判定部２０２は受け取った画像に対して、再度ブラー判定、ランダムノイズ判定、エッジ判定を実施し、条件が満たされるまで上述の調整手順を繰り返し実行する。
　なお、上述の説明では、判定部２０２における判定がブラー判定、ランダムノイズ判定、エッジ判定の順で実行されているが、これらの判定の手順の順番は特に限定されない。また、各判定に用いたアルゴリズムは、任意のアルゴリズムで実行されてもよい。
　＜実施の形態３＞
　実施の形態３では、実施の形態１または実施の形態２の構成を実現するハードウェアの一例について説明する。図５は、実施の形態３にかかる撮像装置の概略構成を示すブロック図である。
　図５において、撮像装置５００は、カメラ部５０１と、ＣＰＵ５０２と、メモリ５０３と、表示部５０４を備える。
　カメラ部５０１は、フォーカスや露光時間などの撮像装置のカメラパラメータを調整可能な撮像部である。例えば、カメラ部５０１は、レンズ、絞り、シャッター及び撮像素子を備える。そして、カメラ部５０１は、撮像素子により受光した光を電気信号に変換し、ＣＰＵ５０２及びメモリ５０３に出力する。
　ＣＰＵ５０２は、実施の形態１の判定部１０２及びパラメータ調整部１０３、または実施の形態２の判定部２０２、パラメータ調整方向決定部２０３及びパラメータ変化量決定部２０４の処理を実行するプロセッサである。
　メモリ５０３は、撮像した画像のデータ、パラメータ、演算及び判定に用いる数値を記憶するメモリである。例えばメモリ５０３はＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）である。
　表示部５０４は、撮像した画像及び自己位置推定の結果を表示する表示デバイスである。たとえば表示部５０４は、ＬＣＤ（Liquid Crystal Display）であってもよい。
　以上の構成により、実施の形態１及び実施の形態２の撮像装置は、ハードウェアとして実現できる。また、メモリ５０３に記憶したプログラムとしてもＣＰＵ５０２上で実行できる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　この出願は、２０１９年５月２３日に出願された日本出願特願２０１９－９６９３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１００、２００、５００　撮像装置
１０１、２０１　カメラ部
１０２、２０２　判定部
１０３　パラメータ調整部
２０３　パラメータ調整方向決定部
２０４　パラメータ変化量決定部
５０１　カメラ部
５０３　メモリ
５０４　表示部

Claims (6)

  1. 　撮像におけるカメラパラメータを調節可能な撮像部と、
    　前記撮像部において撮像された撮像データがコンピュータビジョンアプリケーションに適した画像であるか判定する判定部と、
    　前記判定部の判定に基づいて、前記カメラパラメータを調節するパラメータ調整部と、を備える撮像装置。
  2. 　前記判定部は、前記撮像部において撮像された撮像データがVisual SLAM（Simultaneous Localization and Mapping）に適した画像であるか判定する請求項１に記載の撮像装置。
  3. 　前記判定部は、前記撮像部から出力された画像に対して、エッジ判定、ブラー判定及びノイズ判定の少なくとも１つの判定を行い、
    　前記パラメータ調整部は、
    　　前記判定に基づいて、カメラパラメータの調整方向を決定するパラメータ調整方向決定部と、
    　　前記判定に基づいて、カメラパラメータの調整量を決定するパラメータ変化量決定部を備える、請求項１または２に記載の撮像装置。
  4. 　前記判定部は、前記撮像部から出力された画像に対して、エッジ判定、ブラー判定及びノイズ判定の少なくとも２つの判定を行い、
    　前記パラメータ調整方向決定部は、条件を満たさなかった判定項目に基づいてカメラパラメータの調整方向を決定し、
    　前記パラメータ変化量決定部は、条件を満たさなかった判定項目に基づいてカメラパラメータの調整量を決定する、請求項３に記載の撮像装置。
  5. 　画像を撮像し、
    　撮像された撮像データがコンピュータビジョンアプリケーションに適した画像であるか判定し、
    　前記判定に基づいて、カメラパラメータを調節する撮像方法。
  6. 　画像を撮像する撮像ステップと、
    　撮像された撮像データがコンピュータビジョンアプリケーションに適した画像であるか判定する判定ステップし、
    　前記判定に基づいて、カメラパラメータを調節する調節ステップをコンピュータに実行させるプログラムが格納されたコンピュータが読み取り可能な記憶媒体。
PCT/JP2020/007560 2019-05-23 2020-02-26 撮像装置、撮像方法及び記憶媒体 Ceased WO2020235167A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021520058A JP7211502B2 (ja) 2019-05-23 2020-02-26 撮像装置、撮像方法及びプログラム
US17/611,636 US12010435B2 (en) 2019-05-23 2020-02-26 Image pick-up apparatus, image pick-up method that picks up images for a visual simultaneous localization and mapping

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-096938 2019-05-23
JP2019096938 2019-05-23

Publications (1)

Publication Number Publication Date
WO2020235167A1 true WO2020235167A1 (ja) 2020-11-26

Family

ID=73458114

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007560 Ceased WO2020235167A1 (ja) 2019-05-23 2020-02-26 撮像装置、撮像方法及び記憶媒体

Country Status (3)

Country Link
US (1) US12010435B2 (ja)
JP (1) JP7211502B2 (ja)
WO (1) WO2020235167A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006245709A (ja) * 2005-03-01 2006-09-14 Ricoh Co Ltd 撮像装置
JP2012015973A (ja) * 2010-07-05 2012-01-19 Panasonic Electric Works Co Ltd 撮像装置
WO2015165523A1 (en) * 2014-04-30 2015-11-05 Longsand Limited Simultaneous localization and mapping initialization
JP2020008853A (ja) * 2018-07-04 2020-01-16 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 音声出力方法および装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145478B2 (en) * 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
KR101658212B1 (ko) * 2009-04-29 2016-09-21 코닌클리케 필립스 엔.브이. 카메라에 대한 최적의 시야각 위치를 선택하는 방법
US9251562B1 (en) * 2011-08-04 2016-02-02 Amazon Technologies, Inc. Registration of low contrast images
US9667873B2 (en) 2013-05-02 2017-05-30 Qualcomm Incorporated Methods for facilitating computer vision application initialization
WO2016197307A1 (en) * 2015-06-08 2016-12-15 SZ DJI Technology Co., Ltd. Methods and apparatus for image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006245709A (ja) * 2005-03-01 2006-09-14 Ricoh Co Ltd 撮像装置
JP2012015973A (ja) * 2010-07-05 2012-01-19 Panasonic Electric Works Co Ltd 撮像装置
WO2015165523A1 (en) * 2014-04-30 2015-11-05 Longsand Limited Simultaneous localization and mapping initialization
JP2020008853A (ja) * 2018-07-04 2020-01-16 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 音声出力方法および装置

Also Published As

Publication number Publication date
US12010435B2 (en) 2024-06-11
JPWO2020235167A1 (ja) 2020-11-26
US20220247922A1 (en) 2022-08-04
JP7211502B2 (ja) 2023-01-24

Similar Documents

Publication Publication Date Title
CN111345029B (zh) 一种目标追踪方法、装置、可移动平台及存储介质
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
JP5895270B2 (ja) 撮像装置
KR101983156B1 (ko) 촬영 장치의 이미지 보정 장치 및 방법
CN109922275B (zh) 曝光参数的自适应调整方法、装置及一种拍摄设备
CN107615744B (zh) 一种图像拍摄参数的确定方法及摄像装置
US9900512B2 (en) Apparatus, method and computer program for image stabilization
CN110708463A (zh) 对焦方法、装置、存储介质及电子设备
JP2017219635A5 (ja)
JP6405531B2 (ja) 撮像装置
JP2019168862A5 (ja)
JP6432038B2 (ja) 撮像装置
JP2016197234A (ja) 画像安定化方法及びシステム
JP2015194671A (ja) 撮像装置
CN112804463A (zh) 一种曝光时间控制方法、装置、终端及可读存储介质
US10880536B2 (en) Three-dimensional image capturing device and method
JP7211502B2 (ja) 撮像装置、撮像方法及びプログラム
CN115866221B (zh) 投影设备控制方法、装置、存储介质以及投影设备
JP7690282B2 (ja) 被写体追尾装置およびその制御方法
JP6739955B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体
JP6602089B2 (ja) 画像処理装置及びその制御方法
WO2015158953A1 (en) Transformations for image stabilization and refocus
JP7175702B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP6089232B2 (ja) 撮像装置
US12047678B2 (en) Image pickup system that performs automatic shooting using multiple image pickup apparatuses, image pickup apparatus, control method therefor, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20810721

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021520058

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20810721

Country of ref document: EP

Kind code of ref document: A1