[go: up one dir, main page]

WO2021193053A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021193053A1
WO2021193053A1 PCT/JP2021/009441 JP2021009441W WO2021193053A1 WO 2021193053 A1 WO2021193053 A1 WO 2021193053A1 JP 2021009441 W JP2021009441 W JP 2021009441W WO 2021193053 A1 WO2021193053 A1 WO 2021193053A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
photographing
target
imaging device
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/009441
Other languages
English (en)
French (fr)
Inventor
綱島　宣浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to US17/912,436 priority Critical patent/US12143717B2/en
Priority to CN202180021659.3A priority patent/CN115336249A/zh
Priority to JP2022509556A priority patent/JPWO2021193053A1/ja
Publication of WO2021193053A1 publication Critical patent/WO2021193053A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and particularly to an information processing device, an information processing method, and a program suitable for use when focusing the photographing device.
  • the focus of the camera is adjusted based on the distance to the subject to be focused (hereinafter referred to as the shooting target) (hereinafter referred to as the subject distance).
  • the user estimates the distance to the shooting target and roughly adjusts the focus. Next, the user fine-tunes the focus while looking at the image generated by the image sensor of the camera or the image of the object to be photographed formed by the lens.
  • the range-finding sensor has its strengths and weaknesses depending on the method. For example, depending on the method of the distance measuring sensor, the range in which the distance can be measured becomes narrow, the resolution of the distance measurement becomes coarse, and the distance is easily affected by sunlight. Therefore, it is not always possible to accurately focus on the subject to be photographed, and the accuracy of focusing may decrease depending on the situation.
  • This technology was made in view of such a situation, and is intended to improve the accuracy of automatic focus adjustment of the photographing device without using a distance measuring sensor.
  • the information processing device on one aspect of the present technology is based on the positional relationship between the first imaging device, the second imaging device, and the imaging object to be focused on, and the first imaging device and the imaging object. It includes a position detection unit that detects the distance between the first imaging device and a focus control unit that controls the focus of the first imaging device based on the distance between the first imaging device and the imaging target.
  • the information processing method of one aspect of the present technology determines the distance between the first imaging device and the imaging object based on the positional relationship between the first imaging device, the second imaging device, and the imaging object. It detects and controls the focus of the first imaging device based on the distance between the first imaging device and the imaging target.
  • the program of one aspect of the present technology detects the distance between the first imaging device and the imaging object based on the positional relationship between the first imaging device, the second imaging device, and the imaging object.
  • a computer is made to execute a process of controlling the focus of the first photographing device based on the distance between the first photographing device and the photographing target.
  • the distance between the first imaging device and the imaging object is detected based on the positional relationship between the first imaging device, the second imaging device, and the imaging object.
  • the focus of the first imaging device is controlled based on the distance between the first imaging device and the imaging target.
  • FIG. 1 shows a configuration example of an embodiment of the information processing system 1 to which the present technology is applied.
  • the information processing system 1 includes a photographing device 11-1 to a photographing device 11-3, and an information processing device 12.
  • the photographing device 11-1 to the photographing device 11-3 and the information processing device 12 are connected to each other via a network configured by wire or / and wireless, and exchange various data.
  • the photographing device 11-1 when it is not necessary to individually distinguish the photographing device 11-1 to the photographing device 11-3, it is simply referred to as the photographing device 11.
  • FIG. 1 shows a case where three photographing devices 11 are installed, the present technology can be applied if there are at least two photographing devices 11, and four or more photographing devices 11 are installed. It can also be applied when there is 11.
  • the photographing device 11 captures a still image or a moving image, and transmits the image data corresponding to the captured still image or the moving image to the information processing device 12.
  • the photographing device 11 may have at least an automatic focus adjustment function described later, and the method and type thereof are not particularly limited.
  • the image represents an image for one frame constituting a still image or a moving image taken by the photographing device 11.
  • the information processing device 12 detects the positional relationship between each photographing device 11 and the subject (photographing target) to be focused by each photographing device 11 by analyzing the image captured by each photographing device 11. .. Further, the information processing device 12 adjusts the focus of each photographing device 11 based on the positional relationship between each photographing device 11 and the photographing target.
  • FIG. 2 shows a configuration example of the photographing device 11.
  • the photographing device 11 includes an optical system 101, an image pickup element 102, a DSP (Digital Signal Processor) 103, a CPU (Central Processing Unit) 104, a display unit 105, an operation system 106, a frame memory 107, a recording unit 108, a power supply system 109, and the like. , Communication unit 110 and the like.
  • the optical system 101 to the communication unit 110 are connected to each other via the bus 121.
  • the optical system 101 includes a lens system or the like, captures incident light (image light) from the subject, and forms an image of the subject on the image pickup surface of the image pickup device 102. Further, the focus of the photographing device 11 is adjusted by driving the optical system 101 by the CPU 104.
  • the image sensor 102 converts the amount of incident light incident on the image pickup surface by the optical system 101 into an electric signal in pixel units, and supplies the light amount to the DSP 103 as a pixel signal.
  • Any type of image sensor can be used for the image sensor 102.
  • the DSP 103 performs various processes on the pixel signal supplied from the image sensor 102, and generates image data corresponding to the image captured by the image sensor 102 on the frame memory 107.
  • the CPU 104 controls each part of the photographing device 11.
  • the display unit 105 includes, for example, a panel-type display unit such as a liquid crystal display unit or an organic EL (electroluminescence) display unit.
  • the display unit 105 displays, for example, a still image or a moving image captured by the image sensor 102, an operation screen, or the like.
  • the operation system 106 is provided with various operation devices, for example, and is used for operating the photographing device 11.
  • the operation system 106 generates an operation signal based on the user operation and outputs the operation signal to the bus 121.
  • the recording unit 108 records, for example, image data or the like generated by the DSP 103 on a recording medium such as an HDD (Hard Disk Drive) or a DVD (Digital Versatile Disk).
  • a recording medium such as an HDD (Hard Disk Drive) or a DVD (Digital Versatile Disk).
  • the power supply system 109 supplies the power required for the operation of each part of the photographing device 11.
  • the communication unit 110 communicates with the information processing device 12 by a predetermined communication method.
  • the description of the bus 121 when each part exchanges data via the bus 121 will be omitted.
  • the description of the bus 121 is omitted, and it is described that the CPU 104 and the communication unit 110 simply communicate with each other.
  • FIG. 3 shows a configuration example of the information processing unit 151, which is a function realized by the CPU 104 executing a program.
  • the information processing unit 151 includes a focus control unit 161 and a display control unit 162.
  • the focus control unit 161 drives the optical system 101 based on, for example, a focus control signal received from the information processing device 12, an AF (Auto Focus) function provided by the focus control device 12, or an operation signal supplied from the operation system 106. This adjusts the focus of the photographing device 11.
  • a focus control signal received from the information processing device 12, an AF (Auto Focus) function provided by the focus control device 12, or an operation signal supplied from the operation system 106. This adjusts the focus of the photographing device 11.
  • the display control unit 162 controls the display of various images by the display unit 105.
  • FIG. 4 shows a configuration example of the hardware of the information processing device 12.
  • the information processing device 12 is composed of, for example, a computer.
  • the CPU 201, the ROM (Read Only Memory) 202, and the RAM (Random Access Memory) 203 are connected to each other by the bus 204.
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes, for example, a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes, for example, a display, a speaker, and the like.
  • the storage unit 208 includes, for example, a non-volatile memory such as a hard disk.
  • the communication unit 209 communicates with each photographing device 11 by a predetermined communication method.
  • the drive 210 drives a removable recording medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the program executed by the information processing device 12 can be recorded and provided on the removable recording medium 211 as a package media or the like, for example.
  • the program recorded on the removable recording medium 211 is installed in the storage unit 208 via the input / output interface 205, for example, by mounting the removable recording medium 211 on the drive 210.
  • the program is received by the communication unit 209 via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting, and is installed in the storage unit 208.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting
  • the program can be pre-installed in, for example, the ROM 202 or the storage unit 208.
  • the CPU 201 loads the program stored in the ROM 202 or the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the series of processing. Is done.
  • the description of the bus 204 and the input / output interface 205 when each part exchanges data via the bus 204 and the input / output interface 205 will be omitted.
  • the description of the bus 204 and the input / output interface 205 is omitted, and it is described that the CPU 201 and the communication unit 209 simply communicate with each other. ..
  • FIG. 5 shows a configuration example of the information processing unit 251 which is a function realized by the CPU 201 executing a program.
  • the information processing unit 251 includes a photographing device control unit 261 and an output control unit 262.
  • the photographing device control unit 261 includes a feature point detection unit 271, a target point setting unit 272, a position detection unit 273, a motion prediction unit 274, and a focus control unit 275.
  • the feature point detection unit 271 detects the feature points of the image captured by each imaging device 11.
  • the feature point detection unit 271 supplies data indicating the detection result of the feature points of each image to the target point setting unit 272 and the position detection unit 273.
  • the target point setting unit 272 sets a target point, which is a portion (hereinafter referred to as a target portion) to be focused on in the shooting target, from the feature points of each image.
  • the target point setting unit 272 supplies data indicating the setting result of the target point to the position detection unit 273.
  • the position detection unit 273 detects the positional relationship of each imaging device 11 based on the feature points of the images captured by each imaging device 11. Further, the position detection unit 273 detects the positional relationship between each imaging device 11 and the imaging target based on the positional relationship between the imaging devices 11 and the set target points. The position detection unit 273 supplies data indicating the detection result of the positional relationship between each imaging device 11 and the imaging target to the motion prediction unit 274 and the focus control unit 275.
  • the motion prediction unit 274 predicts the movement of the shooting target with respect to each shooting device 11 based on the transition of the positional relationship between each shooting device 11 and the shooting target.
  • the motion prediction unit 274 supplies the focus control unit 275 with data indicating the prediction result of the motion of the imaging target for each imaging device 11.
  • the motion prediction unit 274 transmits data indicating the prediction result of the motion of the imaging target to each imaging device 11 to each imaging device 11 via the communication unit 209.
  • the focus control unit 275 adjusts the focus of each photographing device 11. For example, the focus control unit 275 is used to focus each imaging device 11 on the imaging target based on the positional relationship between each imaging device 11 and the imaging target, particularly the distance between each imaging device 11 and the imaging target. A focus control signal is generated for each photographing device 11. The focus control unit 275 transmits a focus control signal for each photographing device 11 to each photographing device 11 via the communication unit 209.
  • the focus control unit 275 controls the timing of adjusting the focus of each photographing device 11 based on the prediction result of the movement of the photographing target with respect to each photographing device 11 as necessary.
  • the output control unit 262 controls the output of images, sounds, etc. by the output unit 207.
  • step S101 the information processing device 12 acquires image data from each photographing device 11. Specifically, the communication unit 209 receives the image data from each photographing device 11 and supplies the image data to the feature point detection unit 271.
  • the image data acquired from each imaging device 11 is image data corresponding to images captured at timings as close as possible to each other (ideally at the same time).
  • step S102 the feature point detection unit 271 detects each image, that is, the feature points of the image based on the image data acquired from each photographing device 11.
  • the feature point detection unit 271 detects a portion representing a person's physical feature in each image as a feature point.
  • the feature point detection unit 271 detects a human joint and physical feature points such as eyes and nose other than the human joint.
  • the feature point detection unit 271 may be, for example, a person's left shoulder, right shoulder, left elbow, right elbow, left wrist, right wrist, finger joint, fingertip, left waist, right waist, left knee, right knee. , Left ankle, right ankle, crown, neck, right eye, left eye, nose, mouth, right ear, left ear, etc. are detected as feature points.
  • the feature point may be, for example, a region having a certain size or a line segment such as an edge.
  • any of the center of the eye (center of the black eye), the eyeball, or the boundary (edge) portion between the eyeball and the eyelid can be used as the feature point.
  • the feature point detection unit 271 may detect the feature points in response to a user operation, or may detect the feature points using a predetermined algorithm.
  • the user operates an operation device such as a mouse included in the input unit 206 while viewing the image displayed on the display provided in the output unit 207 to specify a desired part in the image. Then, the feature point detection unit 271 detects a portion designated by the user as a feature point.
  • the feature point detection unit 271 is described in "Zhe Cao et al.," Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields “, CVPR 2017” (hereinafter referred to as Non-Patent Document 1).
  • a technology called Open Pose is applied to detect feature points.
  • Non-Patent Document 1 is a technique for estimating a person's posture, and in order to estimate the posture, the above-mentioned parts having physical characteristics of the person (for example, joints) are detected.
  • deep learning is used to estimate the joint position from one image, a Confidence Map is obtained for each joint, and each joint is connected.
  • Posture information based on the human skeleton can be obtained.
  • the feature point detection unit 271 may detect feature points by using a technique other than Non-Patent Document 1.
  • the feature point detection unit 271 may combine both to detect the feature point. For example, first, the feature point detection unit 271 detects a feature point by image analysis using a predetermined algorithm, and the user verifies the detected feature point and instructs the user to add or delete the feature point. It may be.
  • the feature point detection unit 271 supplies data indicating the detection result of the feature points of each image to the position detection unit 273.
  • step S103 the position detection unit 273 detects the positional relationship of each photographing device 11.
  • the position detection unit 273 captures images based on the feature points detected from the image captured by the imaging device 11-1 and the feature points detected from the image captured by the imaging device 11-2. The relative positional relationship between the device 11-1 and the photographing device 11-2 is detected. For example, the position detection unit 273 detects the position and orientation (posture) of the photographing device 11-2 with respect to the photographing device 11-1 with reference to the photographing device 11-1.
  • the position detection unit 273 externally converts the camera coordinate system of the photographing device 11-1 into the camera coordinate system of the photographing device 11-2 as the position and orientation of the photographing device 11-2 with respect to the photographing device 11-1.
  • the parameters (hereinafter referred to as external parameters of the photographing apparatus 11-2) are calculated.
  • This external parameter includes a rotation vector and a translation vector.
  • the rotation vector represents the direction of the optical axis of the photographing device 11-2 in the camera coordinate system of the photographing device 11-1
  • the translation vector is the position of the focal point of the photographing device 11-2 in the camera coordinate system of the photographing device 11-1. Represents.
  • This external parameter can be obtained using, for example, an algorithm called an 8-point algorithm.
  • the points P existing in the field of view FOV1 of the photographing device 11-1 and the field of view FOV2 of the photographing device 11-2 in the three-dimensional space are photographed by the photographing device 11-1 and the photographing device 11-2. in the time taken, the projected points on the image plane of the imaging device 11, and each Q 1, Q 2. In this case, between the projection point Q 1 and the projection point Q 2, the following equation (1) holds.
  • the matrix F is a Fundamental Matrix.
  • the basic matrix F prepare eight or more pairs of projection points (for example, (Q 1 , Q 2 )) when the points in the three-dimensional space are photographed by each imaging device 11, and apply the 8-point algorithm. It is possible to obtain by.
  • the equation (1) includes an internal parameter K1 unique to the photographing device 11-1 such as the focal length and the image center, an internal parameter K2 unique to the photographing device 11-2, and an elementary matrix E. It can be expanded to the following equation (2) by using it.
  • equation (2) can be expanded to the following equation (3).
  • the elementary matrix E can be calculated using the pair of projection points. Further, the elementary matrix E can be decomposed into external parameters by performing singular value decomposition. Further, when the vector representing the point P in the camera coordinate system of the photographing device 11-1 is P 1, and the vector representing the point P in the camera coordinate system of the photographing device 11-2 is P 2 , the basic matrix E is as follows. Equation (4) is satisfied.
  • the elementary matrix E is relative to a pair of vectors for points in three-dimensional space (eg, (P 1 , P 2 )) or a pair of projection points (eg, (Q 1 , Q 2 )). It can be obtained by applying an 8-point algorithm. Then, by decomposing the elementary matrix E into singular values, the external parameters of the photographing apparatus 11-2 can be obtained. This external parameter represents the position and orientation of the imaging device 11-2 with respect to the imaging device 11-1.
  • the position detection unit 273 captures images based on the feature points detected from the image captured by the imaging device 11-1 and the feature points detected from the image captured by the imaging device 11-3.
  • the position and orientation of the photographing device 11-3 with respect to the photographing device 11-1 when the device 11-1 is used as a reference are detected.
  • the position detection unit 273 integrates the position and orientation of the imaging device 11-2 with respect to the imaging device 11-1 and the position and orientation of the imaging device 11-2 with respect to the imaging device 11-1 to integrate each imaging device.
  • the positional relationship of 11 is detected.
  • the positional relationship of each of the photographing devices 11 is represented by, for example, the positions and orientations of the photographing devices 11-2 and the photographing devices 11-3 in the camera coordinate system of the photographing device 11-1.
  • the position detection unit 273 may convert the coordinate system representing the positional relationship of each photographing device 11 from the camera coordinate system of the photographing device 11-1 to the world coordinate system.
  • each imaging device 11 is detected based only on the images captured by each imaging device 11. Further, the distance and direction between the photographing devices 11 are obtained based on the positional relationship of the photographing devices 11.
  • the distance between the photographing devices 11 is represented by, for example, the distance between the focal points of each photographing device 11.
  • the orientation between the imaging devices 11 is represented by, for example, the angle between the optical axes of the imaging devices 11.
  • the positional relationship of each imaging device 11 can be accurately determined. Can be detected.
  • the positional relationship of each photographing device 11 can be easily determined. Can be detected.
  • by smoothing the calculated external parameters of each photographing device 11 in the time direction it is possible to improve the detection accuracy of the positional relationship of each photographing device 11.
  • the first embodiment is a process for focusing on a shooting target existing in the field of view (shooting range) of two or more shooting devices 11.
  • the photographing target T1 exists in the field of view FOV1 of the photographing device 11-1 and in the field of view FOV2 of the photographing device 11-2.
  • the photographing target T1 exists outside the field of view FOV3 of the photographing device 11-3.
  • step S151 image data is acquired from each photographing device by the same processing as in step S101 of FIG.
  • step S152 the feature point detection unit 271 detects the feature points of the image captured by each photographing device 11 in the same manner as the process of step S102 of FIG.
  • the feature point detection unit 271 supplies data indicating the detection result of the feature point to the target point setting unit 272.
  • step S153 the target point setting unit 272 sets the target point to be focused.
  • the target point setting unit 272 may set the target point based on, for example, a user operation, or may set the target point based on a predetermined condition.
  • the display provided in the output unit 207 displays each image and the detection result of the feature point of each image under the control of the output control unit 262.
  • the user operates an input device such as a mouse included in the input unit 206, and selects one feature point to be focused on by each photographing device 11 from the displayed feature points.
  • the range in which the target point can be selected is limited to the feature points detected in the two or more images. Therefore, the feature points detected in only one image are excluded from the selection range of the target points.
  • the target point setting unit 272 sets the feature point selected by the user as the target point.
  • the target point setting unit 272 sets a feature point satisfying a predetermined condition as a target point from among the feature points detected in two or more images.
  • the target point setting unit 272 sets the feature points corresponding to a predetermined part (for example, the right eye) of the person closest to the photographing device 11-1 from the feature points detected in two or more images. Set to the target point.
  • the target point set by the target point setting unit 272 based on a predetermined condition may be verified by the user and may be changed as necessary.
  • the subject including the set target point becomes the shooting target.
  • the target point setting unit 272 supplies data indicating the setting result of the target point to the position detection unit 273.
  • the feature point Pt1 of the imaging target T1 is set as the target point (hereinafter referred to as the target point Pt1) as shown in FIG. 9 below.
  • step S154 the position detection unit 273 detects the subject distance of each photographing device 11.
  • the position detection unit 273 determines the subject distance of the photographing target T1 with respect to the photographing device 11-1 based on the positional relationship between the photographing device 11-1 and the photographing device 11-2 and the photographing target T1 by the following method. In addition, the subject distance of the imaging target T1 with respect to the imaging device 11-2 is detected.
  • the position Pc1 (focus) of the photographing device 11-1 is set as the point A
  • the position Pc2 (focus) of the photographing device 11-2 is set as the point B
  • the target point Pt1 of the photographing target T1 is set.
  • the length of the side AB will be c1.
  • the length c1 is equal to the distance between the position Pc1 and the position Pc2, and represents the distance between the photographing device 11-1 and the photographing device 11-2.
  • the length of the side BC is defined as a1.
  • the length a1 is equal to the distance between the position Pc2 and the target point Pt1, and represents the subject distance of the shooting target T1 with respect to the shooting device 11-2.
  • the length of the side CA is b.
  • the length b is equal to the distance between the target point Pt1 and the position Pc1 and represents the subject distance of the imaging target T1 with respect to the imaging device 11-1.
  • the angle of the angle CAB that is, the angle between the side CA and the side AB is defined as ⁇ a1.
  • the angle ⁇ a1 is equal to the angle between the direction of the target point Pt1 and the direction of the position Pc2 with respect to the position Pc1, and is the angle between the direction of the imaging target T1 and the direction of the imaging device 11-2 with respect to the imaging device 11-1. show.
  • the angle of the angle ABC that is, the angle between the side AB and the side BC is referred to as ⁇ b.
  • the angle ⁇ b is equal to the angle between the direction of the position Pc1 with respect to the position Pc2 and the direction of the target point Pt1, and is the angle between the direction of the photographing device 11-1 and the direction of the photographing target T1 with respect to the photographing device 11-2. show.
  • the length c1 of the side AB can be calculated because the position Pc1 and the position Pc2 are known. Therefore, if the angles ⁇ a1 and angles ⁇ b at both ends of the side AB are known, the shape and size of the triangle ABC can be uniquely determined. That is, the positional relationship between the position Pc1, the position Pc2, and the target point Pt1 (the positional relationship between the photographing device 11-1, the photographing device 11-2, and the photographing target T1) is uniquely determined.
  • the direction vector Vac representing the direction of the photographing target T1 with respect to the photographing device 11-1 is equal to the point C'corresponding to the point C on the imaging surface IS1 and the vector passing through the focal point (point A) of the photographing device 11-1. Therefore, the direction vector Vac can be easily calculated by detecting the point corresponding to the point C'in the image captured by the imaging device 11-1.
  • the direction vector Vab representing the direction of the photographing device 11-2 with respect to the photographing device 11-1 is a vector passing through the focal point (point A) of the photographing device 11-1 and the focal point (point B) of the photographing device 11-2. Is equal to. Therefore, the direction vector Vab can be calculated because the position of the point A (position Pc1) and the position of the point B (position Pc2) are known.
  • the angle ⁇ a1 in the global coordinate system is equal to the angle formed by the vector Vac and the vector Vab in the local coordinate system. Therefore, the angle ⁇ a1 is calculated by the following equation (5) using the formula of the inner product of the vectors.
  • ⁇ a1 cos -1 (Vac ⁇ Vab) ⁇ ⁇ ⁇ (5)
  • Vac and Vab represent the inner product of the direction vector Vac and the direction vector Vab.
  • the following equation (6) is used by using the direction vector Vbc indicating the direction of the photographing target T1 with respect to the photographing apparatus 11-2 and the vector Vba representing the direction of the photographing apparatus 11-1 with respect to the photographing apparatus 11-2. ) Is calculated.
  • ⁇ b cos -1 (Vbc ⁇ Vba) ⁇ ⁇ ⁇ (6)
  • Vbc and Vba represent the inner product of the direction vector Vbc and the direction vector Vba.
  • the length b of the side CA is calculated by the following equation (7) using the law of sines.
  • the length a1 of the side BC is calculated by the following equation (8) using the law of sines.
  • a1 c1 ⁇ sin ( ⁇ a1) / sin ( ⁇ - ⁇ a1- ⁇ b) ... (8)
  • the subject distance of the shooting target T1 to the shooting device 11-1 (length b of the side CA) and the subject distance of the shooting target T1 to the shooting device 11-2 (length a1 of the side BC) are calculated. Will be done.
  • the position detection unit 273 uses the following method to determine the subject of the photographing target T1 with respect to the photographing device 11-3 based on the positional relationship between the photographing device 11-1 and the photographing device 11-3. Detect the distance. More specifically, the position detection unit 273 is based on the positional relationship between the photographing device 11-1 and the photographing device 11-3 and the positional relationship between the photographing device 11-1 and the photographing target T1. The subject distance of the photographing target T1 with respect to 3 is detected.
  • the length of the side AD will be c2.
  • the length c2 is equal to the distance between the position Pc1 and the position Pc3, and represents the distance between the photographing device 11-1 and the photographing device 11-3.
  • the length of the side DC is a2.
  • the length a2 is equal to the distance between the position Pc3 and the target point Pt1, and represents the subject distance of the shooting target T1 with respect to the shooting device 11-3.
  • the angle of the angle CAD that is, the angle between the side CA and the side AD is referred to as ⁇ a2.
  • the angle ⁇ a2 is equal to the angle between the direction of the target point Pt1 and the direction of the position Pc3 with respect to the position Pc1, and is the angle between the direction of the imaging target T1 and the direction of the imaging device 11-3 with respect to the imaging device 11-1. show.
  • the angle of the angle ADC that is, the angle between the side AD and the side DC is defined as ⁇ d.
  • the angle ⁇ d is equal to the angle between the direction of the position Pc1 with respect to the position Pc3 and the direction of the target point Pt1, and is the angle between the direction of the photographing device 11-1 and the direction of the photographing target T1 with respect to the photographing device 11-3. show.
  • the length c2 of the side AD can be calculated because the position Pc1 and the position Pc3 are known. Further, the length b of the side CA has already been calculated by the above-described processing with reference to FIG. Further, the angle ⁇ a2 of the angle CAD can be calculated by the method described above with reference to FIG.
  • the length b of the side CA, the length c2 of the side AD, and the angle ⁇ a2 of the angle CAD between the two sides can be obtained, so that the shape and size of the triangle ADC are uniquely determined. That is, the positional relationship between the position Pc1, the position Pc3, and the target point Pt1 (the positional relationship between the photographing device 11-1, the photographing device 11-3, and the photographing target T1) is uniquely determined.
  • the subject distance (length a2 of the side DC) of the shooting target T1 with respect to the shooting device 11-3 is calculated.
  • the angle ⁇ d (the angle between the direction of the imaging device 11-1 with respect to the imaging device 11-3 and the direction of the imaging target T1) can also be calculated.
  • the position detection unit 273 supplies the focus control unit 275 with data indicating the detection result of the subject distance of the shooting target T1 for each shooting device 11.
  • step S155 the focus control unit 275 controls the focus of each photographing device 11.
  • the focus control unit 275 generates a focus control signal for each photographing device 11 to control the focus so as to be aligned with the photographing target T1 (more strictly, the target point Pt1 of the photographing target T1). ..
  • the focus control unit 275 transmits a focus control signal to each photographing device 11 via the communication unit 209.
  • the focus control unit 161 of each imaging device 11 drives the optical system 101 based on the focus control signal to focus on the imaging target T1 (more strictly, the target point Pt1 of the imaging target T1). match.
  • the focus control signal includes a set value of the optical system 101 for focusing the focus of the photographing device 11 on the photographing target T1.
  • the focus of the photographing device 11 correlates with the subject distance, and if the state of the optical system 101 such as zoom, iris, and focal length is fixed, the set value of the optical system 101 (the set value of the optical system 101) is based on the subject distance.
  • the focus adjustment position is uniquely determined.
  • the focus control unit 161 of the photographing device 11 adjusts the focus to the photographing target T1 by driving the optical system 101 based on the set value included in the focus control signal.
  • the focus control signal includes the subject distance of the photographing target T1 with respect to the photographing device 11.
  • the focus control unit 161 of the photographing device 11 calculates the set value of the optical system 101 for focusing on the photographing target T1 based on the subject distance included in the focus control signal. Then, the focus control unit 161 adjusts the focus to the photographing target T1 by driving the optical system 101 based on the calculated set value.
  • the accuracy of automatic focus adjustment of each photographing device 11 can be improved without using a distance measuring sensor.
  • the focus of the photographing device 11-1 and the photographing device 11-2 can be accurately adjusted to the photographing target T1, and the photographing target T1 is not blurred and is photographed neatly.
  • each imaging device 11 can be accurately focused on a desired portion such as the arm A1 of the imaging target T1.
  • the photographing target T1 does not exist in the field of view FOV3 of the photographing device 11-3, the subject distance of the photographing target T1 with respect to the photographing device 11-3 cannot be detected by the photographing device 11-3 alone. Therefore, the focus of the imaging device 11-3 can be adjusted to match the imaging target T1 only after the imaging target T1 has entered the field of view FOV3.
  • the photographing target T1 does not exist in the field of view FOV3 of the photographing device 11-3, the subject distance of the photographing target T1 with respect to the photographing device 11-3 can be detected.
  • the focus of the imaging device 11-3 can be virtually adjusted to the imaging target T1 before the imaging target T1 enters the field of view FOV3.
  • the focus of the photographing device 11-3 is in the state of being aligned with the photographing target T1.
  • the photographing target T1 exists in the field of view FOV1 of the photographing device 11-1 but is blinded by an obstacle O1 which is a person different from the photographing target T1.
  • the focus of the imaging device 11-1 can be virtually adjusted to the imaging target T1. Therefore, for example, at the moment when the shooting target T1 or the obstacle O1 moves and the shooting target T1 becomes visible from the shooting device 11-1, the focus of the shooting device 11-1 becomes in focus with the shooting target T1. ..
  • the positional relationship between the photographing device 11-1, the photographing device 11-3, and the photographing target T1, and the positional relationship between the photographing device 11-2, the photographing device 11-3, and the photographing target T1 Based on this, the subject distance of the imaging target T1 with respect to the imaging device 11-3 may be detected. In this case, for example, one of the detected subject distances, the average value of the subject distances, or the like can be used to focus the imaging device 11-3 on the imaging target T1.
  • the number of photographing devices 11 is further increased, the number of detected subject distances of the photographing target T1 with respect to the photographing device 11-3 can be increased accordingly.
  • one of the detected subject distances, the average value of the subject distances, the median value of the subject distances, and the like are used to focus the photographing apparatus 11-3 on the photographing target T1. Can be done.
  • the focus of each imaging device 11 can be made to follow the movement of the imaging target T1.
  • the position detection process of FIG. 6 and the focus control process of FIG. 8 are repeatedly executed.
  • the focus of each imaging device 11 can be made to follow the movement of each imaging device 11 and the imaging target T1.
  • the second embodiment is a process for focusing on a subject existing only in the field of view of one photographing device 11.
  • FIG. 15 the case where the positional relationship between the photographing device 11-1 and the photographing device 11-2 and the photographing target T1 is shown in FIG. 15 will be described as a specific example. Note that in FIG. 15, the imaging device 11-3 is not shown.
  • the photographing target T1 exists only in the field of view FOV1 of the photographing device 11-1, and exists outside the field of view FOV2 of the photographing device 11-2.
  • each photographing device 11 is known by the position detection process described above with reference to FIG. Therefore, the distance and direction between the photographing devices 11 can be calculated based on the positional relationship between the photographing devices 11.
  • the imaging device 11-1 it is possible to focus the imaging device 11-1 on the imaging target T1 by, for example, a conventional method such as manual, contrast AF (AutoFocus), phase difference AF, or image plane phase difference AF.
  • a conventional method such as manual, contrast AF (AutoFocus), phase difference AF, or image plane phase difference AF.
  • the focus of the photographing device 11 has a correlation with the subject distance, and if the state of the optical system 101 is fixed, the focus adjustment position is uniquely determined based on the subject distance. On the contrary, if the focus adjustment position is determined, the distance in which the photographing device 11 is in focus is also determined.
  • the focus of the photographing device 11-1 by aligning the focus of the photographing device 11-1 with the photographing target T1, the distance in which the photographing device 11-1 is in focus is determined, and the subject distance of the photographing target T1 with respect to the photographing device 11-1. Can be sought. Then, if the subject distance of the photographing target T1 with respect to the photographing device 11-1 is obtained, the subject distance of the photographing target T1 with respect to the photographing device 11-2 can be calculated by the method described above with reference to FIG. As a result, the focus of the imaging device 11-2 can be virtually adjusted to the imaging target T1.
  • the distance in which the photographing device 11-1 is in focus has a certain width (so-called depth of field). Therefore, even if the focus adjustment position of the photographing device 11-1 is determined, the distance from the photographing device 11-1 to the photographing target T1 is not uniquely determined and has a certain width. Therefore, when the subject distance of the photographing target T1 with respect to the photographing device 11-1 is obtained based on the focus adjustment position of the photographing device 11-1, a slight error may occur. As a result, an error may occur in the subject distance of the photographing target T1 with respect to the photographing device 11-2, and the focus of the photographing device 11-2 may not be accurately aligned with the photographing target T1.
  • the imaging target T1 is in the field of view FOV2 of the imaging device 11-2 as compared with the case where the focus adjustment of the imaging device 11-2 is started after the imaging target T1 has entered the field of view FOV2 of the imaging device 11-2.
  • the focus of the imaging device 11-2 can be adjusted to the imaging target T1 in a shorter time.
  • ⁇ Motion prediction processing> For example, when the position of each photographing device 11 is fixed, it is possible to detect the transition of the positional relationship between each photographing device 11 and the photographing target in real time by repeatedly executing the focus control process of FIG. .. Further, when at least one imaging device 11 moves, the position detection process of FIG. 6 and the focus control process of FIG. 8 are repeatedly executed to change the positional relationship between each imaging device 11 and the imaging target in real time. It is possible to detect.
  • the motion prediction unit 274 of the information processing device 12 can predict the movement of the photographing target with respect to each photographing device 11 based on the transition of the positional relationship between each photographing device 11 and the subject.
  • the motion prediction unit 274 can predict the movement of the imaging target with respect to the imaging device 11-1 based on the transition of the distance and direction of the imaging target with respect to the imaging device 11-1.
  • a time difference ⁇ t occurs between the detection of the subject distance and the focusing of the photographing device 11 on the photographing target. Therefore, for example, when the shooting target is moving at high speed, the subject distance may change when the shooting device 11 focuses on the shooting target, and the shooting target may not be accurately focused. ..
  • the time difference ⁇ t is substantially constant and can be obtained in advance by measuring an actual measurement value or calculating a theoretical value.
  • the motion prediction unit 274 can predict the subject distance of the shooting target to the shooting device 11 after the time difference ⁇ t by predicting the movement of the shooting target with respect to the shooting device 11. Then, the focus control unit 275 controls the focus of the photographing device 11 based on the prediction result of the subject distance to the photographing device 11 after the time difference ⁇ t, so that the focus of the photographing device 11 is photographed more accurately. It becomes possible to match the target.
  • the motion prediction unit 274 can predict the direction, position, and timing at which the imaging target enters the field of view of the imaging device 11 based on the prediction result of the movement of the imaging target with respect to the imaging device 11. ..
  • the user for example, the photographer of the photographing device 11 is notified of the existence and movement of the photographing object existing outside the field of view. Is possible.
  • the motion prediction unit 274 transmits motion prediction data indicating the prediction result of the movement of the imaging target existing outside the field of view of the imaging device 11 to the imaging device 11 via the communication unit 209.
  • the display control unit 162 of the photographing device 11 receives the motion prediction data via the communication unit 110, and based on the motion prediction data, the photographing target information for notifying the existence and movement of the photographing object existing outside the field of view. Is displayed on the display unit 105.
  • 16 and 17 show an example of a method of displaying shooting target information.
  • the shooting target information is added and displayed in the image 301 shot by the shooting device 11. Specifically, the direction in which the imaging target is predicted to enter the image 301 (angle of view of the imaging device 11) in the future is indicated by an arrow. In addition, the timing (2 seconds later) when the person A to be photographed is expected to enter is shown.
  • the shooting target information is added and displayed on the outside of the image 301 shot by the shooting device 11.
  • an animation 311 showing a person to be photographed is displayed outside the image 301.
  • animation 311 represents the moving direction and speed of the object to be photographed.
  • the user can grasp in advance the direction and timing in which the shooting target enters the image 301 (angle of view of the shooting device 11). As a result, for example, it becomes possible to more appropriately photograph the object to be photographed.
  • the shooting target information regarding the shooting target existing in the blind spot of the shooting device 11 may be added to the image shot by the shooting device 11 and displayed.
  • ⁇ Timing to focus on the subject> For example, as in the examples of FIGS. 9 and 15, when the imaging target exists outside the field of view of the imaging device 11, the timing for focusing on the imaging target may be set.
  • two modes are provided as modes for focusing the focus of the photographing device 11-3 on the photographing target T1.
  • the first mode is a mode in which the photographing device 11-3 is focused S1 second after the subject distance of the photographing target T1 with respect to the photographing device 11-3 is detected.
  • the second mode is a mode in which the imaging device 11-3 is focused S2 seconds before the timing at which the imaging target T1 is predicted to enter the field of view FOV3 of the imaging device 11-3.
  • the motion prediction unit 274 can predict the timing at which the imaging target T1 enters the field of view FOV3.
  • the user can select the first mode or the second mode and set the set time S1 or the set time S2. Then, the focus control unit 275 of the information processing device 12 controls the timing of transmitting the focus control signal to the photographing device 11-3 based on the set mode and the set time, for example, to control the timing of transmitting the focus control signal to the photographing device 11-3. Controls the timing of focusing on the image target T1.
  • the shooting device 11-3 is immediately detected.
  • the focus of the image is adjusted to the shooting target T1. Therefore, the focus of the photographing device 11-3 is always in focus on the photographing target T1, and the moment the photographing target T1 enters the field of view FOV3, the focus of the photographing device 11-3 is in focus on the photographing target T1.
  • the focus of the imaging device 11-3 is adjusted to the imaging target T1 at the moment when the imaging target T1 enters the field of view FOV3. Will be able to.
  • the focus position before adjusting the focus of the photographing device 11-3 to the photographing target T1 according to the set time S1 or the set time S2 is arbitrary.
  • the focus may not be on a specific subject, or the focus may be on a subject other than the object to be photographed.
  • the method for detecting the positional relationship of each photographing device 11 is not limited to the above-mentioned example, and any method can be used.
  • each imaging device 11 detects the current position and orientation
  • the information processing device 12 detects the positional relationship of each imaging device 11 based on the detection result of the current position and orientation of each imaging device 11. You may.
  • each photographing device 11 when the position of each photographing device 11 is fixed and the positional relationship of each photographing device 11 does not change, the positional relationship of each photographing device 11 is measured in advance and the measurement result is given to the information processing device 12. You may do so.
  • each photographing device 11 it is possible to set different shooting targets for each shooting device 11. For example, it is possible to set the feature point of the shooting target A as the target point for the shooting device 11-1 and set the feature point of the shooting target B as the target point for the shooting device 11-2. .. As a result, each photographing device 11 can focus on a different photographing target.
  • each target point is set from the feature points detected in the images captured by at least two photographing devices 11. Need to be done.
  • the subject of photography does not necessarily have to be a person.
  • an animal such as a dog or a cat, or an object such as a car or a bicycle as a shooting target.
  • ⁇ Modification example of configuration example of information processing system 1> For example, a part or all of the functions of the information processing device 12 can be provided in the photographing device 11.
  • one of the photographing devices 11 may be used as a master, the rest as slaves, the master photographing device 11 may be provided with all the functions of the information processing device 12, and the information processing device 12 may be omitted.
  • image data is transmitted from the slave photographing device 11 to the master photographing device 11, and the master photographing device 11 detects the positional relationship between each photographing device 11 and the photographing target.
  • the photographing device 11 which is a master controls the focus of the photographing device 11 which is a slave.
  • each photographing device 11 may detect feature points in the image and transmit data indicating the detection result of the feature points to the information processing device 12.
  • the information processing device 12 may be applied to a server in cloud computing or the like so that the server provides a service of controlling the focus of each photographing device 11.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a position detection unit that detects the distance between the first imaging device and the imaging target based on the positional relationship between the first imaging device, the second imaging device, and the imaging target to be focused.
  • An information processing device including a focus control unit that controls the focus of the first photographing device based on the distance between the first photographing device and the photographing target.
  • the position detection unit is based on the positional relationship between the first imaging device and the second imaging device and the positional relationship between the second imaging device and the imaging target, and the first imaging device.
  • the information processing apparatus refers to the distance between the first imaging device and the second imaging device, the distance between the second imaging device and the imaging target, and the second imaging device.
  • the information processing according to (2) above which detects the distance between the first imaging device and the imaging target based on the angle between the direction of the first imaging device and the direction of the imaging target.
  • the position detection unit is a distance between the second imaging device and the third imaging device, and an angle between the direction of the third imaging device and the direction of the imaging target with respect to the second imaging device. , And, based on the angle between the direction of the second imaging device and the direction of the imaging target with respect to the third imaging device, the distance between the second imaging device and the imaging target is detected.
  • the position detection unit is an angle between the direction of the third photographing device and the direction of the photographing target with respect to the second photographing device based on the image obtained by photographing the imaged object by the second photographing device. Is detected, and the angle between the direction of the second photographing device and the direction of the photographing target with respect to the third photographing device is detected based on the image obtained by photographing the imaged object by the third photographing device.
  • the information processing device according to (4) above.
  • the position detection unit is based on the positional relationship between the first imaging device and the second imaging device and the positional relationship between the second imaging device and the imaging target.
  • the information processing apparatus according to any one of (2) to (5) above, which detects the distance between the imaging object and the first imaging apparatus existing outside the field of view or in the blind spot. (7) The information processing device according to (6), wherein the focus control unit controls the timing at which the focus of the first photographing device is adjusted to the photographing target. (8) When the focus control unit detects the distance between the first imaging device and the imaging target for a predetermined time, or when the imaging object enters the angle of view of the first imaging device. The information processing apparatus according to (7), wherein the focus of the first imaging device is controlled so as to focus the focus of the first imaging device on the imaging target at a predetermined time before the predicted timing.
  • the information processing device controls to add and display the image capture target information regarding the image capture target existing in the field of view or the blind spot of the first imaging device to the image captured by the first imaging device.
  • the information processing device according to any one of (6) to (8).
  • the position detection unit includes the positional relationship between the second photographing device and the third photographing device, an image obtained by photographing the imaged object by the second photographing device, and the photographing object by the third photographing device.
  • the information processing device according to (2) above which detects the positional relationship between the second photographing device and the photographing target based on the photographed image.
  • the position detection unit is based on an image taken by the first photographing device, an image taken by the second photographing device, and an image photographed by the third photographing device.
  • the information processing device according to (11), which detects the positional relationship between the photographing device, the second photographing device, and the third photographing device.
  • the position detection unit is based on the positional relationship between the first imaging device and the second imaging device and the positional relationship between the second imaging device and the imaging target, and the first imaging device. Detects the positional relationship between the subject and the subject to be photographed, 2.
  • the information processing device according to any one.
  • the motion prediction unit predicts the distance between the first imaging device and the imaging target after a predetermined time, and determines the distance between the first imaging device and the imaging target.
  • the information processing device wherein the focus control unit controls the focus of the first photographing device based on the predicted distance between the first photographing device and the photographing target.
  • the position detection unit is a distance between the first imaging device and the second imaging device, and between the direction of the second imaging device with respect to the first imaging device and the direction of the imaging target. The distance between the first imaging device and the imaging object is determined based on the angle and the angle between the direction of the first imaging device and the direction of the imaging object with respect to the second imaging device.
  • the information processing apparatus according to any one of (1) to (14) above.
  • the position detection unit includes the first imaging device and the second imaging device based on the image captured by the first imaging device and the image captured by the second imaging device.
  • the information processing apparatus according to any one of (1) to (15) above, which detects a positional relationship.
  • the position detection unit is based on the positional relationship between the first imaging device, the second imaging device, and the target portion to be focused on the imaging target, and the first imaging device and the imaging target. Detects the distance to the target part and The focus control unit focuses the first imaging device so as to focus on the target portion of the imaging target based on the distance between the first imaging device and the target portion of the imaging target.
  • the information processing apparatus according to any one of (1) to (16) above.
  • the information processing device according to any one of (1) to (17), which is provided in the first photographing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

本技術は、測距センサを用いずに、撮影装置のフォーカスの自動調整の精度を向上させることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 情報処理装置は、第１の撮影装置、第２の撮影装置、及び、フォーカスを合わせる対象である撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出する位置検出部と、前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御するフォーカス制御部とを備える。本技術は、例えば、複数の撮影装置を備えるシステムに適用できる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、撮影装置のフォーカスを合わせる場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。
　一般的に、カメラのフォーカスは、フォーカスを合わせる対象となる被写体（以下、撮影対象と称する）までの距離（以下、被写体距離と称する）に基づいて調整される。
　例えば、ユーザは、マニュアルでフォーカスを調整する場合、撮影対象までの距離を目算し、大まかにフォーカスを調整する。次に、ユーザは、カメラの撮像素子により生成された画像、又は、レンズにより形成される撮影対象の像を見ながら、フォーカスを微調整する。
　一方、フォーカス調整を自動化する場合、例えば、カメラの近傍に設けられた測距センサにより撮影対象までの被写体距離が計測され、計測された被写体距離に基づいて、カメラのフォーカスが調整される（例えば、特許文献１参照）。
特開２０１９－３００５号公報
　しかしながら、測距センサは、方式により得手不得手がある。例えば、測距センサの方式により、距離を計測可能な範囲が狭くなったり、距離の計測の分解能が粗くなったり、太陽光の影響を受けやすくなったりする。従って、必ずしも常に正確に撮影対象にフォーカスを合わせられるとは限らず、状況によりフォーカスの精度が低下する場合がある。
　本技術は、このような状況に鑑みてなされたものであり、測距センサを用いずに、撮影装置のフォーカスの自動調整の精度を向上させるようにするものである。
　本技術の一側面の情報処理装置は、第１の撮影装置、第２の撮影装置、及び、フォーカスを合わせる対象である撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出する位置検出部と、前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御するフォーカス制御部とを備える。
　本技術の一側面の情報処理方法は、第１の撮影装置、第２の撮影装置、及び、撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出し、前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御する。
　本技術の一側面のプログラムは、第１の撮影装置、第２の撮影装置、及び、撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出し、前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御する処理をコンピュータに実行させる。
　本技術の一側面においては、第１の撮影装置、第２の撮影装置、及び、撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離が検出され、前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスが制御される。
本技術を適用した情報処理システムの構成例を示すブロック図である。 撮影装置の構成例を示すブロック図である。 撮影装置の情報処理部の構成例を示すブロック図である。 情報処理装置の構成例を示すブロック図である。 情報処理装置の情報処理部の構成例を示すブロック図である。 位置検出処理を説明するためのフローチャートである。 撮影装置の外部パラメータの算出方法を説明するための図である。 フォーカス制御処理を説明するためのフローチャートである。 各撮影装置及び撮影対象の位置関係の例を示す図である。 被写体距離の算出方法を説明するための図である。 被写体距離の算出方法を説明するための図である。 被写体距離の算出方法を説明するための図である。 フォーカスを合わせる対象の例を示す図である。 各撮影装置及び撮影対象の位置関係の例を示す図である。 各撮影装置及び撮影対象の位置関係の例を示す図である。 撮影対象情報の表示方法の例を示す図である。 撮影対象情報の表示方法の例を示す図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．その他
　＜＜１．実施の形態＞＞
　　＜情報処理システム１の構成＞
　図１は、本技術を適用した情報処理システム１の一実施の形態の構成例を示している。
　情報処理システム１は、撮影装置１１－１乃至撮影装置１１－３、及び、情報処理装置１２を備える。撮影装置１１－１乃至撮影装置１１－３と情報処理装置１２とは、有線又は／及び無線で構成されたネットワークを介して、互いに接続され、各種のデータの授受を行う。
　なお、以下、撮影装置１１－１乃至撮影装置１１－３を個々に区別する必要がない場合、単に撮影装置１１と称する。
　また、図１では、３台の撮影装置１１が設置されている場合が示されているが、本技術は、少なくとも２台の撮影装置１１があれば適用でき、また、４台以上の撮影装置１１がある場合にも適用できる。
　撮影装置１１は、静止画像又は動画像を撮影し、撮影された静止画像又は動画像に対応する画像データを情報処理装置１２に送信する。
　なお、撮影装置１１は、少なくとも後述するフォーカスの自動調整機能を備えていればよく、その方式や種類は特に限定されない。
　また、以下の説明において、画像とは、撮影装置１１で撮影された静止画像又は動画像を構成する１フレーム分の画像を表す。
　情報処理装置１２は、各撮影装置１１により撮影された画像を解析することで、各撮影装置１１、及び、各撮影装置１１のフォーカスを合わせる対象となる被写体（撮影対象）の位置関係を検出する。また、情報処理装置１２は、各撮影装置１１及び撮影対象の位置関係に基づいて、各撮影装置１１のフォーカスを調整する。
　　＜撮影装置１１の構成例＞
　図２は、撮影装置１１の構成例を示している。
　撮影装置１１は、光学系１０１、撮像素子１０２、ＤＳＰ（Digital Signal Processor）１０３、ＣＰＵ（Central Processing Unit）１０４、表示部１０５、操作系１０６、フレームメモリ１０７、記録部１０８、電源系１０９、及び、通信部１１０等を備える。光学系１０１乃至通信部１１０は、バス１２１を介して相互に接続されている。
　光学系１０１は、レンズ系等を備え、被写体からの入射光（像光）を取り込み、撮像素子１０２の撮像面上に被写体の像を結像させる。また、光学系１０１がＣＰＵ１０４により駆動されることにより、撮影装置１１のフォーカスが調整される。
　撮像素子１０２は、光学系１０１によって撮像面に入射した入射光の光量を、画素単位で電気信号に変換し、画素信号としてＤＳＰ１０３に供給する。
　なお、撮像素子１０２には、任意の方式の撮像素子を用いることができる。
　ＤＳＰ１０３は、撮像素子１０２から供給される画素信号に対して各種の処理を行うとともに、撮像素子１０２により撮影された画像に対応する画像データを、フレームメモリ１０７上に生成する。
　ＣＰＵ１０４は、撮影装置１１の各部を制御する。
　表示部１０５は、例えば、液晶表示部や有機ＥＬ（electro luminescence）表示部等のパネル型表示部を備える。表示部１０５は、例えば、撮像素子１０２により撮影された静止画像若しくは動画像、又は、操作画面等を表示する。
　操作系１０６は、例えば、各種の操作デバイスを備え、撮影装置１１の操作に用いられる。操作系１０６は、ユーザ操作に基づく操作信号を生成し、バス１２１に出力する。
　記録部１０８は、例えば、ＤＳＰ１０３により生成された画像データ等を、ＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disk）等の記録媒体に記録する。
　電源系１０９は、撮影装置１１の各部の動作に必要な電力を供給する。
　通信部１１０は、情報処理装置１２と所定の通信方式で通信を行う。
　なお、以下、撮影装置１１において、各部がバス１２１を介してデータの授受等を行う場合のバス１２１の記載を省略する。例えば、ＣＰＵ１０４と通信部１１０がバス１２１を介して通信を行う場合、バス１２１の記載を省略して、単にＣＰＵ１０４と通信部１１０が通信を行うと記載する。
　　＜情報処理部１５１の構成例＞
　図３は、ＣＰＵ１０４がプログラムを実行することにより実現される機能である情報処理部１５１の構成例を示している。
　情報処理部１５１は、フォーカス制御部１６１及び表示制御部１６２を備えている。
　フォーカス制御部１６１は、例えば、情報処理装置１２から受信したフォーカス制御信号、自身が備えるＡＦ（Auto Focus）機能、又は、操作系１０６から供給される操作信号に基づいて、光学系１０１を駆動することにより、撮影装置１１のフォーカスを調整する。
　表示制御部１６２は、表示部１０５による各種の画像の表示を制御する。
　　＜情報処理装置１２の構成例＞
　図４は、情報処理装置１２のハードウエアの構成例を示している。
　情報処理装置１２は、例えば、コンピュータにより構成される。情報処理装置１２においては、ＣＰＵ２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３が、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及び、ドライブ２１０が接続されている。
　入力部２０６は、例えば、キーボード、マウス、マイクロフォン等を備える。
　出力部２０７は、例えば、ディスプレイ、スピーカ等を備える。
　記憶部２０８は、例えば、ハードディスク等の不揮発性のメモリを備える。
　通信部２０９は、各撮影装置１１と所定の通信方式で通信を行う。
　ドライブ２１０は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２１１を駆動する。
　なお、情報処理装置１２（ＣＰＵ２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体２１１に記録して提供することができる。リムーバブル記録媒体２１１に記録されているプログラムは、例えば、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールされる。
　また、プログラムは、例えば、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して、通信部２０９で受信され、記憶部２０８にインストールされる。
　さらに、プログラムは、例えば、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　そして、情報処理装置１２では、例えば、ＣＰＵ２０１が、ＲＯＭ２０２又は記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、一連の処理が行われる。
　なお、以下、情報処理装置１２において、各部がバス２０４及び入出力インタフェース２０５を介してデータの授受等を行う場合のバス２０４及び入出力インタフェース２０５の記載を省略する。例えば、ＣＰＵ２０１と通信部２０９がバス２０４及び入出力インタフェース２０５を介して通信を行う場合、バス２０４及び入出力インタフェース２０５の記載を省略して、単にＣＰＵ２０１と通信部２０９が通信を行うと記載する。
　　＜情報処理部２５１の構成例＞
　図５は、ＣＰＵ２０１がプログラムを実行することにより実現される機能である情報処理部２５１の構成例を示している。
　情報処理部２５１は、撮影装置制御部２６１及び出力制御部２６２を備える。撮影装置制御部２６１は、特徴点検出部２７１、対象点設定部２７２、位置検出部２７３、動き予測部２７４、及び、フォーカス制御部２７５を備える。
　特徴点検出部２７１は、各撮影装置１１により撮影された画像の特徴点を検出する。特徴点検出部２７１は、各画像の特徴点の検出結果を示すデータを、対象点設定部２７２及び位置検出部２７３に供給する。
　対象点設定部２７２は、各画像の特徴点の中から、撮影対象においてフォーカスを合わせる対象となる部分（以下、対象部分と称する）である対象点を設定する。対象点設定部２７２は、対象点の設定結果を示すデータを位置検出部２７３に供給する。
　位置検出部２７３は、各撮影装置１１により撮影された画像の特徴点に基づいて、各撮影装置１１の位置関係を検出する。また、位置検出部２７３は、各撮影装置１１の位置関係、及び、設定された対象点に基づいて、各撮影装置１１及び撮影対象の位置関係を検出する。位置検出部２７３は、各撮影装置１１及び撮影対象の位置関係の検出結果を示すデータを動き予測部２７４及びフォーカス制御部２７５に供給する。
　動き予測部２７４は、各撮影装置１１及び撮影対象の位置関係の推移に基づいて、各撮影装置１１に対する撮影対象の動きを予測する。動き予測部２７４は、各撮影装置１１に対する撮影対象の動きの予測結果を示すデータをフォーカス制御部２７５に供給する。また、動き予測部２７４は、各撮影装置１１に対する撮影対象の動きの予測結果を示すデータを、通信部２０９を介して、各撮影装置１１にそれぞれ送信する。
　フォーカス制御部２７５は、各撮影装置１１のフォーカスを調整する。例えば、フォーカス制御部２７５は、各撮影装置１１及び撮影対象の位置関係、特に、各撮影装置１１と撮影対象との間の距離に基づいて、各撮影装置１１のフォーカスを撮影対象に合わせるためのフォーカス制御信号を撮影装置１１毎に生成する。フォーカス制御部２７５は、各撮影装置１１に対するフォーカス制御信号を、通信部２０９を介して、各撮影装置１１にそれぞれ送信する。
　また、フォーカス制御部２７５は、必要に応じて、各撮影装置１１に対する撮影対象の動きの予測結果に基づいて、各撮影装置１１のフォーカスを調整するタイミングを制御する。
　出力制御部２６２は、出力部２０７による画像及び音声等の出力を制御する。
　　＜情報処理装置１２の処理＞
　次に、情報処理装置１２の処理について説明する。
　　　＜位置検出処理＞
　まず、図６のフローチャートを参照して、情報処理装置１２により実行される位置検出処理について説明する。
　ステップＳ１０１において、情報処理装置１２は、各撮影装置１１から画像データを取得する。具体的には、通信部２０９は、各撮影装置１１から画像データを受信し、特徴点検出部２７１に供給する。
　なお、各撮影装置１１から取得する画像データは、互いにできるだけ近いタイミングで（理想的には同時に）撮影された画像に対応する画像データであることが望ましい。
　ステップＳ１０２において、特徴点検出部２７１は、各画像、すなわち、各撮影装置１１から取得した画像データに基づく画像の特徴点を検出する。
　例えば、特徴点検出部２７１は、各画像内に写っている人の身体的な特徴を表す部分を、特徴点として検出する。例えば、特徴点検出部２７１は、人の関節、及び、人の関節以外の目、鼻等の身体的な特徴点を検出する。具体的には、特徴点検出部２７１は、例えば、人の左肩、右肩、左肘、右肘、左手首、右手首、指の関節、指先、左腰、右腰、左膝、右膝、左足首、右足首、頭頂部、首元、右目、左目、鼻、口、右耳、左耳等を特徴点として検出する。
　なお、ここに身体的な特徴として挙げた部分は一例であり、必要に応じて、追加、削除、又は、変更することが可能である。
　また、特徴点は、例えば、ある程度の大きさを有する領域であったり、エッジなどの線分であったりしても良い。例えば、特徴点として目が検出される場合、目の中央（黒目の中央）、眼球、又は、眼球とまぶたの境界（エッジ）部分のいずれも、特徴点とすることが可能である。
　なお、特徴点検出部２７１は、例えば、ユーザ操作に対応して特徴点を検出してもよいし、所定のアルゴリズムを用いて特徴点を検出してもよい。
　前者の場合、例えば、ユーザが、出力部２０７が備えるディスプレイに表示された画像を見ながら、入力部２０６が備えるマウス等の操作デバイスを操作して、画像内の所望の部分を指定する。そして、特徴点検出部２７１は、ユーザにより指定された部分を特徴点として検出する。
　後者の場合、例えば、特徴点検出部２７１は、「Zhe Cao他，"Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields"，CVPR 2017」（以下、非特許文献１と称する）に記載されているOpen Poseと呼ばれる技術を適用して、特徴点を検出する。
　非特許文献１に記載の技術は、人の姿勢推定を行う技術であり、姿勢推定を行うために、上述した人の身体的な特徴がある部分（例えば、関節等）を検出する。例えば、非特許文献１に記載の技術では、ディープラーニングを用いて、１枚の画像から関節位置が推定され、関節毎に確信度マップ（Confidence Map）が求められ、各関節を繋ぎ合わせることで、人の骨格に基づく姿勢情報が得られる。
　なお、特徴点検出部２７１は、非特許文献１以外の技術を用いて、特徴点を検出するようにしてもよい。
　また、例えば、特徴点検出部２７１は、両者を組み合わせて、特徴点を検出するようにしてもよい。例えば、まず、特徴点検出部２７１が、所定のアルゴリズムを用いた画像解析により特徴点を検出し、ユーザが、検出された特徴点の検証を行い、特徴点の追加、削除等を指示するようにしてもよい。
　特徴点検出部２７１は、各画像の特徴点の検出結果を示すデータを位置検出部２７３に供給する。
　ステップＳ１０３において、位置検出部２７３は、各撮影装置１１の位置関係を検出する。
　具体的には、位置検出部２７３は、撮影装置１１－１により撮影された画像から検出された特徴点と、撮影装置１１－２により撮影された画像から検出された特徴点に基づいて、撮影装置１１－１と撮影装置１１－２の相対的な位置関係を検出する。例えば、位置検出部２７３は、撮影装置１１－１を基準としたときの撮影装置１１－１に対する撮影装置１１－２の位置及び向き（姿勢）を検出する。
　例えば、位置検出部２７３は、撮影装置１１－１に対する撮影装置１１－２の位置及び向きとして、撮影装置１１－１のカメラ座標系を撮影装置１１－２のカメラ座標系に変換するための外部パラメータ（以下、撮影装置１１－２の外部パラメータと称する）を算出する。この外部パラメータは、回転ベクトルと並進ベクトルを含む。回転ベクトルは、撮影装置１１－１のカメラ座標系における撮影装置１１－２の光軸の向きを表し、並進ベクトルは、撮影装置１１－１のカメラ座標系における撮影装置１１－２の焦点の位置を表す。
　この外部パラメータは、例えば、８点アルゴリズムと呼ばれるアルゴリズムを用いて求めることが可能である。
　ここで、図７に示されるように、３次元空間において撮影装置１１－１の視野ＦＯＶ１及び撮影装置１１－２の視野ＦＯＶ２内に存在する点Ｐを撮影装置１１－１と撮影装置１１－２で撮影した際の、各撮影装置１１の画像平面上における投影点を、それぞれＱ１，Ｑ２とする。この場合、投影点Ｑ１と投影点Ｑ２との間には、以下の関係式（１）が成り立つ。
Ｑ１ ＴＦＱ２＝０　・・・（１）
　ここで、行列Ｆは、基礎行列（Fundamental Matrix）である。基礎行列Ｆは、３次元空間内の点を各撮影装置１１で撮影したときの投影点のペア（例えば、（Ｑ１，Ｑ２））を８組以上用意し、８点アルゴリズムを適用することにより求めることが可能である。
　さらに、式（１）は、焦点距離や画像中心といった撮影装置１１－１に固有の内部パラメータＫ１、及び、撮影装置１１－２に固有の内部パラメータＫ２と、基本行列（Essential Matrix）Ｅとを用いて、次式（２）に展開できる。
Ｑ１ ＴＫ１ －ＴＥＫ２Ｑ２＝０　・・・（２）
　さらに、式（２）は、次式（３）に展開できる。
Ｅ＝Ｋ１ ＴＦＫ２ －１　・・・（３）
　内部パラメータ（Ｋ１，Ｋ２）が既知である場合、上記投影点のペアを用いて、基本行列Ｅを算出することができる。さらに、基本行列Ｅは、特異値分解を行うことで、外部パラメータに分解することができる。また、撮影装置１１－１のカメラ座標系における点Ｐを表すベクトルをＰ１とし、撮影装置１１－２のカメラ座標系における点Ｐを表すベクトルをＰ２とした場合、基本行列Ｅは、次式（４）を満たす。
Ｐ１ ＴＥＰ２＝０　・・・（４）
　従って、基本行列Ｅは、３次元空間内の点に対するベクトルのペア（例えば、（Ｐ１，Ｐ２））、又は、投影点のペア（例えば、（Ｑ１，Ｑ２））に対して、８点アルゴリズムを適用することで求めることが可能である。そして、基本行列Ｅを特異値分解することにより、撮影装置１１－２の外部パラメータを求めることができる。この外部パラメータにより、撮影装置１１－１に対する撮影装置１１－２の位置及び向きが表される。
　同様の方法により、位置検出部２７３は、撮影装置１１－１により撮影された画像から検出された特徴点と、撮影装置１１－３により撮影された画像から検出された特徴点に基づいて、撮影装置１１－１を基準としたときの撮影装置１１－１に対する撮影装置１１－３の位置及び向きを検出する。
　そして、位置検出部２７３は、撮影装置１１－１に対する撮影装置１１－２の位置及び向き、並びに、撮影装置１１－１に対する撮影装置１１－２の位置及び向きを統合することにより、各撮影装置１１の位置関係を検出する。この各撮影装置１１の位置関係は、例えば、撮影装置１１－１のカメラ座標系における撮影装置１１－２及び撮影装置１１－３の位置及び向きにより表される。
　なお、例えば、位置検出部２７３は、各撮影装置１１の位置関係を表す座標系を、撮影装置１１－１のカメラ座標系からワールド座標系に変換するようにしてもよい。
　その後、位置検出処理は終了する。
　以上のようにして、各撮影装置１１により撮影された画像のみに基づいて、各撮影装置１１の位置関係が検出される。また、各撮影装置１１の位置関係に基づいて、各撮影装置１１間の距離及び向きが求められる。なお、各撮影装置１１間の距離は、例えば、各撮影装置１１の焦点間の距離により表される。各撮影装置１１間の向きは、例えば、各撮影装置１１の光軸間の角度により表される。
　また、例えば、この位置検出処理を繰り返し実行することにより、少なくとも１台の撮影装置１１が移動し、各撮影装置１１の位置関係が変化する場合においても、各撮影装置１１の位置関係を正確に検出することができる。この場合、例えば、算出した各撮影装置１１の外部パラメータを時間方向に平滑化することにより、各撮影装置１１の位置関係の検出精度を向上させることが可能である。
　　　＜フォーカス制御処理の第１の実施の形態＞
　次に、図８のフローチャートを参照して、情報処理装置１２により実行されるフォーカス制御処理の第１の実施の形態について説明する。
　この第１の実施の形態は、２台以上の撮影装置１１の視野（撮影範囲）内に存在する撮影対象にフォーカスを合わせる場合の処理である。
　以下、撮影装置１１－１乃至撮影装置１１－３、及び、人である撮影対象Ｔ１の位置関係が、図９に示される場合を具体例に挙げながら説明する。
　この例において、撮影対象Ｔ１は、撮影装置１１－１の視野ＦＯＶ１内、及び、撮影装置１１－２の視野ＦＯＶ２内に存在する。一方、撮影対象Ｔ１は、撮影装置１１－３の視野ＦＯＶ３の外に存在する。
　なお、各撮影装置１１間の位置関係、より具体的には、撮影装置１１－１の位置Ｐｃ１及び向き、撮影装置１１－２の位置Ｐｃ２及び向き、並びに、撮影装置１１－３の位置Ｐｃ３及び向きは、図６を参照して上述した位置検出処理により既知であるものとする。従って、各撮影装置１１間の距離及び向きは、各撮影装置１１間の位置関係に基づいて算出可能である。
　ステップＳ１５１において、図６のステップＳ１０１と同様の処理により、各撮影装置から画像データが取得される。
　ステップＳ１５２において、図６のステップＳ１０２の処理と同様に、特徴点検出部２７１は、各撮影装置１１により撮影された画像の特徴点を検出する。特徴点検出部２７１は、特徴点の検出結果を示すデータを対象点設定部２７２に供給する。
　ステップＳ１５３において、対象点設定部２７２は、フォーカスを合わせる対象点を設定する。
　ここで、対象点設定部２７２は、例えば、ユーザ操作に基づいて対象点を設定するようにしてもよいし、所定の条件に基づいて対象点を設定するようにしてもよい。
　前者の場合、例えば、出力部２０７が備えるディスプレイが、出力制御部２６２の制御の下に、各画像、及び、各画像の特徴点の検出結果を表示する。
　これに対して、ユーザは、入力部２０６が備えるマウス等の入力デバイスを操作し、表示されている特徴点の中から、各撮影装置１１のフォーカスを合わせたい特徴点を１つ選択する。このとき、例えば、対象点を選択可能な範囲が、２つ以上の画像において検出されている特徴点に限定される。従って、１つの画像のみにおいて検出されている特徴点は、対象点の選択範囲から除外される。そして、対象点設定部２７２は、ユーザにより選択された特徴点を対象点に設定する。
　後者の場合、例えば、対象点設定部２７２は、２つ以上の画像において検出されている特徴点の中から、所定の条件を満たす特徴点を対象点に設定する。例えば、対象点設定部２７２は、２つ以上の画像において検出されている特徴点の中から、撮影装置１１－１に最も近い人物の所定の部位（例えば、右目）に対応する特徴点を、対象点に設定する。
　なお、後者の場合、例えば、対象点設定部２７２が所定の条件に基づいて設定した対象点を、ユーザが検証して、必要に応じて変更できるようにしてもよい。
　そして、設定された対象点を含む被写体が撮影対象となる。
　対象点設定部２７２は、対象点の設定結果を示すデータを位置検出部２７３に供給する。
　なお、以下、図９に示されるように、撮影対象Ｔ１の特徴点Ｐｔ１が対象点（以下、対象点Ｐｔ１と称する）に設定されたものとする。
　ステップＳ１５４において、位置検出部２７３は、各撮影装置１１の被写体距離を検出する。
　例えば、位置検出部２７３は、以下の方法により、撮影装置１１－１、撮影装置１１－２、及び、撮影対象Ｔ１の位置関係に基づいて、撮影装置１１－１に対する撮影対象Ｔ１の被写体距離、及び、撮影装置１１－２に対する撮影対象Ｔ１の被写体距離を検出する。
　ここで、図１０に示されるように、撮影装置１１－１の位置Ｐｃ１（焦点）を点Ａとし、撮影装置１１－２の位置Ｐｃ２（焦点）を点Ｂとし、撮影対象Ｔ１の対象点Ｐｔ１を点Ｃとして、点Ａ、点Ｂ、及び、点Ｃを結ぶ三角形ＡＢＣについて考える。
　なお、以下、辺ＡＢの長さをｃ１とする。長さｃ１は、位置Ｐｃ１と位置Ｐｃ２との間の距離と等しく、撮影装置１１－１と撮影装置１１－２との間の距離を表す。以下、辺ＢＣの長さをａ１とする。長さａ１は、位置Ｐｃ２と対象点Ｐｔ１との間の距離と等しく、撮影装置１１－２に対する撮影対象Ｔ１の被写体距離を表す。以下、辺ＣＡの長さをｂとする。長さｂは、対象点Ｐｔ１と位置Ｐｃ１との間の距離と等しく、撮影装置１１－１に対する撮影対象Ｔ１の被写体距離を表す。
　また、以下、角ＣＡＢの角度、すなわち、辺ＣＡと辺ＡＢとの間の角度をθａ１とする。角度θａ１は、位置Ｐｃ１に対する対象点Ｐｔ１の方向と位置Ｐｃ２の方向との間の角度と等しく、撮影装置１１－１に対する撮影対象Ｔ１の方向と撮影装置１１－２の方向との間の角度を表す。以下、角ＡＢＣの角度、すなわち、辺ＡＢと辺ＢＣとの間の角度をθｂとする。角度θｂは、位置Ｐｃ２に対する位置Ｐｃ１の方向と対象点Ｐｔ１の方向との間の角度と等しく、撮影装置１１－２に対する撮影装置１１－１の方向と撮影対象Ｔ１の方向との間の角度を表す。
　ここで、辺ＡＢの長さｃ１は、位置Ｐｃ１及び位置Ｐｃ２が既知なので、算出可能である。従って、辺ＡＢの両端の角度θａ１及び角度θｂが分かれば、三角形ＡＢＣの形及び大きさが一意に定まる。すなわち、位置Ｐｃ１、位置Ｐｃ２、及び、対象点Ｐｔ１の位置関係（撮影装置１１－１、撮影装置１１－２、及び、撮影対象Ｔ１の位置関係）が、一意に定まる。
　例えば、図１１に示されるように、撮影装置１１－１の撮像素子１０２の撮像面ＩＳ１の水平方向をｘ軸とし、垂直方向をｙ軸とし、光軸Φ１の方向をｚ軸とするローカル座標系について考える。
　なお、図１１では、図を分かりやすくするために、撮像面ＩＳ１と点Ａ（撮影装置１１－１の焦点）との位置関係を逆に示している。実際には、点Ｃと撮像面ＩＳ１との間に点Ａが存在する。
　撮影装置１１－１に対する撮影対象Ｔ１の方向を表す方向ベクトルＶａｃは、撮像面ＩＳ１における点Ｃに対応する点Ｃ’と、撮影装置１１－１の焦点（点Ａ）を通るベクトルと等しい。従って、方向ベクトルＶａｃは、撮影装置１１－１により撮影された画像内の点Ｃ’に対応する点を検出することにより、容易に算出できる。
　また、撮影装置１１－１に対する撮影装置１１－２の方向を表す方向ベクトルＶａｂは、撮影装置１１－１の焦点（点Ａ）と、撮影装置１１－２の焦点（点Ｂ）とを通るベクトルと等しい。従って、方向ベクトルＶａｂは、点Ａの位置（位置Ｐｃ１）と点Ｂの位置（位置Ｐｃ２）が既知なので、算出可能である。
　そして、グローバル座標系における角度θａ１は、ローカル座標系においてベクトルＶａｃとベクトルＶａｂとがなす角と等しい。従って、角度θａ１は、ベクトルの内積の公式を用いて、次式（５）により算出される。
θａ１＝ｃｏｓ－１（Ｖａｃ・Ｖａｂ）　・・・（５）
　なお、Ｖａｃ・Ｖａｂは、方向ベクトルＶａｃと方向ベクトルＶａｂとの内積を表す。
　角度θｂについても同様に、撮影装置１１－２に対する撮影対象Ｔ１の方向を表す方向ベクトルＶｂｃと、撮影装置１１－２に対する撮影装置１１－１の方向を表すベクトルＶｂａを用いて、次式（６）により算出される。
θｂ＝ｃｏｓ－１（Ｖｂｃ・Ｖｂａ）　・・・（６）
　なお、Ｖｂｃ・Ｖｂａは、方向ベクトルＶｂｃと方向ベクトルＶｂａとの内積を表す。
　そして、辺ＡＢの長さｃ１、角度θａ１、及び、角度θｂに基づいて、正弦定理を用いて、次式（７）により、辺ＣＡの長さｂが算出される。
ｂ＝ｃ１×ｓｉｎ（θｂ）／ｓｉｎ（π－θｂ－θａ１）　・・・（７）
　同様に、辺ＡＢの長さｃ１、角度θａ１、及び、角度θｂに基づいて、正弦定理を用いて、次式（８）により、辺ＢＣの長さａ１が算出される。
ａ１＝ｃ１×ｓｉｎ（θａ１）／ｓｉｎ（π－θａ１－θｂ）　・・・（８）
　このようにして、撮影装置１１－１に対する撮影対象Ｔ１の被写体距離（辺ＣＡの長さｂ）、及び、撮影装置１１－２に対する撮影対象Ｔ１の被写体距離（辺ＢＣの長さａ１）が算出される。
　また、例えば、位置検出部２７３は、以下の方法により、撮影装置１１－１、撮影装置１１－３、及び、撮影対象Ｔ１の位置関係に基づいて、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離を検出する。より具体的には、位置検出部２７３は、撮影装置１１－１と撮影装置１１－３との位置関係、及び、撮影装置１１－１と撮影対象Ｔ１の位置関係に基づいて、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離を検出する。
　ここで、図１２に示されるように、撮影装置１１－３の位置Ｐｃ３を点Ｄとし、点Ａ、点Ｄ、及び、点Ｃを結ぶ三角形ＡＤＣについて考える。なお、図１２において、図１０と対応する部分には、同じ符号を付してある。
　なお、以下、辺ＡＤの長さをｃ２とする。長さｃ２は、位置Ｐｃ１と位置Ｐｃ３との間の距離と等しく、撮影装置１１－１と撮影装置１１－３との間の距離を表す。以下、辺ＤＣの長さをａ２とする。長さａ２は、位置Ｐｃ３と対象点Ｐｔ１との間の距離と等しく、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離を表す。
　また、以下、角ＣＡＤの角度、すなわち、辺ＣＡと辺ＡＤとの間の角度をθａ２とする。角度θａ２は、位置Ｐｃ１に対する対象点Ｐｔ１の方向と位置Ｐｃ３の方向との間の角度と等しく、撮影装置１１－１に対する撮影対象Ｔ１の方向と撮影装置１１－３の方向との間の角度を表す。以下、角ＡＤＣの角度、すなわち、辺ＡＤと辺ＤＣとの間の角度をθｄとする。角度θｄは、位置Ｐｃ３に対する位置Ｐｃ１の方向と対象点Ｐｔ１の方向との間の角度と等しく、撮影装置１１－３に対する撮影装置１１－１の方向と撮影対象Ｔ１の方向との間の角度を表す。
　ここで、辺ＡＤの長さｃ２は、位置Ｐｃ１と位置Ｐｃ３が既知なので、算出可能である。また、辺ＣＡの長さｂは、図１０を参照して上述した処理により、算出済みである。さらに、角ＣＡＤの角度θａ２は、図１１を参照して上述した方法により、算出可能である。
　従って、三角形ＡＤＣにおいて、辺ＣＡの長さｂ、辺ＡＤの長さｃ２、及び、その２辺の間の角ＣＡＤの角度θａ２が求まるので、三角形ＡＤＣの形及び大きさが一意に定まる。すなわち、位置Ｐｃ１、位置Ｐｃ３、及び、対象点Ｐｔ１の位置関係（撮影装置１１－１、撮影装置１１－３、及び、撮影対象Ｔ１の位置関係）が、一意に定まる。
　そして、辺ＤＣの長さａ２は、次式（９）により算出される。
Figure JPOXMLDOC01-appb-M000001
　このようにして、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離（辺ＤＣの長さａ２）が算出される。
　なお、三角形ＡＤＣの形及び大きさが一意に定まるので、角度θｄ（撮影装置１１－３に対する撮影装置１１－１の方向と撮影対象Ｔ１の方向との間の角度）も算出可能である。
　位置検出部２７３は、各撮影装置１１に対する撮影対象Ｔ１の被写体距離の検出結果を示すデータをフォーカス制御部２７５に供給する。
　図８に戻り、ステップＳ１５５において、フォーカス制御部２７５は、各撮影装置１１のフォーカスを制御する。
　具体的には、フォーカス制御部２７５は、フォーカスを撮影対象Ｔ１（より厳密には、撮影対象Ｔ１の対象点Ｐｔ１）に合わせるように制御するためのフォーカス制御信号を、撮影装置１１毎に生成する。フォーカス制御部２７５は、通信部２０９を介して、各撮影装置１１にフォーカス制御信号を送信する。
　これに対して、各撮影装置１１のフォーカス制御部１６１は、フォーカス制御信号に基づいて、光学系１０１を駆動し、撮影対象Ｔ１（より厳密には、撮影対象Ｔ１の対象点Ｐｔ１）にフォーカスを合わせる。
　例えば、フォーカス制御信号は、撮影装置１１のフォーカスを撮影対象Ｔ１に合わせるための光学系１０１の設定値を含む。ここで、撮影装置１１のフォーカスは、被写体距離と相関があり、ズーム、アイリス、焦点距離等の光学系１０１の状態が固定されていれば、被写体距離に基づいて、光学系１０１の設定値（フォーカスの調整位置）が一意に定まる。
　これに対して、撮影装置１１のフォーカス制御部１６１は、フォーカス制御信号に含まれる設定値に基づいて、光学系１０１を駆動することにより、フォーカスを撮影対象Ｔ１に合わせる。
　或いは、例えば、フォーカス制御信号は、撮影装置１１に対する撮影対象Ｔ１の被写体距離を含む。
　これに対して、撮影装置１１のフォーカス制御部１６１は、フォーカス制御信号に含まれる被写体距離に基づいて、フォーカスを撮影対象Ｔ１に合わせるための光学系１０１の設定値を計算する。そして、フォーカス制御部１６１は、計算した設定値に基づいて、光学系１０１を駆動することにより、フォーカスを撮影対象Ｔ１に合わせる。
　以上のようにして、測距センサを用いずに、各撮影装置１１のフォーカスの自動調整の精度を向上させることができる。これにより、例えば、撮影装置１１－１及び撮影装置１１－２のフォーカスを撮影対象Ｔ１に正確に合わせることができ、撮影対象Ｔ１がぼけることなく、きれいに撮影される。
　また、撮影装置１１－１及び撮影装置１１－２のフォーカスを撮影対象Ｔ１の一部である対象点Ｐｔ１にピンポイントで合わせることができる。従って、例えば、図１３に示されるように、撮影対象Ｔ１の腕Ａ１等の所望の部分に、各撮影装置１１のフォーカスを正確に合わせることができる。
　さらに、撮影対象Ｔ１が撮影装置１１－３の視野ＦＯＶ３内に存在しないため、撮影装置１１－３単独では、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離を検出することはできない。従って、撮影対象Ｔ１が視野ＦＯＶ３に進入した後しか、撮影装置１１－３のフォーカスを撮影対象Ｔ１に合わせるように調整することができない。
　しかし、本技術では、上述したように、撮影対象Ｔ１が撮影装置１１－３の視野ＦＯＶ３内に存在しなくても、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離を検出することができる。その結果、撮影対象Ｔ１が視野ＦＯＶ３に進入する前に、撮影装置１１－３のフォーカスを撮影対象Ｔ１に仮想的に合わせることができる。これにより、撮影対象Ｔ１が視野ＦＯＶ３内に進入した瞬間に、撮影装置１１－３のフォーカスが撮影対象Ｔ１に合った状態になる。
　また、例えば、図１４に示されるように、撮影対象Ｔ１が、撮影装置１１－１の視野ＦＯＶ１内に存在するものの、撮影対象Ｔ１と異なる人である障害物Ｏ１により死角になっている場合も、同様の方法により撮影装置１１－１に対する撮影対象Ｔ１の被写体距離を検出することが可能である。そして、撮影装置１１－１のフォーカスを、仮想的に撮影対象Ｔ１に合わせることができる。従って、例えば、撮影対象Ｔ１又は障害物Ｏ１が移動し、撮影装置１１－１から撮影対象Ｔ１が見える状態になった瞬間に、撮影装置１１－１のフォーカスが撮影対象Ｔ１に合った状態になる。
　なお、例えば、撮影装置１１－１の代わりに撮影装置１１－２を用いて、図１２を参照して上述した方法により、撮影装置１１－３の被写体距離を検出することも可能である。すなわち、撮影装置１１－２、撮影装置１１－３、及び、撮影対象Ｔ１の位置関係に基づいて、同様の方法により、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離を検出することも可能である。
　また、例えば、撮影装置１１－１、撮影装置１１－３、及び、撮影対象Ｔ１の位置関係、並びに、撮影装置１１－２、撮影装置１１－３、及び、撮影対象Ｔ１の位置関係の両方に基づいて、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離をそれぞれ検出するようにしてもよい。この場合、例えば、検出した被写体距離のうちの１つ、又は、被写体距離の平均値等を用いて、撮影装置１１－３のフォーカスを撮影対象Ｔ１に合わせるようにすることができる。
　さらに撮影装置１１の台数が増えれば、その分、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離の検出数を増やすことができる。この場合も同様に、例えば、検出した被写体距離のうちの１つ、被写体距離の平均値、又は、被写体距離の中央値等を用いて、撮影装置１１－３のフォーカスを撮影対象Ｔ１に合わせることができる。
　また、例えば、図８のフォーカス制御処理を繰り返し実行することにより、各撮影装置１１のフォーカスを、撮影対象Ｔ１の動きに追従させることができる。
　さらに、例えば、撮影装置１１のうち少なくとも１台が移動し、撮影装置１１間の位置関係が変化する場合、図６の位置検出処理、及び、図８のフォーカス制御処理を繰り返し実行することにより、各撮影装置１１のフォーカスを、各撮影装置１１及び撮影対象Ｔ１の動きに追従させることができる。
　　　＜フォーカス制御処理の第２の実施の形態＞
　次に、図１５を参照して、情報処理装置１２により実行されるフォーカス制御処理の第２の実施の形態について説明する。
　この第２の実施の形態は、１台の撮影装置１１の視野内にのみ存在する被写体にフォーカスを合わせる場合の処理である。
　以下、撮影装置１１－１、撮影装置１１－２、及び、撮影対象Ｔ１の位置関係が図１５に示される場合を具体例に挙げながら説明する。なお、図１５において、撮影装置１１－３の図示は省略している。
　この例において、撮影対象Ｔ１は、撮影装置１１－１の視野ＦＯＶ１内にのみ存在し、撮影装置１１－２の視野ＦＯＶ２の外に存在する。
　なお、各撮影装置１１の位置関係は、図６を参照して上述した位置検出処理により既知であるものとする。従って、各撮影装置１１間の距離及び向きは、各撮影装置１１間の位置関係に基づいて算出可能である。
　この場合、撮影対象Ｔ１は、撮影装置１１－１のみにより撮影されるため、図１０を参照して上述した方法により、撮影装置１１－１に対する撮影対象Ｔ１の被写体距離を検出することはできない。
　一方、例えば、マニュアル、コントラストＡＦ（Auto Focus）、位相差ＡＦ、像面位相差ＡＦ等の従来の手法により、撮影装置１１－１のフォーカスを撮影対象Ｔ１に合わせることは可能である。
　ここで、上述したように、撮影装置１１のフォーカスは、被写体距離と相関関係があり、光学系１０１の状態が固定されていれば、被写体距離に基づいて、フォーカスの調整位置が一意に定まる。逆に、フォーカスの調整位置が定まれば、撮影装置１１のフォーカスが合っている距離も定まる。
　従って、上述したように、撮影装置１１－１のフォーカスを撮影対象Ｔ１に合わせることにより、撮影装置１１－１のフォーカスが合っている距離が定まり、撮影装置１１－１に対する撮影対象Ｔ１の被写体距離を求めることができる。そして、撮影装置１１－１に対する撮影対象Ｔ１の被写体距離が求まれば、図１２を参照して上述した方法により、撮影装置１１－２に対する撮影対象Ｔ１の被写体距離を算出することができる。これにより、撮影装置１１－２のフォーカスを、仮想的に撮影対象Ｔ１に合わせることができる。
　なお、一般的に、撮影装置１１－１のフォーカスが合っている距離には、ある程度の幅（いわゆる被写界深度）がある。従って、撮影装置１１－１のフォーカスの調整位置が決まっても、撮影装置１１－１から撮影対象Ｔ１までの距離は、一意には定まらず、ある程度の幅を持つ。そのため、撮影装置１１－１のフォーカスの調整位置に基づいて、撮影装置１１－１に対する撮影対象Ｔ１の被写体距離を求めた場合、多少の誤差が生じる可能性がある。その結果、撮影装置１１－２に対する撮影対象Ｔ１の被写体距離にも誤差が生じ、撮影装置１１－２のフォーカスが、撮影対象Ｔ１に正確に合わない可能性がある。
　しかし、この場合、撮影装置１１－２の被写体距離の誤差は非常に小さいため、仮に撮影装置１１－２のフォーカスが撮影対象Ｔ１に正確に合っていなかったとしても、その差は非常に小さい。従って、撮影対象Ｔ１が撮影装置１１－２の視野ＦＯＶ２内に進入した後に撮影装置１１－２のフォーカス調整を開始する場合と比較して、撮影対象Ｔ１が撮影装置１１－２の視野ＦＯＶ２内に進入したときに、より短時間で撮影装置１１－２のフォーカスを撮影対象Ｔ１に合わせることができる。
　　　＜動き予測処理＞
　例えば、各撮影装置１１の位置が固定されている場合、図８のフォーカス制御処理を繰り返し実行することにより、各撮影装置１１及び撮影対象の位置関係の推移をリアルタイムに検出することが可能である。また、少なくとも１台の撮影装置１１が移動する場合、図６の位置検出処理、及び、図８のフォーカス制御処理を繰り返し実行することにより、各撮影装置１１及び撮影対象の位置関係の推移をリアルタイムに検出することが可能である。
　そして、情報処理装置１２の動き予測部２７４は、各撮影装置１１及び被写体の位置関係の推移に基づいて、各撮影装置１１に対する撮影対象の動きを予測することができる。例えば、動き予測部２７４は、撮影装置１１－１に対する撮影対象の距離及び方向の推移に基づいて、撮影装置１１－１に対する撮影対象の動きを予測することができる。
　例えば、上述した方法により撮影装置１１のフォーカスを合わせる場合、被写体距離が検出されてから撮影装置１１が撮影対象にフォーカスに合わせるまでに、時間差Δｔが生じる。従って、例えば、撮影対象が高速に移動している場合、撮影装置１１が撮影対象にフォーカスを合わせた時点で、被写体距離が変化しており、撮影対象に正確にフォーカスが合わない可能性がある。
　これに対して、時間差Δｔは、略一定であり、実測値や理論値計算により、予め求めておくことが可能である。
　また、動き予測部２７４は、撮影装置１１に対する撮影対象の動きを予測することにより、時間差Δｔ後の撮影装置１１に対する撮影対象の被写体距離を予測することが可能である。そして、フォーカス制御部２７５が、時間差Δｔ後の撮影装置１１に対する撮影対象の被写体距離の予測結果に基づいて、撮影装置１１のフォーカスを制御することにより、撮影装置１１のフォーカスを、より正確に撮影対象に合わせることが可能になる。
　　　＜被写体接近通知処理＞
　例えば、動き予測部２７４は、撮影装置１１に対する撮影対象の動きの予測結果に基づいて、撮影対象が撮影装置１１の視野内に進入する方向、位置、及び、タイミングを予測することが可能である。例えば、上述した図９の例において、撮影対象Ｔ１が撮影装置１１－３の視野ＦＯＶ３に進入する方向、位置、及び、タイミングを予測することが可能である。例えば、上述した図１５の例において、撮影対象Ｔ１が撮影装置１１－２の視野ＦＯＶ２に進入する方向、位置、及び、タイミングを予測することが可能である。
　従って、例えば、撮影対象が撮影装置１１の視野（画角）内に進入する前に、視野外に存在する撮影対象の存在や動きを撮影装置１１のユーザ（例えば、撮影者）に通知することが可能である。
　例えば、動き予測部２７４は、撮影装置１１の視野外に存在する撮影対象の動きの予測結果を示す動き予測データを、通信部２０９を介して、撮影装置１１に送信する。
　撮影装置１１の表示制御部１６２は、通信部１１０を介して、動き予測データを受信し、動き予測データに基づいて、視野外に存在する撮影対象の存在や動きを通知するための撮影対象情報を表示部１０５に表示させる。
　図１６及び図１７は、撮影対象情報の表示方法の例を示している。
　図１６の例では、撮影装置１１により撮影された画像３０１内に、撮影対象情報が付加されて表示されている。具体的には、今後撮影対象が画像３０１（撮影装置１１の画角）内に進入すると予測される方向が、矢印により示されている。また、撮影対象である人物Ａが進入すると予測されるタイミング（２秒後）が示されている。
　図１７の例では、撮影装置１１により撮影された画像３０１の外側に、撮影対象情報が付加されて表示されている。具体的には、撮影対象である人を示すアニメーション３１１が、画像３０１の外側に表示されている。例えば、アニメーション３１１により、撮影対象の移動方向及び速度が表される。
　以上により、ユーザは、撮影対象が画像３０１（撮影装置１１の画角）内に進入する方向及びタイミングを事前に把握することができる。その結果、例えば、撮影対象をより適切に撮影することが可能になる。
　なお、例えば、図１４に示される例のように、撮影装置１１の死角に存在する撮影対象に関する撮影対象情報を、撮影装置１１により撮影された画像に付加して表示するようにしてもよい。
　　　＜撮影対象にフォーカスを合わせるタイミング＞
　例えば、図９及び図１５の例のように、撮影装置１１の視野外に撮影対象が存在する場合に、撮影対象にフォーカスを合わせるタイミングを設定できるようにしてもよい。
　例えば、図９の例において、撮影装置１１－３のフォーカスを撮影対象Ｔ１に合わせるモードとして、２つのモードが設けられる。
　第１のモードは、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離が検出されてからＳ１秒後に撮影装置１１－３のフォーカスを合わせるモードである。
　第２のモードは、撮影対象Ｔ１が撮影装置１１－３の視野ＦＯＶ３内に進入すると予測されるタイミングよりＳ２秒前に、撮影装置１１－３のフォーカスを合わせるモードである。なお、上述したように、動き予測部２７４により、撮影対象Ｔ１が視野ＦＯＶ３内に進入するタイミングを予測することが可能である。
　例えば、ユーザは、第１のモード又は第２のモードを選択し、設定時間Ｓ１又は設定時間Ｓ２を設定することができる。そして、情報処理装置１２のフォーカス制御部２７５は、例えば、設定されたモード及び設定時間に基づいて、フォーカス制御信号を撮影装置１１－３に送信するタイミングを制御することにより、撮影装置１１－３が撮影対象Ｔ１にフォーカスを合わせるタイミングを制御する。
　なお、例えば、第１のモードが選択され、設定時間Ｓ１が０秒に設定されることにより、撮影装置１１－３に対する撮影対象Ｔ１の被写体距離が検出されると、すぐに撮影装置１１－３のフォーカスが撮影対象Ｔ１に合わせられるようになる。従って、撮影装置１１－３のフォーカスが常に撮影対象Ｔ１に合うようになり、撮影対象Ｔ１が視野ＦＯＶ３に進入した瞬間に、撮影装置１１－３のフォーカスが撮影対象Ｔ１に合った状態となる。
　また、例えば、第２のモードが選択され、設定時間Ｓ２が０秒に設定されると、撮影対象Ｔ１が視野ＦＯＶ３内に進入した瞬間に、撮影装置１１－３のフォーカスが撮影対象Ｔ１に合わせられるようになる。
　なお、設定時間Ｓ１又は設定時間Ｓ２に従って撮影装置１１－３のフォーカスを撮影対象Ｔ１に合わせる前のフォーカスの位置は任意である。例えば、特定の被写体にフォーカスを合わせないようにしてもよいし、或いは、撮影対象以外の被写体にフォーカスを合わせるようにしてもよい。
　＜＜２．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　　＜各撮影装置１１の位置関係の検出方法に関する変形例＞
　各撮影装置１１の位置関係の検出方法は、上述した例に限定されず、任意の方法を用いることが可能である。
　例えば、各撮影装置１１がそれぞれ現在位置及び姿勢を検出し、情報処理装置１２が、各撮影装置１１の現在位置及び姿勢の検出結果に基づいて、各撮影装置１１の位置関係を検出するようにしてもよい。
　また、例えば、各撮影装置１１の位置が固定されており、各撮影装置１１の位置関係が変化しない場合、事前に各撮影装置１１の位置関係を測定し、測定結果を情報処理装置１２に与えるようにしてもよい。
　　＜フォーカス制御処理に関する変形例＞
　以上の説明では、各撮影装置１１に対して共通の対象点を設定する例を示したが、撮影装置１１毎に異なる対象点を設定するようにしてもよい。これにより、各撮影装置１１が、異なる対象点にフォーカスを合わせることができる。
　この場合、撮影装置１１毎に異なる撮影対象を設定することも可能である。例えば、撮影装置１１－１に対して、撮影対象Ａの特徴点を対象点に設定し、撮影装置１１－２に対して、撮影対象Ｂの特徴点を対象点に設定することも可能である。これにより、各撮影装置１１が、異なる撮影対象にフォーカスを合わせることができる。
　なお、上述した第１の実施の形態により各撮影装置１１のフォーカスを対象点に合わせる場合、各対象点は、少なくとも２台の撮影装置１１により撮影された画像内において検出された特徴点から設定される必要がある。
　また、撮影対象は、必ずしも人である必要はない。例えば、犬、猫等の動物、車、自転車等の物体を撮影対象に設定することが可能である。
　　＜情報処理システム１の構成例に関する変形例＞
　例えば、情報処理装置１２の機能の一部又は全部を、撮影装置１１に設けることが可能である。
　例えば、撮影装置１１のうちの１台をマスタとし、残りをスレーブとし、マスタの撮影装置１１に情報処理装置１２の機能を全て設け、情報処理装置１２を省略するようにしてもよい。この場合、例えば、スレーブである撮影装置１１からマスタである撮影装置１１に画像データが送信され、マスタである撮影装置１１が、各撮影装置１１及び撮影対象の位置関係を検出する。また、マスタである撮影装置１１が、スレーブである撮影装置１１のフォーカスを制御する。
　また、例えば、各撮影装置１１において画像内の特徴点を検出し、特徴点の検出結果を示すデータを情報処理装置１２に送信するようにしてもよい。
　さらに、例えば、クラウドコンピューティング等におけるサーバに情報処理装置１２を適用し、サーバが各撮影装置１１のフォーカスを制御するサービスを提供するようにしてもよい。
　＜＜３．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　第１の撮影装置、第２の撮影装置、及び、フォーカスを合わせる対象である撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出する位置検出部と、
　前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御するフォーカス制御部と
　を備える情報処理装置。
（２）
　前記位置検出部は、前記第１の撮影装置と前記第２の撮影装置との位置関係、及び、前記第２の撮影装置と前記撮影対象との位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出する
　前記（１）に記載の情報処理装置。
（３）
　前記位置検出部は、前記第１の撮影装置と前記第２の撮影装置との間の距離、前記第２の撮影装置と前記撮影対象との間の距離、及び、前記第２の撮影装置に対する前記第１の撮影装置の方向と前記撮影対象の方向との間の角度に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出する
　前記（２）に記載の情報処理装置。
（４）
　前記位置検出部は、前記第２の撮影装置と第３の撮影装置との間の距離、前記第２の撮影装置に対する前記第３の撮影装置の方向と前記撮影対象の方向との間の角度、及び、前記第３の撮影装置に対する前記第２の撮影装置の方向と前記撮影対象の方向との間の角度に基づいて、前記第２の撮影装置と前記撮影対象との間の距離を検出する
　前記（３）に記載の情報処理装置。
（５）
　前記位置検出部は、前記第２の撮影装置により前記撮影対象を撮影した画像に基づいて、前記第２の撮影装置に対する前記第３の撮影装置の方向と前記撮影対象の方向との間の角度を検出し、前記第３の撮影装置により前記撮影対象を撮影した画像に基づいて、前記第３の撮影装置に対する前記第２の撮影装置の方向と前記撮影対象の方向との間の角度を検出する
　前記（４）に記載の情報処理装置。
（６）
　前記位置検出部は、前記第１の撮影装置と前記第２の撮影装置との位置関係、及び、前記第２の撮影装置と前記撮影対象との位置関係に基づいて、前記第１の撮影装置の視野外又は死角に存在する前記撮影対象と前記第１の撮影装置との間の距離を検出する
　前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記フォーカス制御部は、前記第１の撮影装置のフォーカスを前記撮影対象に合わせるタイミングを制御する
　前記（６）に記載の情報処理装置。
（８）
　前記フォーカス制御部は、前記第１の撮影装置と前記撮影対象との間の距離が検出されてから所定の時間後、又は、前記第１の撮影装置の画角内に前記撮影対象が進入すると予測されるタイミングより所定の時間前に、前記第１の撮影装置のフォーカスを前記撮影対象に合わせるように前記第１の撮影装置のフォーカスを制御する
　前記（７）に記載の情報処理装置。
（９）
　前記第１の撮影装置の視野外又は死角に存在する前記撮影対象に関する撮影対象情報を、前記第１の撮影装置により撮影された画像に付加して表示するように制御する表示制御部を
　さらに備える前記（６）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記撮影対象情報は、前記第１の撮影装置に対する前記撮影対象の動きの予測結果を含む
　前記（９）に記載の情報処理装置。
（１１）
　前記位置検出部は、前記第２の撮影装置と第３の撮影装置との位置関係、前記第２の撮影装置により前記撮影対象を撮影した画像、及び、前記第３の撮影装置により前記撮影対象を撮影した画像に基づいて、前記第２の撮影装置と前記撮影対象との位置関係を検出する
　前記（２）に記載の情報処理装置。
（１２）
　前記位置検出部は、前記第１の撮影装置により撮影された画像、前記第２の撮影装置により撮影された画像、及び、前記第３の撮影装置により撮影された画像に基づいて、前記第１の撮影装置、前記第２の撮影装置、及び、前記第３の撮影装置の位置関係を検出する
　前記（１１）に記載の情報処理装置。
（１３）
　前記位置検出部は、前記第１の撮影装置と前記第２の撮影装置との位置関係、及び、前記第２の撮影装置と前記撮影対象との位置関係に基づいて、前記第１の撮影装置と前記撮影対象との位置関係を検出し、
　前記第１の撮影装置と前記撮影対象との位置関係の推移に基づいて、前記第１の撮影装置に対する前記撮影対象の動きを予測する動き予測部を
　さらに備える前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記動き予測部は、所定の時間後の前記第１の撮影装置と前記撮影対象との間の距離を予測し、
　前記フォーカス制御部は、予測された前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御する
　前記（１３）に記載の情報処理装置。
（１５）
　前記位置検出部は、前記第１の撮影装置と前記第２の撮影装置との間の距離、前記第１の撮影装置に対する前記第２の撮影装置の方向と前記撮影対象の方向との間の角度、及び、前記第２の撮影装置に対する前記第１の撮影装置の方向と前記撮影対象の方向との間の角度に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出する
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記位置検出部は、前記第１の撮影装置により撮影された画像、及び、前記第２の撮影装置により撮影された画像に基づいて、前記第１の撮影装置と前記第２の撮影装置との位置関係を検出する
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記位置検出部は、前記第１の撮影装置、前記第２の撮影装置、及び、前記撮影対象のフォーカスを合わせる対象部分の位置関係に基づいて、前記第１の撮影装置と前記撮影対象の前記対象部分との間の距離を検出し、
　前記フォーカス制御部は、前記第１の撮影装置と前記撮影対象の前記対象部分との間の距離に基づいて、前記撮影対象の前記対象部分にフォーカスを合わせるように前記第１の撮影装置のフォーカスを制御する
　前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　前記第１の撮影装置に備えられる
　前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　第１の撮影装置、第２の撮影装置、及び、撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出し、
　前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御する
　情報処理方法。
（２０）
　第１の撮影装置、第２の撮影装置、及び、撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出し、
　前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御する
　処理をコンピュータに実行させるためのプログラム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１　情報処理システム，　１１－１乃至１１－３　撮影装置，　１２　情報処理装置，　１０１　光学系，　１０４　ＣＰＵ，　１０５　表示部，　１５１　情報処理部，　１６１　フォーカス制御部，　１６２　表示制御部，　２０１　ＣＰＵ，　２５１　情報処理部，　２６１　撮影装置制御部，　２６２　出力制御部，　２７１　特徴点検出部，　２７２　対象点設定部，　２７３　位置検出部，　２７４　動き予測部，　２７５　フォーカス制御部

Claims (20)

  1. 　第１の撮影装置、第２の撮影装置、及び、フォーカスを合わせる対象である撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出する位置検出部と、
    　前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御するフォーカス制御部と
    　を備える情報処理装置。
  2. 　前記位置検出部は、前記第１の撮影装置と前記第２の撮影装置との位置関係、及び、前記第２の撮影装置と前記撮影対象との位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出する
    　請求項１に記載の情報処理装置。
  3. 　前記位置検出部は、前記第１の撮影装置と前記第２の撮影装置との間の距離、前記第２の撮影装置と前記撮影対象との間の距離、及び、前記第２の撮影装置に対する前記第１の撮影装置の方向と前記撮影対象の方向との間の角度に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出する
    　請求項２に記載の情報処理装置。
  4. 　前記位置検出部は、前記第２の撮影装置と第３の撮影装置との間の距離、前記第２の撮影装置に対する前記第３の撮影装置の方向と前記撮影対象の方向との間の角度、及び、前記第３の撮影装置に対する前記第２の撮影装置の方向と前記撮影対象の方向との間の角度に基づいて、前記第２の撮影装置と前記撮影対象との間の距離を検出する
    　請求項３に記載の情報処理装置。
  5. 　前記位置検出部は、前記第２の撮影装置により前記撮影対象を撮影した画像に基づいて、前記第２の撮影装置に対する前記第３の撮影装置の方向と前記撮影対象の方向との間の角度を検出し、前記第３の撮影装置により前記撮影対象を撮影した画像に基づいて、前記第３の撮影装置に対する前記第２の撮影装置の方向と前記撮影対象の方向との間の角度を検出する
    　請求項４に記載の情報処理装置。
  6. 　前記位置検出部は、前記第１の撮影装置と前記第２の撮影装置との位置関係、及び、前記第２の撮影装置と前記撮影対象との位置関係に基づいて、前記第１の撮影装置の視野外又は死角に存在する前記撮影対象と前記第１の撮影装置との間の距離を検出する
    　請求項２に記載の情報処理装置。
  7. 　前記フォーカス制御部は、前記第１の撮影装置のフォーカスを前記撮影対象に合わせるタイミングを制御する
    　請求項６に記載の情報処理装置。
  8. 　前記フォーカス制御部は、前記第１の撮影装置と前記撮影対象との間の距離が検出されてから所定の時間後、又は、前記第１の撮影装置の画角内に前記撮影対象が進入すると予測されるタイミングより所定の時間前に、前記第１の撮影装置のフォーカスを前記撮影対象に合わせるように前記第１の撮影装置のフォーカスを制御する
    　請求項７に記載の情報処理装置。
  9. 　前記第１の撮影装置の視野外又は死角に存在する前記撮影対象に関する撮影対象情報を、前記第１の撮影装置により撮影された画像に付加して表示するように制御する表示制御部を
    　さらに備える請求項６に記載の情報処理装置。
  10. 　前記撮影対象情報は、前記第１の撮影装置に対する前記撮影対象の動きの予測結果を含む
    　請求項９に記載の情報処理装置。
  11. 　前記位置検出部は、前記第２の撮影装置と第３の撮影装置との位置関係、前記第２の撮影装置により前記撮影対象を撮影した画像、及び、前記第３の撮影装置により前記撮影対象を撮影した画像に基づいて、前記第２の撮影装置と前記撮影対象との位置関係を検出する
    　請求項２に記載の情報処理装置。
  12. 　前記位置検出部は、前記第１の撮影装置により撮影された画像、前記第２の撮影装置により撮影された画像、及び、前記第３の撮影装置により撮影された画像に基づいて、前記第１の撮影装置、前記第２の撮影装置、及び、前記第３の撮影装置の位置関係を検出する
    　請求項１１に記載の情報処理装置。
  13. 　前記位置検出部は、前記第１の撮影装置と前記第２の撮影装置との位置関係、及び、前記第２の撮影装置と前記撮影対象との位置関係に基づいて、前記第１の撮影装置と前記撮影対象との位置関係を検出し、
    　前記第１の撮影装置と前記撮影対象との位置関係の推移に基づいて、前記第１の撮影装置に対する前記撮影対象の動きを予測する動き予測部を
    　さらに備える請求項１に記載の情報処理装置。
  14. 　前記動き予測部は、所定の時間後の前記第１の撮影装置と前記撮影対象との間の距離を予測し、
    　前記フォーカス制御部は、予測された前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御する
    　請求項１３に記載の情報処理装置。
  15. 　前記位置検出部は、前記第１の撮影装置と前記第２の撮影装置との間の距離、前記第１の撮影装置に対する前記第２の撮影装置の方向と前記撮影対象の方向との間の角度、及び、前記第２の撮影装置に対する前記第１の撮影装置の方向と前記撮影対象の方向との間の角度に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出する
    　請求項１に記載の情報処理装置。
  16. 　前記位置検出部は、前記第１の撮影装置により撮影された画像、及び、前記第２の撮影装置により撮影された画像に基づいて、前記第１の撮影装置と前記第２の撮影装置との位置関係を検出する
    　請求項１に記載の情報処理装置。
  17. 　前記位置検出部は、前記第１の撮影装置、前記第２の撮影装置、及び、前記撮影対象のフォーカスを合わせる対象部分の位置関係に基づいて、前記第１の撮影装置と前記撮影対象の前記対象部分との間の距離を検出し、
    　前記フォーカス制御部は、前記第１の撮影装置と前記撮影対象の前記対象部分との間の距離に基づいて、前記撮影対象の前記対象部分にフォーカスを合わせるように前記第１の撮影装置のフォーカスを制御する
    　請求項１に記載の情報処理装置。
  18. 　前記第１の撮影装置に備えられる
    　請求項１に記載の情報処理装置。
  19. 　第１の撮影装置、第２の撮影装置、及び、撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出し、
    　前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御する
    　情報処理方法。
  20. 　第１の撮影装置、第２の撮影装置、及び、撮影対象の位置関係に基づいて、前記第１の撮影装置と前記撮影対象との間の距離を検出し、
    　前記第１の撮影装置と前記撮影対象との間の距離に基づいて、前記第１の撮影装置のフォーカスを制御する
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2021/009441 2020-03-24 2021-03-10 情報処理装置、情報処理方法、及び、プログラム Ceased WO2021193053A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/912,436 US12143717B2 (en) 2020-03-24 2021-03-10 Information processing apparatus, information processing method, and program
CN202180021659.3A CN115336249A (zh) 2020-03-24 2021-03-10 信息处理装置、信息处理方法和程序
JP2022509556A JPWO2021193053A1 (ja) 2020-03-24 2021-03-10

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-052975 2020-03-24
JP2020052975 2020-03-24

Publications (1)

Publication Number Publication Date
WO2021193053A1 true WO2021193053A1 (ja) 2021-09-30

Family

ID=77890162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009441 Ceased WO2021193053A1 (ja) 2020-03-24 2021-03-10 情報処理装置、情報処理方法、及び、プログラム

Country Status (4)

Country Link
US (1) US12143717B2 (ja)
JP (1) JPWO2021193053A1 (ja)
CN (1) CN115336249A (ja)
WO (1) WO2021193053A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119450210A (zh) * 2023-08-02 2025-02-14 荣耀终端有限公司 拍摄方法、电子设备、存储介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113001A (ja) * 2004-10-18 2006-04-27 Kurabo Ind Ltd 写真測量による３次元計測方法及び装置
JP2011211598A (ja) * 2010-03-30 2011-10-20 Sony Corp 撮像システムおよび撮像装置
JP2013005405A (ja) * 2011-06-21 2013-01-07 Sanyo Electric Co Ltd 電子カメラ
JP2016032125A (ja) * 2014-07-25 2016-03-07 シャープ株式会社 画像処理装置、画像処理プログラム、電子機器及び画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157456A (ja) * 2002-11-08 2004-06-03 Olympus Corp カメラ及びカメラの測距方法
JP2005308770A (ja) * 2004-04-16 2005-11-04 Canon Inc 自動焦点調整装置
JP7192764B2 (ja) * 2017-02-22 2022-12-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP6924622B2 (ja) 2017-06-14 2021-08-25 日本放送協会 フォーカスアシスト装置及びそのプログラム
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points
CN113841376B (zh) * 2020-09-22 2023-05-16 深圳市大疆创新科技有限公司 拍摄控制方法和装置
JP2022098947A (ja) * 2020-12-22 2022-07-04 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113001A (ja) * 2004-10-18 2006-04-27 Kurabo Ind Ltd 写真測量による３次元計測方法及び装置
JP2011211598A (ja) * 2010-03-30 2011-10-20 Sony Corp 撮像システムおよび撮像装置
JP2013005405A (ja) * 2011-06-21 2013-01-07 Sanyo Electric Co Ltd 電子カメラ
JP2016032125A (ja) * 2014-07-25 2016-03-07 シャープ株式会社 画像処理装置、画像処理プログラム、電子機器及び画像処理方法

Also Published As

Publication number Publication date
US12143717B2 (en) 2024-11-12
US20230132986A1 (en) 2023-05-04
CN115336249A (zh) 2022-11-11
JPWO2021193053A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP4532856B2 (ja) 位置姿勢計測方法及び装置
JP6734940B2 (ja) 三次元計測装置
CN103026171B (zh) 图像处理装置及图像处理方法
US8228383B2 (en) Image pickup apparatus and method for controlling ranging area based on detected object
US9531938B2 (en) Image-capturing apparatus
US11729503B2 (en) Image capturing apparatus and control method thereof
JP6552256B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2018004918A5 (ja)
JP7452620B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2019062340A (ja) 像振れ補正装置および制御方法
JP7423196B2 (ja) 撮像装置、撮像システム、およびその制御方法
JP2017098613A (ja) 撮像装置、その制御方法、および制御プログラム
WO2021193053A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN115037869A (zh) 自动对焦方法、装置、电子设备及计算机可读存储介质
TW201236448A (en) Auto-focusing camera and method for automatically focusing of the camera
JP7690282B2 (ja) 被写体追尾装置およびその制御方法
JP7479803B2 (ja) 画像処理装置及び画像処理方法
JP3655065B2 (ja) 位置・姿勢検出装置と位置・姿勢検出方法と３次元形状復元装置及び３次元形状復元方法
JP4027294B2 (ja) 移動体検出装置、移動体検出方法及び移動体検出プログラム
JP6089232B2 (ja) 撮像装置
JP7324639B2 (ja) 被写体位置推定装置、フォーカス補助装置、及び、それらのプログラム
JP7743189B2 (ja) 画像処理装置およびその制御方法、撮像装置
JP2019197295A (ja) 画像処理装置、画像処理方法およびプログラム
Laroche et al. Dynamical models for position measurement with global shutter and rolling shutter cameras
KR20170009809A (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21774516

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022509556

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21774516

Country of ref document: EP

Kind code of ref document: A1