[go: up one dir, main page]

WO2021117367A1 - 画像処理装置、および画像処理システム、並びに画像処理方法 - Google Patents

画像処理装置、および画像処理システム、並びに画像処理方法 Download PDF

Info

Publication number
WO2021117367A1
WO2021117367A1 PCT/JP2020/040443 JP2020040443W WO2021117367A1 WO 2021117367 A1 WO2021117367 A1 WO 2021117367A1 JP 2020040443 W JP2020040443 W JP 2020040443W WO 2021117367 A1 WO2021117367 A1 WO 2021117367A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
tracking
prediction vector
type
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/040443
Other languages
English (en)
French (fr)
Inventor
真之介 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to EP20899815.3A priority Critical patent/EP4075785A4/en
Priority to JP2021563781A priority patent/JP7435621B2/ja
Priority to US17/756,581 priority patent/US20230007167A1/en
Priority to CN202080084455.XA priority patent/CN114762316B/zh
Publication of WO2021117367A1 publication Critical patent/WO2021117367A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program. More specifically, the present invention relates to an image processing device for tracking a subject and performing image shooting, an image processing system, and an image processing method.
  • an automatic tracking imaging device capable of capturing a moving image while tracking the subject is used.
  • an image pickup device is attached to a pan head device that can freely set the shooting direction, and the pan head device is driven so as to follow the movement of the subject to shoot an image.
  • the automatic tracking imaging device is described in, for example, Patent Document 1 (Japanese Unexamined Patent Publication No. 2010-154391).
  • many automatic tracking imaging devices When shooting a tracking image (moving image) of a subject, many automatic tracking imaging devices first perform a process in which a user (photographer) selects a subject to be tracked. For example, before starting image shooting by the camera, the user confirms the live view image (through image) displayed on the display unit of the camera and selects the subject to be tracked.
  • the user selects a subject to be tracked from the live view image displayed on the touch panel type display screen, and sets a frame surrounding the image area of the selected subject with a finger.
  • the control unit of the automatic tracking imaging device uses the image of the frame region as a template image and drives the pan head so as to follow the image region similar to the template image. By such processing, a tracking image is taken.
  • the present disclosure has been made in view of the above-mentioned problems, for example, and the tracking image of the target subject to be tracked can be obtained without performing processing such as setting a frame on the display screen by the user (photographer). It is an object of the present invention to provide an image processing apparatus and an image processing system capable of taking a picture, and an image processing method.
  • the first aspect of the disclosure is Detects the tracking subject corresponding to the type specified in advance from the captured image, A subject movement prediction vector calculation unit that calculates a movement prediction vector according to the type and posture of the detected tracking subject,
  • the image processing apparatus has a camera control signal generation unit that generates a camera control signal for tracking the tracking subject based on the motion prediction vector.
  • the second aspect of the present disclosure is It is an image processing system having a camera mounted on a pan head and a pan head control unit for controlling the pan head.
  • the camera Detects the tracking subject corresponding to the type specified in advance from the captured image,
  • a subject movement prediction vector calculation unit that calculates a movement prediction vector according to the type and posture of the detected tracking subject, It has a camera control signal generation unit that generates a camera control signal for tracking the tracking subject based on the motion prediction vector.
  • the pan head control unit An image processing system that executes pan head control for capturing a tracking image of the tracking subject based on the camera control signal.
  • the third aspect of the present disclosure is This is an image processing method executed in an image processing device.
  • Subject movement prediction vector calculation unit Detects the tracking subject corresponding to the type specified in advance from the captured image, A subject movement prediction vector calculation step that calculates a movement prediction vector according to the type and posture of the detected tracking subject, and
  • the camera control signal generator There is an image processing method that executes a camera control signal generation step of generating a camera control signal for tracking the tracking subject based on the motion prediction vector.
  • system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a device and a method for calculating a motion prediction vector corresponding to the type and posture of the tracking subject and generating a camera control signal necessary for capturing the subject tracking image are realized. ..
  • a subject motion prediction vector calculation unit that detects a tracking subject of a predetermined type from a captured image input from an imaging unit and calculates a motion prediction vector according to the type and orientation of the detected tracking subject. It also has a camera control signal generation unit that generates a camera control signal for capturing a tracking image of the tracking subject based on the motion prediction vector calculated by the subject movement prediction vector calculation unit.
  • the subject motion prediction vector calculation unit executes detection processing and motion prediction vector calculation processing of the type of tracking subject specified by the user from the captured image by using a neural network or the like.
  • a device and a method for calculating a motion prediction vector corresponding to the type and posture of the tracking subject and generating a camera control signal necessary for capturing the subject tracking image are realized.
  • the effects described in the present specification are merely exemplary and not limited, and may have additional effects.
  • FIG. 1 is a diagram showing a configuration example of an automatic tracking imaging device 10 which is an example of the image processing device of the present disclosure.
  • the automatic tracking imaging device 10 includes a camera 11, a pan head 12, and a pan head control unit 13.
  • the camera 11 is mounted on the pan head 12.
  • the camera 11 has a configuration in which the shooting direction can be freely changed on the pan head 12.
  • the pan head control unit 13 drives and controls the pan head 12 so that the shooting direction of the camera 11 is directed in the direction of the tracking subject set in advance.
  • the tracking subject In order to shoot the subject tracking image, the tracking subject is detected from the image captured by the camera, the direction of the detected tracking subject is analyzed, and the process of matching the shooting direction of the camera to that direction is continuously executed. It is necessary to do.
  • These processes (1) to (4) are executed by either the camera 11 or the pan head control unit 13.
  • all the processes (1) to (4) may be executed by the pan head control unit 13, or the processes (1) to (3) may be executed by the camera 11 and the process (4) may be executed.
  • the configuration may be such that only the pan head control unit 13 executes only.
  • the image captured by the camera 11 is input to the pan head control unit 13 via the signal line 14.
  • the pan head control unit 13 executes the above processes (1) to (4) using the captured image.
  • the pan head drive control signal generated by the camera 11 is used.
  • the pan head control unit 13 executes the above process (4) using the pan head drive control signal generated by the camera 11.
  • an external communication terminal or server for example, an external device such as a server on the cloud, executes the process while communicating with the camera 11 or the pan head control unit 13. It is also possible to configure it.
  • the user when capturing a tracking image (moving image) of a subject, the user (photographer) first selects a subject to be tracked. .. For example, the user selects a subject to be tracked from a live view image (through image) displayed on the touch panel type camera display screen, and sets a frame surrounding the image area of the selected subject with a finger.
  • the subject selection process is not limited to the operation on the touch panel type camera display screen, and may be performed by using a physical operation unit such as an operation button.
  • the image processing device of the present disclosure solves this problem, for example, and enables a user (photographer) to capture a tracking image of a target subject without setting a frame surrounding the tracking subject area. It is the one. Further, most of the conventional methods described in Patent Document 1 (Japanese Unexamined Patent Publication No. 2010-154391) and the like described above are configured to predict the moving position of a subject by using a plurality of frame information, and improve the prediction accuracy. Therefore, the occurrence of latency is inevitable. Therefore, there is a possibility that the subject may already be removed from the screen before the high-speed subject is captured and tracking is started.
  • the method of the present disclosure is a method that enables the subject tracking image to be taken based on the posture estimation result of the subject to be tracked in one frame without using the information of a plurality of frames, and causes latency. It is possible to take a tracking image of the subject without causing it.
  • an outline of the processing executed by the image processing apparatus of the present disclosure will be described with reference to FIGS. 2 and below.
  • FIG. 2 and 3 are diagrams illustrating a processing step for capturing a moving image which is a tracking image of a specific subject by using the automatic tracking imaging device 10 shown in FIG. 1, which is an example of the image processing device of the present disclosure. is there.
  • the user selects the type of the subject to be tracked by using the tracking subject type selection UI 16 displayed on the camera display unit 15.
  • icons that can select the following subject types are displayed.
  • there are other subject types that can be selected by the user and the user can slide the screen left and right. By sliding it up and down, you can display icons that indicate various other selectable subject types.
  • FIG. 2 shows an example in which the user (photographer) selects “(5) bird” as the tracking subject type as the process of (step S11).
  • the tracking subject type information selected by the user (photographer) is input to the data processing unit of the image processing device (automatic tracking imaging device 10).
  • FIG. 3 shows the next processing step.
  • FIG. 3 is a diagram showing a state in which an image is displayed on the camera display unit 15. This display image is a current image before the start of recording, a so-called live view image (LV image). While viewing the live view image (LV image), the user first touches the automatic tracking (Auto Lock ON) mode setting icon 17 in (step S12) at an arbitrary timing.
  • LV image live view image
  • the touch operation of the automatic tracking (Auto Lock ON) mode setting icon 17 is input to the data processing unit of the image processing device (automatic tracking imaging device 10), and the automatic tracking process is started.
  • a bird is photographed in the live view image (LV image), but at this point, it is not essential that the bird is photographed in the live view image (LV image).
  • the user touches the shooting (recording) start instruction icon 18 in (step S13). This touch operation is input to the data processing unit of the image processing device (automatic tracking imaging device 10), and shooting (recording) is started.
  • the touch process of the shooting (recording) start instruction icon 18 can be executed at any timing desired by the user (photographer). In the example shown in FIG. 3, a bird is photographed in the live view image (LV image), but the recording is started by touching the shooting (recording) start instruction icon 18 on the screen where the bird is not photographed. Is also possible.
  • the processing executed by the user (photographer) is the following processing.
  • S11 Tracking subject type selection process
  • S12 Automatic tracking mode ON setting process
  • S13 Shooting (recording) start instruction process Tracking a subject of the type specified (selected) by the user with only these simple operations
  • the method of the present disclosure is a method that enables a subject tracking image to be captured based on a posture estimation result of a subject to be tracked in one frame without using a plurality of frame information, and generates latency. It is possible to take a tracking image of the subject without any problem.
  • FIG. 4 shows a communication terminal 30 such as a smartphone (smartphone) owned by a user (photographer).
  • the communication terminal 30 has a configuration capable of communicating with at least one of the camera 11 and the pan head control unit 13. On the communication terminal 30, the same tracking subject type selection UI 31 as described above with reference to FIG. 2 is displayed.
  • FIG. 4 shows an example in which the user (photographer) selects “(5) bird” as the tracking subject type as the process of (step S11).
  • the tracking subject type information selected by the user (photographer) is transmitted from the communication terminal 30 to the camera 11 or the pan head control unit 13.
  • FIG. 5 shows the next processing step executed by using the communication terminal 30.
  • FIG. 5 is a diagram showing a state in which the captured image of the camera 11 is displayed on the communication terminal 30.
  • the captured image of the camera 11 is transmitted to the communication terminal 30 via the communication unit of the camera 11 and displayed.
  • This display image is a current image before the start of recording, a so-called live view image (LV image).
  • the user While viewing the live view image (LV image) displayed on the communication terminal 30, the user first sets the automatic tracking (Auto Lock ON) mode displayed on the communication terminal 30 at an arbitrary timing in (step S12). Touch the icon 32.
  • Auto Lock ON automatic tracking
  • the touch operation information of the automatic tracking (Auto Lock ON) mode setting icon 32 is transmitted from the communication terminal 30 to the camera 11 or the pan head control unit 13, and the automatic tracking imaging device 10 starts the automatic tracking process.
  • step S13 the user (photographer) touches the shooting (recording) start instruction icon 33 displayed on the communication terminal 30.
  • This touch operation information is transmitted from the communication terminal 30 to the camera 11 or the pan head control unit 13, is input to the data processing unit of the automatic tracking imaging device 10, and shooting (recording) is started.
  • the user may execute each of the following processes using a communication terminal such as a smartphone.
  • S11 Tracking subject type selection process
  • S12 Automatic tracking mode ON setting process
  • S13 Shooting (recording) start instruction process Tracking a subject of the type specified (selected) by the user with only these simple operations
  • the method of the present disclosure is a method that enables a subject tracking image to be captured based on a posture estimation result of a subject to be tracked in one frame without using a plurality of frame information, and generates latency. It is possible to take a tracking image of the subject without any problem.
  • the flowchart shown in FIG. 6 is a flowchart illustrating a sequence of processes executed by the image processing apparatus of the present disclosure.
  • the image processing device that executes the processing according to the flowchart shown in FIG. 6 will be described with reference to the automatic tracking imaging device 10 described above with reference to FIGS. 1 to 3 or FIGS. 4 to 5. It is a device composed of the automatic tracking image pickup device 10 and the communication terminal 30.
  • the processing of each processing step of the flowchart shown in FIG. 6 will be sequentially described.
  • step S101 First, in step S101, the type of tracking subject is specified. This process corresponds to the process described above with reference to FIGS. 2 and 4.
  • the user selects the type of the subject to be tracked by using the display data shown in FIGS. 2 and 4, that is, the tracking subject type selection UI displayed on the display unit of the camera 11 or the communication terminal 30. To do.
  • FIGS. 2 and 4 described above are examples in which the user (photographer) selects "(5) bird" as the tracking subject type.
  • the tracking subject type information selected by the user (photographer) is input to the data processing unit of the image processing device (automatic tracking imaging device 10 or communication terminal 30).
  • step S102 the automatic tracking mode is set to ON. This process corresponds to the process of (step S12) described above with reference to FIGS. 3 and 5.
  • the user touches the automatic tracking mode setting icon displayed on the display unit of the camera 11 or the communication terminal 30 to set the automatic tracking mode to ON.
  • the information in which the automatic tracking mode is set to ON is input to the data processing unit of the image processing device (automatic tracking imaging device 10 or communication terminal 30).
  • the subject to be automatically tracked is the type of tracked subject specified in (step S101) above, for example, a “bird”.
  • the live view image (LV image) is displayed on the display unit of the camera 11 or the communication terminal 30 in FIGS. 3 and 5 described above, even if the live view image (LV image) is displayed. It does not have to be displayed.
  • step S103 Next, in step S103, an instruction to start shooting (recording) is given. This process corresponds to the process of (step S13) described above with reference to FIGS. 3 and 5.
  • the user touches the shooting (recording) start instruction icon as described with reference to FIGS. 3 and 5.
  • This touch operation information is input to the data processing unit of the image processing device (automatic tracking imaging device 10 or communication terminal 30).
  • the shooting (recording) start instruction can be executed at any timing desired by the user (photographer).
  • the captured image of the “bird” designated as the tracking subject is displayed in the live view image (LV image), but the shooting (recording) is started at the screen position where the bird is not captured. It is also possible to give an instruction and start recording.
  • steps S101 to S103 are processes that involve user operations on the UI, and these user operation information is input to the data processing unit of the image processing device (automatic tracking imaging device 10 or communication terminal 30), and in the automatic tracking mode. Image (moving image) shooting process will be started.
  • the tracking target is a subject matching the subject type selected in step S101, for example, a “bird”.
  • Step S104 In steps S101 to S103, the following input processing by the user, (S101) Tracking subject type selection process (S102) Automatic tracking mode ON setting process (S103) Shooting (recording) start instruction process
  • S101 Tracking subject type selection process
  • S102 Automatic tracking mode ON setting process
  • S103 Shooting (recording) start instruction process
  • the automatic tracking imager 10 automatically tracks in step S104 or lower. Start the image (moving image) shooting process in the mode.
  • step S104 the tracking subject detection process from the captured image is executed.
  • the subject to be detected is a subject of the type specified by the user in step S101, for example, a “bird”.
  • the data processing unit of the image processing device executes detection processing of a subject matching the tracking subject type specified by the user (photographer) from the captured image. It is possible to determine whether or not there is a subject matching the tracking subject type specified by the user (photographer) in the captured image as the determination process of (1) or (0). Alternatively, the reliability of the subject matching the tracking subject type (for example, the reliability of 0 to 100, etc.) is calculated, and it is determined that the subject is detected when the determination is made to be equal to or higher than the predetermined reliability threshold value. You may perform processing to which reliability is applied.
  • this subject identification process is executed by performing image analysis processing of the captured image. Specifically, for example, subject identification processing using learning data is executed. The details of this process will be described later.
  • Step S105 it is determined whether or not the tracking subject detection process from the captured image in step S104 was successful. If it is determined to be successful, the process proceeds to step S106. On the other hand, if it is determined that the failure has occurred, the process returns to step S104, and the tracking subject detection process from the continuously captured image frame is executed.
  • the subject to be detected is a subject of the type specified by the user in step S101, for example, a “bird”. If no "bird" is detected in the captured image, it is determined in step S105 that the tracking subject detection process from the captured image has failed, the process returns to step S104, and the detection process from the next image frame is performed. ..
  • a plurality of subjects of the type specified by the user for example, a plurality of "birds" may be detected from one image frame.
  • the user sets the tracking mode in advance as to which "bird" is to be tracked.
  • An example of this tracking mode setting sequence will be described with reference to the flowchart shown in FIG. 7.
  • the processing flow shown in FIG. 7 is a tracking mode setting process executed by input from the user (photographer) as a preprocessing before starting the image shooting process in the subject tracking mode according to the flow shown in FIG. ..
  • the tracking mode information set according to the process shown in FIG. 7 is stored in the storage unit in the image processing device (automatic tracking imaging device 10), and the tracking subject is detected from the captured images in steps S104 to S105 of the flow of FIG.
  • the success determination process of the process is executed according to the set tracking mode. The processing of each step of the flow shown in FIG. 7 will be described.
  • Step S201 First, in step S201, the user decides whether or not to limit the tracking subject to one, and inputs the selection information.
  • the UI for inputting the selection information is displayed on, for example, the display unit of the camera 11 or the communication terminal 30, and the user inputs the selection information using the displayed UI.
  • step S201 If the user selects a setting that limits the tracking subject to one in step S201, the process proceeds to step S202. On the other hand, if the user selects a setting that does not limit the tracking subject to one in step S201, the process proceeds to step S211.
  • Step S202 If the user selects a setting that limits the tracking subject to one in step S201, the process proceeds to step S202.
  • the user determines whether or not the tracking subject is a subject close to the center of the image, and inputs the selection information.
  • the UI for inputting the selection information is also displayed on the display unit of the camera 11 or the communication terminal 30, for example, and the user inputs the selection information using the displayed UI.
  • step S202 when the user selects a setting in which the tracking subject is a subject close to the center of the image, the process proceeds to step S212.
  • step S202 when the user selects a setting that does not set the tracking subject as a subject close to the center of the image, the process proceeds to step S213.
  • the selection information of steps S201 and S202 by the user is input to the data processing unit in the image processing device (automatic tracking imaging device 10 or communication terminal 30), and the data processing unit executes the subject based on the input information. Determine the tracking mode.
  • the subject tracking mode includes, for example, the following three types of modes.
  • (A) Multiple subject tracking mode (B) Central subject tracking mode (C) Maximum subject tracking mode
  • the data processing unit in the image processing device (automatic tracking imaging device 10 or communication terminal 30) selects steps S201 and S202 by the user. According to the information, it is determined which of the above (A) to (C) tracking modes is to be executed.
  • step S201 If the determination in step S201 is No, the process proceeds to step S211 and the tracking mode to be executed is set. (A) Set to multiple subject tracking mode.
  • step S201 If the determination in step S201 is Yes and the determination in step S202 is Yes, the process proceeds to step S212, and the tracking mode to be executed is set. (B) Set to the central subject tracking mode.
  • step S201 If the determination in step S201 is Yes and the determination in step S202 is No, the process proceeds to step S213, and the tracking mode to be executed is set. (C) Set to the maximum subject tracking mode.
  • Step S211 If the determination in step S201 is No, that is, in step S201, if the user selects a setting that does not limit the tracking subject to one, the process proceeds to step S211.
  • the data processing unit of the image processing device (automatic tracking imaging device 10 or communication terminal 30) sets the tracking mode to be executed.
  • step S101 of FIG. 6 when a plurality of subjects corresponding to the tracking subject type specified in step S101 of FIG. 6 are detected from the captured image, the tracking subject covers an area including all the subjects corresponding to the tracking subject type. This is the mode. As shown in the image of FIG. 7 (step S211), when a plurality of subjects (“birds” in this example) corresponding to the tracking subject type are detected in the captured image, the area including all of these subjects is defined as the tracking subject. To do.
  • Step S212 When the determination in step S201 is Yes and the determination in step S202 is Yes, that is, in step S201, the user selects a setting to limit the tracking subject to one, and in step S202, the user centers the tracking subject on the image.
  • the process proceeds to step S212.
  • the data processing unit of the image processing device (automatic tracking imaging device 10 or communication terminal 30) sets the tracking mode to be executed.
  • step S101 of FIG. 6 when a plurality of subjects corresponding to the tracking subject type specified in step S101 of FIG. 6 are detected from the captured image, the center subject is closest to the center of the captured image among the plurality of detected subjects.
  • This mode uses one subject as the tracking subject.
  • the center of the captured image is detected from among these subjects. Select one subject closest to, and use this selected subject as the tracking subject.
  • Step S213 If the determination in step S201 is Yes and the determination in step S202 is No, that is, in step S201, the user selects a setting that limits the tracking subject to one, and in step S202, the user centers the tracking subject on the image. If no setting for a close subject is selected, the process proceeds to step S213. In this case, the data processing unit of the image processing device (automatic tracking imaging device 10 or communication terminal 30) sets the tracking mode to be executed. (C) Set to the maximum subject tracking mode.
  • the maximum subject tracking mode when a plurality of subjects corresponding to the tracking subject type specified in step S101 of FIG. 6 are detected from the captured image, the maximum subject tracking mode has the largest image area among the plurality of detected subjects1. This mode uses one subject as the tracking subject. As shown in the image of FIG. 7 (step S213), when a plurality of subjects (“birds” in this example) corresponding to the tracking subject type are detected in the captured image, among these subjects, in the captured image. One subject that occupies the largest image area is selected, and this selected subject is set as the tracking subject.
  • the tracking mode information set according to the processing flow shown in FIG. 7 is stored in a storage unit in the image processing device (automatic tracking imaging device 10 or communication terminal 30).
  • the success determination process of the tracking subject detection process from the captured images in steps S104 to S105 of the flow of FIG. 6 described above is executed according to the set tracking mode.
  • mode classification examples of (A) multiple subject tracking mode, (B) central subject tracking mode, and (C) maximum subject tracking mode have been described, but other different modes may be used. It may be configured to be configurable. For example, it may be configured so that mode settings such as a leading subject selection mode in which the leading car or person in a race or the like is the tracking subject can be selected.
  • FIG. 8 is a diagram illustrating an example of processing in steps S104 to S105 of the flow shown in FIG. 6, that is, tracking subject detection processing from the captured image.
  • FIG. 8 shows a captured image that executes the detection process of the tracking subject.
  • the example shown in FIG. 8 is an example when the tracking subject type is set to "bird".
  • the determination in step S105 becomes N0, and the process returns to step S104 to execute the detection process of the bird as the tracking subject from the continuously captured images.
  • step S104 a process of determining the tracking subject is performed according to a preset tracking mode.
  • the (B) central subject tracking mode described above with reference to FIG. 7 has been set.
  • the data processing unit of the image processing device determines (B) the bird near the center of the image as the tracking subject among the two birds detected from the captured image according to the setting of the central subject tracking mode. In this way, the tracking subject determination process is executed. Returning to FIG. 6, the processing of step S106 and subsequent steps will be described.
  • Step S106 If it is determined in step S105 that the tracking subject detection process from the captured image in step S104 is successful, the process proceeds to step S106.
  • the image processing device executes a motion prediction vector calculation process according to the type and posture of the tracking subject.
  • the type of tracking subject is, for example, a subject type designated by the user as a tracking subject, such as a bird, a person, or a dog.
  • the posture is a posture in which a bird is perched on a tree, a posture in which a person is flying, a posture in which a person is present, a posture in which a person is running, and the like.
  • the posture also includes the size of the tracking subject in the image, and when calculating the motion prediction vector, processing is performed in consideration of the size of the tracking subject in the image.
  • the calculation process of the motion prediction vector according to the type and posture of the tracking subject is executed in the data processing unit in the image processing device (automatic tracking imaging device 10 or communication terminal 30). The details of this motion prediction vector calculation process will be described later.
  • FIG. 10 is a diagram showing a specific example of a motion prediction vector corresponding to one posture with a “bird” when the type of the tracking subject is “bird”.
  • a vector extending in the upper right direction from the center position of the bird, which is the tracking subject is shown.
  • This vector is the motion prediction vector of the bird that is the tracking subject.
  • the direction of the motion prediction vector is set to the direction corresponding to the predicted movement direction of the bird as the tracking subject, and the length of the motion prediction vector corresponds to the predicted movement speed (80 km / h) of the bird as the tracking subject. It is set to.
  • a specific example of the calculation process of the motion prediction vector will be described later.
  • FIG. 11 is a diagram showing a specific example of a motion prediction vector corresponding to one posture of a "person” when the type of the tracking subject is "person".
  • a vector extending in the left horizontal direction from the center position of the person who is the tracking subject is shown.
  • This vector is the motion prediction vector of the person who is the tracking subject.
  • the direction of the motion prediction vector is set to the direction corresponding to the predicted movement direction of the person who is the tracking subject, and the length of the motion prediction vector corresponds to the predicted movement speed (38 km / h) of the person who is the tracking subject. It is set to.
  • step S106 shown in FIG. 6 the motion prediction vector calculation process according to the type and posture of the tracking subject is executed in this way.
  • the calculation process of the motion prediction vector according to the type and posture of the tracking subject is executed in the data processing unit in the image processing device (automatic tracking imaging device 10 or communication terminal 30).
  • the calculation process of the motion prediction vector according to the type and posture of the tracking subject can be executed as a process using the learning data.
  • a table in which motion prediction vectors according to the type and posture of the tracking subject are recorded in advance may be stored in the storage unit, and the motion prediction vector may be acquired by referring to this table.
  • the motion prediction vector calculation process according to the type and orientation of the tracking subject is executed, for example, in units of image frames captured by the camera 11. However, when calculating the motion prediction vector corresponding to a new image frame, the previous frame is calculated. Etc., a new predicted motion vector is calculated by referring to the motion prediction vector calculated based on the past frame and the measured motion vector reflecting the actual motion of the tracking subject obtained from the past captured image. You may.
  • the motion prediction vector is calculated based on the analysis result of the initial frame, but after the next frame, the motion prediction motion vector calculated from the latest captured image frame is calculated. And, the actual motion vector that reflects the actual motion of the tracking subject obtained from the past captured images is compared, and the correction process is performed so that this difference becomes small to calculate the final predicted motion vector. Processing may be performed.
  • processing such as setting weights on the predicted motion vector and the measured vector and calculating the final predicted motion vector by weight addition may be performed.
  • weighting the predicted motion vector deteriorates the accuracy. Therefore, the measured vector may be weighted more.
  • step S107 the shooting direction of the camera is controlled according to the motion prediction vector according to the type and posture of the tracking subject calculated in step S106. That is, it is assumed that the tracking subject moves according to the motion prediction vector according to the type and orientation of the tracking subject calculated in step S106, and the shooting direction of the camera is changed so that the shooting direction of the camera matches the moving direction. Generates a camera direction control signal. Further, the camera direction is changed according to the generated camera direction control signal.
  • the data processing unit in the image processing device moves the tracking subject to the moving position based on the motion prediction vector according to the type and orientation of the tracking subject calculated in step S106.
  • the camera shooting direction movement vector for matching the shooting directions of the camera 11 is calculated.
  • the data processing unit in the image processing device drives the cloud stand 12 required to change the camera shooting direction according to the calculated camera shooting direction movement vector. Direction and drive amount) are determined. Further, the data processing unit in the image processing device (automatic tracking imaging device 10 or communication terminal 30) drives the pan head 12 according to the determined drive mode (drive direction and drive amount) of the pan head 12. A control signal is generated, and the generated pan head drive control signal is output to the pan head control unit 13. The pan head control unit 13 applies the input pan head drive control signal to drive the pan head 12.
  • the shooting direction of the camera is controlled so that the shooting direction of the camera matches the moving direction. Will be done. As a result, it becomes possible to shoot a captured image (moving image) that tracks the tracking subject.
  • the camera setting information for shooting the optimum image of the tracking subject such as pan, tilt, zoom, etc. is calculated, and this calculated information is also controlled by the camera 11 or the pan head. It may be configured to output to unit 13 for control.
  • Step S108 it is determined in step S108 whether or not the automatic tracking mode is set to OFF.
  • the automatic tracking mode is set to OFF, the shooting process in the automatic tracking mode ends.
  • step S104 If the automatic tracking mode is not set to OFF, the process returns to step S104, and the processes of steps S104 to S107 are repeated for a new captured image frame.
  • the image shooting process in the automatic tracking mode is continuously executed.
  • FIG. 12 shows a configuration example of the image processing device 100 of the present disclosure.
  • the image processing device 100 shown in FIG. 12 is a combination of the automatic tracking imaging device 10 described with reference to FIGS. 1 to 3 or the automatic tracking device 10 described with reference to FIGS. 4 to 5 and a communication terminal 30. Corresponds to the device.
  • the configuration diagram shown in FIG. 12 is a configuration diagram in which only a portion related to the shooting direction control process of the camera executed by the image processing apparatus of the present disclosure is extracted. The general configuration of the camera, communication terminal, and pan head control unit is omitted.
  • the image processing device 100 includes an input unit 101, an imaging unit 102, a subject movement prediction vector generation unit 110, a camera control signal generation unit 121, and a camera (head) drive unit 122.
  • the subject movement prediction vector generation unit 110 uses the tracking subject identification unit 111, the subject estimation learning data 112, the tracking subject type & posture correspondence movement prediction vector calculation unit 113, and the tracking subject type & posture correspondence movement prediction vector estimation learning data 114. Have.
  • the input unit 101 inputs, for example, tracking subject type information. Specifically, as described above with reference to FIGS. 2 and 4, the user tracks using the tracking subject type selection UI displayed on the display unit of the camera 11 or the display unit of the communication terminal 30. Select and enter the type of target subject.
  • the tracking subject type designation information 201 input from the input unit 101 is input to the subject movement prediction vector generation unit 110.
  • the imaging unit 102 corresponds to the imaging unit of the camera 11 in the configuration described with reference to FIGS. 1 to 5.
  • the imaging unit 102 acquires a captured image such as a current image before the start of recording, a so-called live view image (LV image), or an image for recording after the start of recording.
  • a captured image such as a current image before the start of recording, a so-called live view image (LV image), or an image for recording after the start of recording.
  • LV image live view image
  • the captured image 202 acquired by the imaging unit 102 is input to the subject movement prediction vector generation unit 110.
  • the subject movement prediction vector generation unit 110 inputs the tracking subject type designation information 201 from the input unit 101, inputs the captured image 202 from the imaging unit 102, and uses these input information to predict the tracking subject type and the motion corresponding to the posture. Generate and output vector 204.
  • the tracking subject type & posture-corresponding motion prediction vector 204 is a motion prediction vector corresponding to the type of the tracking subject, for example, the type of the tracking subject such as a bird, a dog, a person, or a ball, and the posture of the tracking subject.
  • the tracking subject type is a bird
  • the length of the movement prediction vector of the bird perched on the tree is almost zero, but when the bird is flying in the sky, the movement prediction vector is the direction of the bird's head. It is a vector that has almost the same direction as the bird and has a length corresponding to the flight speed of the bird.
  • the subject movement prediction vector generation unit 110 first tracks the captured image 202 by using the tracking subject type designation information 201 input from the input unit 101 and the captured image 202 input from the imaging unit 102 by the tracking subject identification unit 111. Detect the subject. Specifically, a tracking subject matching the tracking subject type specified by the user is detected from the captured image 202.
  • a process of detecting "bird” from the captured image 202 is executed.
  • a process of detecting "person” from the captured image 202 or the like is executed.
  • the tracking subject identification unit 111 executes the subject identification process using the subject estimation learning data 112 when the tracking subject is detected.
  • the learning data 112 for subject estimation is data accumulated by a learning process executed in advance, and collects image feature information of various moving subjects such as people, birds, dogs, cats, and balls, and types of subjects from the images. It is the learning data that made it possible to estimate.
  • the tracking subject identification unit 111 uses, for example, a tracking target that matches the tracking subject type specified by the user from the captured image 202 by using a neural network configured by using the learning data 112 for subject estimation, for example, a “bird”. Is detected.
  • the detection information of the tracking subject identification unit 111 is output as the tracking subject detection information 203 to the tracking subject type & posture correspondence motion prediction vector calculation unit 113.
  • the tracking subject type & posture correspondence motion prediction vector calculation unit 113 inputs the tracking subject detection information 203 from the tracking subject identification unit 111.
  • the tracking subject type & posture corresponding motion prediction vector calculation unit 113 calculates the motion prediction vector corresponding to the type and posture of the tracking subject included in the captured image 202 based on this input information.
  • the tracking subject type & posture correspondence motion prediction vector calculation unit 113 describes the type of the tracking subject, for example, the type of the tracking subject such as a bird, a dog, a person, or a ball, and the motion prediction vector corresponding to the posture of the tracking subject, that is, the tracking.
  • the subject type & posture correspondence motion prediction vector 204 is calculated.
  • the tracking subject type & posture corresponding movement prediction vector calculation unit 113 calculates a vector using the tracking subject type & posture corresponding movement prediction vector estimation learning data 114 when performing the calculation processing of the tracking subject type & posture corresponding movement prediction vector 204. Execute the process.
  • the learning data 114 for tracking motion prediction vector estimation for tracking subject type & posture is data accumulated by a learning process executed in advance, and various types of moving subjects such as people, birds, dogs, cats, and balls and their postures. This is learning data that can accumulate motion vectors corresponding to the above and estimate the motion vector of the subject from the type of the subject detected from the image and its posture.
  • the tracking subject type & posture correspondence motion prediction vector calculation unit 113 uses, for example, a neural network configured by using the tracking subject type & posture correspondence movement prediction vector estimation learning data 114, and the tracking subject included in the captured image 202. Calculate the motion prediction vector corresponding to the type and posture of.
  • the motion prediction vector calculation process according to the type and posture of the tracking subject by the tracking subject type & posture-corresponding motion prediction vector calculation unit 113 is acquired from a table generated in advance in addition to the processing using the above-mentioned learning data. It may be configured. That is, a table in which motion prediction vectors according to the type and posture of the tracking subject are recorded in advance may be stored in the storage unit, and the motion prediction vector may be acquired by referring to this table.
  • the tracking subject type & posture correspondence motion prediction vector 204 calculated by the tracking subject type & posture correspondence motion prediction vector calculation unit 113 is output to the camera control signal generation unit 121.
  • the camera control signal generation unit 121 generates a control signal for controlling the shooting direction of the camera 11 by using the tracking subject type & posture correspondence motion prediction vector 204 calculated by the tracking subject type & posture correspondence motion prediction vector calculation unit 113. .. That is, a camera direction control signal that sets the shooting direction of the camera at the position where the tracking subject moves according to the tracking subject type & posture correspondence motion prediction vector 204 is generated.
  • the camera direction control signal specifically corresponds to a drive control signal of the pan head 12 that controls the shooting direction of the camera 11.
  • the camera direction control signal generated by the camera control signal generation unit 121 is input to the camera (head) drive unit 122.
  • the camera (head) drive unit 122 is a component of the pan head control unit 13 shown in FIG.
  • the camera (head) drive unit 122 drives the pan head based on the camera direction control signal generated by the camera control signal generation unit 121. That is, the pan head is driven so as to match the shooting direction of the camera with the position where the tracking subject has moved according to the tracking subject type & posture correspondence motion prediction vector 204.
  • the shooting direction of the camera moves according to the movement of the tracking subject specified by the user (photographer), and the tracking image (moving image) of the tracking subject can be taken.
  • the process executed by the subject movement prediction vector generation unit 110 that is, the type of the tracking subject, for example, the type of the tracking subject such as a bird, a dog, a person, or a ball, and the movement prediction vector corresponding to the posture of the tracking subject.
  • the type of the tracking subject for example, the type of the tracking subject such as a bird, a dog, a person, or a ball
  • the movement prediction vector corresponding to the posture of the tracking subject A specific processing example of the generation processing of the motion prediction vector 204 corresponding to a certain tracking subject type & posture will be described with reference to FIGS. 13 and 14.
  • FIG. 13 is a processing example when the type of the tracking subject specified by the user (photographer) is “bird”.
  • FIG. 14 is an example of processing when the type of the tracking subject specified by the user (photographer) is “person”.
  • FIG. 13 shows a tracking subject identification unit 111, which is a component of the subject movement prediction vector generation unit 110, and a tracking subject type & posture correspondence motion prediction vector calculation unit 113. Each of these has a neural network generated by the training data.
  • the tracking subject identification unit 111 has a designated subject type detection neural network generated by the learning data.
  • the designated subject type detection neural network is a neural network that inputs the tracking subject type designation information 201 from the input unit 101 and the captured image 202 from the imaging unit 102 and outputs the tracking subject detection information 203.
  • the tracking subject detection information 203 generated by the tracking subject identification unit 111 is output to the tracking subject type & posture correspondence motion prediction vector calculation unit 113.
  • the tracking subject type & posture correspondence movement prediction vector calculation unit 113 has a bird posture correspondence movement prediction vector estimation neural network generated by the learning data.
  • This neural network is a neural network that estimates a motion prediction vector corresponding to the posture of a bird, assuming that the subject type is a bird.
  • the neural network may be set for each bird type, for example.
  • a neural network for each type of bird such as pigeon, sparrow, swan, etc. may be applied.
  • the subject type pigeon
  • the motion prediction vector corresponding to the posture of the pigeon may be estimated.
  • the tracking subject type & posture-corresponding motion prediction vector calculation unit 113 has a neural network for motion prediction vector estimation according to the subject type (person, bird, dog, etc.), and is designated as a tracking target by the user.
  • the neural network to be used is switched and used according to the subject type (people, birds, dogs, etc.).
  • the tracking subject type & posture correspondence motion prediction vector calculation unit 113 is configured to perform the tracking subject type identification processing and the posture correspondence movement prediction vector calculation processing.
  • the posture-corresponding motion prediction vector calculation process may be performed by an individual processing unit. Further, these processes may be performed by different devices.
  • the type of subject (whether or not it is a subject specified for tracking) is specified on the camera side, and movement is predicted by another information processing device such as an external communication terminal or a server on the cloud side using that information. May be good.
  • the tracking subject type & posture-corresponding motion prediction vector calculation unit 113 obtains a vector having a direction in the forward direction of the bird flying in the sky, which is the tracking subject, and having a length corresponding to the flight speed of the bird. , Tracked subject type & orientation correspondence motion prediction vector 204 is calculated.
  • This tracking subject type & posture correspondence motion prediction vector 204 is output to the camera control signal generation unit 121.
  • the camera control signal generation unit 121 uses this motion prediction vector to generate a camera direction control signal that sets the shooting direction of the camera at the position where the tracking subject moves according to the motion prediction vector.
  • FIG. 14 shows a tracking subject identification unit 111, which is a component of the subject movement prediction vector generation unit 110, and a tracking subject type & posture correspondence motion prediction vector calculation unit 113. Each of these has a neural network generated by the training data.
  • the tracking subject detection information 203 generated by the tracking subject identification unit 111 is output to the tracking subject type & posture correspondence motion prediction vector calculation unit 113.
  • the tracking subject type & posture-corresponding motion prediction vector calculation unit 113 has a “human” posture-corresponding motion prediction vector estimation neural network generated by the learning data.
  • This neural network is a neural network that estimates motion prediction vectors corresponding to various types of people and human postures.
  • the type of person is the type of an adult, a child, a man, a woman, etc., and the posture of a person is, for example, a walking posture, a running posture, or the like.
  • the neural network can also generate and use a neural network for a specific individual as a type of person. It is possible to learn the movements of a specific Mr. A according to various postures, and based on this learning data, generate a neural network that estimates the motion prediction vector according to the various postures of the specific Mr. A. When a specific Mr. A is detected from the captured image, a highly accurate motion prediction vector based on the data unique to Mr. A can be estimated by applying this neural network unique to Mr. A.
  • the tracking subject type & posture-corresponding motion prediction vector calculation unit 113 has a direction toward the front of the person in the running posture, which is the tracking subject, and has a length corresponding to the running speed of the person. Is calculated as the tracking subject type & posture-corresponding motion prediction vector 204.
  • This tracking subject type & posture correspondence motion prediction vector 204 is output to the camera control signal generation unit 121.
  • the camera control signal generation unit 121 uses this motion prediction vector to generate a camera direction control signal that sets the shooting direction of the camera at the position where the tracking subject moves according to the motion prediction vector.
  • the camera control signal generation unit 121 uses the tracking subject type & posture correspondence motion prediction vector 204 calculated by the tracking subject type & posture correspondence motion prediction vector calculation unit 113.
  • a control signal for controlling the shooting direction of the camera 11 is generated.
  • a camera direction control signal that sets the shooting direction of the camera at the position where the tracking subject moves according to the tracking subject type & posture corresponding motion prediction vector 204 is generated.
  • the camera direction control signal specifically corresponds to a drive control signal of the pan head 12 that controls the shooting direction of the camera 11.
  • FIG. 15 is a diagram showing a processing example of the camera control signal generation unit 121.
  • FIG. 15 shows an example of processing when the tracking subject is a bird.
  • the current frame (n) and the next frame (n + 1) scheduled to be photographed by moving the camera 11 in accordance with the movement of the tracking subject are shown.
  • the “tracking subject type & posture-corresponding motion prediction vector” is shown by a solid line in the forward and upward direction from the bird, which is the tracking subject detected in the current frame (n).
  • the “tracking subject type & posture corresponding movement prediction vector” shown in FIG. 15 is a vector calculated based on the tracking subject type & posture corresponding movement prediction vector 204 calculated by the subject type & posture corresponding movement prediction vector calculation unit 113. , Corresponds to a vector indicating the movement destination of the subject between one frame of the shooting frame (n) and (n + 1) of the camera 11.
  • the image processing apparatus of the present disclosure predicts the movement vector of the tracking subject, and includes the information so that the subject becomes the target position (for example, the image center position). It makes it possible to control. Therefore, it is possible to set the position other than the position of the bird on the dotted line of the frame (n + 1) shown in FIG. Further, the shooting direction of the camera 11 can be set in various ways other than the setting of changing to the center of the next frame (n + 1) image shown by the dotted circle in FIG.
  • the camera control signal generation unit 121 calculates the camera shooting direction movement vector based on the tracking subject type & posture correspondence motion prediction vector 204 calculated by the subject type & posture correspondence motion prediction vector calculation unit 113, and the camera according to this vector. Change the shooting direction of. By this processing, it is possible to shoot a tracking image such that the tracking subject specified by the user is shot in each shot image frame.
  • the technology disclosed in the present specification can have the following configuration. (1) Detects the tracking subject corresponding to the type specified in advance from the captured image, and A subject movement prediction vector calculation unit that calculates a movement prediction vector according to the type and posture of the detected tracking subject, An image processing device having a camera control signal generation unit that generates a camera control signal for tracking the tracking subject based on the motion prediction vector.
  • the subject movement prediction vector calculation unit is A tracking subject identification unit that detects a tracking subject corresponding to a specified type from the captured image, and a tracking subject identification unit.
  • the image processing apparatus according to (1) which has a tracking subject type & posture-corresponding subject movement prediction vector calculation unit that calculates a motion prediction vector according to the type and posture of the tracking subject detected by the tracking subject identification unit.
  • the subject movement prediction vector calculation unit is The image processing apparatus according to (1) or (2), which executes tracking subject identification processing using learning data and motion prediction vector calculation processing.
  • the image processing device is It has a display unit that displays a UI (user interface) for allowing the user to select the type of tracking subject.
  • the subject movement prediction vector calculation unit Using the UI, a subject of a type corresponding to the type of the tracking subject specified by the user is detected from the captured image, and a motion prediction vector according to the type and posture of the detected tracking subject is calculated (1) to.
  • the image processing apparatus according to any one.
  • the image processing device is The image processing apparatus according to any one of (1) to (4), which starts detection processing of a tracking subject of a type specified in advance from the captured image in response to an automatic tracking mode start input by the user.
  • the subject movement prediction vector calculation unit is The image processing according to any one of (1) to (5), which has a tracking subject identification unit that detects a tracking subject of a type specified by the user from the captured image using a neural network generated based on the learning data. apparatus.
  • the subject movement prediction vector calculation unit is It has a tracking subject type & posture corresponding subject movement prediction vector calculation unit that calculates a motion prediction vector according to the type and posture of the tracking subject using a neural network generated based on the training data (1) to (6).
  • the image processing apparatus according to any one.
  • the subject movement prediction vector calculation unit is When multiple tracking subjects of the type specified by the user are detected in the captured image, The image processing apparatus according to any one of (1) to (7), which determines a tracking subject according to preset subject tracking mode setting information.
  • the subject movement prediction vector calculation unit is (A) Multiple subject tracking mode (B) Central subject tracking mode (C) Maximum subject tracking mode
  • the subject movement prediction vector calculation unit is The image processing according to any one of (1) to (9), in which the motion prediction vector according to the type and posture of the tracking subject is acquired by referring to the table in which the motion prediction vector according to the type and posture of the tracking subject is recorded. apparatus.
  • the subject movement prediction vector calculation unit is The image processing apparatus according to any one of (1) to (10), which calculates a motion prediction vector in consideration of the size of the tracking subject in the image.
  • the subject movement prediction vector calculation unit is The image processing apparatus according to any one of (1) to (11), which calculates a motion prediction vector using an actually measured motion vector that reflects the motion of a tracking subject obtained from a past captured image.
  • the subject movement prediction vector calculation unit is The predicted motion vector calculated from the latest captured image is compared with the measured motion vector that reflects the motion of the tracking subject obtained from the past captured image, and the predicted motion vector is corrected (1) to (12).
  • the camera control signal generation unit The image processing according to any one of (1) to (13), which generates a control signal in the camera direction for capturing a tracking image of the tracking subject based on the motion prediction vector calculated by the subject motion prediction vector calculation unit. apparatus.
  • the camera control signal generation unit Based on the motion prediction vector calculated by the subject motion prediction vector calculation unit, a camera control signal of at least one of pan, tilt, and zoom of the camera for capturing the tracking image of the tracking subject is generated (1).
  • a camera control signal of at least one of pan, tilt, and zoom of the camera for capturing the tracking image of the tracking subject is generated (1).
  • An image processing system having a camera mounted on a pan head and a pan head control unit for controlling the pan head.
  • the camera Detects the tracking subject corresponding to the type specified in advance from the captured image,
  • a subject movement prediction vector calculation unit that calculates a movement prediction vector according to the type and posture of the detected tracking subject, It has a camera control signal generation unit that generates a camera control signal for tracking the tracking subject based on the motion prediction vector.
  • the pan head control unit An image processing system that executes pan head control for capturing a tracking image of the tracking subject based on the camera control signal.
  • the subject movement prediction vector calculation unit of the camera is A tracking subject identification unit that detects a tracking subject corresponding to a specified type from the captured image, and a tracking subject identification unit.
  • Subject movement prediction vector calculation unit Detects the tracking subject corresponding to the type specified in advance from the captured image, A subject movement prediction vector calculation step that calculates a movement prediction vector according to the type and posture of the detected tracking subject, and
  • the camera control signal generator An image processing method for executing a camera control signal generation step of generating a camera control signal for tracking the tracking subject based on the motion prediction vector.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • executing processing by software install the program that records the processing sequence in the memory in the computer built in the dedicated hardware and execute it, or execute the program on a general-purpose computer that can execute various processing. It can be installed and run.
  • the program can be pre-recorded on a recording medium.
  • LAN Local Area Network
  • the various processes described in the specification are not only executed in chronological order according to the description, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • the motion prediction vector corresponding to the type and posture of the tracking subject is calculated to generate the camera control signal necessary for capturing the subject tracking image.
  • Devices and methods are realized. Specifically, for example, a subject motion prediction vector calculation unit that detects a tracking subject of a predetermined type from a captured image input from an imaging unit and calculates a motion prediction vector according to the type and orientation of the detected tracking subject. It also has a camera control signal generation unit that generates a camera control signal for capturing a tracking image of the tracking subject based on the motion prediction vector calculated by the subject movement prediction vector calculation unit.
  • the subject motion prediction vector calculation unit executes detection processing and motion prediction vector calculation processing of the type of tracking subject specified by the user from the captured image by using a neural network or the like. With this configuration, a device and a method for calculating a motion prediction vector corresponding to the type and posture of the tracking subject and generating a camera control signal necessary for capturing the subject tracking image are realized.
  • Automatic tracking imager 11 Camera 12 Pan head 13 Head control unit 15 Camera display unit 16 Tracking subject type selection UI 17 Automatic tracking mode setting icon 18 Shooting (recording) start instruction icon 30 Communication terminal 31 Tracking subject type selection UI 32 Automatic tracking mode setting icon 338 Shooting (recording) start instruction icon 100 Image processing device 101 Input unit 102 Imaging unit 110 Subject movement prediction vector generation unit 111 Tracking subject identification unit 112 Subject estimation learning data 113 Tracking subject type & posture-corresponding movement Prediction vector calculation unit 114 Tracking subject type & orientation correspondence Learning data for motion prediction vector estimation 121 Camera control signal generation unit 122 Camera (cloud stand) drive unit 201 Tracking subject type specification information 202 Captured image 203 Tracking subject detection information 204 Tracking subject type & Motion prediction vector for posture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

追尾被写体の種類と姿勢に対応する動き予測ベクトルを算出して、被写体追尾画像の撮影に必要なカメラ制御信号を生成する装置、方法を提供する。撮像部から入力する撮影画像から予め指定された種類の追尾被写体を検出し、検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出部と、被写体動き予測ベクトル算出部が算出した動き予測ベクトルに基づいて、前記追尾被写体の追尾画像を撮影するためのカメラ制御信号を生成するカメラ制御信号生成部を有する。被写体動き予測ベクトル算出部は、ニューラルネットワーク等を用いて、撮影画像からユーザの指定した種類の追尾被写体の検出処理と動き予測ベクトル算出処理を実行する。

Description

画像処理装置、および画像処理システム、並びに画像処理方法
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、被写体追尾を行って画像撮影を実行する画像処理装置、および画像処理システム、並びに画像処理方法に関する。
　撮像装置（カメラ）を用いて動く被写体を撮影する際、被写体を追尾しながら動画像を撮影可能とした自動追尾撮像装置が利用される。
　例えば、撮影方向を自在に設定可能な雲台装置に撮像装置を取り付け、雲台装置を被写体の動きに追従させるように駆動して画像を撮影する。
　なお、自動追尾撮像装置については例えば特許文献１（特開２０１０－１５４３９１号公報）等に記載がある。
　多くの自動追尾撮像装置は、被写体の追尾画像（動画像）を撮影する場合、まず初めにユーザ（撮影者）が追尾対象となる被写体を選択する処理を行う。
　例えば、カメラによる画像撮影を開始する前に、ユーザがカメラの表示部に表示されるライブビュー画像（スルー画像）を確認して追尾対象被写体の選択を行う。
　具体的には、例えば、ユーザがタッチパネル型の表示画面上に表示されたライブビュー画像から追尾対象となる被写体を選択し、選択した被写体の画像領域を囲む枠を指で設定する。自動追尾撮像装置の制御部は、枠領域の画像をテンプレート画像として、テンプレート画像に類似する画像領域を追従するように雲台を駆動させる。このような処理により、追尾画像を撮影する。
　しかし、追尾対象被写体の画像領域が正確に設定できていない場合には、追尾対象被写体の追従画像の撮影が困難となる。
　例えば、ユーザ（撮影者）がカメラを手に持ち、被写体である「鳥」を追いかけながら、「鳥」の追尾画像を撮影しようとする場合等、カメラが固定されていない状態において、ユーザが正確な枠を描くのは困難である。
　このように、被写体と、撮影者の双方が動いている状況では、目的とする被写体を囲む正確な枠を描くことは極めて困難であるという問題がある。
特開２０１０－１５４３９１号公報
　本開示は、例えば、上述の問題点に鑑みてなされたものであり、ユーザ（撮影者）による表示画面上での枠設定などの処理を行うことなく、目的とする追尾対象被写体の追尾画像を撮影可能とする画像処理装置、および画像処理システム、並びに画像処理方法を提供することを目的とする。
　本開示の第１の側面は、
　撮影画像から予め指定された種類に対応する追尾被写体を検出し、
　検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出部と、
　前記動き予測ベクトルに基づいて、前記追尾被写体を追尾するためのカメラ制御信号を生成するカメラ制御信号生成部を有する画像処理装置にある。
　さらに、本開示の第２の側面は、
　雲台に装着されたカメラと、前記雲台を制御する雲台制御部を有する画像処理システムであり、
　前記カメラは、
　撮影画像から予め指定された種類に対応する追尾被写体を検出し、
　検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出部と、
　前記動き予測ベクトルに基づいて、前記追尾被写体を追尾するためのカメラ制御信号を生成するカメラ制御信号生成部を有し、
　前記雲台制御部は、
　前記カメラ制御信号に基づいて、前記追尾被写体の追尾画像を撮影するための雲台制御を実行する画像処理システムにある。
　さらに、本開示の第３の側面は、
　画像処理装置において実行する画像処理方法であり、
　被写体動き予測ベクトル算出部が、
　撮影画像から予め指定された種類に対応する追尾被写体を検出し、
　検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出ステップと、
　カメラ制御信号生成部が、
　前記動き予測ベクトルに基づいて、前記追尾被写体を追尾するためのカメラ制御信号を生成するカメラ制御信号生成ステップを実行する画像処理方法にある。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、追尾被写体の種類と姿勢に対応する動き予測ベクトルを算出して、被写体追尾画像の撮影に必要なカメラ制御信号を生成する装置、方法が実現される。
　具体的には、例えば、撮像部から入力する撮影画像から予め指定された種類の追尾被写体を検出し、検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出部と、被写体動き予測ベクトル算出部が算出した動き予測ベクトルに基づいて、前記追尾被写体の追尾画像を撮影するためのカメラ制御信号を生成するカメラ制御信号生成部を有する。被写体動き予測ベクトル算出部は、ニューラルネットワーク等を用いて、撮影画像からユーザの指定した種類の追尾被写体の検出処理と動き予測ベクトル算出処理を実行する。
　本構成により、追尾被写体の種類と姿勢に対応する動き予測ベクトルを算出して、被写体追尾画像の撮影に必要なカメラ制御信号を生成する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の画像処理装置の一例である自動追尾撮像装置の構成例について説明する図である。 追尾被写体種類選択処理について説明する図である。 自動追尾モードの設定と撮影開始処理について説明する図である。 通信端末を用いた追尾被写体種類選択処理について説明する図である。 通信端末を用いた自動追尾モードの設定と撮影開始処理について説明する図である。 本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 追尾被写体検出処理の具体例について説明する図である。 追尾被写体検出処理の具体例について説明する図である。 追尾被写体の動き予測ベクトルの具体例について説明する図である。 追尾被写体の動き予測ベクトルの具体例について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の被写体動き予測ベクトル生成部１１０の実行する処理の具体例について説明する図である。 本開示の画像処理装置の被写体動き予測ベクトル生成部１１０の実行する処理の具体例について説明する図である。 本開示の画像処理装置のカメラ制御信号生成部の実行する処理の具体例について説明する図である。
　以下、図面を参照しながら本開示の画像処理装置、および画像処理システム、並びに画像処理方法の詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の画像処理装置の構成と処理の概要について
　２．本開示の画像処理装置が実行する処理のシーケンスについて
　３．画像処理装置の構成と被写体動き予測ベクトルの生成処理の詳細について
　４．本開示の構成のまとめ
　　［１．本開示の画像処理装置の構成と処理の概要について］
　まず、本開示の画像処理装置の構成と処理の概要について説明する。
　図１は、本開示の画像処理装置の一例である自動追尾撮像装置１０の一構成例を示す図である。
　自動追尾撮像装置１０は、カメラ１１、雲台１２、雲台制御部１３を有する。
　カメラ１１は雲台１２に装着されている。カメラ１１は、雲台１２上で、自在に撮影方向を変化させることが可能な構成となっている。
　雲台制御部１３は、予め設定された追尾被写体の方向にカメラ１１の撮影方向を向けるように雲台１２を駆動制御する。
　なお、被写体追尾画像を撮影するためには、カメラの撮影画像から追尾被写体を検出し、検出した追尾被写体の方向を解析して、その方向にカメラの撮影方向を一致させる処理を継続して実行することが必要となる。
　この処理のためには、例えば以下の処理が必要となる。
　（１）カメラ１１の撮影画像からの追尾被写体の検出処理、
　（２）検出された追尾被写体を撮影するためのカメラ方向の算出処理、
　（３）算出したカメラ方向にカメラを駆動するための雲台駆動制御信号の生成処理、
　（４）生成した雲台駆動制御信号に基づく雲台駆動処理
　これら（１）～（４）の処理は、カメラ１１と、雲台制御部１３のいずれかにおいて実行される。
　例えば上記（１）～（４）の全ての処理を雲台制御部１３において実行する構成としてもよいし、上記（１）～（３）の処理をカメラ１１において実行し、（４）の処理のみを雲台制御部１３において実行する構成としてもよい。
　上記（１）～（４）の全ての処理を雲台制御部１３において実行する構成の場合、カメラ１１の撮影した画像を、信号線１４を介して雲台制御部１３に入力する。
　雲台制御部１３は、この撮影画像を用いて、上記処理（１）～（４）を実行する。
　一方、上記（１）～（３）の処理をカメラ１１において実行し、（４）の処理のみを雲台制御部１３において実行する構成の場合は、カメラ１１が生成した雲台駆動制御信号を、信号線１４を介して雲台制御部１３に入力する。
　雲台制御部１３は、カメラ１１が生成した雲台駆動制御信号を用いて、上記処理（４）を実行する。
　なお、上記処理（１）～（４）について、カメラ１１、雲台制御部１３のいずれが実行するかについては、上記の他にも様々な設定が可能である。
　さらに、上記（１）～（３）の処理については、外部の通信端末やサーバ、例えばクラウド上のサーバ等の外部装置が、カメラ１１、または雲台制御部１３と通信を行いながら処理を実行する構成も可能である。
　先に説明したように、従来の多くの自動追尾撮像装置は、被写体の追尾画像（動画像）を撮影する場合、まず初めにユーザ（撮影者）が追尾対象となる被写体を選択する処理を行う。
　例えば、ユーザがタッチパネル型のカメラ表示画面上に表示されるライブビュー画像（スルー画像）から追尾対象となる被写体を選択し、選択した被写体の画像領域を囲む枠を指で設定する。
　なお、被写体選択処理は、タッチパネル型のカメラ表示画面に対する操作に限らず、操作釦等の物理的操作部を用いて行う構成としてもよい。
　しかし、図１左上に示す（１）利用例のように、例えば、ユーザ（撮影者）がカメラを手に持ち、被写体である「鳥」を追いかけながら、「鳥」の追尾画像を撮影しようとする場合等、カメラが固定されていない状態において、ユーザが正確な枠を描くのは困難である。
　このように、被写体と撮影者の双方が動いている状況では、目的とする被写体を囲む正確な枠を描くことは極めて困難である。
　本開示の画像処理装置は、例えば、この問題点を解決するものであり、ユーザ（撮影者）が追尾被写体領域を囲む枠の設定処理を行うことなく、目的とする被写体の追尾画像を撮影可能としたものである。
　また、前述した特許文献１（特開２０１０－１５４３９１号公報）等に記載の従来手法の多くは、複数枚のフレーム情報を利用して被写体の移動位置を予測する構成であり、予測精度向上のためにはレイテンシの発生が避けられない。従って、高速被写体を捉えて追尾開始する前にすでに画面から被写体が抜けてしまう可能性がある。
　これに対して本開示の手法は、複数枚のフレーム情報を利用することなく、１つのフレームの追尾対象被写体の姿勢推定結果に基づいて被写体追尾画像を撮影可能とした手法であり、レイテンシを発生させることなく被写体の追尾画像撮影が可能となる。
　以下、図２以下を参照して本開示の画像処理装置の実行する処理の概要について説明する。
　図２、図３は、本開示の画像処理装置の一例である図１に示す自動追尾撮像装置１０を用いて特定被写体の追尾画像である動画像を撮影するための処理ステップについて説明する図である。
　まず、ユーザ（撮影者）は、図２に示すように、カメラ表示部１５に表示された追尾被写体種類選択ＵＩ１６を用いて、追尾対象とする被写体の種類を選択する。
　図に示すＵＩには、以下の被写体種類を選択可能なアイコンが表示されている。
　（１）人
　（２）犬
　（３）車
　（４）ねこ
　（５）鳥
　（６）ボール
　なお、これらの被写体種類以外にも、ユーザが選択可能な被写体種類があり、ユーザは画面を左右や上下にスライドさせることで、他の様々な選択可能な被写体種類を示すアイコンを表示することができる。
　図２には、（ステップＳ１１）の処理として、ユーザ（撮影者）が追尾被写体種類として「（５）鳥」を選択した例を示している。
　このユーザ（撮影者）が選択した追尾被写体種類情報は、画像処理装置（自動追尾撮像装置１０）のデータ処理部に入力される。
　図３には、次の処理ステップを示している。
　図３は、カメラ表示部１５に画像が表示された状態を示す図である。この表示画像は録画開始前の現在画像、いわゆるライブビュー画像（ＬＶ画像）である。
　ユーザは、ライブビュー画像（ＬＶ画像）を見ながら、任意のタイミングで、まず、（ステップＳ１２）において、自動追尾（Ａｕｔｏ　Ｌｏｃｋ　ＯＮ）モード設定アイコン１７をタッチする。
　この自動追尾（Ａｕｔｏ　Ｌｏｃｋ　ＯＮ）モード設定アイコン１７のタッチ操作は、画像処理装置（自動追尾撮像装置１０）のデータ処理部に入力され、自動追尾処理が開始される。なお、自動追尾対象被写体は、先の（ステップＳ１１）において指定した追尾被写体種類＝「鳥」である。
　なお、図３に示す例では、ライブビュー画像（ＬＶ画像）に鳥が撮影されているが、この時点で、ライブビュー画像（ＬＶ画像）に鳥が撮影されていることは必須ではなく、鳥が撮影されていない画面で自動追尾（Ａｕｔｏ　Ｌｏｃｋ　ＯＮ）モード設定アイコン１７をタッチしてもよい。
　次に、ユーザ（撮影者）は、（ステップＳ１３）において、撮影（録画）開始指示アイコン１８をタッチする。このタッチ操作は、画像処理装置（自動追尾撮像装置１０）のデータ処理部に入力され、撮影（録画）が開始される。
　なお、この撮影（録画）開始指示アイコン１８のタッチ処理は、ユーザ（撮影者）が希望する任意のタイミングで実行可能である。図３に示す例では、ライブビュー画像（ＬＶ画像）に鳥が撮影されているが、鳥が撮影されていない画面で撮影（録画）開始指示アイコン１８のタッチ処理を行って録画を開始することも可能である。
　撮影（録画）開始指示アイコン１８のタッチ処理によって撮影（録画）が開始される。
　画像撮影処理は、自動追尾モードで実行され、先の（ステップＳ１１）において指定した追尾被写体種類＝「鳥」を追尾するように画像撮影が実行される。すなわち、追尾被写体種類＝「鳥」を追尾するようにカメラ１１の撮影方向を移動させる雲台制御が実行されて撮影が行われる。
　図２、図３を参照して説明したように、ユーザ（撮影者）が実行する処理は以下の処理である。
　（Ｓ１１）追尾被写体種類の選択処理
　（Ｓ１２）自動追尾モードＯＮ設定処理
　（Ｓ１３）撮影（録画）開始指示処理
　これらの簡単な操作のみで、ユーザが指定（選択）した種類の被写体を追尾した追尾画像の撮影を開始することができる。
　すなわち、本開示の構成では、ユーザ（撮影者）が画面上の追尾対象被写体を枠で囲むといった面倒な処理を行う必要がない。
　また、本開示の手法は、複数枚のフレーム情報を利用することなく、１つのフレームの追尾対象被写体の姿勢推定結果に基づいて被写体追尾画像を撮影可能とした手法であり、レイテンシを発生させることなく被写体の追尾画像撮影を行うことができる。
　なお、上記（Ｓ１１）～（Ｓ１３）のユーザ操作に基づいて本開示の画像処理装置が実行する処理については、後段で詳細に説明する。
　なお、本開示の画像処理装置のもう一つの具体例について、図４、図５を参照して説明する。
　図４には、ユーザ（撮影者）の所有するスマホ（スマートフォン）等の通信端末３０を示している。
　通信端末３０は、カメラ１１、雲台制御部１３の少なくともいずれかと通信可能な構成を有する。
　通信端末３０には、先に図２を参照して説明したと同様の追尾被写体種類選択ＵＩ３１が表示される。
　図４には、（ステップＳ１１）の処理として、ユーザ（撮影者）が追尾被写体種類として「（５）鳥」を選択した例を示している。
　このユーザ（撮影者）が選択した追尾被写体種類情報は、通信端末３０から、カメラ１１、または雲台制御部１３に送信される。
　図５は、通信端末３０を用いて実行する次の処理ステップを示している。
　図５は、通信端末３０にカメラ１１の撮影画像を表示した状態を示す図である。カメラ１１の撮影画像はカメラ１１の通信部を介して通信端末３０に送信されて表示される。
　この表示画像は録画開始前の現在画像、いわゆるライブビュー画像（ＬＶ画像）である。
　ユーザは、通信端末３０に表示されたライブビュー画像（ＬＶ画像）を見ながら、任意のタイミングで、まず、（ステップＳ１２）において、通信端末３０に表示された自動追尾（Ａｕｔｏ　Ｌｏｃｋ　ＯＮ）モード設定アイコン３２をタッチする。
　この自動追尾（Ａｕｔｏ　Ｌｏｃｋ　ＯＮ）モード設定アイコン３２のタッチ操作情報は、通信端末３０から、カメラ１１、または雲台制御部１３に送信され、自動追尾撮像装置１０において自動追尾処理が開始される。なお、自動追尾対象被写体は、先の（ステップＳ１１）において指定した追尾被写体種類＝「鳥」である。
　次に、ユーザ（撮影者）は、（ステップＳ１３）において、通信端末３０に表示された撮影（録画）開始指示アイコン３３をタッチする。このタッチ操作情報は、通信端末３０から、カメラ１１、または雲台制御部１３に送信され、自動追尾撮像装置１０のデータ処理部に入力され、撮影（録画）が開始される。
　画像撮影処理は、自動追尾モードで実行され、先の（ステップＳ１１）において指定した追尾被写体種類＝「鳥」を追尾するように画像撮影が実行される。すなわち、追尾被写体種類＝「鳥」を追尾するようにカメラ１１の撮影方向を移動させる雲台制御が実行されて撮影が行われる。
　このように、ユーザ（撮影者）は、スマホ等の通信端末を利用して、以下の各処理を実行してもよい。
　（Ｓ１１）追尾被写体種類の選択処理
　（Ｓ１２）自動追尾モードＯＮ設定処理
　（Ｓ１３）撮影（録画）開始指示処理
　これらの簡単な操作のみで、ユーザが指定（選択）した種類の被写体を追尾した追尾画像の撮影を開始することができる。
　すなわち、本開示の構成では、ユーザ（撮影者）が画面上の追尾対象被写体を枠で囲むといった面倒な処理を行う必要がない。
　また、本開示の手法は、複数枚のフレーム情報を利用することなく、１つのフレームの追尾対象被写体の姿勢推定結果に基づいて被写体追尾画像を撮影可能とした手法であり、レイテンシを発生させることなく被写体の追尾画像撮影を行うことができる。
　　［２．本開示の画像処理装置が実行する処理のシーケンスについて］
　次に、本開示の画像処理装置が実行する処理のシーケンスについて説明する。
　図６に示すフローチャートは、本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートである。
　なお、図６に示すフローチャートに従った処理を実行する画像処理装置は、先に図１～図３を参照して説明した自動追尾撮像装置１０、または、図４～図５を参照して説明した自動追尾撮像装置１０と通信端末３０によって構成される装置である。
　以下、図６に示すフローチャートの各処理ステップの処理について、順次、説明する。
　　（ステップＳ１０１）
　まず、ステップＳ１０１において、追尾被写体種類を指定する。
　この処理は、先に図２や図４を参照して説明した処理に相当する。
　ユーザ（撮影者）は、図２や図４に示す表示データ、すなわち、カメラ１１や通信端末３０の表示部に表示される追尾被写体種類選択ＵＩを用いて、追尾対象とする被写体の種類を選択する。
　先に説明した図２や図４の処理例は、ユーザ（撮影者）が追尾被写体種類として「（５）鳥」を選択した例である。
　ユーザ（撮影者）が選択した追尾被写体種類情報は、画像処理装置（自動追尾撮像装置１０または通信端末３０）のデータ処理部に入力される。
　　（ステップＳ１０２）
　次に、ステップＳ１０２において、自動追尾モードをＯＮに設定する。
　この処理は、先に図３や図５を参照して説明した（ステップＳ１２）の処理に相当する。
　ユーザ（撮影者）は、カメラ１１や通信端末３０の表示部に表示される自動追尾モード設定アイコンをタッチして、自動追尾モードをＯＮに設定する。
　自動追尾モードをＯＮに設定した情報は、画像処理装置（自動追尾撮像装置１０または通信端末３０）のデータ処理部に入力される。
　自動追尾対象被写体は、先の（ステップＳ１０１）において指定した追尾被写体種類、例えば「鳥」である。
　なお、先に説明した図３や図５では、カメラ１１や通信端末３０の表示部にライブビュー画像（ＬＶ画像）を表示しているが、ライブビュー画像（ＬＶ画像）は表示されていても表示されていなくてもよい。
　　（ステップＳ１０３）
　次に、ステップＳ１０３において、撮影（録画）開始指示を行う。
　この処理は、先に図３や図５を参照して説明した（ステップＳ１３）の処理に相当する。
　ユーザ（撮影者）は、図３や図５を参照して説明したように、撮影（録画）開始指示アイコンをタッチする。このタッチ操作情報は、画像処理装置（自動追尾撮像装置１０または通信端末３０）のデータ処理部に入力される。
　なお、撮影（録画）開始指示は、ユーザ（撮影者）が希望する任意のタイミングで実行可能である。図３や図５に示す例では、ライブビュー画像（ＬＶ画像）に追尾被写体として指定した「鳥」の撮影画像が表示されているが、鳥が撮影されていない画面位置で撮影（録画）開始指示を行って録画を開始することも可能である。
　ステップＳ１０１～Ｓ１０３の処理は、ＵＩに対するユーザ操作を伴う処理であり、これらのユーザ操作情報が画像処理装置（自動追尾撮像装置１０または通信端末３０）のデータ処理部に入力され、自動追尾モードでの画像（動画）撮影処理が開始されることになる。
　追尾対象は、ステップＳ１０１で選択した被写体種類に一致する被写体、例えば「鳥」である。
　　（ステップＳ１０４）
　ステップＳ１０１～Ｓ１０３において、ユーザによる以下の入力処理、
　（Ｓ１０１）追尾被写体種類の選択処理
　（Ｓ１０２）自動追尾モードＯＮ設定処理
　（Ｓ１０３）撮影（録画）開始指示処理
　これらの入力処理が完了すると、自動追尾撮像装置１０は、ステップＳ１０４以下において、自動追尾モードでの画像（動画）撮影処理を開始する。
　まず、ステップＳ１０４において、撮影画像内からの追尾被写体検出処理を実行する。
　ここで、検出対象とする被写体は、ステップＳ１０１においてユーザが指定した種類の被写体、例えば「鳥」である。
　画像処理装置のデータ処理部は、撮影画像から、ユーザ（撮影者）の指定した追尾被写体種類に一致する被写体の検出処理を実行する。なお、撮影画像中にユーザ（撮影者）の指定した追尾被写体種類に一致する被写体がいるかいないかについての判定はいる（１），いない（０）の判定処理として実行することが可能である。あるいは、追尾被写体種類に一致する被写体である信頼度（例えば０～１００等の信頼度）を算出して、予め規定した信頼度しきい値以上の判定がなされた場合に被写体が検出されたと判定するといった信頼度を適用した処理を行ってもよい。
　なお、この被写体識別処理は、撮影画像の画像解析処理を行うことで実行される。具体的には、例えば学習データを用いた被写体識別処理を実行する。この処理の詳細については、後段で説明する。
　　（ステップＳ１０５）
　ステップＳ１０５では、ステップＳ１０４における撮影画像内からの追尾被写体検出処理に成功したか否かを判定する。
　成功したと判定した場合は、ステップＳ１０６に進む。
　一方、失敗したと判定した場合は、ステップＳ１０４に戻り、継続して撮影される画像フレームからの追尾被写体検出処理を実行する。
　前述したように、検出対象とする被写体は、ステップＳ１０１においてユーザが指定した種類の被写体、例えば「鳥」である。
　撮影画像内に「鳥」が検出されなければ、ステップＳ１０５において、撮影画像内からの追尾被写体検出処理が失敗と判定され、ステップＳ１０４に戻り、次の画像フレームからの検出処理を行うことになる。
　しかし、例えば１つの画像フレームから、ユーザが指定した種類の被写体が複数、例えば複数の「鳥」が検出される場合がある。
　このような場合に、どの「鳥」を追尾対象とするかについては、予めユーザが追尾モードを設定しておく。
　この追尾モードの設定シーケンスの一例について、図７に示すフローチャートを参照して説明する。
　図７に示す処理フローは、図６に示すフローに従った被写体追尾モードでの画像撮影処理を開始する前の事前処理として、ユーザ（撮影者）の入力により実行される追尾モード設定処理である。
　図７に示す処理に従って設定された追尾モード情報は、画像処理装置（自動追尾撮像装置１０）内の記憶部に格納され、図６のフローのステップＳ１０４～Ｓ１０５の撮影画像内からの追尾被写体検出処理の成功判定処理は、設定された追尾モードに従って実行されることになる。
　図７に示すフローの各ステップの処理について説明する。
　　（ステップＳ２０１）
　まず、ステップＳ２０１において、ユーザは追尾被写体を１つに限定するか否かを決定し、選択情報を入力する。なおこの選択情報入力のためのＵＩは、例えばカメラ１１、あるいは通信端末３０の表示部に表示され、ユーザは表示されたＵＩを用いて選択情報を入力する。
　ステップＳ２０１において、ユーザが追尾被写体を１つに限定する設定を選択した場合、ステップＳ２０２に進む。
　一方、ステップＳ２０１において、ユーザが追尾被写体を１つに限定しない設定を選択した場合、ステップＳ２１１に進む。
　　（ステップＳ２０２）
　ステップＳ２０１において、ユーザが追尾被写体を１つに限定する設定を選択した場合、ステップＳ２０２に進む。
　この場合、ユーザは、ステップＳ２０２において、追尾被写体を画像中心に近い被写体とするか否かを決定し、選択情報を入力する。なおこの選択情報入力のためのＵＩも、例えばカメラ１１、あるいは通信端末３０の表示部に表示され、ユーザは表示されたＵＩを用いて選択情報を入力する。
　ステップＳ２０２において、ユーザが追尾被写体を画像中心に近い被写体とする設定を選択した場合、ステップＳ２１２に進む。
　一方、ステップＳ２０２において、ユーザが追尾被写体を画像中心に近い被写体としない設定を選択した場合、ステップＳ２１３に進む。
　ユーザによるステップＳ２０１、Ｓ２０２の選択情報は、画像処理装置（自動追尾撮像装置１０または通信端末３０）内のデータ処理部に入力され、データ処理部は、これらの入力情報に基づいて、実行する被写体追尾モードを決定する。
　被写体追尾モードには、例えば、以下の３種類のモードがある。
　（Ａ）複数被写体追尾モード
　（Ｂ）中心被写体追尾モード
　（Ｃ）最大被写体追尾モード
　画像処理装置（自動追尾撮像装置１０または通信端末３０）内のデータ処理部は、ユーザによるステップＳ２０１、Ｓ２０２の選択情報に従って、上記（Ａ）～（Ｃ）のいずれの追尾モードを実行するかを決定する。
　ステップＳ２０１の判定がＮｏの場合は、ステップＳ２１１に進み、実行する追尾モードを、
　（Ａ）複数被写体追尾モード
　とする。
　ステップＳ２０１の判定がＹｅｓで、ステップＳ２０２の判定がＹｅｓの場合は、ステップＳ２１２に進み、実行する追尾モードを、
　（Ｂ）中心被写体追尾モード
　とする。
　ステップＳ２０１の判定がＹｅｓで、ステップＳ２０２の判定がＮｏの場合は、ステップＳ２１３に進み、実行する追尾モードを、
　（Ｃ）最大被写体追尾モード
　とする。
　ステップＳ２１１～Ｓ２１３の処理について説明する。
　　（ステップＳ２１１）
　ステップＳ２０１の判定がＮｏの場合、すなわち、ステップＳ２０１において、ユーザが追尾被写体を１つに限定しない設定を選択した場合、ステップＳ２１１に進む。
　この場合、画像処理装置（自動追尾撮像装置１０または通信端末３０）のデータ処理部は、実行する追尾モードを、
　（Ａ）複数被写体追尾モード
　とする。
　（Ａ）複数被写体追尾モードは、図６のステップＳ１０１において指定された追尾被写体種類に相当する被写体が、撮影画像から複数検出された場合、追尾被写体種類に相当する被写体すべてを含む領域を追尾被写体とするモードである。
　図７（ステップＳ２１１）の画像に示すように撮影画像内に追尾被写体種類に相当する被写体（本例では「鳥」）が複数、検出された場合、これらの被写体すべてを含む領域を追尾被写体とする。
　　（ステップＳ２１２）
　ステップＳ２０１の判定がＹｅｓで、ステップＳ２０２の判定がＹｅｓの場合、すなわち、ステップＳ２０１において、ユーザが追尾被写体を１つに限定する設定を選択し、ステップＳ２０２において、ユーザが追尾被写体を画像中心に近い被写体とする設定を選択した場合、ステップＳ２１２に進む。
　この場合、画像処理装置（自動追尾撮像装置１０または通信端末３０）のデータ処理部は、実行する追尾モードを、
　（Ｂ）中心被写体追尾モード
　とする。
　（Ｂ）中心被写体追尾モードは、図６のステップＳ１０１において指定された追尾被写体種類に相当する被写体が、撮影画像から複数検出された場合、その複数の検出被写体中、撮影画像の中心に最も近い１つの被写体を追尾被写体とするモードである。
　図７（ステップＳ２１２）の画像に示すように撮影画像内に追尾被写体種類に相当する被写体（本例では「鳥」）が複数、検出された場合、これらの被写体の中から、撮影画像の中心に最も近い被写体を１つ選択し、この選択被写体を追尾被写体とする。
　　（ステップＳ２１３）
　ステップＳ２０１の判定がＹｅｓで、ステップＳ２０２の判定がＮｏの場合、すなわち、ステップＳ２０１において、ユーザが追尾被写体を１つに限定する設定を選択し、ステップＳ２０２において、ユーザが追尾被写体を画像中心に近い被写体とする設定を選択しなかった場合、ステップＳ２１３に進む。
　この場合、画像処理装置（自動追尾撮像装置１０または通信端末３０）のデータ処理部は、実行する追尾モードを、
　（Ｃ）最大被写体追尾モード
　とする。
　（Ｃ）最大被写体追尾モードは、図６のステップＳ１０１において指定された追尾被写体種類に相当する被写体が、撮影画像から複数検出された場合、その複数の検出被写体中、最も大きい画像領域を持つ１つの被写体を追尾被写体とするモードである。
　図７（ステップＳ２１３）の画像に示すように撮影画像内に追尾被写体種類に相当する被写体（本例では「鳥」）が複数、検出された場合、これらの被写体の中から、撮影画像内で最も大きな画像領域を占める被写体を１つ選択し、この選択被写体を追尾被写体とする。
　この図７に示す処理フローに従って設定された追尾モード情報は、画像処理装置（自動追尾撮像装置１０または通信端末３０）内の記憶部に格納される。
　先に説明した図６のフローのステップＳ１０４～Ｓ１０５の撮影画像内からの追尾被写体検出処理の成功判定処理は、設定された追尾モードに従って実行される。
　なお、図７に示す例では、（Ａ）複数被写体追尾モード、（Ｂ）中心被写体追尾モード、（Ｃ）最大被写体追尾モードの３種類のモード分類例について説明したが、この他の異なるモードを設定可能とした構成としてもよい。例えば、レース等の先頭の車や人を追尾被写体とする先頭被写体選択モード等のモード設定を選択可能とした構成としてもよい。
　撮影画像からの追尾被写体検出処理の具体例について図８を参照して説明する。
　図８は、図６に示すフローのステップＳ１０４～Ｓ１０５における処理、すなわち、撮影画像内からの追尾被写体検出処理の例を説明する図である。
　図８には、追尾被写体の検出処理を実行する撮影画像を示している。
　なお、図８に示す例は追尾被写体種類を「鳥」に設定した場合の例である。
　まず、図８に示す（状態Ａ）は、撮影画像中に追尾被写体種類＝鳥に対応する被写体が検出されていない状態である。この場合は、ステップＳ１０５の判定がＮ０となり、ステップＳ１０４に戻り継続して撮影される画像から追尾被写体である鳥の検出処理を実行する
　図８（状態Ｂ）は、撮影画像中に追尾被写体種類＝鳥に対応する被写体が検出された状態である。この状態となった場合は、ステップＳ１０５の判定がＹｅｓとなり、ステップＳ１０６に進む。
　図９は、撮影画像から、複数の追尾被写体種類＝鳥に対応する被写体が検出された場合の処理例である。
　ステップＳ１０４では、図９（状態１）に示すように、まず、ステップＳ１０１でユーザ（撮影者）が指定した追尾被写体種類＝鳥に基づいて撮影画像から追尾被写体候補となる鳥の画像領域を検出する。
　この例では、２つの鳥が検出され、これらが追尾被写体候補となる。
　次に、ステップＳ１０４の後半の処理として、予め設定された追尾モードに従って、追尾被写体を決定する処理を行う。
　ここでは、先に図７を参照して説明した
　（Ｂ）中心被写体追尾モード
　の設定がなされているものとする。
　画像処理装置のデータ処理部は、（Ｂ）中心被写体追尾モードの設定に従い、撮影画像から検出された２つの鳥のうち、画像の中心に近い鳥を追尾被写体として決定する。このようにして、追尾被写体の決定処理が実行される。
　図６に戻り、ステップＳ１０６以下の処理について説明する。
　　（ステップＳ１０６）
　ステップＳ１０５において、ステップＳ１０４における撮影画像内からの追尾被写体検出処理に成功したと判定した場合は、ステップＳ１０６に進む。
　画像処理装置は、ステップＳ１０６において、追尾被写体の種類と姿勢に応じた動き予測ベクトルの算出処理を実行する。
　追尾被写体の種類とは例えば、鳥、人、犬等、ユーザが追尾被写体として指定した被写体種類である。姿勢とは、鳥が木にとまった姿勢、飛んでいる姿勢、人があるいている姿勢、人が走っている姿勢等である。また姿勢には画像内の追尾被写体の大きさも含まれ、動き予測ベクトルの算出時には、画像内の追尾被写体の大きさも考慮した処理を行う。
　なお、この追尾被写体の種類と姿勢に応じた動き予測ベクトルの算出処理は、画像処理装置（自動追尾撮像装置１０または通信端末３０）内のデータ処理部において実行される。
　この動き予測ベクトル算出処理の詳細については後段で説明する。
　図１０、図１１を参照して、追尾被写体の種類と姿勢に応じた動き予測ベクトルの具体例について説明する。
　図１０は、追尾被写体の種類が「鳥」の場合における、「鳥」のある１つの姿勢に対応する動き予測ベクトルの具体例を示す図である。
　図１０に示す例では、追尾被写体である鳥の中心位置から右上方向に延びるベクトルが示されている。このベクトルが追尾被写体である鳥の動き予測ベクトルである。
　動き予測ベクトルの方向は、追尾被写体である鳥の予測移動方向に対応する方向に設定され、動き予測ベクトルの長さは、追尾被写体である鳥の予測移動速度（８０Ｋｍ／ｈ）に対応する長さに設定される。
　この動き予測ベクトルの算出処理の具体例については後段で説明する。
　図１１は、追尾被写体の種類が「人」の場合における、「人」のある１つの姿勢に対応する動き予測ベクトルの具体例を示す図である。
　図１１に示す例では、追尾被写体である人の中心位置から左水平方向に延びるベクトルが示されている。このベクトルが追尾被写体である人の動き予測ベクトルである。
　動き予測ベクトルの方向は、追尾被写体である人の予測移動方向に対応する方向に設定され、動き予測ベクトルの長さは、追尾被写体である人の予測移動速度（３８Ｋｍ／ｈ）に対応する長さに設定される。
　図６に示すステップＳ１０６では、このように、追尾被写体の種類と姿勢に応じた動き予測ベクトルの算出処理を実行する。
　前述したように、追尾被写体の種類と姿勢に応じた動き予測ベクトルの算出処理は、画像処理装置（自動追尾撮像装置１０または通信端末３０）内のデータ処理部において実行される。
　追尾被写体の種類と姿勢に応じた動き予測ベクトルの算出処理は、学習データを用いた処理として実行することができる。
　あるいは予め追尾被写体の種類と姿勢に応じた動き予測ベクトルを記録したテーブルを記憶部に格納し、このテーブルを参照して動き予測ベクトルを取得する構成としてもよい。
　なお、追尾被写体の種類と姿勢に応じた動き予測ベクトルの算出処理は、例えばカメラ１１による撮影画像フレーム単位で実行することになるが、新たな画像フレーム対応の動き予測ベクトルの算出時に、前フレーム等、過去のフレームに基いて算出済みの動き予測ベクトルや、過去の撮影画像から得られる追尾被写体の実際の動きを反映した実測動きベクトルを参照して新たな予測動きベクトルを算出する処理を行ってもよい。
　例えば、追尾開始時の初期フレームは過去フレーム対応の情報がないため、初期フレームの解析結果に基づく動き予測ベクトルを算出するが、次フレーム以降は、最新の撮影画像フレームから算出した動き予測動きベクトルと、過去の過去の撮影画像から得られる追尾被写体の実際の動きを反映した実測動きベクトルを比較して、この差分が小さくなるような補正処理を行って最終的な予測動きベクトルを算出するといった処理を行ってもよい。
　また、予測動きベクトルと実測ベクトルに重みを設定して重み加算により、最終的な予測動きベクトルを算出するといった処理を行ってもよい。ユースケースとしては被写体が不規則な動きを行った場合は予測動きベクトルに重みをかけると精度が悪くなるため、実測ベクトルに重みを多くかけるといった処理を行う構成としてもよい。
　　（ステップＳ１０７）
　次に、ステップＳ１０７において、ステップＳ１０６で算出した追尾被写体の種類と姿勢に応じた動き予測ベクトルに従って、カメラの撮影方向を制御する。すなわち、ステップＳ１０６で算出した追尾被写体の種類と姿勢に応じた動き予測ベクトルに従って追尾被写体が移動すると想定し、その移動方向にカメラの撮影方向が一致するようにカメラの撮影方向を変更するためのカメラ方向制御信号を生成する。
　さらに、生成したカメラ方向制御信号に従ってカメラ方向を変化させる。
　なお、画像処理装置（自動追尾撮像装置１０または通信端末３０）内のデータ処理部は、ステップＳ１０６で算出した追尾被写体の種類と姿勢に応じた動き予測ベクトルに基づいて、追尾被写体の移動位置にカメラ１１の撮影方向を一致させるためのカメラ撮影方向移動ベクトルを算出する。
　さらに、画像処理装置（自動追尾撮像装置１０または通信端末３０）内のデータ処理部は、算出したカメラ撮影方向移動ベクトルに従ってカメラ撮影方向を変化させるために必要となる雲台１２の駆動態様（駆動方向と駆動量）を決定する。
　さらに、画像処理装置（自動追尾撮像装置１０または通信端末３０）内のデータ処理部は、決定した雲台１２の駆動態様（駆動方向と駆動量）に従って雲台１２を駆動させるための雲台駆動制御信号を生成し、生成した雲台駆動制御信号を雲台制御部１３に出力する。雲台制御部１３は入力した雲台駆動制御信号を適用して雲台１２の駆動を実行する。
　これらの処理によって、ステップＳ１０６で算出した追尾被写体の種類と姿勢に応じた動き予測ベクトルに従って追尾被写体が移動する場合に、その移動方向にカメラの撮影方向が一致するようにカメラの撮影方向が制御される。
　この結果、追尾被写体を追尾する撮影画像（動画像）の撮影が可能となる。
　なお、カメラの撮影方向のみならず、例えばパン、チルト、ズーム等、追尾被写体の最適な画像を撮影するためのカメラ設定情報も併せて算出して、この算出情報もカメラ１１、または雲台制御部１３に出力して制御を行う構成としてもよい。
　　（ステップＳ１０８）
　最後に、ステップＳ１０８において自動追尾モードがＯＦＦに設定されたか否かを判定する。
　自動追尾モードがＯＦＦに設定された場合は、自動追尾モードでの撮影処理は終了する。
　自動追尾モードがＯＦＦに設定されていない場合は、ステップＳ１０４に戻り、新たな撮影画像フレームに対して、ステップＳ１０４～Ｓ１０７の処理を繰り返す。
　この繰り返し処理により、自動追尾モードでの画像撮影処理が継続的に実行される。
　　［３．画像処理装置の構成と被写体動き予測ベクトルの生成処理の詳細について］
　次に、画像処理装置の構成と被写体動き予測ベクトルの生成処理の詳細について説明する。
　図１２に本開示の画像処理装置１００の構成例を示す。
　図１２に示す画像処理装置１００は、図１～図３を参照して説明した自動追尾撮像装置１０、または図４～図５を参照して説明した自動追尾装置１０と通信端末３０とを組み合わせた装置に対応する。
　なお、図１２に示す構成図は、本開示の画像処理装置が実行するカメラの撮影方向制御処理に関連する部分のみを抽出した構成図である。カメラや通信端末や雲台制御部の一般的な構成については省略して示している。
　図１２に示すように、画像処理装置１００は、入力部１０１、撮像部１０２、被写体動き予測ベクトル生成部１１０、カメラ制御信号生成部１２１、カメラ（雲台）駆動部１２２を有する。
　被写体動き予測ベクトル生成部１１０は、追尾被写体識別部１１１、被写体推定用学習データ１１２、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３、追尾被写体種類＆姿勢対応動き予測ベクトル推定用学習データ１１４を有する。
　入力部１０１は、例えば、追尾被写体種類情報を入力する。
　具体的には、先に図２や図４を参照して説明したように、カメラ１１の表示部、あるいは通信端末３０の表示部に表示される追尾被写体種類選択ＵＩを用いて、ユーザが追尾対象とする被写体の種類を選択して入力する。
　入力部１０１から入力される追尾被写体種類指定情報２０１は、被写体動き予測ベクトル生成部１１０に入力される。
　撮像部１０２は、図１～図５を参照して説明した構成におけるカメラ１１の撮像部
に相当する。撮像部１０２は、録画開始前の現在画像、いわゆるライブビュー画像（ＬＶ画像）や録画開始後の録画用画像等の撮影画像を取得する。
　撮像部１０２の取得した撮影画像２０２は、被写体動き予測ベクトル生成部１１０に入力される。
　被写体動き予測ベクトル生成部１１０は、入力部１０１から追尾被写体種類指定情報２０１を入力し、撮像部１０２から撮影画像２０２を入力し、これらの入力情報を用いて、追尾被写体種類＆姿勢対応動き予測ベクトル２０４を生成して出力する。
　追尾被写体種類＆姿勢対応動き予測ベクトル２０４は、追尾被写体の種類、例えば鳥、犬、人、ボール等の追尾被写体の種類と、その追尾被写体の姿勢に対応する動き予測ベクトルである。
　例えば追尾被写体種類が鳥の場合、木にとまっている鳥の動き予測ベクトルの長さは、ほぼゼロであるが、空を飛んでいる鳥であれば、動き予測ベクトルは、鳥の頭の向きとほぼ同じ方向を有し、鳥の飛行速度に応じた長さを有するベクトルとなる。
　被写体動き予測ベクトル生成部１１０は、まず、追尾被写体識別部１１１が、入力部１０１から入力する追尾被写体種類指定情報２０１と、撮像部１０２から入力する撮影画像２０２を用いて、撮影画像２０２から追尾被写体を検出する。具体的には、ユーザによって指定された追尾被写体種類に一致する追尾被写体を撮影画像２０２から検出する。
　例えばユーザによって指定された追尾被写体種類が「鳥」である場合には、撮影画像２０２から「鳥」を検出する処理等を実行する。
　例えばユーザによって指定された追尾被写体種類が「人」である場合、撮影画像２０２から「人」を検出する処理等を実行する。
　追尾被写体識別部１１１は、追尾被写体の検出処理を行う際に被写体推定用学習データ１１２を用いて被写体識別処理を実行する。
　被写体推定用学習データ１１２は、予め実行された学習処理によって蓄積されたデータであり、人、鳥、犬、ねこ、ボール等、様々な動く被写体の画像特徴情報を集積し、画像から被写体の種類を推定することを可能とした学習データである。
　追尾被写体識別部１１１は、例えば、被写体推定用学習データ１１２を用いて構成されるニューラルネットワークを利用して撮影画像２０２から、ユーザによって指定された追尾被写体種類に一致する追尾対象、例えば「鳥」を検出する。
　追尾被写体識別部１１１は、ユーザ（撮影者）によって指定された追尾被写体種類、例えば「鳥」に一致する画像領域を検出して、検出画像領域に「ラベル＝鳥」を設定した撮影画像を、追尾被写体検出情報２０３として出力する。
　追尾被写体識別部１１１の検出情報は、追尾被写体検出情報２０３として、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３に出力される。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、追尾被写体識別部１１１から追尾被写体検出情報２０３を入力する。追尾被写体検出情報２０３は、ユーザ指定の追尾被写体、例えば「鳥」に一致する画像領域に「ラベル＝鳥」を設定した撮影画像である。この画像にはある姿勢の鳥画像、例えば空を飛んでいる鳥の画像が含まれる。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、この入力情報に基づいて、撮影画像２０２に含まれる追尾被写体の種類と姿勢に対応する動き予測ベクトルを算出する。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、追尾被写体の種類、例えば鳥、犬、人、ボール等の追尾被写体の種類と、その追尾被写体の姿勢に対応する動き予測ベクトル、すなわち、追尾被写体種類＆姿勢対応動き予測ベクトル２０４を算出する。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、追尾被写体種類＆姿勢対応動き予測ベクトル２０４の算出処理を行う際に追尾被写体種類＆姿勢対応動き予測ベクトル推定用学習データ１１４を用いたベクトル算出処理を実行する。
　追尾被写体種類＆姿勢対応動き予測ベクトル推定用学習データ１１４は、予め実行された学習処理によって蓄積されたデータであり、人、鳥、犬、ねこ、ボール等、様々な動く被写体の種類とその姿勢に対応する動きベクトルを集積し、画像から検出される被写体の種類とその姿勢から、その被写体の動きベクトルを推定することを可能とした学習データである。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、例えば、追尾被写体種類＆姿勢対応動き予測ベクトル推定用学習データ１１４を用いて構成されるニューラルネットワークを利用して撮影画像２０２に含まれる追尾被写体の種類と姿勢に対応する動き予測ベクトルを算出する。
　なお、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３による追尾被写体の種類と姿勢に応じた動き予測ベクトルの算出処理は、上述した学習データを用いた処理の他、予め生成したテーブルから取得する構成としてよい。
　すなわち、予め追尾被写体の種類と姿勢に応じた動き予測ベクトルを記録したテーブルを記憶部に格納し、このテーブルを参照して動き予測ベクトルを取得する構成としてもよい。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３が算出した追尾被写体種類＆姿勢対応動き予測ベクトル２０４は、カメラ制御信号生成部１２１に出力される。
　カメラ制御信号生成部１２１は、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３が算出した追尾被写体種類＆姿勢対応動き予測ベクトル２０４を用いて、カメラ１１の撮影方向を制御する制御信号を生成する。
　すなわち、追尾被写体種類＆姿勢対応動き予測ベクトル２０４に従って追尾被写体が移動した位置にカメラの撮影方向を設定するカメラ方向制御信号を生成する。なお、カメラ方向制御信号は、具体的にはカメラ１１の撮影方向を制御する雲台１２の駆動制御信号に相当する。
　カメラ制御信号生成部１２１が生成したカメラ方向制御信号は、カメラ（雲台）駆動部１２２に入力される。
　なお、このカメラ（雲台）駆動部１２２は、図１に示す雲台制御部１３の構成要素である。
　カメラ（雲台）駆動部１２２は、カメラ制御信号生成部１２１が生成したカメラ方向制御信号に基づいて雲台を駆動する。
　すなわち、追尾被写体種類＆姿勢対応動き予測ベクトル２０４に従って追尾被写体が移動した位置にカメラの撮影方向を一致させるように雲台を駆動する。
　この処理により、カメラの撮影方向は、ユーザ（撮影者）が指定した追尾被写体の移動に併せて移動することになり、追尾被写体の追尾画像（動画像）を撮影することができる。
　次に、被写体動き予測ベクトル生成部１１０の実行する処理、すなわち、追尾被写体の種類、例えば鳥、犬、人、ボール等の追尾被写体の種類と、その追尾被写体の姿勢に対応する動き予測ベクトルである追尾被写体種類＆姿勢対応動き予測ベクトル２０４の生成処理の具体的処理例について、図１３、図１４を参照して説明する。
　図１３は、ユーザ（撮影者）が指定した追尾被写体の種類が「鳥」である場合の処理例である。
　図１４は、ユーザ（撮影者）が指定した追尾被写体の種類が「人」である場合の処理例である。
　まず、図１３を参照して、ユーザ（撮影者）が指定した追尾被写体の種類が「鳥」である場合の処理例について説明する。
　図１３には、被写体動き予測ベクトル生成部１１０の構成要素である追尾被写体識別部１１１と、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３を示している。これらは、いずれも学習データによって生成されたニューラルネットワークを有している。
　追尾被写体識別部１１１は、学習データによって生成された指定被写体種類検出ニューラルネットワークを有している。
　なお、指定被写体種類検出ニューラルネットワークは、入力部１０１からの追尾被写体種類指定情報２０１と、撮像部１０２からの撮影画像２０２を入力して、追尾被写体検出情報２０３を出力するニューラルネットワークである。
　図１３に示す例では、追尾被写体識別部１１１は、ニューラルネットワークを利用して、撮影画像２０２からユーザ（撮影者）によって指定された追尾被写体種類＝「鳥」に一致する画像領域を検出して、検出画像領域に「ラベル＝鳥」を設定した撮影画像を、追尾被写体検出情報２０３として出力する。
　追尾被写体識別部１１１の生成した追尾被写体検出情報２０３は、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３に出力される。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、学習データによって生成された鳥姿勢対応動き予測ベクトル推定ニューラルネットワークを有している。
　このニューラルネットワークは、被写体種類＝鳥として、鳥の姿勢に対応する動き予測ベクトルを推定するニューラルネットワークである。
　なお、ニューラルネットワークは、例えば鳥の種類単位で設定してもよい。例えばハト、スズメ、白鳥等、鳥の種類単位のニューラルネットワークを適用してもよい。例えば、被写体種類＝ハトとして、ハトの姿勢に対応する動き予測ベクトルを推定するといった処理を行う構成としてもよい。
　なお、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、被写体種類（人、鳥、犬・・・）に応じた動き予測ベクトル推定用ニューラルネットワークを有しており、ユーザによって追尾対象として指定された被写体種類（人、鳥、犬・・・）に応じて利用するニューラルネットワークを切り替えて利用する。
　なお、本実施例では、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３が追尾被写体種類の特定処理と、姿勢対応動き予測ベクトル算出処理を行う構成としているが、追尾被写体種類の特定処理と、姿勢対応動き予測ベクトル算出処理は、個別の処理部で行ってもよい。また、これらの処理を各々異なる装置で行ってもよい。例えば、カメラ側で被写体の種類（追尾指定した被写体か否か）を特定し、その情報を用いて外部の通信端末や、クラウド側のサーバ等、他の情報処理装置で動き予測をする構成としてもよい。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、追尾被写体識別部１１１から入力する追尾被写体検出情報２０３、すなわち「鳥」に一致する画像領域に「ラベル＝鳥」を設定した撮影画像を入力して、ニューラルネットワークを利用して、追尾被写体の種類（鳥）とその姿勢に対応する動き予測ベクトル、すなわち、追尾被写体種類＆姿勢対応動き予測ベクトル２０４を算出する。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、図１３に示すように、追尾被写体である空を飛ぶ鳥の前方方向に向きを持ち、鳥の飛行速度に応じた長さを有するベクトルを、追尾被写体種類＆姿勢対応動き予測ベクトル２０４として算出する。
　この追尾被写体種類＆姿勢対応動き予測ベクトル２０４が、カメラ制御信号生成部１２１に出力される。カメラ制御信号生成部１２１は、この動き予測ベクトルを用いて、動き予測ベクトルに従って追尾被写体が移動した位置にカメラの撮影方向を設定するカメラ方向制御信号を生成する。
　次に、図１４を参照して、ユーザ（撮影者）が指定した追尾被写体の種類が「人」である場合の処理例について説明する。
　図１４には、図１３と同様、被写体動き予測ベクトル生成部１１０の構成要素である追尾被写体識別部１１１と、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３を示している。これらは、いずれも学習データによって生成されたニューラルネットワークを有している。
　図１４に示す例では、追尾被写体識別部１１１は、ニューラルネットワークを利用して、撮影画像２０２からユーザ（撮影者）によって指定された追尾被写体種類＝「人」に一致する画像領域を検出して、検出画像領域に「ラベル＝人」を設定した撮影画像を、追尾被写体検出情報２０３として出力する。
　追尾被写体識別部１１１の生成した追尾被写体検出情報２０３は、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３に出力される。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、学習データによって生成された「人」姿勢対応動き予測ベクトル推定ニューラルネットワークを有している。
　このニューラルネットワークは、様々な人の種類と人の姿勢に対応する動き予測ベクトルを推定するニューラルネットワークである。人の種類とは大人、子供、男、女等の種類であり、人の姿勢とは、例えば、歩いている姿勢、走っている姿勢等である。
　なお、ニューラルネットワークは、人の種類として特定の個人単位のニューラルネットワークを生成して利用することも可能である。特定のＡさんの様々な姿勢に応じた動きを学習し、この学習データに基づいて、特定のＡさんの様々な姿勢に応じた動き予測ベクトルを推定するニューラルネットワークを生成することができる。
　撮影画像から特定のＡさんが検出された場合、このＡさん固有のニューラルネットワークを適用することでＡさん固有のデータに基づく高精度な動き予測ベクトルを推定することができる。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、追尾被写体識別部１１１から入力する追尾被写体検出情報２０３、すなわち、「人」に一致し、予め指定された被写体追尾モード、例えば先頭被写体追尾モードに従って選択された追尾被写体となる画像領域に「ラベル＝人」を設定した撮影画像を入力して、ニューラルネットワークを利用して、追尾被写体の種類（人）とその姿勢に対応する動き予測ベクトル、すなわち、追尾被写体種類＆姿勢対応動き予測ベクトル２０４を算出する。
　追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３は、図１４に示すように、追尾被写体である走る姿勢をした人の前方方向に向きを持ち、人の走る速度に応じた長さを有するベクトルを、追尾被写体種類＆姿勢対応動き予測ベクトル２０４として算出する。
　この追尾被写体種類＆姿勢対応動き予測ベクトル２０４が、カメラ制御信号生成部１２１に出力される。カメラ制御信号生成部１２１は、この動き予測ベクトルを用いて、動き予測ベクトルに従って追尾被写体が移動した位置にカメラの撮影方向を設定するカメラ方向制御信号を生成する。
　次に、図１５を参照して、カメラ制御信号生成部１２１の実行する処理の具体例について説明する。
　先に図１２を参照して説明したように、カメラ制御信号生成部１２１は、追尾被写体種類＆姿勢対応動き予測ベクトル算出部１１３が算出した追尾被写体種類＆姿勢対応動き予測ベクトル２０４を用いて、カメラ１１の撮影方向を制御する制御信号を生成する。
　すなわち、追尾被写体種類＆姿勢対応動き予測ベクトル２０４に従って追尾被写体が移動した位置にカメラの撮影方向を設定するカメラ方向制御信号を生成する。なお、カメラ方向制御信号は、具体的にはカメラ１１の撮影方向を制御する雲台１２の駆動制御信号に相当する。
　図１５は、カメラ制御信号生成部１２１の処理例を示す図である。図１５には、追尾被写体を鳥とした場合の処理例を示している。
　現フレーム（ｎ）と、カメラ１１を追尾被写体の移動に併せて移動させて撮影する予定の次フレーム（ｎ＋１）を示している。
　現フレーム（ｎ）において検出された追尾被写体である鳥から前方上方向に「追尾被写体種類＆姿勢対応動き予測ベクトル」を実線で示している。
　図１５に示す「追尾被写体種類＆姿勢対応動き予測ベクトル」は、被写体種類＆姿勢対応動き予測ベクトル算出部１１３が算出した追尾被写体種類＆姿勢対応動き予測ベクトル２０４に基づいて算出されるベクトルであり、カメラ１１の撮影フレーム（ｎ）と（ｎ＋１）の１フレーム間での被写体の移動先を示すベクトルに相当する。
　次フレーム（ｎ＋１）において、図に示すような点線の鳥の位置に被写体が移動することが予測されており、この鳥を次フレーム（ｎ＋１）で点線の鳥の位置で撮影するためには、図に点線枠で示す次フレーム（ｎ＋１）を撮影するようにカメラの撮影方向を移動させる必要がある。
　このためには、カメラ１１の撮影方向を、図に黒丸で示す現フレーム（ｎ）画像中心から、図に点線丸で示す次フレーム（ｎ＋１）画像中心に変更する必要がある。
　この方向制御量を規定するのが図に示す点線矢印、すなわち、カメラ撮影方向移動ベクトルである。
　なお、図１５に示す処理例は一例であり、本開示の画像処理装置は、追尾被写体の移動ベクトルを予測し、その情報も含めて、被写体が目標位置（例えば画像中心位置）になるように制御することを可能とするものである。従って、図１５に示すフレーム（ｎ＋１）の点線の鳥の位置以外の位置に設定する構成も可能である。また、カメラ１１の撮影方向についても、図１５に点線丸で示す次フレーム（ｎ＋１）画像中心に変更する設定以外の様々な設定が可能である。
　カメラ制御信号生成部１２１は、被写体種類＆姿勢対応動き予測ベクトル算出部１１３が算出した追尾被写体種類＆姿勢対応動き予測ベクトル２０４に基づいてこのカメラ撮影方向移動ベクトルを算出し、このベクトルに従って、カメラの撮影方向を異動させる。この処理によって、ユーザの指定した追尾被写体を各撮影画像フレーム内に撮影されるような追尾画像を撮影することができる。
　　［４．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　撮影画像から予め指定された種類に対応する追尾被写体を検出し、
　検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出部と、
　前記動き予測ベクトルに基づいて、前記追尾被写体を追尾するためのカメラ制御信号を生成するカメラ制御信号生成部を有する画像処理装置。
　（２）　前記被写体動き予測ベクトル算出部は、
　前記撮影画像から、指定された種類に対応する追尾被写体を検出する追尾被写体識別部と、
　前記追尾被写体識別部が検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する追尾被写体種類＆姿勢対応被写体動き予測ベクトル算出部を有する（１）に記載の画像処理装置。
　（３）　前記被写体動き予測ベクトル算出部は、
　学習データを用いた追尾被写体識別処理と、動き予測ベクトル算出処理を実行する（１）または（２）に記載の画像処理装置。
　（４）　前記画像処理装置は、
　ユーザに追尾被写体の種類を選択させるためのＵＩ（ユーザインタフェース）を表示する表示部を有し、
　前記被写体動き予測ベクトル算出部は、
　前記ＵＩを利用してユーザが指定した追尾被写体の種類に対応する種類の被写体を前記撮影画像から検出して、検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する（１）～（３）いずれかに記載の画像処理装置。
　（５）　前記画像処理装置は、
　ユーザによる自動追尾モード開始入力に応じて、前記撮影画像から予め指定された種類の追尾被写体の検出処理を開始する（１）～（４）いずれかに記載の画像処理装置。
　（６）　前記被写体動き予測ベクトル算出部は、
　学習データに基づいて生成されるニューラルネットワークを用いて、前記撮影画像から、ユーザの指定した種類の追尾被写体を検出する追尾被写体識別部を有する（１）～（５）いずれかに記載の画像処理装置。
　（７）　前記被写体動き予測ベクトル算出部は、
　学習データに基づいて生成されるニューラルネットワークを用いて、追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する追尾被写体種類＆姿勢対応被写体動き予測ベクトル算出部を有する（１）～（６）いずれかに記載の画像処理装置。
　（８）　前記被写体動き予測ベクトル算出部は、
　ユーザの指定した種類の追尾被写体が、前記撮影画像内に複数、検出された場合、
　予め設定された被写体追尾モード設定情報に従って追尾被写体を決定する（１）～（７）いずれかに記載の画像処理装置。
　（９）　前記被写体動き予測ベクトル算出部は、
　（Ａ）複数被写体追尾モード
　（Ｂ）中心被写体追尾モード
　（Ｃ）最大被写体追尾モード
　上記（Ａ）～（Ｂ）のいずれかのモードに従って追尾被写体を決定する（８）に記載の画像処理装置。
　（１０）　前記被写体動き予測ベクトル算出部は、
　追尾被写体の種類と姿勢に応じた動き予測ベクトルを記録したテーブルを参照して、追尾被写体の種類と姿勢に応じた動き予測ベクトルを取得する（１）～（９）いずれかに記載の画像処理装置。
　（１１）　前記被写体動き予測ベクトル算出部は、
　追尾被写体の画像内の大きさを考慮した動き予測ベクトルの算出を実行する（１）～（１０）いずれかに記載の画像処理装置。
　（１２）　前記被写体動き予測ベクトル算出部は、
　過去の撮影画像から得られる追尾被写体の動きを反映した実測動きベクトルを利用して動き予測ベクトルを算出する（１）～（１１）いずれかに記載の画像処理装置。
　（１３）　前記被写体動き予測ベクトル算出部は、
　最新の撮影画像から算出した動き予測動きベクトルと、過去の撮影画像から得られる追尾被写体の動きを反映した実測動きベクトルを比較して、前記予測動きベクトルを補正する（１）～（１２）いずれかに記載の画像処理装置。
　（１４）　前記カメラ制御信号生成部は、
　前記被写体動き予測ベクトル算出部が算出した動き予測ベクトルに基づいて、前記追尾被写体の追尾画像を撮影するためのカメラ方向の制御信号を生成する（１）～（１３）いずれかに記載の画像処理装置。
　（１５）　前記カメラ制御信号生成部は、
　前記被写体動き予測ベクトル算出部が算出した動き予測ベクトルに基づいて、前記追尾被写体の追尾画像を撮影するためのカメラのパン、またはチルト、またはズームの少なくともいずれかのカメラ制御信号を生成する（１）～（１４）いずれかに記載の画像処理装置。
　（１６）　雲台に装着されたカメラと、前記雲台を制御する雲台制御部を有する画像処理システムであり、
　前記カメラは、
　撮影画像から予め指定された種類に対応する追尾被写体を検出し、
　検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出部と、
　前記動き予測ベクトルに基づいて、前記追尾被写体を追尾するためのカメラ制御信号を生成するカメラ制御信号生成部を有し、
　前記雲台制御部は、
　前記カメラ制御信号に基づいて、前記追尾被写体の追尾画像を撮影するための雲台制御を実行する画像処理システム。
　（１７）　前記カメラの被写体動き予測ベクトル算出部は、
　前記撮影画像から、指定された種類に対応する追尾被写体を検出する追尾被写体識別部と、
　前記追尾被写体識別部が検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する追尾被写体種類＆姿勢対応被写体動き予測ベクトル算出部を有する（１６）に記載の画像処理システム。
　（１８）　画像処理装置において実行する画像処理方法であり、
　被写体動き予測ベクトル算出部が、
　撮影画像から予め指定された種類に対応する追尾被写体を検出し、
　検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出ステップと、
　カメラ制御信号生成部が、
　前記動き予測ベクトルに基づいて、前記追尾被写体を追尾するためのカメラ制御信号を生成するカメラ制御信号生成ステップを実行する画像処理方法。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、追尾被写体の種類と姿勢に対応する動き予測ベクトルを算出して、被写体追尾画像の撮影に必要なカメラ制御信号を生成する装置、方法が実現される。
　具体的には、例えば、撮像部から入力する撮影画像から予め指定された種類の追尾被写体を検出し、検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出部と、被写体動き予測ベクトル算出部が算出した動き予測ベクトルに基づいて、前記追尾被写体の追尾画像を撮影するためのカメラ制御信号を生成するカメラ制御信号生成部を有する。被写体動き予測ベクトル算出部は、ニューラルネットワーク等を用いて、撮影画像からユーザの指定した種類の追尾被写体の検出処理と動き予測ベクトル算出処理を実行する。
　本構成により、追尾被写体の種類と姿勢に対応する動き予測ベクトルを算出して、被写体追尾画像の撮影に必要なカメラ制御信号を生成する装置、方法が実現される。
　　１０　自動追尾撮像装置
　　１１　カメラ
　　１２　雲台
　　１３　雲台制御部
　　１５　カメラ表示部
　　１６　追尾被写体種類選択ＵＩ
　　１７　自動追尾モード設定アイコン
　　１８　撮影（録画）開始指示アイコン
　　３０　通信端末
　　３１　追尾被写体種類選択ＵＩ
　　３２　自動追尾モード設定アイコン
　　３３８　撮影（録画）開始指示アイコン
　１００　画像処理装置
　１０１　入力部
　１０２　撮像部
　１１０　被写体動き予測ベクトル生成部
　１１１　追尾被写体識別部
　１１２被写体推定用学習データ
　１１３　追尾被写体種類＆姿勢対応動き予測ベクトル算出部
　１１４　追尾被写体種類＆姿勢対応動き予測ベクトル推定用学習データ
　１２１　カメラ制御信号生成部
　１２２　カメラ（雲台）駆動部
　２０１　追尾被写体種類指定情報
　２０２　撮影画像
　２０３　追尾被写体検出情報
　２０４　追尾被写体種類＆姿勢対応動き予測ベクトル

Claims (18)

  1. 　撮影画像から予め指定された種類に対応する追尾被写体を検出し、
    　検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出部と、
    　前記動き予測ベクトルに基づいて、前記追尾被写体を追尾するためのカメラ制御信号を生成するカメラ制御信号生成部を有する画像処理装置。
  2. 　前記被写体動き予測ベクトル算出部は、
    　前記撮影画像から、指定された種類に対応する追尾被写体を検出する追尾被写体識別部と、
    　前記追尾被写体識別部が検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する追尾被写体種類＆姿勢対応被写体動き予測ベクトル算出部を有する請求項１に記載の画像処理装置。
  3. 　前記被写体動き予測ベクトル算出部は、
    　学習データを用いた追尾被写体識別処理と、動き予測ベクトル算出処理を実行する請求項１に記載の画像処理装置。
  4. 　前記画像処理装置は、
    　ユーザに追尾被写体の種類を選択させるためのＵＩ（ユーザインタフェース）を表示する表示部を有し、
    　前記被写体動き予測ベクトル算出部は、
    　前記ＵＩを利用してユーザが指定した追尾被写体の種類に対応する種類の被写体を前記撮影画像から検出して、検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する請求項１に記載の画像処理装置。
  5. 　前記画像処理装置は、
    　ユーザによる自動追尾モード開始入力に応じて、前記撮影画像から予め指定された種類の追尾被写体の検出処理を開始する請求項１に記載の画像処理装置。
  6. 　前記被写体動き予測ベクトル算出部は、
    　学習データに基づいて生成されるニューラルネットワークを用いて、前記撮影画像から、ユーザの指定した種類の追尾被写体を検出する追尾被写体識別部を有する請求項１に記載の画像処理装置。
  7. 　前記被写体動き予測ベクトル算出部は、
    　学習データに基づいて生成されるニューラルネットワークを用いて、追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する追尾被写体種類＆姿勢対応被写体動き予測ベクトル算出部を有する請求項１に記載の画像処理装置。
  8. 　前記被写体動き予測ベクトル算出部は、
    　ユーザの指定した種類の追尾被写体が、前記撮影画像内に複数、検出された場合、
    　予め設定された被写体追尾モード設定情報に従って追尾被写体を決定する請求項１に記載の画像処理装置。
  9. 　前記被写体動き予測ベクトル算出部は、
    　（Ａ）複数被写体追尾モード
    　（Ｂ）中心被写体追尾モード
    　（Ｃ）最大被写体追尾モード
    　上記（Ａ）～（Ｂ）のいずれかのモードに従って追尾被写体を決定する請求項８に記載の画像処理装置。
  10. 　前記被写体動き予測ベクトル算出部は、
    　追尾被写体の種類と姿勢に応じた動き予測ベクトルを記録したテーブルを参照して、追尾被写体の種類と姿勢に応じた動き予測ベクトルを取得する請求項１に記載の画像処理装置。
  11. 　前記被写体動き予測ベクトル算出部は、
    　追尾被写体の画像内の大きさを考慮した動き予測ベクトルの算出を実行する請求項１に記載の画像処理装置。
  12. 　前記被写体動き予測ベクトル算出部は、
    　過去の撮影画像から得られる追尾被写体の動きを反映した実測動きベクトルを利用して動き予測ベクトルを算出する請求項１に記載の画像処理装置。
  13. 　前記被写体動き予測ベクトル算出部は、
    　最新の撮影画像から算出した動き予測動きベクトルと、過去の撮影画像から得られる追尾被写体の動きを反映した実測動きベクトルを比較して、前記予測動きベクトルを補正する請求項１に記載の画像処理装置。
  14. 　前記カメラ制御信号生成部は、
    　前記被写体動き予測ベクトル算出部が算出した動き予測ベクトルに基づいて、前記追尾被写体の追尾画像を撮影するためのカメラ方向の制御信号を生成する請求項１に記載の画像処理装置。
  15. 　前記カメラ制御信号生成部は、
    　前記被写体動き予測ベクトル算出部が算出した動き予測ベクトルに基づいて、前記追尾被写体の追尾画像を撮影するためのカメラのパン、またはチルト、またはズームの少なくともいずれかのカメラ制御信号を生成する請求項１に記載の画像処理装置。
  16. 　雲台に装着されたカメラと、前記雲台を制御する雲台制御部を有する画像処理システムであり、
    　前記カメラは、
    　撮影画像から予め指定された種類に対応する追尾被写体を検出し、
    　検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出部と、
    　前記動き予測ベクトルに基づいて、前記追尾被写体を追尾するためのカメラ制御信号を生成するカメラ制御信号生成部を有し、
    　前記雲台制御部は、
    　前記カメラ制御信号に基づいて、前記追尾被写体の追尾画像を撮影するための雲台制御を実行する画像処理システム。
  17. 　前記カメラの被写体動き予測ベクトル算出部は、
    　前記撮影画像から、指定された種類に対応する追尾被写体を検出する追尾被写体識別部と、
    　前記追尾被写体識別部が検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する追尾被写体種類＆姿勢対応被写体動き予測ベクトル算出部を有する請求項１６に記載の画像処理システム。
  18. 　画像処理装置において実行する画像処理方法であり、
    　被写体動き予測ベクトル算出部が、
    　撮影画像から予め指定された種類に対応する追尾被写体を検出し、
    　検出した追尾被写体の種類と姿勢に応じた動き予測ベクトルを算出する被写体動き予測ベクトル算出ステップと、
    　カメラ制御信号生成部が、
    　前記動き予測ベクトルに基づいて、前記追尾被写体を追尾するためのカメラ制御信号を生成するカメラ制御信号生成ステップを実行する画像処理方法。
PCT/JP2020/040443 2019-12-09 2020-10-28 画像処理装置、および画像処理システム、並びに画像処理方法 Ceased WO2021117367A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20899815.3A EP4075785A4 (en) 2019-12-09 2020-10-28 Image processing apparatus, image processing system, and image processing method
JP2021563781A JP7435621B2 (ja) 2019-12-09 2020-10-28 画像処理装置、および画像処理システム、並びに画像処理方法
US17/756,581 US20230007167A1 (en) 2019-12-09 2020-10-28 Image processing device and image processing system, and image processing method
CN202080084455.XA CN114762316B (zh) 2019-12-09 2020-10-28 图像处理设备、图像处理系统和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-222440 2019-12-09
JP2019222440 2019-12-09

Publications (1)

Publication Number Publication Date
WO2021117367A1 true WO2021117367A1 (ja) 2021-06-17

Family

ID=76329742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040443 Ceased WO2021117367A1 (ja) 2019-12-09 2020-10-28 画像処理装置、および画像処理システム、並びに画像処理方法

Country Status (5)

Country Link
US (1) US20230007167A1 (ja)
EP (1) EP4075785A4 (ja)
JP (1) JP7435621B2 (ja)
CN (1) CN114762316B (ja)
WO (1) WO2021117367A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7706945B2 (ja) * 2021-06-14 2025-07-14 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN113489895B (zh) * 2021-06-23 2022-05-31 荣耀终端有限公司 确定推荐场景的方法及电子设备
US12356076B2 (en) * 2022-05-24 2025-07-08 Canon Kabushiki Kaisha Image capture control device, image capture device, image capture control method, and non-transitory computer-readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276214A (ja) * 2007-04-04 2008-11-13 Nikon Corp デジタルカメラ
JP2010154391A (ja) 2008-12-26 2010-07-08 Panasonic Corp 自動追尾カメラ装置
JP2015191074A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 撮像装置
WO2015170776A1 (ja) * 2014-05-07 2015-11-12 日本電気株式会社 物体検出装置、物体検出方法および物体検出システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030044437A (ko) * 2001-11-30 2003-06-09 (주)혜림 제어 네트워크를 기반으로 하는 영상 객체 인식방법
EP1748378B1 (en) * 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
JP4304639B2 (ja) * 2007-01-16 2009-07-29 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20110075250A (ko) * 2009-12-28 2011-07-06 엘지전자 주식회사 객체 추적 모드를 활용한 객체 추적 방법 및 장치
JP2012253451A (ja) * 2011-05-31 2012-12-20 Jvc Kenwood Corp 撮像装置及びプログラム
JP2015145901A (ja) * 2014-01-31 2015-08-13 キヤノン株式会社 撮像装置
US9696404B1 (en) * 2014-05-06 2017-07-04 The United States Of America As Represented By The Secretary Of The Air Force Real-time camera tracking system using optical flow feature points
CN104113698A (zh) * 2014-08-06 2014-10-22 北京北纬通信科技股份有限公司 应用于图像捕获设备的模糊图像处理方法和系统
CN106688228B (zh) * 2014-09-10 2019-06-14 富士胶片株式会社 摄像控制装置、摄像控制方法、相机、及相机系统
CN106716989B (zh) * 2014-09-10 2020-02-28 富士胶片株式会社 摄像装置、摄像方法及程序
JP2017204795A (ja) * 2016-05-13 2017-11-16 キヤノン株式会社 追尾装置
CN106651904B (zh) * 2016-12-02 2019-08-09 北京空间机电研究所 一种宽尺寸范围多空间目标捕获跟踪方法
US11399137B2 (en) * 2018-08-10 2022-07-26 Aurora Flight Sciences Corporation Object-tracking system
WO2020078900A1 (en) * 2018-10-15 2020-04-23 Starship Technologies Oü Method and system for operating a robot
US10872424B2 (en) * 2018-11-19 2020-12-22 Accenture Global Solutions Limited Object tracking using object attributes
US11574089B2 (en) * 2019-06-28 2023-02-07 Zoox, Inc. Synthetic scenario generator based on attributes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276214A (ja) * 2007-04-04 2008-11-13 Nikon Corp デジタルカメラ
JP2010154391A (ja) 2008-12-26 2010-07-08 Panasonic Corp 自動追尾カメラ装置
JP2015191074A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 撮像装置
WO2015170776A1 (ja) * 2014-05-07 2015-11-12 日本電気株式会社 物体検出装置、物体検出方法および物体検出システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4075785A4

Also Published As

Publication number Publication date
EP4075785A1 (en) 2022-10-19
US20230007167A1 (en) 2023-01-05
CN114762316A (zh) 2022-07-15
JP7435621B2 (ja) 2024-02-21
CN114762316B (zh) 2025-02-18
JPWO2021117367A1 (ja) 2021-06-17
EP4075785A4 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
US12165358B2 (en) Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
US8824802B2 (en) Method and system for gesture recognition
JP7435621B2 (ja) 画像処理装置、および画像処理システム、並びに画像処理方法
CN112703533A (zh) 对象跟踪
JP2009089077A5 (ja)
JP5001930B2 (ja) 動作認識装置及び方法
JP6210234B2 (ja) 画像処理システム、画像処理方法及びプログラム
CN112119627A (zh) 基于云台的目标跟随方法、装置、云台和计算机存储介质
JP2019186955A (ja) 情報処理システム、情報処理方法及びプログラム
CN109451240B (zh) 对焦方法、装置、计算机设备和可读存储介质
JP6575845B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP2020052822A (ja) 情報処理装置、認証システムおよびそれらの制御方法、プログラム
US11394873B2 (en) Control apparatus, control method, and recording medium
WO2020235401A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11882363B2 (en) Control apparatus and learning apparatus and control method
JP2021056885A (ja) 検出装置、検出方法、及びプログラム
JP7332047B2 (ja) 追跡装置、追跡システム、追跡方法、およびプログラム
US20230177860A1 (en) Main object determination apparatus, image capturing apparatus, and method for controlling main object determination apparatus
US9761009B2 (en) Motion tracking device control systems and methods
NL2011771C2 (en) Method and apparatus for acquiring images.
US12418713B2 (en) Main object determination apparatus, imaging apparatus, and control method for controlling main object determination apparatus
JP2023161440A (ja) 映像処理装置及びその制御方法及びプログラム
JP2022086194A (ja) 情報処理装置及びその制御方法、並びにプログラム
EP4187912B1 (en) Camera control apparatus, camera control method, and non-transitory storage medium
JP7566471B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20899815

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563781

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020899815

Country of ref document: EP

Effective date: 20220711

WWG Wipo information: grant in national office

Ref document number: 202080084455.X

Country of ref document: CN