[go: up one dir, main page]

WO2022239281A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2022239281A1
WO2022239281A1 PCT/JP2021/044138 JP2021044138W WO2022239281A1 WO 2022239281 A1 WO2022239281 A1 WO 2022239281A1 JP 2021044138 W JP2021044138 W JP 2021044138W WO 2022239281 A1 WO2022239281 A1 WO 2022239281A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
moving image
captured
camera
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/044138
Other languages
English (en)
French (fr)
Inventor
亜貴代 福田
達仁 當波
亜矢子 千葉
純 鈴木
裕樹 椎名
裕也 山下
奏子 簗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to US18/558,295 priority Critical patent/US20240233770A1/en
Priority to JP2023520754A priority patent/JPWO2022239281A1/ja
Publication of WO2022239281A1 publication Critical patent/WO2022239281A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program, and more particularly to an image processing device, an image processing method, and a program that can provide a highly satisfying video production service for users.
  • Patent Literature 1 discloses a program for automatically editing a moving image that designates a template.
  • the present disclosure has been made in view of this situation, and is intended to provide a video production service that satisfies users.
  • An image processing device acquires a captured image to which metadata is added, and based on the temporal length of a moving image to be produced set on a setting screen and the metadata, the acquired
  • the image processing apparatus includes a processing unit that selects captured images to be used for creating the moving image from captured images and creates the moving image using the selected captured images.
  • an image processing apparatus acquires a captured image to which metadata is added, and based on the temporal length of a moving image to be produced set on a setting screen and the metadata. Then, from among the acquired captured images, a captured image to be used for creating the moving image is selected, and the selected captured image is used to create the moving image.
  • a program causes a computer to acquire captured images to which metadata is added, based on the time length of a moving image to be produced set on a setting screen, and the metadata.
  • an image processing device an image processing method, and a program according to one aspect of the present disclosure
  • a photographed image to which metadata is added is acquired, and the temporal length of the moving image to be produced set on the setting screen and the metadata
  • captured images to be used for producing the moving image are selected from the acquired captured images, and the moving image is produced using the selected captured images.
  • the image processing device may be an independent device, or may be an internal block forming one device.
  • FIG. 1 is a diagram illustrating a configuration example of an embodiment of a video production system to which the present disclosure is applied;
  • FIG. It is a block diagram which shows the structural example of a camera.
  • It is a block diagram which shows the structural example of a cloud server.
  • It is a block diagram which shows the structural example of a terminal device.
  • It is a figure which shows the upload method of the picked-up image from a camera to a cloud server.
  • FIG. 10 is a diagram showing a first example of a sequence of uploading captured image files;
  • FIG. 10 is a diagram showing a first example of a sequence of uploading captured image files;
  • FIG. 10 is a diagram showing a second example of a sequence of uploading a photographed image file; 4 is a flowchart for explaining the overall flow of a video production service; 10 is a flowchart for explaining details of editing processing; FIG. 10 is a diagram showing an example of presentation of shot marks; It is a figure which shows the example of a presentation of motion information of a camera.
  • 3 is a block diagram showing a functional configuration example of a processing unit in the moving image production system 1; FIG. It is a figure which shows the 1st example of a setting screen. It is a figure which shows the 1st example of an edit screen. It is a figure which shows the 2nd example of a setting screen.
  • FIG. 4 is a diagram showing an example of aspect ratios; It is a figure which shows the example of a standard time.
  • FIG. 10 is a diagram showing an example of a template;
  • FIG. 10 is a diagram showing a second example of an edit screen;
  • FIG. 10 is a diagram showing a first example of a file management screen;
  • FIG. 10 is a diagram showing a second example of a file management screen;
  • It is a figure which shows the example of a project registration screen.
  • It is a figure which shows the example of a display of a 7th area
  • FIG. 13 is a diagram showing a third example of a setting screen;
  • 5 is a flowchart for explaining the flow of shot image selection processing and automatic editing processing;
  • FIG. 10 is a diagram showing an example of selection of captured images for each group;
  • FIG. 4 is a diagram showing an example of transition periods;
  • FIG. 1 is a diagram showing a configuration example of an embodiment of a video production system to which the present disclosure is applied.
  • the movie production system 1 in FIG. 1 is a system for producing movies from images taken by a user.
  • a video production system 1 is composed of a camera 10 , a cloud server 20 and a terminal device 30 .
  • the camera 10 is a digital camera capable of shooting moving images and still images.
  • the camera 10 is not limited to a digital camera, and may be a device having a photographing function such as a smart phone or a tablet terminal.
  • the camera 10 shoots an image of a subject according to a user's operation, and records the resulting shot image.
  • Captured images include content such as moving images and still images.
  • content such as moving images and still images.
  • moving images when it is necessary to distinguish between moving images as captured images and moving images automatically produced by a moving image production service, the latter will be referred to as produced moving images.
  • the captured image captured by the camera 10 is transmitted to the cloud server 20.
  • the camera 10 can transmit the captured image to the cloud server 20 via the network 40-1.
  • the terminal device 30 may transmit the captured image to the cloud server 20 via the network 40-2.
  • the networks 40-1 and 40-2 include communication lines such as the Internet and mobile phone networks.
  • the networks 40-1 and 40-2 may be the same network or different networks.
  • the network 40-1 and the network 40-2 will be referred to as the network 40 when there is no need to distinguish between them.
  • the cloud server 20 is a server that provides a video production service that automatically produces production videos from captured images through the network 40 .
  • the cloud server 20 is an example of an image processing device to which the present disclosure is applied.
  • the cloud server 20 receives captured images captured by the camera 10 via the network 40 .
  • the cloud server 20 produces a produced moving image by performing processing such as editing on the captured image, and transmits the produced moving image to the terminal device 30 via the network 40 .
  • the cloud server 20 also generates screens (for example, web pages) such as setting screens and edit screens, and transmits them to the terminal device 30 via the network 40 .
  • the terminal device 30 is a device such as a PC (Personal Computer), a tablet terminal, or a smartphone.
  • the terminal device 30 displays screens such as setting screens and editing screens from the cloud server 20 (for example, UI (User Interface) of a web browser), and according to user operations on those screens, settings related to the video production service and production videos processing such as editing.
  • the terminal device 30 receives the production video transmitted from the cloud server 20 via the network 40 .
  • the terminal device 30 records the produced moving image in the terminal and outputs it to the outside.
  • FIG. 2 is a block diagram showing a configuration example of the camera 10 of FIG.
  • the camera 10 includes a lens system 111, an imaging unit 112, a camera signal processing unit 113, a recording control unit 114, a display unit 115, a communication unit 116, an operation unit 117, a camera control unit 118, and a memory unit 119. , a driver unit 120 , a sensor unit 121 , a sound input unit 122 and a sound processing unit 123 .
  • the lens system 111 takes in incident light (image light) from a subject and causes it to enter the imaging unit 112 .
  • the imaging unit 112 has a solid-state imaging device such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and converts the amount of incident light imaged on the imaging surface of the solid-state imaging device by the lens system 111 into an electric signal in pixel units. It is converted and output as a pixel signal.
  • CMOS Complementary Metal Oxide Semiconductor
  • the camera signal processing unit 113 is composed of a DSP (Digital Signal Processor), a frame memory for temporarily recording image data, and the like.
  • the camera signal processing unit 113 performs various kinds of signal processing on the image signal output from the imaging unit 112, and outputs image data of the captured image obtained as a result. In this manner, the lens system 111, the imaging section 112, and the camera signal processing section 113 constitute an imaging system.
  • the recording control unit 114 records the image data of the captured image captured by the imaging system in a storage medium including a memory card such as a flash memory.
  • a display unit 115 is composed of a liquid crystal display, an organic EL display, or the like, and displays a captured image captured by the imaging system.
  • the communication unit 116 is composed of a communication module or the like compatible with a predetermined communication method such as wireless communication including wireless LAN and cellular communication (for example, 5G (5th Generation)), and captures an image captured by the imaging system. Send data to other devices over a network.
  • the operation unit 117 includes an operation system such as physical buttons and a touch panel, and issues operation commands for various functions of the camera 10 according to user's operations.
  • the camera control unit 118 is composed of processors such as a CPU (Central Processing Unit) and a microprocessor, and controls the operation of each unit of the camera 10 .
  • the memory unit 119 records various data under the control of the camera control unit 118 .
  • the driver unit 120 drives the lens system 111 to achieve autofocus, zooming, etc., under the control of the camera control unit 118 .
  • the sensor unit 121 senses spatial information, time information, etc., and outputs a sensor signal obtained as a result of the sensing.
  • the sensor unit 121 includes various sensors such as a gyro sensor and an acceleration sensor.
  • the sound input unit 122 is composed of a microphone or the like, detects sounds such as the user's voice (speech) or environmental sounds, and outputs sound signals obtained as a result.
  • the sound processing unit 123 performs sound signal processing on the sound signal output from the sound input unit 122 .
  • the sound signal from the sound processing unit 123 is input to the camera signal processing unit 113, processed in synchronization with the image signal under the control of the camera control unit 118, and recorded as the sound (audio) of the moving image.
  • various metadata can be added to captured images including moving images and still images.
  • image plane phase difference pixels when image plane phase difference pixels are arranged in the pixel region of the solid-state image sensor, information obtained from the image plane phase difference pixels is given as metadata (image plane phase difference pixel information meta). be able to.
  • Information about autofocus by the camera control unit 118 and the driver unit 120 may be given as metadata (focus meta).
  • the sensor unit 121 can add information obtained from a sensor such as a gyro sensor as metadata (gyrometa, etc.).
  • a sensor such as a gyro sensor
  • metadata gyrometa, etc.
  • information and the like regarding a device such as a built-in camera microphone
  • a shot mark may be added to a captured image including a captured moving image or still image in accordance with the operation of the operation unit 117 by the user.
  • the operation unit 117 including the operation system such as buttons and touch panel UI etc.
  • a shot mark is added to the target captured image.
  • a shot mark is a "mark" given by a user at a desired timing, and can also be said to be metadata given to a captured image.
  • Image plane phase difference pixels, autofocus, sensors, information on sound input devices, and shot marks are examples of metadata given by the camera 10.
  • Information processed inside the camera 10 may be other information.
  • information may be given as metadata.
  • FIG. 3 is a block diagram showing a configuration example of the cloud server 20 of FIG.
  • a CPU 211 a CPU (Read Only Memory) 212 and a RAM (Random Access Memory) 213 are interconnected by a bus 214 .
  • An input/output I/F 215 is further connected to the bus 214 .
  • An input unit 216 , an output unit 217 , a storage unit 218 and a communication unit 219 are connected to the input/output I/F 215 .
  • the input unit 216 supplies various input signals to each unit including the CPU 211 via the input/output I/F 215 .
  • the input unit 216 is composed of a keyboard, mouse, microphone, and the like.
  • the output unit 217 outputs various information according to control from the CPU 211 via the input/output I/F 215 .
  • the output unit 217 is composed of a display, a speaker, and the like.
  • the storage unit 218 is configured as an auxiliary storage device such as a semiconductor memory or HDD (Hard Disk Drive).
  • the storage unit 218 records various data and programs under the control of the CPU 211 .
  • the CPU 211 reads and processes various data from the storage unit 218 and executes programs.
  • the communication unit 219 is composed of a communication module that supports wireless communication such as wireless LAN or cellular communication (eg 5G), or wired communication.
  • the communication unit 219 communicates with other devices including the camera 10 and the terminal device 30 via the network 40 under the control of the CPU 211 .
  • the configuration of the cloud server 20 shown in FIG. 3 is an example, and image processing may be performed by providing a dedicated processor such as a GPU (Graphics Processing Unit).
  • a dedicated processor such as a GPU (Graphics Processing Unit).
  • FIG. 4 is a block diagram showing a configuration example of the terminal device 30 of FIG.
  • the CPU 311 , ROM 312 and RAM 313 are interconnected by a bus 314 .
  • An input/output I/F 315 is further connected to the bus 314 .
  • An input unit 316 , an output unit 317 , a storage unit 318 and a communication unit 319 are connected to the input/output I/F 315 .
  • the input unit 316 supplies various input signals to each unit including the CPU 311 via the input/output I/F 315 .
  • the input section 316 has an operation section 321 .
  • the operation unit 321 includes a keyboard, mouse, microphone, physical buttons, touch panel, and the like. The operation unit 321 is operated by a user and supplies an operation signal corresponding to the operation to the CPU 311 .
  • the output unit 317 outputs various information according to control from the CPU 311 via the input/output I/F 315 .
  • the output section 317 has a display section 331 and a sound output section 332 .
  • the display unit 331 is composed of a liquid crystal display, an organic EL display, and the like.
  • a display unit 331 displays a captured image, an editing screen, and the like under the control of the CPU 311 .
  • the sound output unit 332 is composed of a speaker, a headphone connected to an output terminal, or the like. The sound output unit 332 outputs a sound corresponding to the sound signal under the control of the CPU 311 .
  • the storage unit 318 is configured as an auxiliary storage device such as a semiconductor memory.
  • the storage unit 318 may be configured as an internal storage, or may be an external storage such as a memory card.
  • a storage unit 318 records various data and programs under the control of the CPU 311 .
  • the CPU 311 reads and processes various data from the storage unit 318 and executes programs.
  • the communication unit 319 is composed of a communication module compatible with a predetermined communication method such as wireless communication such as wireless LAN or cellular communication (eg 5G), or wired communication.
  • a communication unit 319 communicates with other devices via a network under the control of the CPU 311 .
  • the configuration of the terminal device 30 shown in FIG. 4 is an example, and image processing may be performed by providing a dedicated processor such as a GPU.
  • captured images captured by the camera 10 are extracted to the cloud server 20, and processing such as editing is performed using the captured images and attached metadata.
  • a production video is produced.
  • the terminal device 30 displays information about the captured images and produced moving images on the cloud server 20 on a screen such as an edit screen, so that the user can edit the information.
  • the cloud server 20 is installed in a data center or the like, but is not limited to one server, and may be composed of a plurality of servers to provide the moving image production service.
  • files of captured images captured by the camera 10 are uploaded to the cloud server 20 via the network 40 and processed, for example, by the method shown in FIG.
  • FIG. 5 is a diagram showing a method of linking the camera 10 and the cloud server 20 and uploading the captured image from the camera 10 to the cloud server 20.
  • 5A to 5F show exchanges between the camera 10 and the cloud server 20 in chronological order. Processing between the camera 10 and the cloud server 20 is performed in three stages: camera registration, camera connection, and file upload.
  • the processing shown in A of FIG. 5 is performed. That is, the camera 10 connects to the cloud server 20 via the network 40 to use the moving image production service, and performs device registration according to a user operation or the like (A in FIG. 5).
  • the processes shown in B to E of FIG. 5 are performed. That is, the camera 10 performs main body settings according to the user's operation or the like, turns on cloud cooperation, and completes device registration (B in FIG. 5). Also, the camera 10 notifies the cloud server 20 of power-on using a communication protocol such as MQTT (Message Queuing Telemetry Transport) (C in FIG. 5).
  • MQTT Message Queuing Telemetry Transport
  • the cloud server 20 that has received the notification from the camera 10 uses a communication protocol such as MQTT to notify the camera 10 of a command and a connection destination for shifting to WebRTC (Web Real-Time Communication) communication ( D) in FIG.
  • WebRTC Web Real-Time Communication
  • D Web Real-Time Communication
  • WebRTC communication is performed between the camera 10 and the cloud server 20, and the file upload destination using an image transfer protocol such as PTP-IP (Picture Transfer Protocol over TCP/IP networks) is notified ( E) in FIG.
  • PTP-IP Picture Transfer Protocol over TCP/IP networks
  • the process shown in F in Fig. 5 is performed. That is, the camera 10 uses a request from the cloud server 20 as a trigger (as a PULL request) to start uploading files of captured images including moving images and still images via the network 40 (F in FIG. 5). At this time, a file uploaded from the camera 10 side, such as a main image or a proxy image, can be selected on the cloud server 20 side.
  • the camera 10 can embed metadata in captured images to be uploaded.
  • the cloud server 20 performs automatic selection, automatic trimming, automatic quality correction, etc. by processing using the metadata embedded in the captured images, and produces production moving images (automatic moving image production).
  • HTTPS Hypertext Transfer Protocol Secure
  • the proxy image is an image with a lower resolution than the main image.
  • the camera 10 can simultaneously record a main image, which is a high-resolution captured image, and a proxy image, which is a low-resolution captured image. Thereby, the camera 10 can upload the proxy image and the main image at different timings. That is, the captured image includes the proxy image as well as the main image. For example, a main image and a proxy image are recorded for each of a moving image and a still image.
  • Fig. 6 is a diagram showing how to upload the proxy image and the main image.
  • the cloud server 20 makes a pull request for the proxy image, and the file of the proxy image is uploaded from the camera 10 .
  • the cloud server 20 uses the uploaded proxy image file to determine captured images to be used for automatic video production.
  • the cloud server 20 makes a PULL request for the main image corresponding to the determined captured image, and the main image file is uploaded from the camera 10.
  • the cloud server 20 uses the uploaded main image file to automatically produce a moving image.
  • the cloud server 20 requests the camera 10 to upload a proxy image, first extracts only the proxy image, and after determining the photographed images to be used for automatic video production using the proxy image, uploads the main image. It is possible to request the camera 10 and later pull out the main image used for automatic moving image production.
  • FIG. 7 is a diagram showing a first example of a sequence for uploading a photographed image file.
  • the terminal device 30 requests the cloud server 20 via the network 40 for an in-camera captured image list, which is a list of captured images recorded in the camera 10 (S11).
  • the cloud server 20 requests the in-camera captured image list from the camera 10 via the network 40 (S12).
  • the camera 10 receives the request from the cloud server 20 via the network 40, and transmits (returns) the photographed image list corresponding to the request (S13).
  • the cloud server 20 transmits (returns) the captured image list from the camera 10 to the terminal device 30 via the network 40 (S14).
  • a photographed image to be used in automatic video production by the cloud server 20 is selected from the photographed image list from the cloud server 20.
  • the terminal device 30 can present a photographed image list and select a desired photographed image according to the user's operation.
  • the terminal device 30 transmits a proxy image request list of captured images used on the cloud side to the cloud server 20 via the network 40 (S15).
  • the cloud server 20 transmits the proxy image request list from the terminal device 30 to the camera 10 via the network 40 (S16).
  • the camera 10 receives the proxy image request list from the cloud server 20 via the network 40, and uploads proxy images according to the list to the cloud server 20 (S17).
  • Various metadata (camera metadata) are added to the proxy image.
  • proxy image files uploaded from the camera 10 are sequentially recorded in the storage unit 218.
  • the cloud server 20 transmits the proxy image uploaded by the camera 10 to the terminal device 30 via the network 40 (S18).
  • the terminal device 30 analyzes the metadata attached to the proxy image from the cloud server 20, and selects the captured image for which uploading of the main image is requested (S19). At this time, the terminal device 30 can present information about the proxy image and metadata, and can select a desired captured image according to the user's operation. The terminal device 30 transmits the main image request list to the cloud server 20 via the network 40 (S20).
  • the cloud server 20 transmits the main image request list from the terminal device 30 to the camera 10 via the network 40 (S21).
  • the camera 10 receives the main image request list from the cloud server 20 via the network 40, and uploads the main image corresponding to the list to the cloud server 20 (S22).
  • the photographed image uploaded as the main image is a moving image, it may be the entire length or a part of one moving image. In other words, it is possible to clip and upload the entire length or part of one moving image as the main image.
  • the main image files uploaded from the camera 10 are sequentially recorded in the storage unit 218.
  • the cloud server 20 transmits the main image uploaded by the camera 10 to the terminal device 30 via the network 40 (S23).
  • moving image production processing such as editing processing using the main image is performed in cooperation with the cloud server 20 as necessary (S24).
  • the camera 10 uploads the metadata of the shot image being shot to the cloud server 20, so that the cloud server 20 uploads the proxy image to the camera 10 based on the metadata before the shooting ends. may be requested.
  • the camera 10 uploads the metadata and the proxy image of the image being shot to the cloud server 20, so that the cloud server 20 can upload the main image based on the metadata and the proxy image before the end of shooting. may be requested to the camera 10 for uploading.
  • the terminal device 30 may upload the captured image file to the cloud server 20 by transferring the captured image file recorded in the camera 10 to the terminal device 30 .
  • FIG. 8 is a diagram showing a second example of a sequence for uploading a photographed image file.
  • the camera 10 transfers the captured image to the terminal device 30 (S31).
  • the terminal device 30 records the transferred captured image file in the storage unit 318 .
  • the captured image file can be transferred using a memory card such as a flash memory, wireless communication such as wireless LAN, or wired communication conforming to standards such as USB.
  • the terminal device 30 accesses the web page provided by the cloud server 20 via the network 40 according to location information such as a URL (Uniform Resource Locator) (S32).
  • the cloud server 20 transmits the file management screen via the network 40 in response to the access from the terminal device 30 (S33).
  • the file management screen from the cloud server 20 is presented, and the file of the captured image to be uploaded is specified from the captured images in the terminal recorded in the storage unit 318 according to the user's operation (S34). ).
  • the terminal device 30 uploads the specified captured image to the cloud server 20 via the network 40 (S35).
  • the captured image files uploaded from the terminal device 30 are sequentially recorded in the storage unit 218, and when the upload of the captured image is completed, the terminal device 30 is notified of the completion of the upload via the network 40 ( S36).
  • moving image production processing such as editing processing using the captured image is performed (S37).
  • the main image and the proxy image are not distinguished as captured images.
  • FIG. 9 is a flow chart showing the flow of the moving picture production service provided by the moving picture production system 1. As shown in FIG. 9
  • the camera 10 takes a picture (S111), and the captured images such as videos and still images obtained by the shooting are uploaded to the cloud server 20 and captured (S112). Uploading of the captured image file can be performed, for example, by any of the methods shown in FIGS. 5 to 8 described above.
  • the cloud server 20 When the captured image is captured, the cloud server 20 performs editing processing (S113).
  • editing processing processes such as selection of a template used in automatic editing, automatic editing and manual editing of captured images (clips), and sound processing are performed. Details of the editing process will be described later with reference to the flowchart of FIG.
  • a captured image captured by a device such as the cloud server 20 is also referred to as a clip.
  • the final production video is produced by connecting the videos obtained by automatic editing through the editing process, and the production video is distributed and shared (S114).
  • video production is performed in the following flow. That is, first, the cloud server 20 creates a project for managing information related to movie production according to a user's operation, and instructs the camera 10 to start capturing captured images.
  • the cloud server 20 requests the camera 10 to upload proxy images (PULL request).
  • the cloud server 20 captures the proxy image from the camera 10 (S112).
  • the cloud server 20 performs editing processing (S113), creates a pre-produced video from the captured proxy image, and distributes it to the terminal device 30 or the like via the network 40 to present it to the user.
  • editing processing here, if the captured image is a video, processing such as cutting out the image frame near the shot mark, object recognition, and voice climax recognition is performed, and the pre-production video is produced according to these processes. be done.
  • the cloud server 20 makes an upload request (PULL request) for the main images to the camera 10 so that only the main images of the captured images necessary for the pre-production moving image are further captured.
  • the cloud server 20 captures the main image from the camera 10 (S112).
  • the cloud server 20 performs the editing process again (S113), and creates the final produced video (completed video) from the captured main image.
  • the produced moving image produced in this manner is distributed to the terminal device 30 or the like via the network 40 (S114) and presented to the user.
  • template selection process S131
  • captured image selection process S132
  • automatic editing process S133
  • manual editing process S134
  • sound processing S135
  • a template to be used for automatic editing is selected according to user's operation (S131).
  • S131 user's operation
  • an arbitrary photographed image is selected (automatically or manually selected) from among the captured images (S132).
  • AI technology is used to recognize captured images captured in the same scene, and a function is provided to group captured images recognized as being the same. In other words, it provides a selection function when a plurality of shot images are shot for one scene.
  • similar captured images can be grouped based on image information and capturing time information respectively obtained from a plurality of captured captured images.
  • the shot image taken in the same scene can be used to create a production video. It is possible to select a photographed image to be used for Also, as an aid to manual selection of captured images, captured images grouped by scene may be presented. This makes it easier for the user to select the photographed images that the user actually wants to use in the produced moving image from among the photographed images of the corresponding subject and composition.
  • automatic selection and selection assistance of captured images can be performed by performing the following processing. That is, when the captured image is a moving image, it is possible to preferentially extract and select, for example, a moving image clip including the sound "OK" based on the sound recorded during the shooting of the moving image. Shot marks may also be used to assist automatic or manual selection of captured images.
  • a viewer is presented so that captured images to which shot marks have been added according to the user's (photographer's) operation at the time of capturing can be identified. good too.
  • a shot mark is attached to a photographed image recommended by the user for use in an advertisement.
  • the viewer can be displayed on the terminal device 30 .
  • the captured image 511-5 is given a shot mark 521-1.
  • the captured image 512-4 is given a shot mark 521-2. Shot marks 521-3 and 521-4 are given to the photographed images 513-4 and 513-6 among the photographed images 513-1 to 513-6 grouped in the same group, respectively.
  • camera work may be visualized on the viewer using information on the movement of the camera 10 (gyrometa, etc.).
  • the camera 10 uses a parameter (face frame parameter) related to a frame superimposed on a human face detected at the time of photographing, and cuts out the face region included in the photographed image, and pans it. It is possible to perform image processing that gives camera work such as zooming.
  • the face frame metadata is metadata including the in-focus position and size of the face or the like.
  • a face frame 522 is superimposed on the face area included in the captured image 514, and camerawork information 523 indicated by arrows in the figure indicates, for example, information indicating that the camera 10 has zoomed in or out, Information or the like indicating that the hand has been swung to the left or right is displayed.
  • the captured image is a video
  • information about the position where the sound (voice) is included may be visualized.
  • a so-called automatic voice transcription function or the like may be used to display character information based on the speech of the speaker.
  • Recognition processing for recognizing an object included in a captured image may be performed to extract and display a captured image including a desired object. For example, by subjecting a captured image to face recognition processing, it is possible to extract a captured image in which a specific person (for example, Mr. A) appears.
  • automatic editing is performed using the captured image selected in the captured image selection process (S133).
  • processing such as automatic trimming that automatically selects the in-point and out-point of a moving image, and automatic quality correction that corrects for improving the quality of a captured image (clip) is performed.
  • automatic quality correction it is possible to remove the influence of camera shake from a captured image by performing camera shake removal processing using information (gyrometa, etc.) related to the movement of the camera 10 .
  • processing such as panning and zooming may be performed by recognizing the main subject using the focus meta.
  • the captured image may be corrected using metadata added to the captured image at the time of shooting or using AI technology.
  • metadata can include information about WB (White Balance) and brightness.
  • WB White Balance
  • LUT Lookup Table
  • a LUT is a table used when converting colors and the like.
  • processing may be performed to make the brightness and color of the captured image uniform.
  • the photographed images have different brightness and color depending on the subject and light conditions at the time of photographing.
  • correction processing is performed to make the brightness and color of the target photographed images uniform.
  • an editing process is performed on the captured image selected in the captured image selection process and the production video produced by automatic editing according to the user's operation (S134).
  • the user can instruct editing processing for the produced moving image by performing an operation on the UI of the editing screen displayed on the terminal device 30 .
  • additional editing such as replacing a video produced by automatic editing with a preferred video or still image or changing the cut-out time is performed as necessary. Note that if the user determines that there is no need to edit the produced moving image, there is no need to perform the manual editing process.
  • processing related to sound processing of the produced video is performed (S135).
  • wind noise reduction processing can be performed by AI technology, sound signal processing, or the like.
  • noise such as wind noise can be removed as the sound of the moving image, and the volume of people's speech can be made uniform.
  • wind noise is annoying to the viewers of the video, but in order to prevent the wind noise from being recorded when shooting, it is necessary for the user to take some effort, such as installing a wind jammer accessory. Also, if wind noise is recorded during filming, professional editing, such as using an equalizer, is required to remove it manually. In the sound processing process, noise such as wind noise is automatically removed from the video when editing the captured image, so the user can easily remove the noise without performing any operation.
  • the distance between the person and the microphone may vary depending on the shooting location, and even if the person is shooting at the same time, the distance to the microphone may change depending on the position of the person, and the volume of the utterance may change.
  • time-consuming editing such as setting the microphone to a different channel for each speaker, saving the sound as a separate audio file, and adjusting the volume individually.
  • step S135 ends, the process returns to step S113 of FIG. 9, and the subsequent processes are executed.
  • processing for changing the focus position may be performed after photographing.
  • processing related to XR (Extended Reality) using depth information obtained by the ranging sensor may be performed.
  • Metadata indicating coordinate information on which the camera 10 captures the captured image may be combined with recognition processing of object names and person names in the captured image by the cloud server 20 .
  • the name of an object or person focused on during photographing can be converted into character information, and can be displayed as auxiliary data for manual selection of a photographed image.
  • the position of the sound in the moving image is the sound in the moving image recorded by the main body of the camera 10 and the separately shot sound separately recorded by a recorder such as an IC recorder or PCM recorder.
  • a recorder such as an IC recorder or PCM recorder.
  • voice recognition processing may be recognized by voice recognition processing, and the sound (voice) may be synchronized based on the time when the same sentence is uttered.
  • WB By learning the WB, exposure, etc. manually adjusted by the creator by machine learning and generating a trained model (for example, DNN (Deep Neural Network)), in subsequent productions, using the trained model, WB and exposure corrections (automatic quality correction) can be performed on captured images. Furthermore, even if multiple people work using the learned model or take over the work, the same WB, the same exposure, etc. can be corrected continuously. In this way, each user can use the trained model that has been trained using the created data of the creator as learning data.
  • a trained model for example, DNN (Deep Neural Network)
  • the movie production system 1 provides a series of user operations for realizing movie editing as a system.
  • video editing requires selection of suitable captured images and a combination of multiple editing operations, which makes it difficult for users to learn editing techniques.
  • the video production system 1 for example, by following the steps (a) to (e) below, even a user who has no or little knowledge of video editing can easily edit videos and create a desired production video. I am making it possible.
  • FIG. 13 is a block diagram showing a functional configuration example of the processing unit 200 in the moving image production system 1.
  • the processing unit 200 is realized by executing a program such as a video production program by a processor such as the CPU 211 or GPU of the cloud server 20 .
  • the processing unit 200 may be implemented as a dedicated circuit.
  • the processing unit 200 has a captured image acquisition unit 251 , a metadata extraction unit 252 , an operation information acquisition unit 253 , a captured image selection unit 254 and an editing unit 255 .
  • the captured image acquisition unit 251 acquires captured images uploaded from the camera 10 or the terminal device 30 via the network 40 and supplies them to the metadata extraction unit 252 .
  • the metadata extraction unit 252 extracts the metadata added to the captured image supplied from the captured image acquisition unit 251 and supplies it to the captured image selection unit 254 together with the captured image.
  • the metadata extracting section 252 when a photographed image to which no metadata is added is supplied, it is supplied to the photographed image selecting section 254 as it is.
  • the operation information acquisition unit 253 acquires operation information related to screen operations such as setting screens and editing screens transmitted from the terminal device 30 via the network 40 and supplies it to the captured image selection unit 254 or the editing unit 255 .
  • the captured image selection unit 254 is supplied with metadata and captured images from the metadata extraction unit 252 and operation information from the operation information acquisition unit 253 . Based on the operation information and the metadata, the captured image selection unit 254 selects captured images to be used for production of the produced moving image from captured images, and supplies the selected captured images to the editing unit 255 .
  • the operation information includes information indicating the temporal length of the produced video set on the setting screen.
  • the metadata includes camera metadata added to the image captured by the camera 10 when the image was captured. More specifically, the metadata includes shot marks attached to the captured image according to user's operation. Although the details will be described later, the captured image selection unit 254 can select captured images to be used for producing the produced moving image based on the temporal length of the produced moving image and shot marks.
  • the editing unit 255 uses the selected captured image supplied from the captured image selection unit 254 to perform automatic editing processing including processing such as automatic trimming and automatic quality correction, thereby producing a produced moving image. Although the details will be described later, in the automatic quality correction, correction processing such as brightness correction and color correction can be performed. Further, when the editing information set on the editing screen is supplied as the operation information from the operation information acquiring unit 253, the editing unit 255 can perform automatic editing processing using the editing information. For example, the produced animation is distributed to the terminal device 30 via the network 40 or shared on the network 40 .
  • FIG. 14 is a diagram showing a first example of a setting screen used before shooting.
  • the setting screen is displayed on the display unit 331 of the terminal device 30 .
  • the aspect ratio, the length of time (approximate time), and the number of clips (the number of captured images) are set as the production conditions 611A when the cloud server 20 produces the production video. be able to.
  • (frames of) a storyboard relating to the production moving image is generated.
  • a setting screen 612 is used to set a template.
  • the template can be edited according to the storyboard.
  • the setting screen 612 includes a playback area 612A for playing back a sample video, a setting area 612B for setting the music used in the produced video, the brightness and color of the produced video, and a switch button 612C operated when switching templates. , and a save button 612D that is operated when saving the template is displayed.
  • the switch button 612C When the switch button 612C is pressed, the screen transitions from the setting screen 612 to the selection screen 613. On the selection screen 613, by selecting a desired template from the existing template group 613A and pressing an OK button 613B, the template to be used can be switched.
  • the save button 612D When the save button 612D is pressed, the contents of the template displayed on the setting screen 612 are saved.
  • the setting screen 612 also includes a setting area 612E for setting a character insertion scale for each captured image (clip), switching information 612F indicating a switching effect between captured images (between clips), and content when a template is applied.
  • a preview button 612G operated to confirm the template and an OK button 612H operated to determine the template are displayed.
  • the OK button 612H When the OK button 612H is pressed, the content of the template displayed on the setting screen 612 is set and used when producing a movie. After performing such a setting operation, the user starts shooting with the camera 10, so that the shot image obtained by the shooting is processed in accordance with the template, and a production moving image is produced. In this way, simply by setting the template in advance by the user, the photographed image and the production of the moving image are associated with each other, so that the work of producing the moving image can be facilitated.
  • manual editing can be performed as appropriate according to user operations.
  • the editing screen shown in FIG. 15 can be used.
  • the edit screen is displayed on the display unit 331 of the terminal device 30.
  • the first area 615A displays the captured image (clip) selected for the storyboard when setting the template.
  • a shot mark is added to the captured image of the target, information indicating the shot mark may be superimposed.
  • the captured image (clip) displayed in the first area 615A has already been subjected to correction processing such as camera shake and sound processing.
  • the captured images (clips) displayed in time series in the second area 615B have already been subjected to correction processing so that the brightness and colors are uniform.
  • a setting screen such as that shown in FIG. 16 may be used to set the estimated time and template for the produced moving image.
  • FIG. 16 is a diagram showing a second example of a setting screen used when producing a moving image.
  • the setting screen in FIG. 16 will be described with reference to the tables in FIGS. 17 to 19 as appropriate.
  • the setting screen 621 includes a title designation section 621A for designating the title of the project, etc., an aspect ratio designation section 621B for designating the aspect ratio of the production video, and an approximate time designation section 621C for designating the time of the production video. including.
  • the setting screen 621 also includes a template selection portion 621D for selecting a desired template, a template display portion 621E for displaying the selected template, and a creation button 621F for instructing creation of a project.
  • the title of the produced video or project, memos regarding the produced video or project, etc. are input according to the user's operation.
  • the aspect ratio of the production video is specified in the aspect ratio specifying section 621B according to the user's operation. For example, as shown in FIG. 17, with 16:9 as the initial value, aspect ratios such as 1:1 and 9:16 can be selected.
  • smartphones and tablet terminals are used as devices for watching videos, and videos are displayed and viewed as part of the UI of SNS (Social Networking Service) and websites. things are increasing. Therefore, the user can change the aspect ratio of the created moving image according to the environment in which the user wants to distribute the generated moving image.
  • SNS Social Networking Service
  • the length of time of the produced moving image is designated in seconds according to the user's operation. For example, as shown in FIG. 18, with 60 seconds as the initial value, it is possible to select a reference time such as 6 seconds, 15 seconds, 30 seconds, or 90 seconds. It does not matter if you do not set a target time.
  • Information about one or more templates is displayed in the template selection section 621D, and one template can be selected using radio buttons or the like.
  • the user can easily change the atmosphere of the moving image to his/her favorite one by simply selecting one desired template from the templates displayed in the template selection portion 621D.
  • one of templates 1 to 8 can be selected with "no template" as the initial value, and the name and other setting information have been registered for each settable template.
  • information such as video cut times, color shades, cut switching transitions, background music, subtitle superimposed positions, character sizes, and fonts are registered.
  • a template selected in the template selection section 621D is preview-reproduced in the template display section 621E.
  • the user is allowed to intuitively recognize the image of the produced moving image (completed moving image) by viewing the completed sample moving image when the specified template is applied to the moving image.
  • editable parts are sorted out by, for example, making it impossible to edit parts that give priority to the user's editing work, such as cutting time. be able to.
  • the create button 621F is a button for instructing project entry.
  • a project for creating a produced moving image according to the settings is registered.
  • the close button 621G is pressed, the setting screen 621 is closed and the calling screen is displayed.
  • FIG. 20 is a diagram showing a second example of an editing screen used when editing moving images.
  • the editing screen 711 includes a first area 711A for accepting user operations, a second area 711B for previewing and playing back a moving image, a third area 711C for making settings related to editing, and a fourth area for making timeline edits and transition settings. 711D.
  • the edit screen 711 also includes a fifth area 711E and a sixth area 711F for performing an edit operation on a target captured image, and a seventh area 711G for displaying a list of uploaded captured images.
  • the first area 711A is an area in which buttons and the like for accepting user operations for instructing the execution of production, correction, writing, etc. of a produced moving image are arranged. For example, when it is desired to re-align the brightness, color tone, volume difference of speech sounds, etc. by replacing the photographed images used in the production moving image, those functions are executed by pressing the automatic creation button by the user's operation. Note that the function corresponding to the operation may be executed not at the timing when the automatic creation button is pressed, but at the moment when the operation is performed by the user. To output the produced moving image, the export button is pressed.
  • the second area 711B is an area where preview reproduction of timeline editing performed in the fourth area 711D is performed.
  • the third area 711C is an area for making edit settings for the entire produced moving image. For example, in the third area 711C, it is possible to change the brightness and color of the entire production moving image, or change the BGM. Also, in the third area 711C, the aspect ratio of the produced moving image and the temporal length of the produced moving image (approximate time) can be changed.
  • the fourth area 711D is an area for performing cut replacement in timeline editing, transition settings, and the like. For example, even after executing automatic editing by pressing the automatic creation button, the user can use the fourth area 711D to add or delete photographed images to be put in the timeline, change the order, or perform switching. You can change the transition effect.
  • the fifth area 711E and the sixth area 711F are areas for performing editing operations on the target captured image.
  • the sixth area 711F if the photographed image is a moving image, the start and end time of the time to extract from the one moving image is changed, or if the photographed image is a still image, the one still image is displayed. You can change the length of time to
  • the seventh area 711G is an area where a list of shot images uploaded to the project or registered shot images is displayed.
  • the user can register captured images such as moving images and still images, and files such as sounds (sounds) in the project.
  • Figures 21 and 22 are diagrams showing examples of the file management screen.
  • a thumbnail image is displayed for each captured image such as moving images and still images.
  • a selection area 722A of the file management screen 722 in FIG. 22 displays a list of captured images such as moving images and still images.
  • Such thumbnail display and list display can be switched by operating the switch button 721B or the switch button 722B.
  • the user can use the file management screen 721 or the file management screen 722 to select a desired captured image and press an add button 721C or an add button 722C to register it in a desired project.
  • FIG. 23 is a diagram showing an example of a project registration screen.
  • a captured image when uploaded to the cloud server 20, it can be registered in the project at the same time. At this time, the captured image may be registered in the project using the project registration screen 731 . Alternatively, captured images that have been uploaded in advance may be registered in the project using the project registration screen 731 .
  • the captured images registered in the project are displayed in the list of the seventh area 711G on the edit screen 711.
  • the seventh area 711G when the captured image registered in the project is a moving image, it corresponds to the time when there is a fixed interval such as the 0th second, the 5th second, and the 10th second in the moving image.
  • An image frame is displayed. This allows the user to recognize the overall image of the moving images registered in the project.
  • a screen for registering sound files is not exemplified, a UI for selecting a sound file is provided separately from the file management screen for photographed images shown in FIGS. can be registered in the project.
  • the user can then create a production video by pressing the automatic creation button in the first area 711A.
  • the automatic creation button By the way, when photographing with the camera 10, it is common for the user to repeatedly photograph a certain subject twice or three times, rather than once.
  • the feature amount of the captured image is extracted using AI technology, and the time information when the captured image is taken is taken into account.
  • the captured images grouped in this manner can be displayed in the seventh area 711G.
  • FIG. 24 is a diagram showing a display example of the seventh area 711G when the automatic creation button is pressed.
  • each group is expressed as a scene, and after the captured image group (moving image group) of Scene1, the captured image group for each scene such as Scene2, Scene3, . . . is displayed.
  • the images taken before the production of the video are not classified, but when the automatic creation button is pressed and the production of the production video is executed, in the basic usage, they are all classified into some scene starting from Scene 1.
  • captured images uploaded after production of a produced moving image are first unclassified, and scene classification is performed when moving image production is executed again.
  • the captured image is a moving image
  • the user can refer to the editing results displayed in the fourth area 711D to, for example, change to a preferred moving image or still image, change the display time or transition, superimpose subtitles or still images, add background music, etc.
  • video editing work such as changing , changing brightness and color.
  • a timeline what is displayed in the fourth area 711D and manages the overall flow in chronological order.
  • a method for determining moving images and still images in the timeline, their display times, transitions, etc. will be described later with reference to the flowchart of FIG. 26 .
  • FIG. 25 is a diagram showing a third example of a setting screen used when outputting a moving image.
  • the setting screen 811 in FIG. 25 can be used to change the output settings such as aspect ratio and frame rate.
  • the setting screen 811 includes an output file name designation section 811A for designating the file name of the produced moving image to be output, an aspect ratio designation section 811B for designating the aspect ratio of the produced moving image, and a frame rate for setting the produced moving image. and a frame rate specifying section 811C.
  • the setting screen 811 also includes a format specifying section 811D for setting the format of the produced moving image and a resolution specifying section 811E for setting the resolution of the produced moving image.
  • the reproduction operation unit 811G is configured by a seek bar and the like, and can operate the reproduction position of the produced moving image (completed moving image) preview-reproduced on the moving image display unit 811F.
  • the cancel button 811H is a button for instructing cancellation of production of the produced video (completed video).
  • the output start button 811I is a button for instructing execution of production of a produced moving image (completed moving image).
  • step S211 the captured image acquisition unit 251 acquires a captured image uploaded via the network 40 from a device such as the camera 10 or the terminal device 30.
  • step S212 the processing unit 200 uses a learned model (for example, DNN) learned by machine learning to extract the feature amount of the captured image.
  • a learned model for example, DNN
  • a feature vector can be extracted as the feature amount of the captured image.
  • feature values are always extracted when a moving image is uploaded as a photographed image, but feature values are extracted arbitrarily when a still image is uploaded. You can change the presence or absence of extraction of The feature amount of the captured image can be held as a feature grouping (feature_grouping) with the same content ID (content_id) as the captured image.
  • step S213 the processing unit 200 determines whether or not the automatic creation button in the first area 711A in the editing screen 711 of FIG. judge. If it is determined in step S213 that the automatic creation button has been pressed, the process proceeds to step S214.
  • step S214 the processing unit 200 determines whether to perform automatic selection. If it is determined in step S214 that automatic selection is to be performed, the process proceeds to step S215.
  • step S215 the photographed image selection unit 254 groups the photographed images based on the extracted feature amount of the photographed images and the photographing time.
  • step S216 the captured image selection unit 254 automatically determines the captured image to be used for the timeline displayed in the fourth area 711D of the edit screen 711 based on the group information. In this automatic determination, a shot mark added to the captured image can be used.
  • step S216 ends, the process proceeds to step S217. If it is determined in step S214 that automatic selection is not to be performed, steps S215 and S216 are skipped and the process proceeds to step S217.
  • step S217 the processing unit 200 determines whether to perform automatic brightness correction. If it is determined in step S217 to perform automatic brightness correction, the process proceeds to step S218.
  • step S218, the editing unit 255 uses the first captured image on the timeline displayed in the fourth area 711D of the editing screen 711 as a brightness reference, and adjusts the brightness of the second and subsequent captured images on the timeline.
  • brightness is corrected so as to be approximately the same as the brightness of the first captured image.
  • the brightness correction method shown here is an example, and other brightness correction methods may be applied.
  • step S218 ends, the process proceeds to step S219. If it is determined in step S217 that automatic brightness correction is not to be performed, step S218 is skipped and the process proceeds to step S219.
  • step S219 the processing unit 200 displays the processing results of steps S214 to S218 on the editing screen 711. For example, when automatic selection is performed (“Yes” in S214, S215, S216), group information and timeline information are displayed in the fourth area 711D of the edit screen 711 as a processing result. Also, if automatic brightness correction has been performed (“Yes” in S217, S218), the brightness correction result is displayed in the fourth area 711D of the edit screen 711 as the processing result.
  • step S219 ends, the series of processes ends.
  • Automatic selection is performed in steps S215 and S216 of FIG. 26, but the following processing may be performed, for example. That is, first, when grouping the captured images, if the time of the first cut and the time of the second cut, and the time of the complete package of the produced video are set, the following formulas (1) to (2) ), and equation (3) is derived from equation (2). By requesting grouping according to the number of groups obtained from equation (3), it is possible to group the captured images.
  • the time of the complete package can be set as the length of time of the produced moving image on a setting screen such as the setting screen 611 in FIG. 14 or the setting screen 621 in FIG. For example, in the setting screen 621 of FIG. 16, it can be set by the reference time specifying section 621C.
  • the captured images are selected from each group. For example, as shown in FIG. 27, one photographed image can be selected from each of groups 1 to 5.
  • shot images with shot marks are selected within the same group. For example, if there are one or more moving pictures with shot marks in the group, the moving pictures with the latest dates and times are selected from among the moving pictures. If there is no photographed image with a shot mark attached, a photographed image having a new photographing date and time is selected.
  • the cutout time is selected so that the target time, such as 3 seconds or 4 seconds, is centered on the time of the shot mark.
  • the target time such as 3 seconds or 4 seconds
  • the target cut time is 3 seconds, but if the video time is 2 seconds, the 2-second full length will be used. Accordingly, even if the total target time changes, the user does not mind. Even if it is a 0.1 second video, for the time being, 0.1 second video will be used.
  • a video without a shot mark can be cut out centering on the time in the middle of the video.
  • a 5-second video can be cut at 2.5 seconds
  • an 8-second video can be cut at 4 seconds.
  • there is no concept of time so it is possible to decide, for example, to continue displaying for 3 seconds according to the cut.
  • the shot images are grouped based on the time length of the production video (time of the complete package), and the shot images used for the production video are selected from among the grouped shot images based on the metadata (shot marks). is selected.
  • shot marks are used as metadata, but other parameters (for example, camera parameters) may be used.
  • the video cut is 4 seconds long and the transition to connect the cuts is 1 second long
  • a in FIG. 3 seconds is the normal display period
  • 3 to 4 seconds is also the transition period.
  • B of FIG. 28 the number of transition seconds, which is 1 second, is not added to a 4-second moving image cut.
  • step S218 of FIG. 26 brightness correction is performed as automatic quality correction, but for example, the following processing may be performed. That is, when automatic selection is requested, the photographed image selected during automatic selection can be made the recommended value acquisition target for brightness correction.
  • the captured image is a moving image
  • it is necessary to specify which image frame to use but if the image is a moving image with shot marks, the image frame at the latest time among the shot mark times is specified. can be used. Also, when the moving image is not given a shot mark, an image frame in the middle of the time of the moving image (for example, an image frame of 2 seconds for a 4-second moving image) can be used. If the captured image is a still image, it is one image frame, so there is no need to specify the time.
  • the captured image is a video when automatic selection is not requested, for example, image frames at an intermediate time between the clipping start time and the clipping end time set on the UI such as the setting screen are displayed. can be used. If the captured image is a still image, there is no need to specify the time.
  • step S218 of FIG. 26 brightness correction was exemplified as the correction processing of the captured image, but other correction processing such as hue correction may be performed. Furthermore, processing for reducing noise such as wind noise and processing for equalizing the volume of speech in each moving image may be added. Alternatively, camera shake correction or the like may be added. For example, when camera shake correction is set to ON on a setting screen or the like, camera shake correction is performed for all moving images.
  • step S211 of FIG. 26 as a method of uploading a photographed image file, the user performs an operation such as pressing a button or dragging and dropping from the UI of the web browser on the terminal device 30 to upload the photographed image file via the network 40, as described above.
  • a method of uploading files to the cloud server 20 can be used.
  • a method may be used in which captured images captured by the camera 10 are automatically uploaded to the cloud server 20 via the network 40.
  • a list of captured images in the camera 10 may be displayed on the web browser so that the user can select a desired captured image.
  • the camera 10 uses proxy recording, that is, the function of simultaneously recording a main image (high-resolution captured image) and a proxy image (low-resolution captured image)
  • the proxy image is first sent to the cloud server 20.
  • Uploading and automatic editing can be performed, and the main picture can be uploaded to the cloud server 20 by the time a production moving image (completed moving image) is actually created. Thereby, the time required for communication can be reduced.
  • users can achieve high-quality video production through automatic correction using camera metadata, even without shooting technology or special equipment.
  • the configuration of moving images such as advertisements can be easily created using a template or inserted into a template that utilizes camera metadata.
  • a selection function can provide support for clip sorting and scene selection.
  • a user can automatically produce a production moving image such as an advertisement by simply photographing a desired subject at the end of photographing.
  • the processing performed in the above editing processing is an example, and for example, basic editing functions such as undo/redo functions and speed changes such as slow and speedup may be added.
  • Undo means to cancel the contents of the immediately preceding process and return to the state before the process.
  • Redo means redoing the process canceled by undo to the original state. Effects such as pan, tilt and zoom may also be added during automatic selection of videos and creation of timelines. Also, a function of automatically converting voice utterances into text may be added.
  • the processing unit 200 of the cloud server 20 executes processing such as editing processing, but the processing may be executed by a device other than the cloud server 20.
  • the processing unit of the terminal device 30 may have functions corresponding to the processing unit 200 to execute all or part of processing such as editing processing.
  • the screens (setting screen, editing screen, etc.) from the cloud server 20 are web pages, which are provided to the terminal device 30 via the network 40, and those screens are displayed as the UI of the web browser.
  • the UI on the terminal side is not limited to this.
  • dedicated software including so-called native applications
  • Programs executed by computers can be provided by being recorded on removable recording media such as package media, for example. Also, the program can be provided via wired or wireless transmission media such as LAN, Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit via the input/output I/F by loading the removable recording medium into the drive. Also, the program can be received by the communication unit and installed in the storage unit via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM or storage unit.
  • processing performed by the computer according to the program does not necessarily have to be performed in chronological order according to the order described as the flowchart.
  • processing performed by a computer according to a program includes processing that is executed in parallel or individually (for example, parallel processing or processing by objects).
  • the program may be processed by one computer (processor), or may be processed by a plurality of computers in a distributed manner. Furthermore, the program may be transferred to and executed on a remote computer.
  • the term “automatic” means that a device such as the cloud server 20 performs processing without the user’s direct operation
  • the term “manual” means that the user directly It means that processing is performed through a similar operation.
  • the effects described in this specification are merely examples and are not limited, and other effects may be provided.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate enclosures and connected via a network, and a single device housing a plurality of modules within a single enclosure, are both systems.
  • the present disclosure can be configured as follows.
  • An image processing apparatus comprising a processing unit that creates the moving image using the selected captured image.
  • the metadata includes camera metadata added by a camera that captured the captured image.
  • the metadata includes a shot mark attached to the captured image according to a user's operation.
  • the processing unit is grouping the acquired captured images based on the temporal length of the moving image;
  • the image processing device according to (3), wherein a photographed image used for producing the moving image is selected from the grouped photographed images based on the shot mark.
  • the image processing apparatus according to any one of (1) to (4), wherein the temporal length of the moving image is set on the setting screen in accordance with a user's operation before producing the moving image.
  • the image processing device according to any one of (1) to (4), wherein the temporal length of the moving image is set on the setting screen in accordance with a user's operation before capturing the captured image. .
  • the image processing device according to any one of (1) to (6), wherein the temporal length of the moving image can be changed on an edit screen for editing the moving image.
  • the setting screen further sets the number of the captured images used in the production of the moving image,
  • the processing unit selects the captured image based on the set temporal length of the moving image, the number of captured images, and the metadata.
  • the aspect ratio is further set by the setting screen, The image processing device according to any one of (1) to (8), wherein the processing unit creates the moving image according to the set aspect ratio.
  • the captured image captured by a camera operated by a user and configured as a server for processing the captured image received via a network The image processing apparatus according to any one of (1) to (10), wherein the produced moving image is transmitted to a terminal device operated by a user via a network.
  • (12) The image processing device according to (11), wherein the setting screen is displayed on the terminal device and operated by the user.
  • the image processing device Acquire the captured image with metadata attached, Selecting a photographed image to be used for producing the moving image from the obtained photographed images based on the time length of the moving image to be produced set on the setting screen and the metadata, An image processing method for producing the moving image using the selected photographed image.
  • the computer Acquire the captured image with metadata attached, Selecting a photographed image to be used for producing the moving image from the obtained photographed images based on the time length of the moving image to be produced set on the setting screen and the metadata, A program that functions as a processing unit that creates the moving image using the selected captured image.
  • Video production system 10 camera, 20 cloud server, 30 terminal device, 40-1, 40-2, 40 network, 200 processing unit, 211 CPU, 251 captured image acquisition unit, 252 metadata extraction unit, 253 operation information acquisition part, 254 photographed image selection part, 255 editorial part

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、ユーザにとって満足度の高い動画制作サービスを提供することができるようにする画像処理装置、画像処理方法、及びプログラム。 メタデータが付加された撮影画像を取得し、設定画面で設定された制作する動画の時間的な長さ、及びメタデータに基づいて、取得した撮影画像の中から、動画の制作に用いる撮影画像を選択し、選択した撮影画像を用いて、動画を制作する処理部を備える画像処理装置が提供される。本開示は、例えば、インターネットを介してサービスを提供するクラウドサーバに適用することができる。

Description

画像処理装置、画像処理方法、及びプログラム
　本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、ユーザにとって満足度の高い動画制作サービスを提供することができるようにした画像処理装置、画像処理方法、及びプログラムに関する。
　ユーザが撮影した静止画や動画等の撮影画像を自動で編集する機能を有するプログラムが提供されている。例えば、特許文献１には、動画を自動で編集するプログラムとして、テンプレートを指定するものが開示されている。
特開2009-55152号公報
　撮影画像を編集して動画を制作する動画制作サービスを提供するに際しては、ユーザが満足するようなサービスを提供することが求められる。特に、動画編集を習熟していないユーザは、動画編集機能を使いこなすことができず、満足する動画を作ることができなかった。
　本開示はこのような状況に鑑みてなされたものであり、ユーザにとって満足度の高い動画制作サービスを提供することができるようにするものである。
　本開示の一側面の画像処理装置は、メタデータが付加された撮影画像を取得し、設定画面で設定された制作する動画の時間的な長さ、及び前記メタデータに基づいて、取得した前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択し、選択した前記撮影画像を用いて、前記動画を制作する処理部を備える画像処理装置である。
　本開示の一側面の画像処理方法は、画像処理装置が、メタデータが付加された撮影画像を取得し、設定画面で設定された制作する動画の時間的な長さ、及び前記メタデータに基づいて、取得した前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択し、選択した前記撮影画像を用いて、前記動画を制作する画像処理方法である。
　本開示の一側面のプログラムは、コンピュータを、メタデータが付加された撮影画像を取得し、設定画面で設定された制作する動画の時間的な長さ、及び前記メタデータに基づいて、取得した前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択し、選択した前記撮影画像を用いて、前記動画を制作する処理部として機能させるプログラムである。
　本開示の一側面の画像処理装置、画像処理方法、及びプログラムにおいては、メタデータが付加された撮影画像が取得され、設定画面で設定された制作する動画の時間的な長さ、及び前記メタデータに基づいて、取得した前記撮影画像の中から、前記動画の制作に用いる撮影画像が選択され、選択された前記撮影画像を用いて、前記動画が制作される。
　なお、本開示の一側面の画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本開示を適用した動画制作システムの一実施の形態の構成例を示す図である。 カメラの構成例を示すブロック図である。 クラウドサーバの構成例を示すブロック図である。 端末装置の構成例を示すブロック図である。 カメラからクラウドサーバへの撮影画像のアップロード方法を示す図である。 プロキシ画と本画のアップロード方法を示す図である。 撮影画像ファイルのアップロードのシーケンスの第１の例を示す図である。 撮影画像ファイルのアップロードのシーケンスの第２の例を示す図である。 動画制作サービスの全体の流れを説明するフローチャートである。 編集処理の詳細を説明するフローチャートである。 ショットマークの提示例を示す図である。 カメラの動き情報の提示例を示す図である。 動画制作システム１における処理部の機能的な構成例を示すブロック図である。 設定画面の第１の例を示す図である。 編集画面の第１の例を示す図である。 設定画面の第２の例を示す図である。 アスペクト比の例を示す図である。 目安時間の例を示す図である。 テンプレートの例を示す図である。 編集画面の第２の例を示す図である。 ファイル管理画面の第１の例を示す図である。 ファイル管理画面の第２の例を示す図である。 プロジェクト登録画面の例を示す図である。 第７領域の表示例を示す図である。 設定画面の第３の例を示す図である。 撮影画像選択処理と自動編集処理の流れを説明するフローチャートである。 グループごとの撮影画像の選択の例を示す図である。 トランジション期間の例を示す図である。
＜システム構成＞
　図１は、本開示を適用した動画制作システムの一実施の形態の構成例を示す図である。
　図１の動画制作システム１は、ユーザが撮影した撮影画像から動画を制作するシステムである。動画制作システム１は、カメラ１０、クラウドサーバ２０、及び端末装置３０から構成される。
　カメラ１０は、動画と静止画を撮影可能なデジタルカメラである。カメラ１０は、デジタルカメラに限らず、スマートフォンやタブレット型端末などの撮影機能を有する機器であってもよい。カメラ１０は、ユーザの操作に従い、被写体像を撮影し、その結果得られる撮影画像を記録する。
　撮影画像は、動画と静止画等のコンテンツを含む。以下の説明では、撮影画像としての動画と、動画制作サービスにより自動制作される動画とを区別する必要がある場合、後者を制作動画と呼ぶ。
　カメラ１０により撮影された撮影画像は、クラウドサーバ２０に送信される。カメラ１０は、ネットワーク４０－１を介して、撮影画像をクラウドサーバ２０に送信することができる。あるいは、フラッシュメモリ等のメモリカードや、無線LAN(Local Area Network)等の無線通信、USB(Universal Serial Bus)等の規格に準拠した有線通信などを利用して、カメラ１０から端末装置３０に撮影画像を転送することで、端末装置３０が、ネットワーク４０－２を介して、撮影画像をクラウドサーバ２０に送信してもよい。
　ネットワーク４０－１とネットワーク４０－２は、インターネットや携帯電話網などの通信回線を含む。ネットワーク４０－１とネットワーク４０－２は、同一のネットワークであってもよいし、異なるネットワークであってもよい。以下、ネットワーク４０－１とネットワーク４０－２を区別する必要がない場合、ネットワーク４０と呼ぶ。
　クラウドサーバ２０は、ネットワーク４０を通じて、撮影画像から制作動画を自動制作する動画制作サービスを提供するサーバである。クラウドサーバ２０は、本開示を適用した画像処理装置の一例である。クラウドサーバ２０は、カメラ１０により撮影された撮影画像を、ネットワーク４０を介して受信する。クラウドサーバ２０は、撮影画像に対する編集等の処理を行うことで制作動画を制作し、ネットワーク４０を介して端末装置３０に送信する。また、クラウドサーバ２０は、設定画面や編集画面などの画面(例えばWebページ)を生成し、ネットワーク４０を介して端末装置３０に送信する。
　端末装置３０は、PC(Personal Computer)、タブレット型端末、スマートフォンなどの機器である。端末装置３０は、クラウドサーバ２０からの設定画面や編集画面などの画面(例えばWebブラウザのUI(User Interface))を表示し、それらの画面に対するユーザの操作に従い、動画制作サービスに関する設定や制作動画の編集などの処理を行う。端末装置３０は、ネットワーク４０を介してクラウドサーバ２０から送信されてくる制作動画を受信する。端末装置３０は、制作動画を端末内に記録したり、外部に出力したりする。
＜カメラの構成例＞
　図２は、図１のカメラ１０の構成例を示すブロック図である。
　図２に示すように、カメラ１０は、レンズ系１１１、撮像部１１２、カメラ信号処理部１１３、記録制御部１１４、表示部１１５、通信部１１６、操作部１１７、カメラ制御部１１８、メモリ部１１９、ドライバ部１２０、センサ部１２１、音入力部１２２、及び音処理部１２３から構成される。
　レンズ系１１１は、被写体からの入射光(像光)を取り込んで、撮像部１１２に入射させる。撮像部１１２は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子を有し、レンズ系１１１によって固体撮像素子の撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
　カメラ信号処理部１１３は、DSP(Digital Signal Processor)や、画像データを一時的に記録するフレームメモリ等から構成される。カメラ信号処理部１１３は、撮像部１１２から出力される画像信号に対し、各種の信号処理を行い、その結果得られる撮影画像の画像データを出力する。このように、レンズ系１１１と、撮像部１１２と、カメラ信号処理部１１３とから撮像系が構成される。
　記録制御部１１４は、撮像系で撮像された撮影画像の画像データを、フラッシュメモリ等のメモリカードを含む記憶媒体に記録する。表示部１１５は、液晶ディスプレイや有機ELディスプレイ等から構成され、撮像系で撮像された撮影画像を表示する。
　通信部１１６は、無線LANやセルラー方式の通信（例えば5G(5th Generation)）を含む無線通信などの所定の通信方式に対応した通信モジュール等から構成され、撮像系で撮像された撮影画像の画像データを、ネットワークを介して他の機器に送信する。操作部１１７は、物理的なボタンやタッチパネルなどの操作系からなり、ユーザによる操作に応じて、カメラ１０が有する様々な機能についての操作指令を発する。
　カメラ制御部１１８は、CPU(Central Processing Unit)やマイクロプロセッサ等のプロセッサから構成され、カメラ１０の各部の動作を制御する。メモリ部１１９は、カメラ制御部１１８からの制御に従い、各種のデータを記録する。ドライバ部１２０は、カメラ制御部１１８からの制御に従い、オートフォーカスやズーム等を実現するためにレンズ系１１１を駆動する。
　センサ部１２１は、空間情報や時間情報等のセンシングを行い、そのセンシングの結果得られるセンサ信号を出力する。例えば、センサ部１２１は、ジャイロセンサや加速度センサ等の各種のセンサを含んで構成される。
　音入力部１２２は、マイク等から構成され、ユーザの声(音声)や環境音などの音を検出し、その結果得られる音信号を出力する。音処理部１２３は、音入力部１２２から出力される音信号に対し、音信号処理を行う。音処理部１２３からの音信号は、カメラ信号処理部１１３に入力され、カメラ制御部１１８からの制御に従って画像信号と同期して処理されることで、動画の音(音声)として記録される。
　以上のように構成されるカメラ１０においては、撮影された動画や静止画を含む撮影画像に対し、様々なメタデータ(カメラメタデータ)を付与することができる。例えば、撮像部１１２では、固体撮像素子の画素領域に像面位相差画素が配置される場合、像面位相差画素で得られた情報をメタデータ(像面位相差画素情報メタ)として付与することができる。
　カメラ制御部１１８とドライバ部１２０によるオートフォーカスに関する情報を、メタデータ(フォーカスメタ)として付与してもよい。センサ部１２１では、ジャイロセンサ等のセンサから得られる情報をメタデータ(ジャイロメタ等)として付与することができる。音処理部１２３では、音信号を入力するデバイス(カメラ内蔵マイク等)に関する情報等をメタデータとして付与することができる。
　カメラ１０においては、撮影された動画や静止画を含む撮影画像に対し、ユーザによる操作部１１７の操作に応じたショットマークが付与されてもよい。例えば、撮影時において、ユーザが撮影中の撮影画像を、特定の用途(広告の動画等)に使用する撮影画像にしたいと考えたとき、ボタンやタッチパネルのUI等の操作系を含む操作部１１７を操作することで、対象の撮影画像に対し、ショットマークが付与されるようにする。ショットマークは、ユーザが所望のタイミングで付与する「しるし」であり、撮影画像に付与されたメタデータであるとも言える。
　像面位相差画素、オートフォーカス、センサ、及び音入力デバイスに関する情報、並びにショットマークは、カメラ１０により付与されるメタデータの一例であり、カメラ１０の内部で処理された情報であれば、他の情報をメタデータとして付与しても構わない。
＜クラウドサーバの構成例＞
　図３は、図１のクラウドサーバ２０の構成例を示すブロック図である。
　図３に示すように、クラウドサーバ２０において、CPU２１１と、ROM(Read Only Memory)２１２と、RAM(Random Access Memory)２１３は、バス２１４により相互に接続される。バス２１４には、さらに入出力I/F２１５が接続される。入出力I/F２１５には、入力部２１６、出力部２１７、記憶部２１８、及び通信部２１９が接続される。
　入力部２１６は、各種の入力信号を、入出力I/F２１５を介してCPU２１１を含む各部に供給する。例えば、入力部２１６は、キーボード、マウス、マイクなどから構成される。
　出力部２１７は、入出力I/F２１５を介してCPU２１１からの制御に従い、各種の情報を出力する。例えば、出力部２１７は、ディスプレイ、スピーカなどから構成される。
　記憶部２１８は、半導体メモリ、HDD(Hard Disk Drive)等の補助記憶装置として構成される。記憶部２１８は、CPU２１１からの制御に従い、各種のデータやプログラムを記録する。CPU２１１は、記憶部２１８から各種のデータを読み出して処理したり、プログラムを実行したりする。
　通信部２１９は、無線LANやセルラー方式の通信(例えば5G)などの無線通信、又は有線通信に対応した通信モジュールなどから構成される。通信部２１９は、CPU２１１からの制御に従い、ネットワーク４０を介して、カメラ１０及び端末装置３０を含む他の機器と通信を行う。
　なお、図３に示したクラウドサーバ２０の構成は一例であり、例えばGPU(Graphics Processing Unit)等の専用のプロセッサを設けて、画像処理が行われるようにしてもよい。
＜端末装置の構成例＞
　図４は、図１の端末装置３０の構成例を示すブロック図である。
　図４に示すように、端末装置３０において、CPU３１１と、ROM３１２と、RAM３１３は、バス３１４により相互に接続される。バス３１４には、さらに入出力I/F３１５が接続される。入出力I/F３１５には、入力部３１６、出力部３１７、記憶部３１８、及び通信部３１９が接続される。
　入力部３１６は、各種の入力信号を、入出力I/F３１５を介してCPU３１１を含む各部に供給する。例えば、入力部３１６は、操作部３２１を有する。操作部３２１は、キーボード、マウス、マイク、物理的なボタン、タッチパネル等から構成される。操作部３２１は、ユーザによって操作され、その操作に対応する操作信号をCPU３１１に供給する。
　出力部３１７は、入出力I/F３１５を介してCPU３１１からの制御に従い、各種の情報を出力する。例えば、出力部３１７は、表示部３３１、及び音出力部３３２を有する。
　表示部３３１、液晶ディスプレイや有機ELディスプレイなどから構成される。表示部３３１は、CPU３１１からの制御に従い、撮影画像や編集画面等を表示する。音出力部３３２は、スピーカや出力端子に接続されるヘッドホンなどから構成される。音出力部３３２は、CPU３１１からの制御に従い、音信号に応じた音を出力する。
　記憶部３１８は、半導体メモリ等の補助記憶装置として構成される。記憶部３１８は、内部ストレージとして構成されてもよいし、メモリカード等の外部ストレージであってもよい。記憶部３１８は、CPU３１１からの制御に従い、各種のデータやプログラムを記録する。CPU３１１は、記憶部３１８から各種のデータを読み出して処理したり、プログラムを実行したりする。
　通信部３１９は、無線LANやセルラー方式の通信（例えば5G）などの無線通信、又は有線通信などの所定の通信方式に対応した通信モジュールなどから構成される。通信部３１９は、CPU３１１からの制御に従い、ネットワークを介して他の機器と通信を行う。
　なお、図４に示した端末装置３０の構成は一例であり、例えばGPU等の専用のプロセッサを設けて、画像処理が行われるようにしてもよい。
　以上のように構成される動画制作システム１では、カメラ１０により撮影された撮影画像がクラウドサーバ２０に引き抜かれ、それらの撮影画像と付与されたメタデータを用いた編集等の処理が行われることで制作動画が制作される。その際に、端末装置３０では、クラウドサーバ２０上の撮影画像や制作動画等に関する情報が編集画面等の画面により表示されるので、ユーザが、それらの情報を編集することができる。
　なお、図１の動画制作システム１では、説明を簡略化するために、１台のカメラ１０と１台の端末装置３０がそれぞれ設けられた構成を示したが、動画制作サービスを利用するユーザごとに、１又は複数台のカメラ１０と１又は複数台の端末装置３０が設けられる。カメラ１０と端末装置３０は、同一のユーザにより操作されてもよいし、異なるユーザにより操作されてもよい。クラウドサーバ２０は、データセンタ等に設置されるが、１台のサーバに限らず、複数台のサーバから構成されるようにして、動画制作サービスを提供してもよい。
＜撮影画像のアップロード方法＞
　動画制作システム１において、カメラ１０により撮影された撮影画像のファイルは、ネットワーク４０を介してクラウドサーバ２０にアップロードされて処理されるが、例えば、図５に示す方法によりアップロードされる。
　図５は、カメラ１０とクラウドサーバ２０を紐付けて、カメラ１０からクラウドサーバ２０に撮影画像をアップロードする方法を示す図である。図５のＡ乃至Ｆにより、カメラ１０とクラウドサーバ２０との間のやり取りを時系列に示している。カメラ１０とクラウドサーバ２０との間では、カメラ登録と、カメラ接続と、ファイルアップロードとの３段階で処理が行われる。
　まず、カメラ登録では、図５のＡに示す処理が行われる。すなわち、カメラ１０は、動画制作サービスを利用するために、ネットワーク４０を介してクラウドサーバ２０に接続し、ユーザ操作等に応じて機器登録を行う(図５のＡ)。
　次に、カメラ接続では、図５のＢ乃至Ｅに示す処理が行われる。すなわち、カメラ１０は、ユーザ操作等に応じて本体設定を行い、クラウド連携をオン状態とし、機器登録を済み状態とする(図５のＢ)。また、カメラ１０は、MQTT(Message Queuing Telemetry Transport)等の通信プロトコルを用いて、クラウドサーバ２０に対し、電源オンを通知する(図５のＣ)。
　カメラ１０からの通知を受信したクラウドサーバ２０は、MQTT等の通信プロトコルを用いて、カメラ１０に対し、WebRTC(Web Real-Time Communication)による通信に移行するためのコマンドと接続先を通知する(図５のＤ)。これにより、カメラ１０とクラウドサーバ２０との間では、WebRTCによる通信が行われ、PTP-IP(Picture Transfer Protocol over TCP/IP networks)等の画像転送プロトコルを用いたファイルアップロード先が通知される(図５のＥ)。
　次に、ファイルアップロードでは、図５のＦに示す処理が行われる。すなわち、カメラ１０は、クラウドサーバ２０からの要求をトリガにして(PULL要求として)、ネットワーク４０を介して、動画や静止画を含む撮影画像のファイルのアップロードを開始する(図５のＦ)。このとき、クラウドサーバ２０側で、本画又はプロキシ画など、カメラ１０側からアップロードされるファイルを選択することができる。
　カメラ１０は、アップロードする撮影画像に対し、メタデータを埋め込むことができる。クラウドサーバ２０は、撮影画像に埋め込まれたメタデータを用いた処理により、自動セレクションや自動トリミング、自動品質補正などが行われ、制作動画の制作(自動動画制作)が行われる。ファイルアップロードに際しては、HTTPS(Hypertext Transfer Protocol Secure)等のセキュリティを要求される通信を行うためのプロトコルを用いることで、より安全に撮影画像ファイルをアップロードすることができる。
　ここで、プロキシ画とは、本画よりも解像度の低い画像である。カメラ１０は、撮影画像を記録する際に、高解像度の撮影画像である本画と、低解像度の撮影画像であるプロキシ画とを同時に記録することができる。これにより、カメラ１０は、プロキシ画と本画を、異なるタイミングでアップロードすることができる。すなわち、撮影画像には、本画とともに、プロキシ画も含まれる。例えば、動画と静止画のそれぞれについて、本画とプロキシ画がそれぞれ記録される。
　図６は、プロキシ画と本画のアップロード方法を示す図である。図６のＡに示すように、クラウドサーバ２０が、プロキシ画をPULL要求することで、カメラ１０からプロキシ画のファイルがアップロードされる。クラウドサーバ２０は、アップロードされたプロキシ画のファイルを用いて、自動動画制作に用いる撮影画像を決定する。
　その後、図６のＢに示すように、クラウドサーバ２０が、決定した撮影画像に応じた本画をPULL要求することで、カメラ１０から本画のファイルがアップロードされる。クラウドサーバ２０は、アップロードされた本画のファイルを用いて、自動動画制作を行う。
　このように、クラウドサーバ２０は、プロキシ画のアップロードをカメラ１０に要求してプロキシ画だけを先に引き抜き、プロキシ画を用いて自動動画制作に用いる撮影画像を決めた後に、本画のアップロードをカメラ１０に要求して自動動画制作に用いる本画を後から引き抜くことができる。
　図７は、撮影画像ファイルのアップロードのシーケンスの第１の例を示す図である。
　図７に示すように、端末装置３０は、ネットワーク４０を介して、クラウドサーバ２０に対し、カメラ１０内に記録された撮影画像のリストであるカメラ内撮影画像リストを要求する(Ｓ１１)。クラウドサーバ２０は、端末装置３０からの要求に基づき、ネットワーク４０を介して、カメラ１０に対し、カメラ内撮影画像リストを要求する(Ｓ１２)。
　カメラ１０は、ネットワーク４０を介して、クラウドサーバ２０からの要求を受信し、当該要求に応じた撮影画像リストを送信(返却)する(Ｓ１３)。クラウドサーバ２０は、ネットワーク４０を介して、カメラ１０からの撮影画像リストを端末装置３０に送信(返却)する(Ｓ１４)。
　端末装置３０では、クラウドサーバ２０からの撮影画像リストから、クラウドサーバ２０による自動動画制作で使用する撮影画像が選択される。このとき、端末装置３０では、撮影画像リストを提示して、ユーザの操作に応じた所望の撮影画像を選択することができる。端末装置３０は、クラウド側使用撮影画像のプロキシ画要求リストを、ネットワーク４０を介してクラウドサーバ２０に送信する(Ｓ１５)。
　クラウドサーバ２０は、端末装置３０からのプロキシ画要求リストを、ネットワーク４０を介してカメラ１０に送信する(Ｓ１６)。カメラ１０は、ネットワーク４０を介してクラウドサーバ２０からのプロキシ画要求リストを受信し、当該リストに応じたプロキシ画をクラウドサーバ２０にアップロードする(Ｓ１７)。プロキシ画には、様々なメタデータ(カメラメタデータ)が付与されている。
　クラウドサーバ２０では、カメラ１０からアップロードされるプロキシ画のファイルが記憶部２１８に順次記録される。クラウドサーバ２０は、ネットワーク４０を介して、カメラ１０によりアップロードされたプロキシ画を端末装置３０に送信する(Ｓ１８)。
　端末装置３０では、クラウドサーバ２０からのプロキシ画に付与されたメタデータが分析され、本画のアップロードを要求する撮影画像が選択される(Ｓ１９)。このとき、端末装置３０では、プロキシ画やメタデータに関する情報を提示して、ユーザの操作に応じた所望の撮影画像を選択することができる。端末装置３０は、本画要求リストを、ネットワーク４０を介してクラウドサーバ２０に送信する(Ｓ２０)。
　クラウドサーバ２０は、端末装置３０からの本画要求リストを、ネットワーク４０を介してカメラ１０に送信する(Ｓ２１)。カメラ１０は、ネットワーク４０を介してクラウドサーバ２０からの本画要求リストを受信し、当該リストに応じた本画をクラウドサーバ２０にアップロードする(Ｓ２２)。本画としてアップロードされる撮影画像が動画である場合、１つの動画の全尺又は一部の尺であってもよい。つまり、本画として、１つの動画の全尺又は一部の尺を切り出してアップロードすることが可能である。
　クラウドサーバ２０では、カメラ１０からアップロードされる本画のファイルが記憶部２１８に順次記録される。クラウドサーバ２０は、ネットワーク４０を介して、カメラ１０によりアップロードされた本画を端末装置３０に送信する(Ｓ２３)。これにより、端末装置３０では、必要に応じてクラウドサーバ２０と連携しながら、本画を用いた編集処理等の動画制作処理が行われる(Ｓ２４)。
　なお、実際の撮影時において、カメラ１０とクラウドサーバ２０との間で、ネットワーク４０を介して次のようなやり取りが行われてもよい。
　すなわち、撮影時に、カメラ１０が、撮影中の撮影画像のメタデータをクラウドサーバ２０にアップロードすることで、撮影終了前に、クラウドサーバ２０が、メタデータに基づき、プロキシ画のアップロードをカメラ１０に要求してもよい。あるいは、撮影時に、カメラ１０が、撮影中の撮影画像のメタデータとプロキシ画をクラウドサーバ２０にアップロードすることで、撮影終了前に、クラウドサーバ２０が、メタデータとプロキシ画に基づき、本画のアップロードをカメラ１０に要求してもよい。
　以上、撮影画像ファイルのアップロードのシーケンスを示したが、他のシーケンスを用いてもよい。例えば、カメラ１０に記録された撮影画像ファイルを端末装置３０に転送することで、端末装置３０が撮影画像ファイルをクラウドサーバ２０にアップロードしてもよい。
　図８は、撮影画像ファイルのアップロードのシーケンスの第２の例を示す図である。
　図８に示すように、カメラ１０は、撮影画像を端末装置３０に転送する(Ｓ３１)。端末装置３０は、転送された撮影画像のファイルを記憶部３１８に記録する。このファイル転送では、フラッシュメモリ等のメモリカード、無線LAN等の無線通信、又はUSB等の規格に準拠した有線通信などを利用して、撮影画像のファイルを転送することができる。
　端末装置３０は、URL(Uniform Resource Locator)等のロケーション情報に従い、ネットワーク４０を介してクラウドサーバ２０により提供されるWebページにアクセスする(Ｓ３２)。クラウドサーバ２０は、端末装置３０からのアクセスに応じて、ネットワーク４０を介してファイル管理画面を送信する(Ｓ３３)。
　端末装置３０では、クラウドサーバ２０からのファイル管理画面が提示され、ユーザの操作に従い、記憶部３１８に記録された端末内の撮影画像の中から、アップロードする撮影画像のファイルが指定される(Ｓ３４)。端末装置３０は、ネットワーク４０を介して、指定された撮影画像をクラウドサーバ２０にアップロードする(Ｓ３５)。
　クラウドサーバ２０では、端末装置３０からアップロードされる撮影画像のファイルが記憶部２１８に順次記録され、撮影画像のアップロードが完了したとき、ネットワーク４０を介してアップロード完了が端末装置３０に通知される(Ｓ３６)。これにより、端末装置３０では、必要に応じてクラウドサーバ２０と連携しながら、撮影画像を用いた編集処理等の動画制作処理が行われる(Ｓ３７)。
　なお、図８のシーケンスでは、撮影画像として、本画とプロキシ画を区別せずに説明したが、上述した説明と同様に、プロキシ画、本画の順に処理することができる。
＜全体フロー＞
　図９は、動画制作システム１により提供される動画制作サービスの流れを示したフローチャートである。
　動画制作サービスの利用に際しては、カメラ１０により撮影が行われ(Ｓ１１１)、当該撮影で得られた動画や静止画などの撮影画像がクラウドサーバ２０にアップロードされて取り込まれる(Ｓ１１２)。撮影画像ファイルのアップロードは、例えば、上述した図５乃至図８に示した方法のいずれかにより行うことができる。
　撮影画像が取り込まれると、クラウドサーバ２０では、編集処理が行われる(Ｓ１１３)。編集処理では、自動編集で用いられるテンプレートの選択、撮影画像(クリップ)の自動編集と手動編集、音加工などの処理が行われる。編集処理の詳細は、図１１のフローチャートを参照して後述する。以下の説明では、クラウドサーバ２０等の機器に取り込まれた撮影画像のことを、クリップとも称する。
　クラウドサーバ２０では、編集処理によって、自動編集で得られた動画を繋ぎ合わせることで、最終的な制作動画が制作され、当該制作動画の配信や共有などが行われる(Ｓ１１４)。
　例えば、動画制作サービスでは、次のような流れで動画制作が行われる。すなわち、まず、クラウドサーバ２０は、ユーザの操作に応じて、動画制作に関する情報を管理するためのプロジェクトを作成し、カメラ１０から撮影画像の取り込み開始を指示する。
　このとき、クラウドサーバ２０は、カメラ１０で撮影された撮影画像のうち、例えばショットマークが付与されている撮影画像のみ、プロキシ画が取り込まれるように、カメラ１０に対し、プロキシ画のアップロード要求(PULL要求)を行う。これにより、クラウドサーバ２０では、カメラ１０からのプロキシ画が取り込まれる(Ｓ１１２)。
　クラウドサーバ２０は、編集処理を行い(Ｓ１１３)、取り込んだプロキシ画からプレ制作動画を制作し、ネットワーク４０を介して端末装置３０などに配信することで、ユーザに提示する。ここでの編集処理では、撮影画像が動画である場合にショットマーク付近の画像フレームの切り出しや、物体認識、音声の盛り上がり認識などの処理が行われ、これらの処理に応じたプレ制作動画が制作される。
　次に、クラウドサーバ２０は、プレ制作動画に必要な撮影画像の本画だけがさらに取り込まれるように、カメラ１０に対し、本画のアップロード要求(PULL要求)を行う。これにより、クラウドサーバ２０では、カメラ１０からの本画が取り込まれる(Ｓ１１２)。
　クラウドサーバ２０は、再度編集処理を行い(Ｓ１１３)、取り込んだ本画から最終的な制作動画(完成動画)を制作する。このようにして制作された制作動画は、ネットワーク４０を介して端末装置３０などに配信され(Ｓ１１４)、ユーザに提示される。
　ここで、図１０のフローチャートを参照して、図９のステップＳ１１３に対応した編集処理の詳細を説明する。
　編集処理では、テンプレート選択処理(Ｓ１３１)と、撮影画像選択処理(Ｓ１３２)と、自動編集処理(Ｓ１３３)と、手動編集処理(Ｓ１３４)と、音加工処理(Ｓ１３５)などの処理が行われる。
　テンプレート選択処理では、ユーザの操作に応じて、自動編集で用いられるテンプレートが選択される(Ｓ１３１)。テンプレートを利用することで、より少ない工程で、ユーザの意図を反映した制作動画を制作することが可能となる。テンプレートの詳細は、後述する。
　撮影画像選択処理では、取り込んだ撮影画像の中から、任意の撮影画像が選択(自動選択又は手動選択)される(Ｓ１３２)。例えば、撮影画像選択処理では、AI技術を用いて、同じシーンで撮影された撮影画像を認識し、同じであると認識された撮影画像をグルーピングする機能が提供される。つまり、一つのシーンに対し、複数の撮影画像が撮影される場合のセレクション機能を提供する。具体的には、取り込まれた複数の撮影画像からそれぞれ得られる画像情報と撮影時刻情報に基づき、似ている撮影画像をグルーピングすることができる。
　撮影画像のグルーピングにより得られるグループ情報を用い、例えば、同じグループからは、１カットを制作動画に使う撮影画像として選択して自動編集を行うことができ、ユーザによる手動編集の手間を削減することができる。
　このようなセレクション機能を提供することで、例えば、ユーザが良い撮影画像が撮影できるまで、同じあるいは近い被写体や構図などで繰り返して撮影したときに、同じシーンで撮影された撮影画像から、制作動画に用いる撮影画像を選択することができる。また、撮影画像の手動選択の補助として、シーンごとにグループ分けされた撮影画像を提示してもよい。これにより、ユーザは、該当する被写体や構図の撮影画像の中から、実際に制作動画に使いたい撮影画像を選択し易くなる。
　また、撮影画像選択処理では、次のような処理を行うことで、撮影画像の自動選択と選択補助を行うことができる。すなわち、撮影画像が動画である場合に、動画の撮影中に録音された音声に基づき、例えば「OK」という音声が含まれる動画クリップを優先的に抽出して選択することができる。また、ショットマークを利用して、撮影画像の自動選択又は手動選択の補助を行ってもよい。
　撮影画像の手動選択の補助として、例えば、図１１に示すように、撮影時にユーザ(撮影者)の操作に応じてショットマークが付与された撮影画像が識別可能になるようにビューワーを提示してもよい。例えば、ショットマークは、ユーザが広告に使用するとしてレコメンドした撮影画像に付与される。当該ビューワーは、端末装置３０に表示することができる。
　図１１では、同じグループにグルーピングされた撮影画像５１１－１乃至５１１－５のうち、撮影画像５１１－５にショットマーク５２１－１が付与されている。同様に、同じグループにグルーピングされた撮影画像５１２－１乃至５１２－４のうち、撮影画像５１２－４にショットマーク５２１－２が付与されている。また、同じグループにグルーピングされた撮影画像５１３－１乃至５１３－６のうち、撮影画像５１３－４，５１３－６にショットマーク５２１－３，５２１－４がそれぞれ付与されている。
　また、撮影画像の手動選択の補助として、カメラ１０の動きに関する情報(ジャイロメタ等)を用いて、ビューワー上にカメラワークを可視化してもよい。例えば、図１２に示すように、カメラ１０において、撮影時に検出した人の顔の部分に重畳される枠に関するパラメータ(顔枠パラメータ)を用い、撮影画像に含まれる顔の領域を切り出して、パンやズーム等のカメラワークを付与する画像処理を行うことができる。顔枠メタデータは、顔等の合焦している位置やサイズを含むメタデータである。
　図１２では、撮影画像５１４に含まれる顔の領域に顔枠５２２が重畳され、図中の矢印で示したカメラワーク情報５２３によって、例えば、カメラ１０がズームイン又はズームアウトしたことを示す情報や、左又は右に振られたことを示す情報などが表示される。
　撮影画像が動画である場合には、音(音声)が入っている位置に関する情報を可視化してもよい。例えば、動画の音を分析する分析処理を行い、編集画面に表示される動画のタイムライン上に、音のある期間を示すマークを表示することができる。あるいは、いわゆる音声自動文字起こし機能などを利用して、話者の台詞を基にした文字情報を表示してもよい。撮影画像に含まれる物体を認識する認識処理を行い、所望の物体が含まれる撮影画像を抽出して表示してもよい。例えば、撮影画像に対し、顔認識処理を施すことで、特定の人物(例えばＡさん)が写っている撮影画像を抽出することができる。
　自動編集処理では、撮影画像選択処理で選択された撮影画像を用いた自動編集が行われる(Ｓ１３３)。例えば、自動編集処理では、動画のインポイントとアウトポイントの自動選択を行う自動トリミングや、撮影画像(クリップ)の品質を向上させるための補正を行う自動品質補正などの処理が行われる。例えば、自動品質補正では、カメラ１０の動きに関する情報(ジャイロメタ等)を用いた手振れ除去加工処理を行い、撮影画像から手振れの影響を除去することができる。あるいは、フォーカスメタを用いた主要被写体認識によるパンやズーム等の加工処理を行ってもよい。
　撮影時において、HFR(High Frame Rate)で動画を撮影することで、撮影後の編集処理でスローモーション加工処理を行うことができる。当該加工処理では、AI技術や画像処理などを用いて画像フレームを補間しても構わない。撮影時に、撮影画像に付与されたショットマークを用いて、例えば主要なシーンの撮影画像(クリップ)を切り出す処理を行うことができる。
　あるいは、撮影時に撮影画像に付加されたメタデータや、AI技術を用いて、撮影画像に対して補正処理を行ってもよい。例えば、メタデータとしては、WB(White Balance)や明るさに関する情報を含めることができる。補正処理としては、複数の撮影画像間のWBや露出、LUT(Lookup Table)に関する補正を行うことができる。LUTは、色等を変換する際に用いられるテーブルである。
　撮影画像に対する編集処理で得られる編集情報に基づき、撮影画像の明るさや色合いを均一にするための処理を行ってもよい。すなわち、撮影画像は、撮影時の被写体や光の状況などで明るさや色合いが、それぞれで異なった状態となる。このような状態を回避するために、制作動画(完成動画)の制作に用いる撮影画像が決定した時点で、対象の撮影画像の明るさや色合いを均一に揃えるための補正処理が行われるようにする。
　これにより、ユーザが制作動画を視聴するときの違和感を軽減し、制作動画の完成度を向上させることができる。このような補正処理が自動で行われない場合に、編集の知識があるユーザであれば、これを手動で行うが、手間と時間がかかってしまう。当該補正処理により、編集の知識があるユーザは自動化により省力化することが可能となる一方で、編集の知識がないユーザであれば、今までできなかったことが可能となる。
　手動編集処理では、ユーザの操作に応じて、撮影画像選択処理で選択された撮影画像であって、自動編集で制作された制作動画に関する編集処理が行われる(Ｓ１３４)。ここでは、ユーザは、端末装置３０に表示された編集画面のUIに対する操作を行うことで、制作動画に対する編集処理を指示することができる。例えば、自動編集で制作された制作動画に対し、必要に応じて好みの動画や静止画に入れ替えたり、切り出し時間を変更したりするといった追加編集が行われる。なお、ユーザが、制作動画を編集する必要がないと判断した場合には、手動編集処理を行う必要はない。
　音加工処理では、制作動画の音の加工に関する処理が行われる(Ｓ１３５)。例えば、カメラ１０の音入力部１２２としてのカメラ内蔵マイクのデバイス特性情報を用いて、AI技術や音信号処理等による風音低減処理を行うことができる。これにより、動画の音として、風音などのノイズを除去して、人の発話音量を均一化することができる。
　風音は動画の視聴者にとっては耳障りであるが、撮影時に風音が録音されないように撮るためには、ウィンドジャマーのアクセサリを取り付ける必要があるなど、ユーザにとっては一手間必要である。また、撮影時に風音が録音されてしまうと手動で除去するには、イコライザを使うなど、専門的な編集が必要となる。音加工処理では、撮影画像の編集時に、動画から自動で風音などのノイズを除去するので、ユーザは何ら操作をすることなく、簡単にノイズを除去することができる。
　カメラ１０により動画を撮影するに際して、撮影場所によって人とマイクの距離が異なる場合や、同時に撮影している人でも人の位置によってマイクとの距離が変わり、発話の音量が変わる場合がある。このような場合において、音量を揃えるには、通常発話者別に、マイクで別チャンネルとしたり、別音声ファイルとして保存したりして、個別に音量調整するといった手間がかかる編集が必要となる。音加工処理では、複数ファイル間の発話音量の均一化、及び同一ファイルの同一音声チャンネル内でも複数発話者の音声を分離した上で、音量の均一化を自動で行うことができる。これにより、ユーザは簡単に音の聞きやすい動画を制作することができる。
　ステップＳ１３５の処理が終了すると、処理は、図９のステップＳ１１３に戻り、それ以降の処理が実行される。
　なお、図１０のフローチャートで説明した編集処理は一例であり、他の処理が実行されても構わない。例えば、像面位相差画素情報メタを用い、撮影後にフォーカス位置を変更する処理を行ってもよい。また、センサ部１２１として、測距センサが設けられる場合、測距センサで得られるデプス情報を用いたXR(Extended Reality)に関する処理が行われてもよい。
　カメラ１０で撮影画像を撮影する際にフォーカスを合わせた座標情報を示すメタデータと、クラウドサーバ２０による撮影画像内の物体名や人物名などの認識処理とを組み合わせてもよい。これにより、撮影時にフォーカスを合わせた物体や人の名称を文字情報にすることができ、撮影画像の手動選択の補助データとして表示することができる。
　撮影画像が動画である場合に、動画内の音が入っている位置について、カメラ１０の本体で録音された動画内音と、ICレコーダやPCMレコーダ等のレコーダで別に録音された別撮り音とを、音声認識処理により認識した上で、同じ文言を発している時刻を基準に、音(音声)の同期をとるようにしてもよい。
　クリエイタが手動で調整したWBや露出等を機械学習により学習して、学習済みモデル(例えばDNN(Deep Neural Network))を生成することで、それ以降の制作では、当該学習済みモデルを用いて、撮影画像に対するWBや露出等の補正(自動品質補正)を行うことができる。さらに、当該学習済みモデルを用いて複数人が作業をしたり、業務を引き継いだりしても、継続的に同じWBや同じ露出等の補正を行うことができる。このように、クリエイタの作成データを学習データとして用いて学習した学習済みモデルを、各ユーザが利用することができる。
　動画制作システム１では、動画編集を実現する一連のユーザ操作をシステムとして提供している。動画編集は一般に、適した撮影画像の選定や複数の編集操作を組み合わせて行う必要があり、ユーザにとっては編集技術を習得する難易度が高い。動画制作システム１では、例えば、下記の手順（ａ）乃至（ｅ）を踏むことで、動画編集の知識がない、あるいは知識の少ないユーザでも、容易に動画編集を行って所望の制作動画を制作することができるようにしている。
（ａ）動画の雰囲気を決める音楽、フォント、色合いなどの情報のテンプレートと制作動画(完成動画)の時間的な長さを決める。
（ｂ）動画、静止画、音(音声)、LUTファイルをアップロードする。
（ｃ）編集画面等の画面の自動作成ボタンを押下する。
（ｄ）必要に応じて好みの動画や静止画に入れ替える、切り出し時間を変更するといった手動編集を行う。
（ｅ）入れ替えた動画や静止画に応じて、必要に応じて再度、明るさや色合いの補正を行い、加えて手振れ補正、風音低減、発話音量の均一化などの補正処理も合わせて実行し、制作動画(完成動画)を制作する。
＜機能的な構成例＞
　図１３は、動画制作システム１における処理部２００の機能的な構成例を示すブロック図である。例えば、処理部２００は、クラウドサーバ２０のCPU２１１やGPU等のプロセッサによって、動画制作プログラム等のプログラムが実行されることで実現される。あるいは、処理部２００を専用の回路として実現してもよい。
　図１３において、処理部２００では、撮影画像を用いた選択や編集等の処理が行われ、制作動画が制作される。処理部２００は、撮影画像取得部２５１、メタデータ抽出部２５２、操作情報取得部２５３、撮影画像選択部２５４、及び編集部２５５を有する。
　撮影画像取得部２５１は、カメラ１０又は端末装置３０からネットワーク４０を介してアップロードされた撮影画像を取得し、メタデータ抽出部２５２に供給する。
　メタデータ抽出部２５２は、撮影画像取得部２５１から供給される撮影画像に付加されたメタデータを抽出し、撮影画像とともに撮影画像選択部２５４に供給する。メタデータ抽出部２５２において、メタデータが付加されていない撮影画像が供給された場合には、そのまま撮影画像選択部２５４に供給される。
　操作情報取得部２５３は、端末装置３０からネットワーク４０を介して送信されてくる設定画面や編集画面等の画面の操作に関する操作情報を取得し、撮影画像選択部２５４又は編集部２５５に供給する。
　撮影画像選択部２５４には、メタデータ抽出部２５２からのメタデータ及び撮影画像と、操作情報取得部２５３からの操作情報が供給される。撮影画像選択部２５４は、操作情報及びメタデータに基づいて、撮影画像の中から、制作動画の制作に用いる撮影画像を選択し、選択した撮影画像を編集部２５５に供給する。
　例えば、操作情報は、設定画面で設定される制作動画の時間的な長さを示す情報を含む。メタデータは、撮影時にカメラ１０で、撮影画像に付加されたカメラメタデータを含む。より具体的には、メタデータは、ユーザの操作に応じて、撮影画像に付与されるショットマークを含む。詳細は後述するが、撮影画像選択部２５４は、制作動画の時間的な長さ、及びショットマークに基づいて、制作動画の制作に用いる撮影画像を選択することができる。
　編集部２５５は、撮影画像選択部２５４から供給される選択済みの撮影画像を用いて、自動トリミングや自動品質補正等の処理を含む自動編集処理を行うことで、制作動画を制作する。詳細は後述するが、自動品質補正では、明るさ補正や色合い補正等の補正処理を行うことができる。また、編集部２５５は、操作情報取得部２５３から操作情報として、編集画面で設定される編集情報が供給された場合、編集情報を用いた自動編集処理を行うことができる。例えば、制作された制作動画は、ネットワーク４０を介して端末装置３０に配信されるか、あるいはネットワーク４０上で共有される。
＜設定画面の第１の例＞
　図１４は、撮影前に用いられる設定画面の第１の例を示す図である。例えば、設定画面は、端末装置３０の表示部３３１に表示される。
　図１４において、設定画面６１１では、クラウドサーバ２０が制作動画を制作する際の制作条件６１１Ａとして、アスペクト比、時間的な長さ(目安時間)、及びクリップ数(撮影画像の数)を設定することができる。設定画面６１１により設定されたアスペクト比、時間的な長さ、及びクリップ数に基づき、制作動画に関する絵コンテ(のフレーム)が生成される。
　次ボタン６１１Ｂが押下された場合、設定画面６１１から設定画面６１２に、画面が遷移する。図１４において、設定画面６１２では、テンプレートに関する設定が行われる。例えば、絵コンテに応じたテンプレートの編集を行うことができる。
　設定画面６１２には、サンプル動画を再生する再生領域６１２Ａと、制作動画内で用いる音楽や、制作動画の明るさや色などを設定する設定領域６１２Ｂと、テンプレートを切り換える際に操作される切換ボタン６１２Ｃと、テンプレートを保存する際に操作される保存ボタン６１２Ｄとが表示される。
　切換ボタン６１２Ｃが押下された場合、設定画面６１２から選択画面６１３に、画面が遷移する。選択画面６１３では、既存のテンプレート群６１３Ａの中から所望のテンプレートを選択し、OKボタン６１３Ｂを押下することで、使用するテンプレートを切り換えることができる。保存ボタン６１２Ｄが押下された場合、設定画面６１２に表示されているテンプレートの内容が保存される。
　設定画面６１２にはまた、撮影画像(クリップ)ごとに文字挿入尺等を設定する設定領域６１２Ｅと、撮影画像間(クリップ間)の切り換え効果を示す切換情報６１２Ｆと、テンプレートを適用したときの内容を確認する際に操作されるプレビューボタン６１２Ｇと、テンプレートを決定する際に操作されるOKボタン６１２Ｈが表示される。
　OKボタン６１２Ｈが押下された場合、設定画面６１２に表示されたテンプレートの内容が設定され、動画制作時に用いられる。ユーザは、このような設定操作を行った後に、カメラ１０により撮影を開始することで、当該撮影で得られた撮影画像に対しテンプレートに応じた処理が行われ、制作動画が制作される。このように、ユーザがテンプレートを事前に設定しておくだけで、撮影画像と動画制作とが紐付くため、動画制作の作業を容易にすることができる。
　また、動画制作では、自動セレクションや自動トリミング、自動品質補正などの自動編集が行われた後に、適宜、ユーザの操作に応じた手動編集を行うことができる。手動編集に際しては、例えば、図１５に示した編集画面を用いることができる。例えば、編集画面は、端末装置３０の表示部３３１に表示される。
＜編集画面の第１の例＞
　図１５の編集画面６１５においては、図１４の設定画面６１１，６１２により事前に設定されたテンプレートの内容に応じて、設定後に撮影された撮影画像に対して自動編集を施すことで得られた制作動画に関する各種情報が表示される。編集画面６１５に表示された各種情報は、ユーザの操作に応じて手動編集することができる。
　例えば、編集画面６１５において、第１領域６１５Ａには、テンプレート設定時の絵コンテに対して選択された撮影画像(クリップ)が表示される。対象の撮影画像にショットマークが付与されている場合には、ショットマークを示す情報が重畳されてもよい。第１領域６１５Ａに表示される撮影画像(クリップ)は、手振れや音加工などの補正処理を適用済みである。また、第２領域６１５Ｂに時系列で表示される撮影画像(クリップ)には、明るさや色が揃うように補正処理を適用済みである。
　このように、事前にテンプレートを設定しておくことで、テンプレートの内容を適用した制作動画を制作することができる。あるいは、図１６に示すような設定画面を用いて、制作動画の目安時間やテンプレートが設定されてもよい。
＜設定画面の第２の例＞
　図１６は、動画制作時に用いられる設定画面の第２の例を示す図である。図１６の設定画面の説明では、図１７乃至図１９のテーブルを適宜参照しながら説明する。
　図１６において、設定画面６２１は、プロジェクトのタイトル等を指定するタイトル等指定部６２１Ａと、制作動画のアスペクト比を指定するアスペクト比指定部６２１Ｂと、制作動画の時間を指定する目安時間指定部６２１Ｃとを含む。設定画面６２１はまた、所望のテンプレートを選択するテンプレート選択部６２１Ｄと、選択されたテンプレートを表示するテンプレート表示部６２１Ｅと、プロジェクトの作成を指示する作成ボタン６２１Ｆを含む。
　タイトル等指定部６２１Ａには、ユーザの操作に応じて、制作動画やプロジェクトのタイトルと、制作動画やプロジェクトに関するメモなどが入力される。
　アスペクト比指定部６２１Ｂには、ユーザの操作に応じて、制作動画のアスペクト比が指定される。例えば、図１７に示すように、16：9を初期値として、1：1や9：16などのアスペクト比を選択可能である。近年、動画を視聴する機器としてテレビ受像機の他に、スマートフォンやタブレット端末などが用いられていることや、SNS(Social Networking Service)やWebサイトのUIの一部として動画が表示されて視聴することが増えている。そのため、ユーザにより自身が配布したい環境などに応じて、制作動画のアスペクト比を変更できるようにしている。
　なお、詳細は後述するが、設定画面６２１のアスペクト比指定部６２１Ｂにより設定した制作動画のアスペクト比を、後から変更することも可能である。アスペクト比が合わない動画に対しては、画角を切り出して一部を見せるようにするか、あるいは黒帯の領域を重畳して全体を見せるようにするかの設定を行うこともできる。
　目安時間指定部６２１Ｃには、ユーザの操作に応じて、制作動画の時間的な長さを何秒程度にするかが指定される。例えば、図１８に示すように、60秒を初期値として、6秒、15秒、30秒、90秒などの目安時間を選択可能である。目安時間を設定しなくても構わない。
　テンプレート選択部６２１Ｄには、１又は複数のテンプレートに関する情報が表示され、ラジオボタン等により１つのテンプレートを選択可能である。ユーザは、テンプレート選択部６２１Ｄに表示されたテンプレートの中から、所望のテンプレートを１つ選択するだけで、簡単に動画の雰囲気を好みのものに変えることができる。
　例えば、図１９に示すように、「テンプレートなし」を初期値として、テンプレート１乃至８のいずれかを選択可能であり、設定可能なテンプレートごとに、名称やその他の設定情報が登録済みである。例えば、テンプレートごとに、動画の各カット時間、色合い、カット切り替えのトランジション、BGM、字幕重畳時の位置や文字の大きさ、フォントなどの情報が登録されている。
　テンプレート表示部６２１Ｅには、テンプレート選択部６２１Ｄで選択されたテンプレートがプレビュー再生される。ユーザに対し、指定されたテンプレートを動画に適用したときの完成サンプル動画を視聴させることで、制作動画(完成動画)のイメージが直感的に認識できるようにしている。
　なお、テンプレート等の設定情報を編集作業後に変更することも可能であるが、例えばカットの時間など、ユーザの編集作業を優先する箇所については、編集できないようにするなど、編集可能な箇所を振り分けることができる。
　作成ボタン６２１Ｆは、プロジェクトのエントリを指示するボタンである。作成ボタン６２１Ｆがユーザにより押下された場合、設定内容に応じた制作動画を制作するためのプロジェクトが登録される。閉じるボタン６２１Ｇが押下された場合、設定画面６２１が閉じられ、呼び出し元の画面が表示される。
＜編集画面の第２の例＞
　図２０は、動画編集時に用いられる編集画面の第２の例を示す図である。
　編集画面７１１は、ユーザの操作を受け付ける第１領域７１１Ａと、動画のプレビュー再生を行う第２領域７１１Ｂと、編集に関する設定を行う第３領域７１１Ｃと、タイムライン編集やトランジション設定を行う第４領域７１１Ｄとを含む。編集画面７１１はまた、対象の撮影画像に対する編集操作を行う第５領域７１１Ｅ，第６領域７１１Ｆと、アップロード済みの撮影画像等の一覧を表示する第７領域７１１Ｇとを含む。
　第１領域７１１Ａは、制作動画の制作や補正、書き出しなどの実行を指示するためのユーザ操作を受け付けるボタン等が配置される領域である。例えば、制作動画に用いる撮影画像の入れ替えにより、再度明るさや色合い、発話音の音量差などを揃えたい場合、ユーザの操作により自動作成ボタンが押下されることで、それらの機能が実行される。なお、自動作成ボタンが押下されたタイミングではなく、ユーザによる操作が行われたとき、瞬間に当該操作に応じた機能が実行されてもよい。制作動画を出力したい場合には、書き出しボタンが押下される。
　第２領域７１１Ｂは、第４領域７１１Ｄで行われるタイムライン編集のプレビュー再生が行われる領域である。第３領域７１１Ｃは、制作動画全体の編集設定などを行う領域である。例えば、第３領域７１１Ｃでは、制作動画全体の明るさや色合いを変えたり、BGMを変更したりすることができる。また、第３領域７１１Ｃでは、制作動画のアスペクト比や、制作動画の時間的な長さ(目安時間)を変更することができる。
　第４領域７１１Ｄは、タイムライン編集のカット入れ替えや、トランジション設定などを行う領域である。例えば、自動作成ボタンを押下して自動編集を実行した後でも、ユーザは、第４領域７１１Ｄを使って、タイムラインに入れる撮影画像の追加や削除などを行ったり、順番を入れ替えたり、切り替えのトランジションエフェクトを変えたりすることができる。
　第５領域７１１Ｅと第６領域７１１Ｆは、対象の撮影画像に対する編集操作を行うための領域である。第６領域７１１Ｆでは、撮影画像が動画である場合には、その１つの動画から切り出す時間の開始終了時間を変更したり、撮影画像が静止画である場合には、その１つの静止画を表示する時間の長さを変更したりすることができる。
　第７領域７１１Ｇは、プロジェクトにアップロードした撮影画像、又は登録した撮影画像の一覧が表示される領域である。ユーザは、ファイル管理画面を用いて、プロジェクトに対し、動画や静止画等の撮影画像や、音(音声)などのファイルを登録することができる。
　図２１と図２２は、ファイル管理画面の例を示す図である。図２１のファイル管理画面７２１の選択領域７２１Ａでは、動画や静止画等の撮影画像ごとにサムネイル画像が表示されている。図２２のファイル管理画面７２２の選択領域７２２Ａでは、動画や静止画等の撮影画像の一覧が表示されている。
　このようなサムネイル表示とリスト表示とは、切替ボタン７２１Ｂ又は切替ボタン７２２Ｂを操作することで切り替えることができる。ユーザは、ファイル管理画面７２１又はファイル管理画面７２２を用いて、所望の撮影画像を選択し、追加ボタン７２１Ｃ又は追加ボタン７２２Ｃを押下することで、所望のプロジェクトに登録することができる。
　図２３は、プロジェクト登録画面の例を示す図である。ユーザは、プロジェクト登録画面７３１に表示されたプロジェクト一覧７３１Ａの中から所望のプロジェクトを選択し、OKボタン７３１Ｃを押下することで、所望の撮影画像を所望のプロジェクトに登録することができる。なお、プロジェクトへの登録をやめる場合には、キャンセルボタン７３１Ｂを押下すればよい。
　例えば、撮影画像がクラウドサーバ２０にアップロードされたときに、同時にプロジェクトに登録することができる。このとき、プロジェクト登録画面７３１を用いて、撮影画像をプロジェクトに登録してもよい。あるいは、事前にアップロード済みの撮影画像を、プロジェクト登録画面７３１を用いてプロジェクトに登録してもよい。
　プロジェクトに登録された撮影画像は、編集画面７１１における第７領域７１１Ｇの一覧に表示される。第７領域７１１Ｇでは、プロジェクトに登録された撮影画像が動画である場合、例えば動画内の0秒目、5秒目、10秒目のように一定間隔で時間をあけたときの時刻に対応した画像フレームが表示される。これにより、ユーザは、プロジェクトに登録済みの動画の全体像を認識することができる。音ファイルの登録に関する画面は例示しないが、図２１と図２２に示した撮影画像用のファイル管理画面とは別に、音ファイルを選択可能なUIが提供され、リスト表示された音ファイルを選択してプロジェクトに登録することができる。
　ユーザは、動画、静止画、又は音(音声)のファイルをアップロードした場合、その後、第１領域７１１Ａの自動作成ボタンを押下することで、制作動画の制作を実行することができる。ところで、カメラ１０による撮影時において、ユーザは、ある被写体を撮影したときに、１回ではよく撮ることができず、２回、３回と繰り返し撮影することは一般的によくある。
　そこで、第１領域７１１Ａの自動作成ボタンが押下されたときの処理として、撮影画像の特徴量を、AI技術を用いて抽出し、さらに撮影画像を撮影した時刻情報を加味することで、特徴が近く、かつ、撮影した時刻が近い撮影画像をグループ化する処理が行われるようにする。このようにしてグループ化された撮影画像は、第７領域７１１Ｇに表示することができる。
　図２４は、自動作成ボタンが押下されたときの第７領域７１１Ｇの表示例を示す図である。図２４では、グループをシーンと表現しており、Scene1の撮影画像群(動画群)に続いて、Scene2，Scene3，・・・と、シーンごとの撮影画像群が表示される。
　動画制作の実行前の撮影画像は未分類となるが、自動作成ボタンが押下されて制作動画の制作を実行すると、基本的な使用方法では、全てScene1から始まるどこかのシーンに分類される。つまり、制作動画の制作の実行後にアップロードした撮影画像は、まずは未分類となり、再度動画制作を実行したときにシーン分類が行われることになる。
　なお、撮影画像が動画である場合に、動画の開始や最後の部分に付加される企業ロゴのようなものについては、個別に自動分類しない機能を、ユーザの設定などにより入れても構わない。
　制作動画の制作では、自動作成ボタンが押下された後に、シーン分類の機能だけでなく、例えば、実際に制作動画(完成動画)として、どの撮影画像を用いるべきかを編集(自動編集)する機能を有している。その編集結果は、編集画面７１１における第４領域７１１Ｄに表示される。
　ユーザは、第４領域７１１Ｄに表示された編集結果を参照して、例えば、好みの動画や静止画に変更したり、表示時間やトランジションを変更したり、字幕や静止画を重畳したり、BGMを変更したり、明るさや色合いを変更したりといった動画編集作業(手動編集)を行うことができる。ここで、第４領域７１１Ｄに表示される、全体の流れを時系列で管理するものをタイムラインと呼ぶ。タイムライン内の動画や静止画、その表示時間、トランジションなどの判定方法は、図２６のフローチャートを参照して後述する。
＜設定画面の第３の例＞
　図２５は、動画出力時に用いられる設定画面の第３の例を示す図である。
　図２０の編集画面７１１における第１領域７１１Ａの書き出しボタンが押下されると、最終的に制作動画(完成動画)を制作する処理が実行される。このとき、図２５の設定画面８１１を利用して、アスペクト比やフレームレート等の出力設定を変更することができる。
　図２５において、設定画面８１１は、出力する制作動画のファイル名を指定する出力ファイル名指定部８１１Ａと、制作動画のアスペクト比を指定するアスペクト比指定部８１１Ｂと、制作動画のフレームレートを設定するフレームレート指定部８１１Ｃとを含む。設定画面８１１にはまた、制作動画のフォーマットを設定するフォーマット指定部８１１Ｄと、制作動画の解像度を設定する解像度指定部８１１Ｅを含む。
　設定画面８１１では、出力ファイル名指定部８１１Ａ乃至解像度指定部８１１Ｅが操作されることで、16：9であるアスペクト比や、30pであるフレームレート、MP4であるフォーマット、1920×1080である解像度など、制作動画の出力設定を変更することができる。
　動画表示部８１１Ｆでは、最終的な制作動画(完成動画)がプレビュー再生される。再生操作部８１１Ｇは、シークバーなどから構成され、動画表示部８１１Ｆでプレビュー再生される制作動画(完成動画)の再生位置などを操作することができる。
　キャンセルボタン８１１Ｈは、制作動画(完成動画)の制作のキャンセルを指示するボタンである。出力開始ボタン８１１Ｉは、制作動画(完成動画)の制作の実行を指示するボタンである。
＜撮影画像選択・自動編集処理の流れ＞
　次に、図２６のフローチャートを参照して、撮影画像選択処理と自動編集処理の流れを説明する。
　ステップＳ２１１において、撮影画像取得部２５１は、カメラ１０又は端末装置３０などの機器からネットワーク４０を介してアップロードされた撮影画像を取得する。
　ステップＳ２１２において、処理部２００は、機械学習により学習された学習済みモデル(例えばDNN)を用い、取得した撮影画像の特徴量を抽出する。例えば、撮影画像の特徴量としては、特徴ベクトルを抽出することができる。
　ここでは、撮影画像として動画がアップロードされた場合には必ず特徴量を抽出するが、静止画がアップロードされた場合の特徴量の抽出は任意にするなど、その運用や設定等に応じて特徴量の抽出の有無を変更することができる。撮影画像の特徴量は、撮影画像と同じコンテンツID(content_id)の特徴グルーピング(feature_grouping)として保持することができる。
　ステップＳ２１３において、処理部２００は、操作情報取得部２５３により取得された操作情報に基づいて、ユーザの操作によって、図２０の編集画面７１１における第１領域７１１Ａの自動作成ボタンが押下されたかどうかを判定する。ステップＳ２１３において、自動作成ボタンが押下されたと判定された場合、処理はステップＳ２１４に進められる。
　ステップＳ２１４において、処理部２００は、自動セレクションを行うかどうかを判定する。ステップＳ２１４において、自動セレクションを行うと判定された場合、処理はステップＳ２１５に進められる。
　ステップＳ２１５において、撮影画像選択部２５４は、抽出した撮影画像の特徴量と撮影時刻に基づいて、撮影画像をグルーピングする。ステップＳ２１６において、撮影画像選択部２５４は、グループ情報に基づいて、編集画面７１１の第４領域７１１Ｄに表示されるタイムラインに使用する撮影画像を自動判定する。この自動判定では、撮影画像に付与されたショットマークを用いることができる。
　ステップＳ２１６の処理が終了すると、処理はステップＳ２１７に進められる。また、ステップＳ２１４において、自動セレクションを行わないと判定された場合、ステップＳ２１５，Ｓ２１６はスキップされ、処理はステップＳ２１７に進められる。
　ステップＳ２１７において、処理部２００は、自動明るさ補正を行うかどうかを判定する。ステップＳ２１７において、自動明るさ補正を行うと判定された場合、処理はステップＳ２１８に進められる。
　ステップＳ２１８において、編集部２５５は、編集画面７１１の第４領域７１１Ｄに表示されるタイムラインの１つ目の撮影画像を明るさの基準にして、タイムラインの２つ目以降の撮影画像の明るさを、１つ目の撮影画像を明るさと同程度になるように補正する。ここに示した明るさ補正の手法は一例であり、他の明るさ補正の手法を適用しても構わない。
　ステップＳ２１８の処理が終了すると、処理はステップＳ２１９に進められる。また、ステップＳ２１７において、自動明るさ補正を行わないと判定された場合、ステップＳ２１８はスキップされ、処理はステップＳ２１９に進められる。
　ステップＳ２１９において、処理部２００は、ステップＳ２１４乃至Ｓ２１８の処理結果を、編集画面７１１に表示する。例えば、自動セレクションが行われた場合(Ｓ２１４の「Yes」，Ｓ２１５，Ｓ２１６)、処理結果として、グループ情報とタイムライン情報が、編集画面７１１の第４領域７１１Ｄに表示される。また、自動明るさ補正が行われた場合(Ｓ２１７の「Yes」，Ｓ２１８)、処理結果として、明るさ補正結果が、編集画面７１１の第４領域７１１Ｄに表示される。
　ステップＳ２１９の処理が終了すると、一連の処理は終了する。
　図２６のステップＳ２１５，Ｓ２１６では、自動セレクションが行われるが、例えば、次のような処理が行われてもよい。すなわち、まず、撮影画像のグルーピングを実行する際に、１カット目の時間と２カット目の時間、制作動画の完全パッケージの時間が設定されている場合、下記の式(１)から式(２)、式(２)から式(３)が導かれるので、式(３)から得られるグループ数に応じたグルーピングを要求することで、撮影画像のグルーピングを行うことができる。完全パッケージの時間は、図１４の設定画面６１１又は図１６の設定画面６２１等の設定画面により、制作動画の時間的な長さとして設定可能である。例えば、図１６の設定画面６２１では、目安時間指定部６２１Ｃにより設定可能である。
　１カット目の時間 ＋ ２カット目の時間 × (グループ数 － １) ＝ 完全パッケージの時間 ・・・（１）

　グループ数 － 1 ＝ (完全パッケージの時間 － １カット目の時間)／２カット目の時間 ・・・（２）

　グループ数 ＝ 1 ＋ (完全パッケージの時間 － １カット目の時間)／２カット目の時間 ・・・（３）
　このようなグルーピングが行われた後に、各グループから撮影画像が選択される。例えば、図２７に示すように、グループ１乃至５の各グループから、１つずつ撮影画像を選択することができる。なお、各グループから選択される撮影画像は、１つに限らず、時間調整に応じて各グループから複数選択してもよいし、グループごとに異なってもよい。
　各グループから抽出する撮影画像を１つとした場合、まず、同一グループ内でショットマークが付与された撮影画像を選択する。例えば、ショットマークが付与された動画が、そのグループに１以上ある場合は、その動画の中で日時が新しい動画から順に選択する。ショットマークが付与された撮影画像がない場合には、撮影日時が新しい撮影画像を選択する。
　選択された撮影画像のうち、ショットマークが付与された動画の場合には、ショットマークの時刻を中心に3秒、4秒などの目標の時間になるように切り出し時間を選択する。その結果として、動画の開始時刻がマイナスになったり、終了時刻が記録時間を超えてしまったりする場合には、開始時刻が0秒、終了時刻が3秒や開始時刻が記録時間の3秒前、終了時刻が記録時間と一致するように時間を調整する。
　カットの目標時間が3秒だが、動画の時間が2秒だった場合には、2秒全尺が使われるようにする。これにともない、トータルの目標時間が変化しても、ユーザが気にすることはない。仮に、0.1秒の動画であった場合でも、とりあえずは0.1秒の動画が使われるようにする。ショットマークは、複数種類あり、それぞれが複数付与される場合も想定されるが、その場合には最も遅い時刻に付与されたショットマークを用いることができる。
　また、選択された撮影画像のうち、ショットマークが付与されていない動画は、当該動画の真ん中の時間を中心に切り出すことができる。例えば、5秒の動画であれば2.5秒、8秒の動画だったら4秒の部分を中心にカットを切り出すことができる。静止画の場合には、時間の概念がないので、カットに合わせて3秒間表示を継続するなどを決めることができる。
　このように、設定画面６１１又は設定画面６２１等の設定画面により設定される制作動画の時間的な長さ(完全パッケージの時間)、及び撮影画像に付加されたメタデータ(ショットマーク)に基づき、アップロードされた撮影画像の中から、制作動画に用いる撮影画像を選択することができる。
　ここでは、制作動画の時間的な長さ(完全パッケージの時間)に基づき、撮影画像がグルーピングされ、メタデータ(ショットマーク)に基づき、グルーピングされた撮影画像の中から、制作動画に用いる撮影画像が選択されている。また、この例では、メタデータとして、ショットマークが用いられる場合を例示したが、他のパラメータ(例えばカメラパラメータ)を用いても構わない。
　ここで、例えば、動画のカットが4秒で、カット間を繋ぐためのトランジションが1秒の場合を想定すれば、図２８のＡに示すように、0～1秒がトランジション期間で、1～3秒が通常表示期間で、3～4秒もトランジション期間となる。図２８のＢに示すように、4秒の動画のカットに対し、1秒であるトランジション秒数分だけ足すといったことは行われない。
　また、図２６のステップＳ２１８では、自動品質補正として明るさ補正が行われるが、例えば、次のような処理が行われてもよい。すなわち、自動セレクションが要求されている場合、自動セレクションのときに選択された撮影画像を、明るさ補正の推奨値取得対象とすることができる。
　撮影画像が動画である場合には、どの時刻の画像フレームを用いるかの指定が必要となるが、ショットマークが付与された動画であるとき、ショットマークの時刻のうち最も遅い時刻の画像フレームを用いることができる。また、ショットマークが付与されていない動画であるときには、動画の時刻の真ん中の画像フレーム(例えば4秒の動画なら2秒の画像フレーム)を用いることができる。撮影画像が静止画である場合には、いわば１枚の画像フレームであるため、時刻を指定する必要はない。
　一方で、自動セレクションが要求されていない場合に、撮影画像が動画であるときには、例えば、設定画面等のUIで設定された動画の切り出しの開始時刻と終了時刻との中間の時刻の画像フレームを用いることができる。撮影画像が静止画である場合には、時刻を指定する必要はない。
　なお、図２６のステップＳ２１８では、撮影画像の補正処理として、明るさ補正を例示したが、色合い補正などの他の補正処理を行ってもよい。さらに、風音などのノイズを低減する処理や、各動画内の発話の音量を均一化する処理を追加してもよい。あるいは、手振れ補正などを追加してもよい。例えば、設定画面等により、手振れ補正がオンに設定されている場合には、全ての動画に対して手振れ補正が行われるようにする。
　図２６のステップＳ２１１では、撮影画像ファイルのアップロード方法として、上述したように、ユーザが端末装置３０でWebブラウザのUIからボタン押下やドラッグアンドドロップなどの操作を行うことで、ネットワーク４０を介してクラウドサーバ２０にファイルをアップロードする方式を用いることができる。
　あるいは、カメラ１０で撮影した撮影画像が、ネットワーク４０を介してクラウドサーバ２０に自動でアップロードされる方式を用いてもよい。端末装置３０において、Webブラウザにカメラ１０内の撮影画像の一覧を表示して、ユーザが所望の撮影画像を選択できるようにしてもよい。
　このとき、カメラ１０がプロキシ記録、つまり、本画(高解像度の撮影画像)とプロキシ画(低解像度の撮影画像)を同時に記録する機能を使っているとき、プロキシ画を先にクラウドサーバ２０にアップロードして自動編集を実行し、実際に制作動画(完成動画)を作るときまでに、本画をクラウドサーバ２０にアップロードすることができる。これにより、通信にかかる時間を削減することができる。
　以上のように、本開示では、ユーザにとって満足度の高い動画制作サービスを提供することができる。特に、動画編集を習熟していないユーザは、動画編集機能を使いこなすことができず、満足する動画を作ることができないという問題があったが、本開示では、編集に必要なユーザの操作の流れや、編集に必要な機能要素を指定することで手順に従うだけで容易に目的の動画を制作することが可能となる。
　また、ユーザは、撮影技術や専用機材がなくても、カメラメタデータを活用した自動補正により高品質な映像制作を実現することができる。さらに、広告等の動画の構成を、テンプレートを用いて簡単に作成、又はカメラメタデータを活用したテンプレートに挿入することができる。セレクション機能によって、クリップの仕分けとシーン選択のサポートを実現することができる。ユーザは、所望の被写体を撮影するだけで、撮影終了時には、広告等の制作動画を自動で制作することができる。
＜変形例＞
　上述した編集処理で行われる処理は一例であり、例えば、アンドゥ／リドゥの機能や、スローや高速化などの速度変更といった基本的な編集機能が追加されてもよい。アンドゥ(undo)は、直前の処理内容を取り消しで、処理する前の状態に戻すことを意味する。リドゥ(redo)は、アンドゥで取り消した処理を逆に元の状態にやり直すことを意味する。また、動画の自動セレクションとタイムラインの作成時に、例えば、パン、チルト、ズームのようなエフェクトが追加されてもよい。また、音声の発話を自動で文字に起こす機能が追加されてもよい。
　上述した説明では、動画制作システム１において、クラウドサーバ２０の処理部２００が編集処理等の処理を実行するとして説明したが、クラウドサーバ２０以外の機器で処理が実行されても構わない。例えば、端末装置３０の処理部が、処理部２００に対応した機能を有することで、編集処理等の処理の全部又は一部を実行してもよい。
　また、上述した説明では、クラウドサーバ２０からの画面(設定画面や編集画面等)がWebページであって、ネットワーク４０を介して端末装置３０に提供され、それらの画面がWebブラウザのUIとして表示される場合を例示したが、端末側のUIはそれに限定されるものではない。例えば、端末装置３０では、専用のソフトウェア(いわゆるネイティブアプリを含む)をインストールして実行することで、設定画面や編集画面等の端末側のUIに関する機能が実現されても構わない。
　上述したフローチャートの各ステップの処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体に記録して提供することができる。また、プログラムは、LAN、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体をドライブに装着することにより、入出力I/Fを介して、記憶部にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部で受信し、記憶部にインストールすることができる。その他、プログラムは、ROMや記憶部に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば並列処理あるいはオブジェクトによる処理)も含む。
　また、プログラムは、１のコンピュータ(プロセッサ)により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されてもよい。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　本明細書において、「自動」と記載した場合、クラウドサーバ２０等の機器が、ユーザの直接的な操作を介さずに処理を行うことを意味し、「手動」と記載した場合、ユーザの直接的な操作を介して処理を行うことを意味する。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本開示は、以下のような構成をとることができる。
（１）
　メタデータが付加された撮影画像を取得し、
　設定画面で設定された制作する動画の時間的な長さ、及び前記メタデータに基づいて、取得した前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択し、
　選択した前記撮影画像を用いて、前記動画を制作する
　処理部を備える
　画像処理装置。
（２）
　前記メタデータは、前記撮影画像を撮影したカメラで付加されたカメラメタデータを含む
　前記（１）に記載の画像処理装置。
（３）
　前記メタデータは、ユーザの操作に応じて前記撮影画像に付与されるショットマークを含む
　前記（２）に記載の画像処理装置。
（４）
　前記処理部は、
　　前記動画の時間的な長さに基づいて、取得した前記撮影画像をグルーピングし、
　　前記ショットマークに基づいて、グルーピングされた前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択する
　前記（３）に記載の画像処理装置。
（５）
　前記動画の時間的な長さは、前記動画の制作の前に、ユーザの操作に応じて、前記設定画面により設定される
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
　前記動画の時間的な長さは、前記撮影画像の撮影の前に、ユーザの操作に応じて、前記設定画面により設定される
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
（７）
　前記動画の時間的な長さは、前記動画を編集する編集画面により変更可能である
　前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
　前記設定画面により前記動画の制作で用いられる前記撮影画像の数がさらに設定され、
　前記処理部は、設定された前記動画の時間的な長さ及び前記撮影画像の数、並びに前記メタデータに基づいて、前記撮影画像を選択する
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
　前記設定画面によりアスペクト比がさらに設定され、
　前記処理部は、設定された前記アスペクト比に応じた前記動画を制作する
　前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
　前記撮影画像は、動画又は静止画である
　前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
　ユーザが操作するカメラにより撮影された前記撮影画像であって、ネットワークを介して受信した前記撮影画像を処理するサーバとして構成され、
　制作した前記動画を、ネットワークを介してユーザが操作する端末装置に送信する
　前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
　前記設定画面は、前記端末装置に表示され、前記ユーザにより操作される
　前記（１１）に記載の画像処理装置。
（１３）
　画像処理装置が、
　メタデータが付加された撮影画像を取得し、
　設定画面で設定された制作する動画の時間的な長さ、及び前記メタデータに基づいて、取得した前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択し、
　選択した前記撮影画像を用いて、前記動画を制作する
　画像処理方法。
（１４）
　コンピュータを、
　メタデータが付加された撮影画像を取得し、
　設定画面で設定された制作する動画の時間的な長さ、及び前記メタデータに基づいて、取得した前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択し、
　選択した前記撮影画像を用いて、前記動画を制作する
　処理部として機能させるプログラム。
　１　動画制作システム，　１０　カメラ，　２０　クラウドサーバ，　３０　端末装置，　４０－１，４０－２，４０　ネットワーク，　２００　処理部，　２１１　CPU，　２５１　撮影画像取得部，　２５２　メタデータ抽出部，　２５３　操作情報取得部，　２５４　撮影画像選択部，　２５５　編集部

Claims (14)

  1. 　メタデータが付加された撮影画像を取得し、
    　設定画面で設定された制作する動画の時間的な長さ、及び前記メタデータに基づいて、取得した前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択し、
    　選択した前記撮影画像を用いて、前記動画を制作する
    　処理部を備える
    　画像処理装置。
  2. 　前記メタデータは、前記撮影画像を撮影したカメラで付加されたカメラメタデータを含む
    　請求項１に記載の画像処理装置。
  3. 　前記メタデータは、ユーザの操作に応じて前記撮影画像に付与されるショットマークを含む
    　請求項２に記載の画像処理装置。
  4. 　前記処理部は、
    　　前記動画の時間的な長さに基づいて、取得した前記撮影画像をグルーピングし、
    　　前記ショットマークに基づいて、グルーピングされた前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択する
    　請求項３に記載の画像処理装置。
  5. 　前記動画の時間的な長さは、前記動画の制作の前に、ユーザの操作に応じて、前記設定画面により設定される
    　請求項１に記載の画像処理装置。
  6. 　前記動画の時間的な長さは、前記撮影画像の撮影の前に、ユーザの操作に応じて、前記設定画面により設定される
    　請求項１に記載の画像処理装置。
  7. 　前記動画の時間的な長さは、前記動画を編集する編集画面により変更可能である
    　請求項１に記載の画像処理装置。
  8. 　前記設定画面により前記動画の制作で用いられる前記撮影画像の数がさらに設定され、
    　前記処理部は、設定された前記動画の時間的な長さ及び前記撮影画像の数、並びに前記メタデータに基づいて、前記撮影画像を選択する
    　請求項１に記載の画像処理装置。
  9. 　前記設定画面によりアスペクト比がさらに設定され、
    　前記処理部は、設定された前記アスペクト比に応じた前記動画を制作する
    　請求項１に記載の画像処理装置。
  10. 　前記撮影画像は、動画又は静止画である
    　請求項１に記載の画像処理装置。
  11. 　ユーザが操作するカメラにより撮影された前記撮影画像であって、ネットワークを介して受信した前記撮影画像を処理するサーバとして構成され、
    　制作した前記動画を、ネットワークを介してユーザが操作する端末装置に送信する
    　請求項１に記載の画像処理装置。
  12. 　前記設定画面は、前記端末装置に表示され、前記ユーザにより操作される
    　請求項１１に記載の画像処理装置。
  13. 　画像処理装置が、
    　メタデータが付加された撮影画像を取得し、
    　設定画面で設定された制作する動画の時間的な長さ、及び前記メタデータに基づいて、取得した前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択し、
    　選択した前記撮影画像を用いて、前記動画を制作する
    　画像処理方法。
  14. 　コンピュータを、
    　メタデータが付加された撮影画像を取得し、
    　設定画面で設定された制作する動画の時間的な長さ、及び前記メタデータに基づいて、取得した前記撮影画像の中から、前記動画の制作に用いる撮影画像を選択し、
    　選択した前記撮影画像を用いて、前記動画を制作する
    　処理部として機能させるプログラム。
PCT/JP2021/044138 2021-05-12 2021-12-01 画像処理装置、画像処理方法、及びプログラム Ceased WO2022239281A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/558,295 US20240233770A1 (en) 2021-05-12 2021-12-01 Image processing apparatus, image processing method, and program
JP2023520754A JPWO2022239281A1 (ja) 2021-05-12 2021-12-01

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163187569P 2021-05-12 2021-05-12
US63/187,569 2021-05-12

Publications (1)

Publication Number Publication Date
WO2022239281A1 true WO2022239281A1 (ja) 2022-11-17

Family

ID=84028095

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044138 Ceased WO2022239281A1 (ja) 2021-05-12 2021-12-01 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240233770A1 (ja)
JP (1) JPWO2022239281A1 (ja)
WO (1) WO2022239281A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117857719A (zh) * 2022-09-30 2024-04-09 北京字跳网络技术有限公司 视频素材剪辑方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015504629A (ja) * 2011-11-14 2015-02-12 アップル インコーポレイテッド マルチメディアクリップの生成
JP2016036078A (ja) * 2014-08-01 2016-03-17 株式会社ミクシィ 情報処理装置、情報処理装置の制御方法及び制御プログラム
JP2018514127A (ja) * 2015-03-24 2018-05-31 フェイスブック，インク． 選択されたビデオセグメントの再生を提供するためのシステムおよび方法
JP2020182164A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 撮像装置、その制御方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11956516B2 (en) * 2015-04-16 2024-04-09 W.S.C. Sports Technologies Ltd. System and method for creating and distributing multimedia content
US10440276B2 (en) * 2017-11-02 2019-10-08 Adobe Inc. Generating image previews based on capture information
US20210295875A1 (en) * 2018-08-07 2021-09-23 Justin Garak Touch panel based video editing
JP7491297B2 (ja) * 2019-02-21 2024-05-28 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015504629A (ja) * 2011-11-14 2015-02-12 アップル インコーポレイテッド マルチメディアクリップの生成
JP2016036078A (ja) * 2014-08-01 2016-03-17 株式会社ミクシィ 情報処理装置、情報処理装置の制御方法及び制御プログラム
JP2018514127A (ja) * 2015-03-24 2018-05-31 フェイスブック，インク． 選択されたビデオセグメントの再生を提供するためのシステムおよび方法
JP2020182164A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 撮像装置、その制御方法及びプログラム

Also Published As

Publication number Publication date
JPWO2022239281A1 (ja) 2022-11-17
US20240233770A1 (en) 2024-07-11

Similar Documents

Publication Publication Date Title
US20130083215A1 (en) Image and/or Video Processing Systems and Methods
US8537230B2 (en) Imaging apparatus, an imaging method, a reproducing apparatus, a reproducing method and a program
KR101007508B1 (ko) 비디오 신호 처리 장치, 비디오 신호 기록 장치, 비디오신호 재생 장치, 비디오 신호 처리 장치의 처리 방법,비디오 신호 기록 장치의 처리 방법, 비디오 신호 재생장치의 처리 방법, 기록 매체
CN103024607B (zh) 用于显示摘要视频的方法和设备
US9692963B2 (en) Method and electronic apparatus for sharing photographing setting values, and sharing system
KR101737086B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
KR101739379B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
US12212883B2 (en) Information processing devices, methods, and computer-readable medium for performing information processing to output video content using video from mutiple video sources
KR101909126B1 (ko) 요약 동영상 디스플레이 방법 및 장치
JP6043753B2 (ja) コンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体
KR20150083491A (ko) 단말과 서버간의 정보 동기화 방법 및 시스템
US9281014B2 (en) Image processing apparatus and computer program
WO2013187796A1 (ru) Способ автоматического монтажа цифровых видеофайлов
WO2022239281A1 (ja) 画像処理装置、画像処理方法、及びプログラム
RU105102U1 (ru) Автоматизированная система для создания, обработки и монтажа видеороликов
US10474743B2 (en) Method for presenting notifications when annotations are received from a remote device
US7675827B2 (en) Information processing apparatus, information processing method, and program
CN105765969B (zh) 影像处理方法、装置和设备及影像拍摄系统
CN104853245A (zh) 一种电影预览方法和装置
US20240412481A1 (en) Image processing apparatus, image processing method, and program
JP2010287974A (ja) 携帯電話及びプログラム
WO2022176633A1 (ja) 映像編集装置、映像編集方法、及びコンピュータプログラム
WO2016092647A1 (ja) 動画編集装置、動画編集方法及びプログラム
JP2018196070A (ja) 画像処理装置およびプログラム
JP2006060741A (ja) テレビ端末およびサーバ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21942009

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023520754

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18558295

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21942009

Country of ref document: EP

Kind code of ref document: A1