[go: up one dir, main page]

WO2021024637A1 - 記録再生制御装置、記録再生制御方法、およびプログラム - Google Patents

記録再生制御装置、記録再生制御方法、およびプログラム Download PDF

Info

Publication number
WO2021024637A1
WO2021024637A1 PCT/JP2020/024920 JP2020024920W WO2021024637A1 WO 2021024637 A1 WO2021024637 A1 WO 2021024637A1 JP 2020024920 W JP2020024920 W JP 2020024920W WO 2021024637 A1 WO2021024637 A1 WO 2021024637A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
unit
frame
image
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/024920
Other languages
English (en)
French (fr)
Inventor
浩 竹下
裕 倉持
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of WO2021024637A1 publication Critical patent/WO2021024637A1/ja
Priority to US17/584,447 priority Critical patent/US11812140B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/0245—Measuring pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7285—Specific aspects of physiological measurement analysis for synchronizing or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • A61B5/7292—Prospective gating, i.e. predicting the occurrence of a physiological event for use as a synchronisation signal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Definitions

  • the present disclosure relates to a recording / playback control device, a recording / playback control method, and a program.
  • the shape of the beating heart from the electrocardiogram for example, a pulse signal is generated by detecting the diastole, and the captured images are sequentially displayed by using the pulse signal as a trigger to display the heart image in the same shape state.
  • the technique is known (for example, Patent Document 1).
  • Patent Document 1 does not take into consideration the reproduction of images of the heart taken in the past or the high-speed reproduction of changes in the state of the heart taken in the past.
  • An object of the present disclosure is to provide a recording / reproduction control device, a recording / reproduction control method, and a program capable of recording an image of an organ and reproducing it in various forms.
  • the recording / playback control device of the present disclosure includes a moving image data acquisition unit that acquires a first moving image stream from a camera that shoots at a predetermined frame rate, a trigger signal acquisition unit that acquires a trigger signal from an external device, and the trigger signal.
  • a capture image generation unit that generates a captured image for one frame from the first moving image stream at the acquired timing, and a storage unit that sequentially records the captured image generated by the captured image generation unit and stores it as a second moving image stream.
  • a storage control unit for recording in the storage unit and a reproduction control unit for reproducing the second moving image stream stored in the storage unit are provided.
  • the recording / playback control method of the present disclosure includes a step of acquiring a first moving image stream from a camera that captures images at a predetermined frame rate, a step of acquiring a trigger signal from an external device, and the first step at the timing when the trigger signal is acquired.
  • a step of playing back the stored second moving image stream is included.
  • the program of the present disclosure includes a step of acquiring a first moving image stream from a camera that captures at a predetermined frame rate, a step of acquiring a trigger signal from an external device, and the first moving image stream at the timing when the trigger signal is acquired.
  • images of organs can be recorded and reproduced in various forms.
  • FIG. 1 is a diagram showing a configuration of a recording / playback system according to each embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing an example of the configuration of the recording / reproducing device according to the first embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining an example of a trigger signal according to each embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining an example of a method of generating a second moving image stream from the first moving image stream.
  • FIG. 5 is a flowchart showing an example of the processing flow of the control unit of the recording / reproducing device according to the first embodiment of the present disclosure.
  • FIG. 6 is a flowchart showing an example of the processing flow of the control unit of the recording / reproducing device according to the first embodiment of the present disclosure.
  • FIG. 7 is a block diagram showing an example of the configuration of the recording / reproducing device according to the second embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining an example of a method of generating a third moving image stream from the first moving image stream.
  • FIG. 9 is a flowchart showing an example of a processing flow of the control unit of the recording / reproducing device according to the second embodiment of the present disclosure.
  • FIG. 10 is a diagram for explaining an example of a method of reproducing the third moving image stream at high speed.
  • FIG. 10 is a diagram for explaining an example of a method of reproducing the third moving image stream at high speed.
  • FIG. 11 is a flowchart showing an example of a flow of processing in which the control unit of the recording / reproducing device according to the second embodiment of the present disclosure reproduces the third moving image stream at high speed.
  • FIG. 12 is a block diagram showing an example of the configuration of the recording / playback control device according to the third embodiment of the present disclosure.
  • FIG. 13 is a diagram for explaining an example of a GUI (Graphical User Interface) generated by the recording / playback control device according to the third embodiment of the present disclosure.
  • GUI Graphic User Interface
  • FIG. 1 is a diagram showing an example of a configuration of a recording / playback system according to each embodiment of the present disclosure.
  • the recording / reproducing system 1 includes a recording / reproducing device 100, a camera unit 200, and an electrocardiographic sensing unit 300.
  • the recording / reproducing device 100, the camera unit 200, and the electrocardiographic sensing unit 300 are communicably connected via a wired or wireless network N.
  • the recording / reproducing system 1 is a system that records and reproduces an image of an organ during surgery.
  • the camera unit 200 is provided on the ceiling of the operating room, for example.
  • the camera unit 200 photographs the affected area where the operation is being performed, the hand of the doctor who performs the procedure, and the like.
  • the camera unit 200 photographs, for example, changes in the shape and color of organs due to the beating of the heart.
  • the electrocardiographic sensing unit 300 monitors, for example, the beating cycle of the heart of a patient undergoing surgery.
  • the recording / reproducing device 100 selectively records the image captured by the camera unit 200 based on the pulsation cycle monitored by the electrocardiographic sensing unit 300.
  • a video recording system that captures the state of surgery is located in the operating room. The purpose is to record the course of surgery as treatment data and to collect academic materials for later studies.
  • the shape of the organ changes periodically due to the beating of the heart.
  • the organ due to changes in blood pressure due to pulsation, the organ periodically repeats congestion and ischemia. Therefore, when this state is continuously photographed, an image in which traits such as the shape and color of the organ change periodically is recorded.
  • organ traits also change with changes in patient vital signs (hereinafter abbreviated as vitals) as surgery progresses. For example, if a decrease in blood pressure occurs due to medication or incision, the organ becomes ischemic.
  • the recording / reproducing device 100 of the present disclosure can appropriately grasp only changes in the state of organs. Specifically, the recording / reproducing device 100 selectively records only frames having the same phase time of beats (hereinafter, also referred to as key frames). The recording / reproducing device 100 continuously records the selected keyframes from, for example, the keyframe time selected in a certain pulsating phase to the keyframe time selected in the next pulsating phase. As a result, it is possible to obtain the surgical video / moving image content in which the actual cycle time of the pulsation is stored and only the in-phase images of the pulsation are continuously recorded.
  • FIG. 2 is a block diagram showing an example of the configuration of the recording / playback control device according to the first embodiment of the present disclosure.
  • the recording / playback device 100 includes an operation unit 10, a display unit 20, a storage unit 30, a communication unit 40, and a control unit (recording / playback control device) 110.
  • the operation unit 10 receives various operations on the control unit 110 from the user.
  • the operation unit 10 receives, for example, an operation for causing the control unit 110 to execute various processes.
  • the operation unit 10 is realized by, for example, a keyboard, a mouse, and a touch panel.
  • the display unit 20 displays various types of information.
  • the display unit 20 displays, for example, various moving image streams.
  • the display unit 20 displays, for example, a moving image stream acquired by the moving image data acquisition unit 111 or a moving image stream generated by the captured image generation unit 113.
  • the display unit 20 is, for example, a display including a liquid crystal display (LCD: Liquid Crystal Display), an organic EL (Organic Electro-Luminescence) display, and the like.
  • LCD Liquid Crystal Display
  • organic EL Organic Electro-Luminescence
  • the storage unit 30 stores various types of information.
  • the storage unit 30 stores, for example, various moving image streams.
  • the storage unit 30 stores, for example, various moving image streams generated by the control unit 110.
  • the storage unit 30 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the communication unit 40 is realized by, for example, a NIC (Network Interface Card), a communication circuit, or the like.
  • the communication unit 40 is connected to the network N (Internet or the like) by wire or wirelessly.
  • the communication unit 40 transmits / receives information to / from other devices and the like via the network N.
  • the communication unit 40 transmits / receives information between the camera unit 200 and the electrocardiographic sensing unit 300, for example.
  • the control unit 110 is realized by, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like executing a program stored in a storage unit (not shown) using a RAM (Random Access Memory) or the like as a work area. Will be done. Further, the control unit 110 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 110 includes a moving image data acquisition unit 111, a trigger signal acquisition unit 112, a capture image generation unit 113, a storage control unit 114, a reproduction control unit 115, and a communication control unit 116.
  • the moving image data acquisition unit 111 acquires various moving image data.
  • the moving image data acquisition unit 111 acquires various moving image streams.
  • the moving image data acquisition unit 111 acquires a moving image stream from the camera unit 200 via, for example, the communication unit 40.
  • the moving image stream acquired by the moving image data acquisition unit 111 from the camera unit 200 is also referred to as a first moving image stream.
  • the moving image data acquisition unit 111 outputs the acquired first moving image stream to the capture image generation unit 113.
  • the trigger signal acquisition unit 112 acquires a trigger signal from an external device.
  • the trigger signal acquisition unit 112 acquires a trigger signal from, for example, the electrocardiographic sensing unit 300.
  • the trigger signal acquisition unit 112 outputs the acquired trigger signal to the capture image generation unit 113.
  • FIG. 3 is a diagram for explaining an example of a trigger signal according to each embodiment of the present disclosure.
  • FIG. 3 shows the electrocardiographic waveform PW1 of the surgical patient.
  • the electrocardiographic waveform PW1 is an electrocardiogram of a patient undergoing surgery measured by an electrocardiographic sensing unit 300.
  • the electrocardiographic sensing unit 300 outputs a pulse signal at a timing synchronized with a specific phase in the electrocardiographic waveform PW1.
  • the electrocardiographic sensing unit 300 outputs pulse signals in, for example, phases P1, phase P2, phase P3, and phase P4, which indicate peak values in the electrocardiographic waveform PW1.
  • the trigger signal acquisition unit 112 acquires the pulse signal output from the electrocardiographic sensing unit 300 as a trigger signal.
  • the distance dTA between the phase P1 and the phase P2, the distance dTB between the phase P2 and the phase P3, and the distance dTC between the phase P3 and the phase P4 may be the same or different.
  • the trigger signal described with reference to FIG. 3 is an example and does not limit the present disclosure.
  • the trigger signal may be other vital information of the patient.
  • the trigger signal may be a signal that constantly measures the respiration, blood pressure, etc. of the patient and is output in the same specific phase in the measurement results of the respiration and the blood pressure.
  • the trigger signal may be a signal that is output when an image recognition process is executed on the captured image of the patient's organ and the organs are determined to have the same specific shape.
  • the captured image generation unit 113 generates a captured image.
  • the captured image generation unit 113 generates a captured image from the first moving image stream acquired by the moving image data acquisition unit 111.
  • the captured image generation unit 113 generates, for example, a captured image for one frame from the first moving image stream at the timing when the trigger signal is acquired by the trigger signal acquisition unit 112.
  • the captured image generation unit 113 outputs the generated captured image to the storage control unit 114.
  • the storage control unit 114 stores various information in the storage unit 30.
  • the storage control unit 114 generates a second moving image stream by arranging the captured images generated by the captured image generation unit 113 in chronological order, for example.
  • the storage control unit 114 stores the generated second moving image stream in the storage unit 30.
  • FIG. 4 is a diagram for explaining an example of a method of generating a second moving image stream from the first moving image stream.
  • the first moving image stream VS1 is composed of a plurality of frame images.
  • the first moving image stream VS1 includes a frame image F1 1 , a frame image F1 2 , a frame image F1 3, and a frame image F1 4 .
  • the first moving image stream VS1 includes a frame image F2 1 , a frame image F2 2 , a frame image F2 3 , a frame image F2 4, and a frame image F2 5 .
  • the first moving image stream VS 1 includes a frame image F3 1 , a frame image F3 2, and a frame image F3 3 .
  • the frame image F1 1 to the frame image F1 4 are indicated by “ ⁇ ”.
  • the frame image F2 1 to the frame image F2 5 are indicated by “ ⁇ ”.
  • the frame image F3 1 to the frame image F3 3 are indicated by “ ⁇ ”. “ ⁇ ”, “ ⁇ ”, and “ ⁇ ” schematically indicate the state of pulsation of an organ (for example, the heart). That is, the frame image F1 1 ⁇ frame image F1 4, respectively, are the same state of pulsation of the organ.
  • the frame image F2 1 to the frame image F2 5 have the same pulsating state of the organs.
  • the frame image F3 1 to the frame image F3 3 have the same pulsating state of the organs.
  • the frame images F1 1 to the frame image F1 4 are frame images in which the pulse waveforms are taken in the same phase, respectively.
  • the frame image F2 1 to the frame image F2 5 are frame images in which the pulse waveforms are taken in the same phase, respectively.
  • the frame image F3 1 to the frame image F3 3 are frame images in which the pulse waveforms are taken in the same phase, respectively.
  • the difference in hatching of each frame image means the difference in color due to blood stasis or ischemia of the organ. That is, the combination of the shape and the color of the organ is expressed, and in particular, in the present disclosure, the color change in the same shape of the organ is observed as in the second moving image stream VS2 described later.
  • the capture image generation unit 113 generates a capture image for one frame from the first moving image stream VS1 at the timing when the trigger signal is acquired by the trigger signal acquisition unit 112. That is, the capture image generation unit 113 generates as a capture image a frame image in which the pulse waveforms are captured in the same phase among the frame images included in the first moving image stream VS1.
  • the capture image generation unit 113 generates, for example, a frame image F1 1 , a frame image F1 2 , a frame image F1 3 and a frame image F1 4 as key frame images.
  • the time interval between the frame image F1 1 and the frame image F1 2 is dT1.
  • the time interval between the frame image F1 2 and the frame image F1 3 is dT1.
  • the time interval between the frame image F1 3 and the frame image F1 4 is dT2.
  • the time interval between the frame image F1 4 and the next frame image having the same phase is dT3. In this way, the time intervals between frame images having the same phase may be different.
  • the storage control unit 114 generates the second moving image stream VS2 by arranging the frame image F1 1 , the frame image F1 2 , the frame image F1 3 and the frame image F1 4 in chronological order.
  • the storage control unit 114 stores the generated second moving image stream VS2 in the storage unit 30.
  • the playback control unit 115 reproduces various video streams and displays them on the display unit 20.
  • the reproduction control unit 115 reproduces the second moving image stream stored in the storage unit 30 and displays it on the display unit 20.
  • the communication control unit 116 controls various communications via the communication unit 40.
  • the communication control unit 116 controls communication between the camera unit 200 and the electrocardiographic sensing unit 300, for example.
  • FIG. 5 is a flowchart showing an example of a processing flow in which the control unit 110 according to the first embodiment of the present disclosure stores the second moving image stream.
  • the control unit 110 acquires the first moving image stream (step S101). Specifically, the moving image data acquisition unit 111 acquires the first moving image stream from the camera unit 200. Then, the process proceeds to step S102.
  • the control unit 110 acquires the trigger signal (step S102). Specifically, the trigger signal acquisition unit 112 acquires the trigger signal from the electrocardiographic sensing unit 300. Then, the process proceeds to step S103.
  • the control unit 110 generates a captured image (step S103). Specifically, the captured image generation unit 113 generates a captured image from the first moving image stream acquired by the moving image data acquisition unit 111 based on the trigger signal acquired by the trigger signal acquisition unit 112. Then, the process proceeds to step S104.
  • the control unit 110 generates a second moving image stream (step S104). Specifically, the storage control unit 114 generates a second moving image stream by arranging the captured images generated by the captured image generation unit 113 in chronological order. Then, the process proceeds to step S105.
  • the control unit 110 stores the second moving image stream (step S105). Specifically, the storage control unit 114 stores the second moving image stream generated in step S104 in the storage unit 30. Then, the process of FIG. 5 ends.
  • FIG. 6 is a flowchart showing an example of a processing flow for reproducing the second moving image stream stored in the storage unit 30.
  • control unit 110 acquires operation information (step S201). Specifically, the storage control unit 114 acquires operation information to the effect that the second moving image stream is reproduced from the operation unit 10. Then, the process proceeds to step S202.
  • the control unit 110 acquires the second moving image stream (step S202). Specifically, the storage control unit 114 acquires the second moving image stream from the storage unit 30. Then, the process proceeds to step S203.
  • the control unit 110 reproduces the second moving image stream (step S203). Specifically, the reproduction control unit 115 reproduces the second moving image stream acquired by the storage control unit 114. Then, the process of FIG. 6 ends.
  • the second moving image stream generated based on the first moving image stream can be stored, and the stored second moving image stream can be played back.
  • the second moving image stream is composed only of keyframes corresponding to the same phase of pulsation, and the traits such as the shape and color of the organs are almost the same. Therefore, the user can easily grasp the change in the state of the organ by visually recognizing the second moving image stream.
  • FIG. 7 is a block diagram showing an example of the configuration of the recording / reproducing device according to the second embodiment of the present disclosure.
  • the recording / reproducing device 100A is different from the recording / reproducing device 100 shown in FIG. 2 in that the control unit 110A includes the frame insertion unit 117.
  • the frame insertion unit 117 inserts a frame image between various captured images.
  • the frame insertion unit 117 receives, for example, a captured image from the captured image generation unit 113.
  • the frame insertion unit 117 inserts a frame image at a predetermined frame rate and outputs it to the storage control unit 114 until, for example, the received captured image is updated, that is, until the next captured image is received.
  • the storage control unit 114 stores the captured image and the frame image side by side in the storage unit 30 as a third moving image stream.
  • the frame insertion unit 117 inputs, for example, the captured image input from the captured image generation unit 113 immediately before as a frame image. Specifically, for example, when the first captured image is input from the captured image generation unit 113, the frame insertion unit 117 uses the first captured image until the next second captured image is input. Interpolate as a frame image. Then, when the second captured image is input from the captured image generation unit 113, the frame interpolating unit 117 interpolates the second captured image as a frame image until the next third captured image is input. To do.
  • the frame interpolation unit 117 may be interpolated by generating a mixed image by mixing, for example, based on the time ratio between the time when the first captured image is generated and the time when the second captured image is generated. Specifically, the frame interpolation unit 117 may generate a mixed image showing the state of the organ at the time between the first captured image and the second captured image. In this case, the storage control unit 114 stores the captured image and the mixed image side by side in the storage unit 30 as a third moving image stream.
  • FIG. 8 is a diagram for explaining an example of a method of generating a third moving image stream from the first moving image stream.
  • the captured image generation unit 113 considers a case where the frame image F1 1 , the frame image F1 2 , the frame image F1 3 and the frame image F1 4 are generated as the key frame image.
  • the frame interpolating unit 117 interpolates the frame image F1 1 at a predetermined frame rate until the frame image F1 2 is input.
  • the frame interpolating unit 117 interpolates the frame image F1 2 at a predetermined frame rate until the frame image F1 3 is input.
  • the frame interpolating unit 117 interpolates the frame image F1 3 at a predetermined frame rate until the frame image F1 4 is input.
  • Frame interpolator 117 if the frame image F1 4 is input, the interpolate frame images F1 4 at a predetermined frame rate until the next frame image is input.
  • the storage control unit 114 arranges each image in the order of time series and stores it in the storage unit 30 as a third moving image stream VS3.
  • the frame insertion unit 117 may insert a mixed image between the frame image F1 1 and the frame image F1 2 , for example. As shown in FIG. 8, the frame interpolating portion 117 may interpolate the mixed image F1 12 and the mixed image F1 13 between the frame image F1 1 and the frame image F1 2 . The mixed image F1 12 is closer to the frame image F1 1 than the frame image F1 2 . The mixed image F1 13 is closer to the frame image F1 2 than the frame image F1 1 . Similarly, the frame interpolating portion 117 interpolates the mixed image F1 21 and the mixed image F1 22 between the frame image F1 2 and the frame image F1 3 .
  • the frame insertion unit 117 inserts the mixed image F1 31 between the frame image F1 3 and the frame image F1 4 .
  • the storage control unit 114 arranges each image in the order of time series and stores it in the storage unit 30 as a third moving image stream VS3A. By visually recognizing the third moving image stream VS3A, it is possible to confirm how the state gradually changes.
  • FIG. 9 is a flowchart showing an example of a processing flow in which the control unit 110A according to the second embodiment of the present disclosure stores the third moving image stream.
  • steps S301 to S303 are the same as the processes of steps S101 to S103 shown in FIG. 5, the description thereof will be omitted.
  • the control unit 110A interpolates a frame image between the captured images (step S304). Specifically, the frame insertion unit 117 interpolates a frame image between captured images at a predetermined frame rate. Then, the process proceeds to step S305.
  • the control unit 110A generates a third moving image stream (step S305). Specifically, the storage control unit 114 generates a third moving image stream by arranging the captured image and the interpolated frame image in chronological order. Then, the process proceeds to step S306.
  • the control unit 110A stores the third moving image stream (step S306). Specifically, the storage control unit 114 stores the third moving image stream generated in step S305 in the storage unit 30. Then, the process of FIG. 9 ends.
  • the reproduction control unit 115 may reproduce the third moving image stream at high speed by reproducing the frame image sampled from the third moving image stream at a predetermined frame rate at a predetermined frame rate.
  • the period for sampling the third moving image stream there is no particular limitation on the period for sampling the third moving image stream.
  • the user can arbitrarily set the period for sampling the third moving image stream by the operation by the operation unit 10.
  • FIG. 10 is a diagram for explaining an example of a method of reproducing the third moving image stream at high speed.
  • the reproduction control unit 115 may sample, for example, every two 12 frame images included in the third moving image stream VS3 and reproduce them as the third moving image stream VS3B.
  • the third moving image stream VS3B includes six frame images including a frame image F1 1 , a frame image F1 1 , a frame image F1 2 , a frame image F1 4, and a frame image F1 4 .
  • the reproduction control unit 115 can reproduce the third moving image stream VS3 at high speed.
  • FIG. 11 is a flowchart showing an example of a flow of processing in which the control unit 110A according to the second embodiment of the present disclosure reproduces the third moving image stream at high speed.
  • control unit 110A acquires the third moving image stream (step S401). Specifically, the storage control unit 114 acquires a third moving image stream from the storage unit 30. Then, the process proceeds to step S402.
  • the control unit 110A samples the third moving image stream at a predetermined cycle (step S402). Specifically, the reproduction control unit 125 samples the third moving image stream at a predetermined cycle. Then, the process proceeds to step S403.
  • the control unit 110A reproduces the third moving image stream at high speed (step S403). Specifically, the reproduction control unit 125 reproduces the third moving image stream sampled in step S402 at high speed. Then, the process of FIG. 11 is completed.
  • the playback time of the moving image stream can be matched with the real time by inserting a specific frame image between the captured images. This makes it possible to easily grasp the temporal change of the beating cycle of the organ.
  • the recorded video stream can be played back at high speed. This makes it possible to check the shape and traits of organs at high speed.
  • FIG. 12 is a block diagram showing an example of the configuration of the recording / reproducing device according to the third embodiment of the present disclosure.
  • the control unit 110B includes a frame insertion unit 117, a timing signal acquisition unit 118, a labeling unit 119, a live video storage control unit 120, and a GUI generation unit 121. It is different from the recording / reproducing device 100 shown in FIG. 2 in that it is provided with.
  • the timing signal acquisition unit 118 acquires a plurality of types of timing signals from an external device.
  • the timing signal acquisition unit 118 outputs the acquired timing signal to the labeling unit 119.
  • the timing signal includes, for example, information about time.
  • the timing signal includes, for example, patient vital information.
  • the timing signal includes, for example, information about various treatments performed on the patient.
  • the labeling unit 119 receives the first moving image stream from the moving image data acquisition unit 111.
  • the labeling unit 119 assigns an explanatory label to the first moving image stream.
  • the labeling unit 119 adds chapters to the first moving image stream, for example.
  • the labeling unit 119 assigns an explanatory label and a chapter to the first moving image stream according to, for example, the timing signal received from the timing signal acquisition unit 118.
  • the labeling unit 119 may recognize the content of the treatment by executing the image recognition processing on the first moving image stream, and may assign the recognized processing as an explanatory label.
  • the labeling unit 119 outputs, for example, a first moving image stream to which an explanatory label and a chapter are attached to the live moving image storage control unit 120.
  • the live moving image storage control unit 120 records the first moving image stream to which the explanatory label and the chapter are attached in the storage unit 30.
  • the live moving image storage control unit 120 outputs the first moving image stream to which the explanatory label and the chapter are attached to the GUI generation unit 121.
  • the GUI generation unit 121 generates a GUI that displays various video streams.
  • the GUI generation unit 121 generates, for example, a GUI including a window for displaying the first moving image stream.
  • the GUI generation unit 121 creates, for example, a thumbnail image based on the frame image included in the first moving image stream, and generates a GUI including a timeline display in which the event names are added to the thumbnail image and arranged in chronological order.
  • the event includes, for example, time information and various treatments, as well as patient vital information.
  • the GUI generation unit 121 generates a GUI including a window for playing a third moving image stream before and after the time position where the thumbnail image is recorded.
  • FIG. 13 is a diagram for explaining an example of a GUI generated by the recording / playback control device according to the third embodiment of the present disclosure.
  • the display screen IM shown in FIG. 13 is an example of a GUI generated by the recording / playback device 100B.
  • the display screen IM includes a first region AR1, a second region AR2, and a third region AR3.
  • the first moving image is displayed in the first area AR1.
  • the first moving image is, for example, a first moving image stream. That is, a live image of the surgery is displayed in the first region AR1. An image other than the live image of the surgery may be displayed in the first region AR1. In the first region AR1, for example, a video past the current time of 12:17:54 may be displayed. In this case, an image different from the image displayed in the second area AR2 may be displayed in the first area AR1.
  • a second moving image different from the first moving image is displayed in the second area AR2.
  • the second region AR2 for example, an image past the present is displayed.
  • images before and after the recorded time of the thumbnail image selected in the third area AR3 are displayed for a predetermined time.
  • the images before and after the thumbnail image TI4 selected in the third area AR3 are displayed in the second area AR2.
  • the predetermined time may be arbitrarily set by the user.
  • an image in which the drug C was administered at 11:45:19 is displayed.
  • a timeline is displayed in which the names of the events are written together with the thumbnail images and arranged in chronological order.
  • labels L1 to L6 are associated with the thumbnail images TI1 to TI6, respectively.
  • Labels L1 to L6 contain information about the event.
  • the thumbnail image T1 is associated with information indicating that the drug A was administered at 11:25:11.
  • the thumbnail image TI2 is associated with information indicating that the vital state was the vital sign measurement value A at 11:31:20.
  • each thumbnail image displayed in the third region AR3 is associated with various treatments and patient vital information.
  • the present embodiment by generating a GUI, it is possible to regenerate and observe a long-term change of organ state due to a change in the patient's vitals as the surgery progresses along the time axis.
  • the present embodiment makes it easy to compare the states of organs at different times.
  • the recording / playback system has a configuration in which the camera unit 200 and the electrocardiographic sensing unit 300 are connected to the recording / playback device 100 via a network, but the present invention is not limited to this, and even if the recording / playback system is connected by means other than the network. Good.
  • the above-mentioned components include those that can be easily assumed by those skilled in the art, those that are substantially the same, that is, those having a so-called equal range.
  • the components described above can be combined as appropriate. Further, various omissions, replacements or changes of components can be made without departing from the gist of the above-described embodiment.
  • the recording / playback control device, recording / playback control method, and program of the present embodiment can be applied to, for example, a recording / playback device that reproduces an image of an organ being operated on.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Television Signal Processing For Recording (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

記録再生制御装置（１１０）は、所定のフレームレートで撮影するカメラから第１動画ストリームを取得する動画像データ取得部（１１１）と、外部装置からトリガ信号を取得するトリガ信号取得部（１１２）と、トリガ信号が取得されたタイミングで第１動画ストリームから１フレーム分のキャプチャ画像を生成するキャプチャ画像生成部（１１３）と、キャプチャ画像生成部（１１３）によって生成されたキャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録する記憶制御部（１１４）と、記憶部に記憶された第２動画ストリームを再生する再生制御部（１１５）と、を備える。

Description

記録再生制御装置、記録再生制御方法、およびプログラム
　本開示は、記録再生制御装置、記録再生制御方法、およびプログラムに関する。
　心電図から拍動する心臓の形状、例えば、拡張期であることを検出してパルス信号を生成し、パルス信号をトリガとしてキャプチャされた画像を順次表示することで同じ形状状態の心臓画像を表示する技術が知られている（例えば、特許文献１）。
特開平８－３２２８３４号公報
　特許文献１では、過去に撮影された心臓の画像を再生したり、過去に撮影された心臓の状態変化を高速再生したりすることが考慮されていない。
　本開示は、臓器の画像を記録し、種々の形態で再生することのできる記録再生制御装置、記録再生制御方法、およびプログラムを提供することを目的とする。
　本開示の記録再生制御装置は、所定のフレームレートで撮影するカメラから第１動画ストリームを取得する動画像データ取得部と、外部装置からトリガ信号を取得するトリガ信号取得部と、前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するキャプチャ画像生成部と、前記キャプチャ画像生成部によって生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録する記憶制御部と、前記記憶部に記憶された前記第２動画ストリームを再生する再生制御部と、を備える。
　本開示の記録再生制御方法は、所定のフレームレートで撮影するカメラから第１動画ストリームを取得するステップと、外部装置からトリガ信号を取得するステップと、前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するステップと、前記キャプチャ画像生成部によって生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録するステップと、前記記憶部に記憶された前記第２動画ストリームを再生するステップと、を含む。
　本開示のプログラムは、所定のフレームレートで撮影するカメラから第１動画ストリームを取得するステップと、外部装置からトリガ信号を取得するステップと、前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するステップと、前記キャプチャ画像生成部によって生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録するステップと、前記記憶部に記憶された前記第２動画ストリームを再生するステップと、をコンピュータに実行させる。
　本開示によれば、臓器の画像を記録し、種々の形態で再生することができる。
図１は、本開示の各実施形態に係る記録再生システムの構成を示す図である。 図２は、本開示の第１実施形態に係る記録再生装置の構成の一例を示すブロック図である。 図３は、本開示の各実施形態に係るトリガ信号の一例を説明するための図である。 図４は、第１動画ストリームから第２動画ストリームを生成する方法の一例を説明するための図である。 図５は、本開示の第１実施形態に係る記録再生装置の制御部の処理の流れの一例を示すフローチャートである。 図６は、本開示の第１実施形態に係る記録再生装置の制御部の処理の流れの一例を示すフローチャートである。 図７は、本開示の第２実施形態に係る記録再生装置の構成の一例を示すブロック図である。 図８は、第１動画ストリームから第３動画ストリームを生成する方法の一例を説明するための図である。 図９は、本開示の第２実施形態に係る記録再生装置の制御部の処理の流れの一例を示すフローチャートである。 図１０は、第３動画ストリームを高速再生する方法の一例を説明するための図である。 図１１は、本開示の第２実施形態に係る記録再生装置の制御部が第３動画ストリームを高速再生する処理の流れの一例を示すフローチャートである。 図１２は、本開示の第３実施形態に係る記録再生制御装置の構成の一例を示すブロック図である。 図１３は、本開示の第３実施形態に係る記録再生制御装置が生成するＧＵＩ（Graphical　User　Interface）の一例を説明するための図である。
　以下、添付図面を参照して、本開示に係る実施形態を詳細に説明する。なお、この実施形態により本開示が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［記録再生システム］
　図１を用いて、本開示の各実施形態に係る記録再生システムの構成について説明する。図１は、本開示の各実施形態に係る記録再生システムの構成の一例を示す図である。
　図１に示すように、記録再生システム１は、記録再生装置１００と、カメラ部２００と、心電センシング部３００とを含む。記録再生装置１００と、カメラ部２００と、心電センシング部３００とは、有線又は無線のネットワークＮを介して通信可能に接続されている。
　本実施形態に係る記録再生システム１は、手術中の臓器画像を記録して再生するシステムである。この場合、カメラ部２００は、例えば、手術室の天井に設けられる。カメラ部２００は、手術が行われている患部、処置を行う医師などの手元を撮影する。カメラ部２００は、例えば、心臓の拍動などによる臓器の形状や色の変化などを撮影する。心電センシング部３００は、例えば、手術中の患者の心臓の拍動周期をモニタリングする。記録再生装置１００は、心電センシング部３００によってモニタリングされた拍動周期に基づいて、カメラ部２００によって撮影された映像を選択的に記録する。
　一般に、手術の様子を撮影する映像撮影記録システムは、手術室に配置されている。その目的は、治療データとしての手術の経過を記録したり、後学のための学術的資料を収集したりするためである。
　例えば、心臓手術の場合、心臓の拍動により、臓器の形状は周期的に変化する。また、拍動による血圧の変化により、臓器は周期的に鬱血と虚血を繰り返す。したがって、この状態を連続的に撮影した場合、臓器の形状や色などの形質が周期的に変化する画像が記録される。一方で、臓器の形質は、手術の進行に伴う患者バイタルサイン（以降、バイタルと略す）の変化に伴っても変化する。例えば、投薬や切開による血圧の低下が発生した場合は、臓器は虚血状態となる。
　術野映像撮影の目的の一つは、手術の進行に伴う患者バイタルの変化に伴って発生する長時間の臓器の状態の変化を的確に把握することである。しかしながら、拍動による臓器の状態の変化は常に発生しているため、手術の進行に伴う患者バイタルの変化に伴って発生する臓器の状態の変化だけを適切に把握することは難しい。この把握は、多くの場合、医師の経験とスキルに依存していたのが課題であった。
　本開示の記録再生装置１００は、臓器の状態の変化だけを適切に把握することができる。具体的には、記録再生装置１００は、拍動の同一位相時刻のフレーム（以下、キーフレームとも呼称する）だけを選択的に記録する。記録再生装置１００は、例えば、ある拍動位相で選択されたキーフレーム時刻から、次の拍動位相で選択されたキーフレーム時刻までは、選択されたキーフレームを連続して記録する。これにより、拍動の実周期時間が保存され、かつ拍動の同一位相画像だけが連続して記録された手術映像動画コンテンツを得ることができる。
［第１実施形態］
　図２を用いて、本開示の第１実施形態に係る記録再生装置の構成について説明する。図２は、本開示の第１実施形態に係る記録再生制御装置の構成の一例を示すブロック図である。
　図２に示すように、記録再生装置１００は、操作部１０と、表示部２０と、記憶部３０と、通信部４０と、制御部（記録再生制御装置）１１０と、を備える。
　操作部１０は、ユーザから制御部１１０に対する各種の操作を受け付ける。操作部１０は、例えば、制御部１１０に対して各種の処理を実行させるための操作を受け付ける。操作部１０は、例えば、キーボード、マウス、タッチパネルで実現される。
　表示部２０は、各種の情報を表示する。表示部２０は、例えば、各種の動画ストリームを表示する。表示部２０は、例えば、動画像データ取得部１１１によって取得された動画ストリームや、キャプチャ画像生成部１１３によって生成された動画ストリームを表示する。表示部２０は、例えば、液晶ディスプレイ（LCD：Liquid　Crystal　Display）または有機ＥＬ（Organic　Electro-Luminescence）ディスプレイ等を含むディスプレイである。表示部２０は、操作部１０がタッチパネルで構成される場合には、操作部１０と一体に設けられる。
　記憶部３０は、各種の情報を記憶する。記憶部３０は、例えば、各種の動画ストリームを記憶する。記憶部３０は、例えば、制御部１１０によって生成された各種の動画ストリームを記憶する。記憶部３０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
　通信部４０は、例えば、ＮＩＣ（Network　Interface　Card）や通信回路等によって実現される。通信部４０は、ネットワークＮ（インターネット等）と有線又は無線で接続されている。通信部４０は、ネットワークＮを介して、他の装置等との間で情報の送受信を行う。通信部４０は、例えば、カメラ部２００と、心電センシング部３００との間で情報の送受信を行う。
　制御部１１０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部１１０は、コントローラ（Controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。制御部１１０は、動画像データ取得部１１１と、トリガ信号取得部１１２と、キャプチャ画像生成部１１３と、記憶制御部１１４と、再生制御部１１５と、通信制御部１１６とを備える。
　動画像データ取得部１１１は、各種の動画像データを取得する。動画像データ取得部１１１は、各種の動画ストリームを取得する。動画像データ取得部１１１は、例えば、通信部４０を介してカメラ部２００から動画ストリームを取得する。動画像データ取得部１１１がカメラ部２００から取得した動画ストリームは、第１動画ストリームとも呼ばれる。動画像データ取得部１１１は、取得した第１動画ストリームをキャプチャ画像生成部１１３に出力する。
　トリガ信号取得部１１２は、外部機器からトリガ信号を取得する。トリガ信号取得部１１２は、例えば、心電センシング部３００からトリガ信号を取得する。トリガ信号取得部１１２は取得したトリガ信号をキャプチャ画像生成部１１３に出力する。
　図３を用いて、本開示の各実施形態に係るトリガ信号について説明する。図３は、本開示の各実施形態に係るトリガ信号の一例を説明するための図である。
　図３は、手術の患者の心電波形ＰＷ１を示している。心電波形ＰＷ１は、心電センシング部３００によって測定された手術中の患者の心電図である。心電センシング部３００は、心電波形ＰＷ１における特定位相と同期したタイミングにおいてパルス信号を出力する。心電センシング部３００は、例えば、心電波形ＰＷ１におけるピーク値を示す位相Ｐ１、位相Ｐ２、位相Ｐ３、および位相Ｐ４においてパルス信号を出力する。この場合、トリガ信号取得部１１２は、心電センシング部３００から出力されたパルス信号をトリガ信号して取得する。なお、位相Ｐ１と位相Ｐ２との間隔ｄＴＡと、位相Ｐ２と位相Ｐ３との間隔ｄＴＢと、位相Ｐ３と位相Ｐ４との間隔ｄＴＣは、同じであってもよいし、異なっていてもよい。
　なお、本実施形態において、図３を用いて説明したトリガ信号は例示であり、本開示を限定するものではない。トリガ信号は、患者のその他のバイタル情報であってもよい。例えば、トリガ信号は、患者の呼吸、血圧などを常時測定し、呼吸と、血圧との測定結果において同一の特定位相において出力される信号であってもよい。また、トリガ信号は、撮影された患者の臓器の画像に対して画像認識処理を実行し、臓器が同一の特定形状と判定された際に、出力される信号であってもよい。
　再び図２を参照する。キャプチャ画像生成部１１３は、キャプチャ画像を生成する。キャプチャ画像生成部１１３は、動画像データ取得部１１１によって取得された第１動画ストリームからキャプチャ画像を生成する。キャプチャ画像生成部１１３は、例えば、トリガ信号取得部１１２によってトリガ信号が取得されたタイミングで、第１動画ストリームから１フレーム分のキャプチャ画像を生成する。キャプチャ画像生成部１１３は、生成したキャプチャ画像を記憶制御部１１４に出力する。
　記憶制御部１１４は、各種の情報を記憶部３０に記憶する。記憶制御部１１４は、例えば、キャプチャ画像生成１１３部によって生成されたキャプチャ画像を時系列の順に並べて第２動画ストリームを生成する。記憶制御部１１４は、生成した第２動画ストリームを記憶部３０に記憶する。
　図４を用いて、第１動画ストリームから第２動画ストリームを生成する方法の一例について説明する。図４は、第１動画ストリームから第２動画ストリームを生成する方法の一例を説明するための図である。
　図４に示すように、第１動画ストリームＶＳ１は、複数のフレーム画像から構成されている。第１動画ストリームＶＳ１は、フレーム画像Ｆ１１と、フレーム画像Ｆ１２と、フレーム画像Ｆ１３と、フレーム画像Ｆ１４とを含む。第１動画ストリームＶＳ１は、フレーム画像Ｆ２１と、フレーム画像Ｆ２２と、フレーム画像Ｆ２３と、フレーム画像Ｆ２４と、フレーム画像Ｆ２５とを含む。第１動画ストリームＶＳ１は、フレーム画像Ｆ３１と、フレーム画像Ｆ３２と、フレーム画像Ｆ３３とを含む。フレーム画像Ｆ１１～フレーム画像Ｆ１４は、「○」で示されている。フレーム画像Ｆ２１～フレーム画像Ｆ２５は、「□」で示されている。フレーム画像Ｆ３１～フレーム画像Ｆ３３は、「△」で示されている。「○」と、「□」と、「△」とは、臓器（例えば、心臓）の拍動の様子を模式的に示している。すなわち、フレーム画像Ｆ１１～フレーム画像Ｆ１４は、それぞれ、臓器の拍動の様子が同一である。フレーム画像Ｆ２１～フレーム画像Ｆ２５は、それぞれ、臓器の拍動の様子が同一である。フレーム画像Ｆ３１～フレーム画像Ｆ３３は、それぞれ、臓器の拍動の様子が同一である。言い換えれば、フレーム画像Ｆ１１～フレーム画像Ｆ１４は、それぞれ、パルス波形が同一の位相で撮影されたフレーム画像である。フレーム画像Ｆ２１～フレーム画像Ｆ２５は、それぞれ、パルス波形が同一の位相で撮影されたフレーム画像である。フレーム画像Ｆ３１～フレーム画像Ｆ３３は、それぞれ、パルス波形が同一の位相で撮影されたフレーム画像である。また、各フレーム画像の、ハッチングの違いは、臓器の色の鬱血や虚血などによる色の違いを意味している。すなわち、臓器の形状と色の組み合わせを表現しており、特に、本開示においては後述する第２動画ストリームＶＳ２のごとく臓器の同じ形状における色の変化を観察するものである。
　キャプチャ画像生成部１１３は、トリガ信号取得部１１２によってトリガ信号が取得されたタイミングで、第１動画ストリームＶＳ１から１フレーム分のキャプチャ画像を生成する。すなわち、キャプチャ画像生成部１１３は、第１動画ストリームＶＳ１に含まれるフレーム画像のうち、パルス波形が同一の位相で撮影されたフレーム画像をキャプチャ画像として生成する。キャプチャ画像生成部１１３は、例えば、キーフレーム画像として、フレーム画像Ｆ１１と、フレーム画像Ｆ１２と、フレーム画像Ｆ１３と、フレーム画像Ｆ１４とをキャプチャ画像として生成する。フレーム画像Ｆ１１と、フレーム画像Ｆ１２との間の時間間隔は、ｄＴ１である。フレーム画像Ｆ１２と、フレーム画像Ｆ１３との時間間隔は、ｄＴ１である。フレーム画像Ｆ１３と、フレーム画像Ｆ１４との時間間隔は、ｄＴ２である。フレーム画像Ｆ１４と、次の同一位相のフレーム画像との時間間隔は、ｄＴ３である。このように、同一の位相のフレーム画像間の時間間隔は異なっていてもよい。
　記憶制御部１１４は、フレーム画像Ｆ１１と、フレーム画像Ｆ１２と、フレーム画像Ｆ１３と、フレーム画像Ｆ１４とを時系列の順に並べて第２動画ストリームＶＳ２を生成する。記憶制御部１１４は、生成した第２動画ストリームＶＳ２を記憶部３０に記憶する。
　再生制御部１１５は、各種の動画ストリームを再生して、表示部２０に表示する。再生制御部１１５は、例えば、記憶部３０に記憶された第２動画ストリームを再生して、表示部２０に表示する。
　通信制御部１１６は、通信部４０を介した各種の通信を制御する。通信制御部１１６は、例えば、カメラ部２００と、心電センシング部３００との間の通信を制御する。
　図５を用いて、本開示の第１実施形態に係る制御部１１０が第２動画ストリームを記憶する処理の流れについて説明する。図５は、本開示の第１実施形態に係る制御部１１０が第２動画ストリームを記憶する処理の流れの一例を示すフローチャートである。
　制御部１１０は、第１動画ストリームを取得する（ステップＳ１０１）。具体的には、動画像データ取得部１１１が、カメラ部２００から第１動画ストリームを取得する。そして、ステップＳ１０２に進む。
　制御部１１０は、トリガ信号を取得する（ステップＳ１０２）。具体的には、トリガ信号取得部１１２が心電センシング部３００からトリガ信号を取得する。そして、ステップＳ１０３に進む。
　制御部１１０は、キャプチャ画像を生成する（ステップＳ１０３）。具体的には、キャプチャ画像生成部１１３は、トリガ信号取得部１１２によって取得されたトリガ信号に基づいて、動画像データ取得部１１１によって取得された第１動画ストリームからキャプチャ画像を生成する。そして、ステップＳ１０４に進む。
　制御部１１０は、第２動画ストリームを生成する（ステップＳ１０４）。具体的には、記憶制御部１１４が、キャプチャ画像生成部１１３によって生成されたキャプチャ画像を時系列の順位並べて第２動画ストリームを生成する。そして、ステップＳ１０５に進む。
　制御部１１０は、第２動画ストリームを記憶する（ステップＳ１０５）。具体的には、記憶制御部１１４が、ステップＳ１０４で生成した第２動画ストリームを記憶部３０に記憶する。そして、図５の処理は終了する。
　図６を用いて、記憶部３０に記憶された第２動画ストリームを再生する処理に流れについて説明する。図６は、記憶部３０に記憶された第２動画ストリームを再生する処理の流れの一例を示すフローチャートである。
　まず、制御部１１０は、操作情報を取得する（ステップＳ２０１）。具体的には、記憶制御部１１４が、操作部１０から第２動画ストリームを再生する旨の操作情報を取得する。そして、ステップＳ２０２に進む。
　制御部１１０は、第２動画ストリームを取得する（ステップＳ２０２）。具体的には、記憶制御部１１４が、記憶部３０から第２動画ストリームを取得する。そして、ステップＳ２０３に進む。
　制御部１１０は、第２動画ストリームを再生する（ステップＳ２０３）。具体的には、再生制御部１１５が、記憶制御部１１４によって取得された第２動画ストリームを再生する。そして、図６の処理は終了する。
　上述のとおり、本実施形態では、第１動画ストリームに基づいて生成された第２動画ストリームを記憶し、その記憶された第２動画ストリームを再生することができる。これにより、拍動の同一位相画像だけが連続して記録された手術映像動画コンテンツを得ることができる。第２動画ストリームは、拍動の同一位相に該当するキーフレームだけで構成されており、臓器の形状や色などの形質は概ね一致する。そのため、ユーザは、第２動画ストリームを視認することで臓器の状態の変化を容易に把握することができる。
　また、本実施形態では、第２動画ストリームを生成することによって、手術の進行に伴う患者バイタルの変化による長時間の臓器の状態変化だけを、時間軸に沿って観察することができるようになる。
［第２実施形態］
　図７を用いて、本開示の第２実施形態に係る記録再生装置について説明する。図７は、本開示の第２実施形態に係る記録再生装置の構成の一例を示すブロック図である。
　図７に示すように、記録再生装置１００Ａは、制御部１１０Ａがフレーム内挿部１１７を備えている点で、図２に図示の記録再生装置１００と異なっている。
　フレーム内挿部１１７は、各種のキャプチャ画像間にフレーム画像を内挿する。フレーム内挿部１１７は、例えば、キャプチャ画像生成部１１３からキャプチャ画像を受ける。フレーム内挿部１１７は、例えば、受けたキャプチャ画像が更新されるまで、すなわち次のキャプチャ画像を受けるまで所定のフレームレートでフレーム画像を内挿して記憶制御部１１４に出力する。この場合、記憶制御部１１４は、キャプチャ画像と、フレーム画像とを並べて第３動画ストリームとして記憶部３０に記憶する。
　フレーム内挿部１１７は、例えば、直前にキャプチャ画像生成部１１３から入力されたキャプチャ画像をフレーム画像として入力する。具体的には、フレーム内挿部１１７は、例えば、キャプチャ画像生成部１１３から第１キャプチャ画像が入力された場合、次の第２キャプチャ画像が入力されるまでの間は、第１キャプチャ画像をフレーム画像として内挿する。そして、フレーム内挿部１１７は、キャプチャ画像生成部１１３から第２キャプチャ画像が入力されると、次の第３キャプチャ画像が入力されるまでの間は、第２キャプチャ画像をフレーム画像として内挿する。
　フレーム内挿部１１７は、例えば、第１キャプチャ画像が生成された時刻と、第２キャプチャ画像が生成された時刻との時間比率に基づいて混合して混合画像を生成して内挿もよい。具体的には、フレーム内挿部１１７は、第１キャプチャ画像と、第２キャプチャ画像との間の時刻の臓器の状態を表す混合画像を生成してもよい。この場合、記憶制御部１１４は、キャプチャ画像と、混合画像とを並べて第３動画ストリームとして記憶部３０に記憶する。
　図８を用いて、第１動画ストリームから第３動画ストリームを生成する方法について説明する。図８は、第１動画ストリームから第３動画ストリームを生成する方法の一例を説明するための図である。
　図８では、キャプチャ画像生成部１１３は、キーフレーム画像として、フレーム画像Ｆ１１と、フレーム画像Ｆ１２と、フレーム画像Ｆ１３と、フレーム画像Ｆ１４とを生成する場合を考える。
　フレーム内挿部１１７は、フレーム画像Ｆ１１が入力された場合、フレーム画像Ｆ１２が入力されるまでの間は所定のフレームレートでフレーム画像Ｆ１１を内挿する。フレーム内挿部１１７は、フレーム画像Ｆ１２が入力された場合、フレーム画像Ｆ１３が入力されるまでの間は所定のフレームレートでフレーム画像Ｆ１２を内挿する。フレーム内挿部１１７は、フレーム画像Ｆ１３が入力された場合、フレーム画像Ｆ１４が入力されるまでの間は所定のフレームレートでフレーム画像Ｆ１３を内挿する。フレーム内挿部１１７は、フレーム画像Ｆ１４が入力された場合、次のフレーム画像が入力されるまでの間は所定のフレームレートでフレーム画像Ｆ１４を内挿する。そして、記憶制御部１１４は、各画像を時系列の順に並べて第３動画ストリームＶＳ３として記憶部３０に記憶する。
　フレーム内挿部１１７は、例えば、フレーム画像Ｆ１１と、フレーム画像Ｆ１２との間に、混合画像を内挿してもよい。図８に示すように、フレーム内挿部１１７は、例えば、フレーム画像Ｆ１１と、フレーム画像Ｆ１２との間に、混合画像Ｆ１１２と、混合画像Ｆ１１３とを内挿してもよい。混合画像Ｆ１１２は、フレーム画像Ｆ１２よりもフレーム画像Ｆ１１に状態が近い。混合画像Ｆ１１３は、フレーム画像Ｆ１１よりもフレーム画像Ｆ１２に状態が近い。フレーム内挿部１１７は、同様に、フレーム画像Ｆ１２と、フレーム画像Ｆ１３との間に混合画像Ｆ１２１と、混合画像Ｆ１２２とを内挿する。フレーム内挿部１１７は、同様に、フレーム画像Ｆ１３と、フレーム画像Ｆ１４との間に混合画像Ｆ１３１とを内挿する。そして、記憶制御部１１４は、各画像を時系列の順に並べて第３動画ストリームＶＳ３Ａとして記憶部３０に記憶する。このような、第３動画ストリームＶＳ３Ａを視認することで、状態が徐々に変化していく様子を確認することができる。
　図９を用いて、本開示の第２実施形態に係る制御部１１０Ａが第３動画ストリームを記憶する処理の流れについて説明する。図９は、本開示の第２実施形態に係る制御部１１０Ａが第３動画ストリームを記憶する処理の流れの一例を示すフローチャートである。
　ステップＳ３０１～ステップＳ３０３の処理は、それぞれ、図５に図示のステップＳ１０１～ステップＳ１０３の処理と同じなので、説明は省略する。
　制御部１１０Ａは、キャプチャ画像間にフレーム画像を内挿する（ステップＳ３０４）。具体的には、フレーム内挿部１１７が、キャプチャ画像間に所定のフレームレートでフレーム画像を内挿する。そして、ステップＳ３０５に進む。
　制御部１１０Ａは、第３動画ストリームを生成する（ステップＳ３０５）。具体的には、記憶制御部１１４が、キャプチャ画像と内挿されたフレーム画像とを時系列の順位並べて第３動画ストリームを生成する。そして、ステップＳ３０６に進む。
　制御部１１０Ａは、第３動画ストリームを記憶する（ステップＳ３０６）。具体的には、記憶制御部１１４が、ステップＳ３０５で生成した第３動画ストリームを記憶部３０に記憶する。そして、図９の処理は終了する。
　第３動画ストリームを再生する処理については、図６で説明した第２動画ストリームを再生する方法と同じなので説明は省略する。なお、第２実施形態では、再生制御部１１５は、第３動画ストリームから所定の周期でサンプリングしたフレーム画像を所定のフレームレートで再生することで第３動画ストリームを高速に再生してもよい。ここで、第３動画ストリームをサンプリングする周期に特に制限はない。例えば、ユーザは、第３動画ストリームをサンプリングする周期を、操作部１０による操作で任意に設定することができる。
　図１０を用いて、第３動画ストリームを高速再生する方法の一例について説明する。図１０は、第３動画ストリームを高速再生する方法の一例を説明するための図である。
　図１０に示すように、再生制御部１１５は、例えば、第３動画ストリームＶＳ３に含まれる１２個のフレーム画像を２個おきにサンプリングして、第３動画ストリームＶＳ３Ｂとして再生してもよい。この場合、第３動画ストリームＶＳ３Ｂには、フレーム画像Ｆ１１と、フレーム画像Ｆ１１と、フレーム画像Ｆ１２と、フレーム画像Ｆ１４と、フレーム画像Ｆ１４との６個のフレーム画像が含まれる。このようにフレーム画像をサンプリングすることで、再生制御部１１５は、第３動画ストリームＶＳ３を高速に再生することができる。
　図１１を用いて、本開示の第２実施形態に係る制御部１１０Ａが第３動画ストリームを高速再生する処理の流れの一例について説明する。図１１は、本開示の第２実施形態に係る制御部１１０Ａが第３動画ストリームを高速再生する処理の流れの一例を示すフローチャートである。
　まず、制御部１１０Ａは、第３動画ストリームを取得する（ステップＳ４０１）。具体的には、記憶制御部１１４が、記憶部３０から第３動画ストリームを取得する。そして、ステップＳ４０２に進む。
　制御部１１０Ａは、第３動画ストリームを所定の周期でサンプリングする（ステップＳ４０２）。具体的には、再生制御部１２５が第３動画ストリームを所定の周期でサンプリングする。そして、ステップＳ４０３に進む。
　制御部１１０Ａは、第３動画ストリームを高速再生する（ステップＳ４０３）。具体的には、再生制御部１２５がステップＳ４０２でサンプリングした第３動画ストリームを高速再生する。そして、図１１の処理は終了する。
　上述のとおり、本実施形態は、キャプチャ画像間に特定のフレーム画像を挿入することで動画ストリームの再生時間を実時間と一致させることができる。これにより、臓器の拍動周期の時間的変化を容易に把握することができるようになる。
　また、本実施形態では、記録された動画ストリームを高速に再生することができる。これにより、臓器の形状や形質を高速に確認することができるように。
［第３実施形態］
　図１２を用いて、本開示の第３実施形態に係る記録再生装置について説明する。図１２は、本開示の第３実施形態に係る記録再生装置の構成の一例を示すブロック図である。
　図１２に示すように、記録再生装置１００Ｂは、制御部１１０Ｂがフレーム内挿部１１７と、タイミング信号取得部１１８と、ラベリング部１１９と、ライブ動画像記憶制御部１２０と、ＧＵＩ生成部１２１とを備えている点で、図２に図示の記録再生装置１００と異なっている。
　タイミング信号取得部１１８は、外部機器から複数種類のタイミング信号を取得する。タイミング信号取得部１１８は、取得したタイミング信号をラベリング部１１９に出力する。タイミング信号には、例えば、時間に関する情報が含まれる。タイミング信号には、例えば、患者のバイタル情報が含まれる。タイミング信号には、例えば、患者に施した各種の処置に関する情報が含まれる。
　ラベリング部１１９は、動画像データ取得部１１１から第１動画ストリームを受ける。ラベリング部１１９は、例えば、第１動画ストリームに対して説明ラベルを付与する。ラベリング部１１９は、例えば、第１動画ストリームに対してチャプタを付与する。ラベリング部１１９は、例えば、タイミング信号取得部１１８から受けたタイミング信号に従って、第１動画ストリームに対して説明ラベルおよびチャプタを付与する。ラベリング部１１９は、例えば、第１動画ストリームに対して画像認識処理を実行することで、処置の内容を認識し、認識した処理を説明ラベルとして付与してもよい。ラベリング部１１９は、例えば、説明ラベルおよびチャプタが付与された第１動画ストリームをライブ動画像記憶制御部１２０に出力する。
　ライブ動画像記憶制御部１２０は、説明ラベルおよびチャプタが付与された第１動画ストリームを記憶部３０に記録する。ライブ動画像記憶制御部１２０は、説明ラベルおよびチャプタが付与された第１動画ストリームをＧＵＩ生成部１２１に出力する。
　ＧＵＩ生成部１２１は、各種の動画ストリームを表示するＧＵＩを生成する。ＧＵＩ生成部１２１は、例えば、第１動画ストリームを表示するウインドウを含むＧＵＩを生成する。ＧＵＩ生成部１２１は、例えば、第１動画ストリームに含まれるフレーム画像に基づいてサムネイル画像を作成し、サムネイル画像にイベントの名称を併記して時間順に並べたタイムライン表示を含むＧＵＩを生成する。イベントは、例えば、時間情報と各種の処置、および患者のバイタル情報を含む。ＧＵＩ生成部１２１は、例えば、タイムライン表示のサムネイル画像をクリックすると、サムネイル画像が記録された時間位置の前後の第３動画ストリームを再生するウインドウとを含むＧＵＩを生成する。
　図１３を用いて、本開示の第３実施形態に係る記録再生制御装置が生成するＧＵＩについて説明する。図１３は、本開示の第３実施形態に係る記録再生制御装置が生成するＧＵＩの一例を説明するための図である。
　図１３に示す表示画面ＩＭは、記録再生装置１００Ｂが生成するＧＵＩの一例である。表示画面ＩＭは、第１領域ＡＲ１と、第２領域ＡＲ２と、第３領域ＡＲ３とを含む。
　第１領域ＡＲ１には、第１動画像が表示される。第１動画像は、例えば、第１動画ストリームである。すなわち、第１領域ＡＲ１には、手術のライブ映像が表示される。なお、第１領域ＡＲ１には、手術のライブ映像以外の映像が表示されてもよい。第１領域ＡＲ１には、例えば、現在時刻の１２時１７分５４秒よりも過去の映像が表示されるようにしてもよい。この場合、第１領域ＡＲ１には、第２領域ＡＲ２で表示される映像とは異なる映像が表示されるようにすればよい。
　第２領域ＡＲ２には、第１動画像とは異なる第２動画像が表示される。第２領域ＡＲ２には、例えば、現在よりも過去の映像が表示される。第２領域ＡＲ２には、例えば、第３領域ＡＲ３で選択されたサムネイル画像の記録された時刻の前後の映像が所定時間表示される。図１３に示す例では、第２領域ＡＲ２には、第３領域ＡＲ３で選択されたサムネイル画像ＴＩ４の前後の映像が表示されている。所定時間は、ユーザが任意に設定してよい。図１３に示す例では、１１時４５分１９秒の医薬品Ｃが投与された映像が表示されている。
　第３領域ＡＲ３には、サムネイル画像にイベントの名称を併記して時間順に並べたタイムラインが表示される。図１３に示す例では、サムネイル画像ＴＩ１～ＴＩ６には、ぞれぞれ、ラベルＬ１～ラベルＬ６が関連付けられている。ラベルＬ１～ラベルＬ６に、イベントに関する情報が含まれる。例えば、サムネイル画像Ｔ１には、１１時２５分１１秒に医薬品Ａが投与されたことを示す情報が関連付けられている。例えば、サムネイル画像ＴＩ２には、１１時３１分２０秒にバイタルの状態がバイタルサイン測定値Ａであったこと示す情報が関連付けられている。このように、第３領域ＡＲ３に表示される各サムネイル画像には、各種の処置や、患者のバイタル情報が関連付けられている。
　上述のとおり、本実施形態では、ＧＵＩを生成することで、手術の進行に伴う患者のバイタルの変化による長時間の臓器の状態変化を時間軸に沿って再生して観察することができる。また、本実施形態は、異なる時刻の臓器の状態を比較することが容易となる。
　以上、本開示の実施形態を説明したが、これら実施形態の内容により本開示が限定されるものではない。記録再生システムを、ネットワーク経由でカメラ部２００と心電センシング部３００が記録再生装置１００に接続された構成としたが、これに限定されず、ネットワーク以外の手段により接続された構成であってもよい。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態の記録再生制御装置、記録再生制御方法、およびプログラムは、例えば、手術中の臓器を撮影した映像を再生する記録再生装置などに適用することができる。
　１　記録再生システム
　１０　操作部
　２０　表示部
　３０　記憶部
　４０　通信部
　１００　記録再生装置
　１１０　制御部
　１１１　動画像データ取得部
　１１２　トリガ信号取得部
　１１３　キャプチャ画像生成部
　１１４　記憶制御部
　１１５　再生制御部
　１１６　通信制御部
　１１７　フレーム内挿部
　１１８　タイミング信号取得部
　１１９　ラベリング部
　１２０　ライブ動画像記憶制御部
　１２１　ＧＵＩ生成部
　２００　カメラ部
　３００　心電センシング部

Claims (9)

  1. 　所定のフレームレートで撮影するカメラから第１動画ストリームを取得する動画像データ取得部と、
    　外部装置からトリガ信号を取得するトリガ信号取得部と、
    　前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するキャプチャ画像生成部と、
    　前記キャプチャ画像生成部によって生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録する記憶制御部と、
    　前記記憶部に記憶された前記第２動画ストリームを再生する再生制御部と、
    　を備える記録再生制御装置。
  2. 　前記キャプチャ画像生成部によって生成された前記キャプチャ画像を入力として、前記キャプチャ画像が更新されるまで前記所定のフレームレートでフレーム画像を内挿して出力するフレーム内挿部を更に備え、
    　前記記憶制御部は、前記キャプチャ画像と、前記フレーム画像とを並べて第３動画ストリームとして記録する、
    　請求項１に記載の記録再生制御装置。
  3. 　前記フレーム内挿部は、直前に入力された前記キャプチャ画像を前記フレーム画像として内挿する、
    　請求項２に記載の記録再生制御装置。
  4. 　前記キャプチャ画像生成部は、第１キャプチャ画像と、第２キャプチャ画像との順に前記フレーム内挿部に入力し、
    　前記フレーム内挿部は、前記第１キャプチャ画像と、前記第２キャプチャ画像とを、前記第１キャプチャ画像が生成された時刻と、前記第２キャプチャ画像が生成された時刻との時間比率に基づいて混合した混合画像を前記フレーム画像として内挿する、
    　請求項２に記載の記録再生制御装置。
  5. 　前記再生制御部は、前記第３動画ストリームから所定の周期でサンプリングしたフレーム画像を前記所定のフレームレートで再生する、
    　請求項２から４のいずれか１項に記載の記録再生制御装置。
  6. 　前記トリガ信号は、心電図から取得された情報に基づいて、特定位相に同期したタイミングで発生する、
    　請求項１から５のいずれか１項に記載の記録再生制御装置。
  7. 　複数種類の外部機器から複数のタイミング信号を取得するタイミング信号取得部と、
    　複数の前記タイミング信号に従って、前記第１動画ストリームに対して説明ラベルを付与するラベリング部と、
    　前記ラベリング部から出力される前記説明ラベルが付与された前記第１動画ストリームを記録する前記記憶部に記録するライブ動画像記憶制御部と、を更に備える、
    　請求項１から６のいずれか１項に記載の記録再生制御装置。
  8. 　所定のフレームレートで撮影するカメラから第１動画ストリームを取得するステップと、
    　外部装置からトリガ信号を取得するステップと、
    　前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するステップと、
    　生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録するステップと、
    　前記記憶部に記憶された前記第２動画ストリームを再生するステップと、
    　を含む記録再生制御方法。
  9. 　所定のフレームレートで撮影するカメラから第１動画ストリームを取得するステップと、
    　外部装置からトリガ信号を取得するステップと、
    　前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するステップと、
    　生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録するステップと、
    　前記記憶部に記憶された前記第２動画ストリームを再生するステップと、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2020/024920 2019-08-08 2020-06-24 記録再生制御装置、記録再生制御方法、およびプログラム Ceased WO2021024637A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/584,447 US11812140B2 (en) 2019-08-08 2022-01-26 Recording and reproduction control device, and recording and reproduction control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-146588 2019-08-08
JP2019146588A JP7379918B2 (ja) 2019-08-08 2019-08-08 記録再生制御装置および記録再生制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/584,447 Continuation US11812140B2 (en) 2019-08-08 2022-01-26 Recording and reproduction control device, and recording and reproduction control method

Publications (1)

Publication Number Publication Date
WO2021024637A1 true WO2021024637A1 (ja) 2021-02-11

Family

ID=74502906

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024920 Ceased WO2021024637A1 (ja) 2019-08-08 2020-06-24 記録再生制御装置、記録再生制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US11812140B2 (ja)
JP (1) JP7379918B2 (ja)
WO (1) WO2021024637A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076078A (ja) * 1999-09-07 2001-03-23 Yasuo Kumagai 医療情報閲覧システム、医療情報閲覧方法、および医療情報保管方法
WO2009093693A1 (ja) * 2008-01-25 2009-07-30 Konica Minolta Holdings, Inc. 画像生成装置、画像生成方法およびプログラム
JP2017131375A (ja) * 2016-01-27 2017-08-03 コニカミノルタ株式会社 血管内皮機能検査装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977445B2 (ja) 1995-05-31 2007-09-19 東芝医用システムエンジニアリング株式会社 超音波診断装置
JP2005012584A (ja) * 2003-06-20 2005-01-13 Makers Shop:Kk 画像情報提供システム
US8698795B2 (en) * 2008-01-24 2014-04-15 Koninklijke Philips N.V. Interactive image segmentation
US8406534B2 (en) * 2008-06-30 2013-03-26 Intel Corporation System and method for video based scene analysis
EP3188120B1 (en) * 2015-12-28 2018-07-25 MedCom Gesellschaft für medizinische Bildverarbeitung mbH Registering first image data of a first stream with second image data of a second stream
US11918423B2 (en) * 2018-10-30 2024-03-05 Corindus, Inc. System and method for navigating a device through a path to a target location

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076078A (ja) * 1999-09-07 2001-03-23 Yasuo Kumagai 医療情報閲覧システム、医療情報閲覧方法、および医療情報保管方法
WO2009093693A1 (ja) * 2008-01-25 2009-07-30 Konica Minolta Holdings, Inc. 画像生成装置、画像生成方法およびプログラム
JP2017131375A (ja) * 2016-01-27 2017-08-03 コニカミノルタ株式会社 血管内皮機能検査装置

Also Published As

Publication number Publication date
US11812140B2 (en) 2023-11-07
JP2021027551A (ja) 2021-02-22
US20220150396A1 (en) 2022-05-12
JP7379918B2 (ja) 2023-11-15

Similar Documents

Publication Publication Date Title
KR102744011B1 (ko) 비교 학습을 위한 시술 비디오들을 동기화하기 위한 방법 및 시스템
US20150046818A1 (en) Software tools platform for medical environments
CN111512637B (zh) 医疗运动图像处理系统
JP7427792B2 (ja) ビデオエフェクト処理方法及び装置
EP2687146A1 (en) Medical information recording device
EP1433088A2 (en) A real-time slide presentation multimedia data object and system and method of recording and browsing a multimedia data object
WO2013116777A1 (en) Video frame marking
JP2012065735A5 (ja)
CN107049298B (zh) 动态三维标测图的内插
JP7379918B2 (ja) 記録再生制御装置および記録再生制御方法
CN105380679B (zh) 超声成像设备的控制方法及系统
JP2008514336A (ja) ビデオ画像クリップ同期再生システム
JP6102526B2 (ja) 脳機能計測用動画生成装置および脳機能計測用動画生成システム
WO2020049920A1 (ja) 医療映像スイッチャー
EP4323973A1 (en) Quantifying variation in surgical approaches
Sodergren et al. Endoscopic horizon stabilization in natural orifice translumenal endoscopic surgery: a randomized controlled trial
JP4167582B2 (ja) 超音波診断装置
JP7755153B2 (ja) 臨床コンテキスト的心電図モニタリング
JP2005118350A (ja) データ記録システム
JP2013254381A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
WO2024223462A1 (en) User interface for participant selection during surgical streaming
CN120226092A (zh) 用于病例审查的视频分析仪表板
WO2025036995A1 (en) Annotation overlay through streaming interface
JP2025117609A (ja) 情報処理装置、表示装置、情報処理方法およびプログラム
JP5944207B2 (ja) 波形記録装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20849681

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20849681

Country of ref document: EP

Kind code of ref document: A1