[go: up one dir, main page]

WO2018168571A1 - 撮像装置、映像信号処理装置および映像信号処理方法 - Google Patents

撮像装置、映像信号処理装置および映像信号処理方法 Download PDF

Info

Publication number
WO2018168571A1
WO2018168571A1 PCT/JP2018/008570 JP2018008570W WO2018168571A1 WO 2018168571 A1 WO2018168571 A1 WO 2018168571A1 JP 2018008570 W JP2018008570 W JP 2018008570W WO 2018168571 A1 WO2018168571 A1 WO 2018168571A1
Authority
WO
WIPO (PCT)
Prior art keywords
video signal
pixels
pixel
value
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/008570
Other languages
English (en)
French (fr)
Inventor
浩二 神谷
幸裕 木下
康貴 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019505905A priority Critical patent/JP7063321B2/ja
Priority to EP18767380.1A priority patent/EP3598732B1/en
Priority to US16/486,391 priority patent/US10778889B2/en
Priority to CN201880016326.XA priority patent/CN110393005A/zh
Publication of WO2018168571A1 publication Critical patent/WO2018168571A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Definitions

  • the present technology relates to an imaging apparatus such as a video camera, a video signal processing apparatus and a video signal processing method used for the imaging apparatus.
  • An object of the present technology relates to an imaging apparatus, a video signal processing apparatus, and a video signal processing method that can perform focus adjustment while visually recognizing a display image of a viewfinder.
  • an imaging apparatus includes: An imaging unit having an imaging element; A first video signal processing unit that generates a first video signal having a first resolution from a pixel signal obtained by the imaging unit; A down-converted video signal having a second resolution lower than the first resolution is generated by down-converting the first video signal generated by the first video signal processing unit, and the down-converted video signal 2 pixels or more in the horizontal direction and 2 pixels in the vertical direction including each pixel in the central portion in the region of 2N pixels in the vertical direction corresponding to 2 pixels in the horizontal direction and 2N pixels in the vertical direction (N is a power of 2 or more).
  • the second video signal processor is An addition value for each pixel of 2 ⁇ 2 pixels in the central portion may be calculated by applying a predetermined gain to each of the difference data.
  • the second video signal processing unit may be configured to limit the band of the first video signal and perform down-conversion by thinning out pixels.
  • the luminance representative value can be an average value of luminances of one or more central partial pixels corresponding to individual pixels in the horizontal 2 ⁇ vertical 2 pixels of the down-converted video signal.
  • the second video signal processing unit may be configured to generate data obtained by multiplying the difference data by a specific gain as a value corresponding to the difference data.
  • An imaging apparatus A first operator that can select the number of the central partial pixels in the first axial direction as a first set value and a number of the central partial pixels in the second axial direction can be selected as a second set value.
  • the operator group further includes a third operator capable of selecting the gain value as a third set value;
  • the control unit detects a state of the third operation element at the time of shooting, and reflects the third set value in an operation of the second video signal processing unit in real time based on the detection result. It may be configured as described above.
  • the imaging apparatus may further include a user interface for assigning the first operator, the second operator, and the third operator in the operator group.
  • the second video signal processing unit calculates a value obtained by multiplying each of the difference data by a specific gain by subtracting a certain value on the absolute value as a value corresponding to the difference data. It may be configured as follows.
  • the second video signal processing unit may be configured to clip each difference data with an arbitrary value on the absolute value when subtracting a certain value on the absolute value from each difference data. Good.
  • the video signal processing apparatus is A first video signal processing unit that generates a first video signal having a first resolution from a pixel signal obtained by the imaging device;
  • a down-converted video signal having a second resolution lower than the first resolution is generated by down-converting the first video signal generated by the first video signal processing unit, and the down-converted video signal 2 pixels or more in the horizontal direction and 2 pixels in the vertical direction including each pixel in the central portion in the region of 2N pixels in the vertical direction corresponding to 2 pixels in the horizontal direction and 2N pixels in the vertical direction (N is a power of 2 or more).
  • the luminance representative value of one or more of the central partial pixels corresponding to each pixel of the down-converted video signal, with each pixel above the pixel being a central partial pixel A second video that generates a second video signal of the second resolution by individually adding a value corresponding to the difference data to a luminance value of a corresponding pixel of the down-converted video signal ; And a No. processor.
  • the video signal processing method is as follows: A first video signal processing unit that generates a first video signal having a first resolution from a pixel signal obtained by the imaging apparatus; A second video signal processing unit down-converts the first video signal generated by the first video signal processing unit, thereby converting a down-converted video signal having a second resolution lower than the first resolution.
  • Each pixel in the central portion in the region of 2N ⁇ 2N pixels of the first video signal corresponding to 2 ⁇ 2 pixels of the down-converted video signal (N is a power of 2 or more)
  • N is a power of 2 or more
  • a value corresponding to the difference data from the average luminance value of the central partial pixel is individually added to the luminance value of the corresponding pixel of the down-converted video signal, so that the second video having the second resolution is added.
  • FIG. 2 is a region diagram illustrating a functional configuration of a VF signal processing unit 15 in the imaging apparatus 1 of FIG. 1. It is the figure which showed the resolution conversion by the down converter 151 in the two-dimensional space of the brightness
  • FIG. 6 is a diagram illustrating resolution conversion from an 8K resolution video signal to an HD resolution video signal by the down converter 151.
  • FIG. It is a figure which shows the case where a plurality of center part pixels of 2 horizontal pixels or more ⁇ 2 vertical pixels or more are a total of 9 pixels of 3 horizontal pixels ⁇ 3 vertical pixels. It is a figure which shows UI screen for the user setting regarding a focus assist function.
  • FIG. 3 is a side view illustrating an operator related to a focus assist function of the imaging apparatus 1.
  • FIG. It is a figure which shows the operation method in the case of changing the operation element of the horizontal center partial pixel number from the dial D2 to the dial D3 on the UI screen shown in FIG.
  • FIG. 11 is a diagram illustrating a switching order between a plurality of buttons on the UI screen illustrated in FIG. 10.
  • FIG. 11 is a diagram illustrating a display example when duplicate setting of an operation element occurs on the UI screen illustrated in FIG. 10.
  • FIG. 1 is a region diagram illustrating a configuration of the imaging apparatus according to the first embodiment of the present technology.
  • the imaging apparatus 1 includes an optical block 11, an imaging unit 12, a main line video signal processing unit 13, an output unit 14, a VF signal processing unit 15, a VF (viewfinder) 16, a control unit 17, and an operation. And an input unit 18.
  • the optical block 11 includes a lens, a focus adjustment mechanism, a shutter mechanism, an iris (iris) mechanism, and the like.
  • the optical block 11 forms an image of the reflected light from the subject on the imaging surface of the imaging device of the imaging unit 12 with a lens.
  • the imaging unit 12 includes an imaging device, an analog signal processing circuit, an A / D conversion circuit, and the like.
  • the image pickup device includes a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and the like.
  • the image sensor has a relatively high number of effective pixels such as 4K (3840 ⁇ 2160) and 8K (7680 ⁇ 4320). Pixel signals obtained by the image pickup device of the image pickup unit 12 are supplied to the main line video signal processing unit 13.
  • the main line video signal processing unit 13 corresponds to the “first video signal processing unit” in the claims, and for example, defect correction, noise removal, By performing signal processing such as lens aberration correction, A / D conversion, and RAW development, a first video signal having a first resolution corresponding to the number of effective pixels of the image sensor is generated.
  • the first video signal is a relatively high resolution video signal such as a 4K video signal or an 8K video signal. In the present specification, the description will be continued assuming that a 4K video signal is generated.
  • the generated first video signal is supplied to the output unit 14 and the VF signal processing unit 15.
  • the output unit 14 performs processing of transmitting the first video signal obtained by the main line video signal processing unit 13 to an external video device such as a CCU (camera control unit) through the camera cable.
  • the CCU receives the first video signal transmitted from the imaging device 1 through the camera cable 30 and performs processing of converting the digital video signal to an analog video signal in a format suitable for transmission and transmitting the analog video signal, for example. .
  • the first video signal obtained by the main line video signal processing unit 13 may be recorded on a recording medium such as an SSD (Solid State Drive).
  • a recording medium such as an SSD (Solid State Drive).
  • the VF signal processing unit 15 corresponds to the “second video signal processing unit” in the claims, and from the first video signal having the first resolution obtained by the main video signal processing unit 13, A VF video signal is generated as a second video signal having a second resolution which is the screen resolution of VF16.
  • VF16 has a screen capable of displaying a VF video signal.
  • the operation input unit 18 receives a command for operating the imaging apparatus 1 and various settings from the user, and includes, for example, a button, a switch, a dial, and a touch panel sensor provided on the screen of the VF 16.
  • the control unit 17 is a controller for controlling each part of the image pickup apparatus 1 and includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Only Member), and the like.
  • the RAM or ROM stores programs executed by the CPU and various parameters.
  • the control unit 17 interprets user operation input information received by the operation input unit 18 and controls the imaging apparatus 1 according to the interpreted input information.
  • FIG. 2 is a region diagram showing a functional configuration of the VF signal processing unit 15.
  • the VF signal processing unit 15 includes a down converter 151, a focus assist information generation unit 152, a detail processing unit 153, an addition unit 154, and another VF signal processing unit 155.
  • the down converter 151 converts the input first video signal having the first resolution into a down-convert video signal having a second resolution lower than the first resolution by down-conversion. More specifically, the down-converter 151 removes high-frequency components from the first video signal by a band limiting filter to remove area sync noise, and, for example, reduces the vertical 2 ⁇ horizontal 2 pixels to 1 pixel by pixel thinning. Convert. Thereby, the down converter 151 converts, for example, a 4K resolution video signal into an HD resolution down-converted video signal (second video signal).
  • the focus assist information generation unit 152 includes a difference calculation unit 156 and a gain unit 157.
  • the difference calculation unit 156 includes, for example, horizontal 2N ⁇ vertical 2N pixels such as horizontal 4 ⁇ vertical 4 pixels of the first video signal corresponding to horizontal 2 ⁇ vertical 2 pixels of the down-converted video signal (N is 2 or more 2).
  • N is 2 or more 2).
  • Difference data from the average luminance value of the luminance representative value of the partial pixel is calculated.
  • the average luminance value is an average value of the luminance values of the central partial pixels.
  • the luminance representative value is an average value of luminance values of one or more central partial pixels corresponding to individual pixels in the horizontal 2 ⁇ vertical 2 pixels of the down-converted video signal.
  • the gain unit 157 generates focus assist information by multiplying each difference data calculated by the difference calculation unit 156 by a certain gain ( ⁇ ).
  • the adding unit 154 adds the corresponding focus assist information generated by the focus assist information generating unit 152 to the luminance value of each pixel of the down-converted video signal generated by the down converter 151 to further increase the luminance contrast.
  • the second video signal having the second resolution is generated.
  • the generated second video signal is subjected to other signal processing such as character and marker synthesis in another VF signal processing unit 155, thereby becoming a VF video signal of the second resolution to the VF16. Supplied.
  • the detail processing unit 153 performs detail processing for enhancing the contour of the subject on the down-converted video signal having the second resolution generated by the down converter 151.
  • the detail processing unit 153 is switched on and off in accordance with a control command from the control unit 17.
  • the main line video signal processing unit 13 and the VF signal processing unit 15 correspond to the “video signal processing device” in the claims of the present technology.
  • FIG. 3 is a diagram showing resolution conversion by the down converter 151 in a two-dimensional space of luminance and a unidirectional arrangement of pixels.
  • FIG. 4 is a diagram showing resolution conversion by the down converter 151 in vertical and horizontal pixel array spaces.
  • the down-converter 151 limits the high frequency component from the 4K resolution first video signal (FIG. 3A) by a band limiting filter (FIG. 3B) to remove area sync noise, and converts the resolution (
  • An HD resolution video signal (FIG. 3C) is generated by pixel decimation. As shown in FIG. 4, the conversion from 4K resolution to HD resolution is performed by thinning out 4 pixels of 2 ⁇ 2 horizontally into one pixel.
  • the imaging apparatus 1 compared to the 4K resolution video signal before the conversion, the appearance of the peak of the focus point becomes slow, and the focusing becomes difficult accordingly.
  • the imaging apparatus 1 generates each focus assist information corresponding to each pixel of the down-converted video signal from the first video signal with 4K resolution, and down-converts the first video signal with 4K resolution.
  • the HD resolution down-converted video signal thus obtained is individually added to the luminance value of each pixel to generate a HD resolution second video signal with higher brightness contrast. is there. The operation will be described below.
  • FIG. 6 is a flowchart showing a procedure for generating focus assist information.
  • the difference calculation unit 156 has an area of horizontal 4 ⁇ vertical 4 pixels of the first video signal of 4K resolution corresponding to horizontal 2 ⁇ vertical 2 pixels of the down-converted video signal of HD resolution.
  • the luminance values of 4 pixels (central pixel) of 2 ⁇ 2 in the central portion 22 in 21 are extracted (step S101), and the average luminance value M1 of each luminance value is calculated by the following equation (1).
  • M1 (A1 + B1 + C1 + D1) / 4 (1)
  • A1, B1, C1, and D1 are the luminance values of the four pixels (center partial pixels) of the central portion 22 in the horizontal 21 ⁇ vertical 4 pixel region 21 of the first video signal.
  • the gain unit 157 generates focus assist information fa1, fb1, fc1, and fd1 by multiplying each difference data a1, b1, c1, and d1 by a constant gain ⁇ (step S104).
  • the focus assist information fa1, fb1, fc1, and fd1 generated by the focus assist information generation unit 152 are respectively added to the pixel Y11 of the down-converted video signal of HD resolution generated by the down-converter 151 by the adder 154.
  • the values are individually added to the values of Y12, Y21, and Y22 (see FIG. 4).
  • FIG. 7 is a diagram illustrating processing from generation of a 4K resolution first video signal to generation of an HD resolution VF video signal in a two-dimensional space of luminance and alignment in one direction of pixels.
  • two pieces of focus assist information fa1, out of the focus assist information fa1, fb1, fc1, and fd1 shown in FIG. 6 generated by the focus assist information generation unit 152 from the first video signal of 4K resolution.
  • fb1 and two pieces of focus assist information fa2 and fb2 generated from the next area are described.
  • the focus assist information fa1 is a positive value, it is added by the adder 154 to the value of the corresponding pixel Y11 of the down-converted video signal, and the focus assist information fb1 is a negative value. Therefore, the adder 154 subtracts the value of the corresponding pixel Y12 of the down-converted video signal. Therefore, an HD resolution VF video signal with an increased luminance contrast between pixels can be obtained, and focus adjustment by visual recognition can be performed better on the VF16 screen.
  • the present technology can also be applied when the resolution of the first video signal is 8K and the resolution of the second video signal is 4K.
  • the focus assist information is generated by calculating the difference data from the average brightness value using each brightness value as the brightness representative value, and added to the horizontal 2 ⁇ vertical 2 pixels of the 4K resolution down-converted video signal. .
  • the present technology can also be applied when the resolution of the first video signal is 8K and the resolution of the second video signal is HD.
  • focus assist information is generated by calculating difference data from the average luminance value and added to the horizontal 2 ⁇ vertical 2 pixels of the down-converted video signal of HD resolution. Good.
  • the first video of 8K resolution corresponding to 2 ⁇ 2 pixels of the down-converted video signal of HD resolution. You may process about 16 pixels of horizontal 4 * vertical 4 of the center part in the area
  • the difference calculation unit 156 converts four sets of horizontal 2 ⁇ vertical 4 pixels, which divide the horizontal 4 ⁇ vertical 4 pixels of the center portion into vertical and horizontal equal parts, in 2 ⁇ 2 horizontal pixels of the down-converted video signal. Treated as a group of four central partial pixels corresponding to each pixel.
  • the difference calculation unit 156 calculates a representative luminance value for each set of four central partial pixels corresponding to each set of four central partial pixels corresponding to each of the horizontal 2 ⁇ vertical 2 pixels of the down-converted video signal.
  • the focus assist information is generated by calculating difference data from the average luminance value.
  • FIG. 8 is a diagram illustrating resolution conversion from a first video signal with 8K resolution to a second video signal with HD resolution.
  • the down-converter 151 uses the pixels d11-d14, d21-d24, d31-d34, and d41-d44 of the first video signal of 8K resolution to obtain 2 ⁇ 2 pixels of the down-converted video signal of HD resolution by pixel thinning. A pixel Y11 is generated.
  • the down-converter 151 performs horizontal 2 ⁇ vertical 2 of the down-converted video signal of HD resolution by pixel thinning out from the pixels d15-d18, d25-d28, d35-d38, d45-d48 of the first video signal of 8K resolution.
  • a pixel Y12 in the pixel is generated.
  • the down-converter 151 performs horizontal 2 ⁇ vertical 2 of the down-converted video signal of HD resolution by pixel thinning out from the pixels d51-d54, d61-d64, d71-d74, d81-d84 of the first video signal of 8K resolution.
  • a pixel Y21 in the pixel is generated.
  • the down-converter 151 then subtracts from the pixels d55-d58, d65-d68, d75-d78, d85-d88 of the first video signal of 8K resolution by 2 ⁇ 2 pixels of the HD resolution down-converted video signal by pixel thinning. Pixel Y22 is generated.
  • the difference calculation unit 156 calculates the average value of the luminance values of the central partial pixels d33, d34, d43, and d44 corresponding to the pixel Y11 of the HD-converted down-converted video signal, Calculated as a representative value Ar. Similarly, the difference calculation unit 156 calculates the average value of the luminance values of the central partial pixels d35, d36, d45, and d46 corresponding to the pixel Y12 as the luminance representative value Br of the central partial pixel corresponding to the pixel Y12.
  • the difference calculation unit 156 calculates the average value of the luminance values of the central partial pixels d53, d54, d63, and d64 corresponding to the pixel Y21 as the luminance representative value Cr of the central partial pixel corresponding to the pixel Y21. Similarly, the difference calculation unit 156 calculates the average value of the luminance values of the central partial pixels d55, d56, d65, and d66 corresponding to the pixel Y22 as the luminance representative value Dr of the central partial pixel corresponding to the pixel Y22.
  • the difference calculation unit 156 calculates the average value of the luminance representative values Ar, Br, Cr, and Dr as the average luminance value M1.
  • the difference calculation unit 156 calculates difference data a1, b1, c1, and d1 from the average luminance value M1 for each of the luminance representative values Ar, Br, Cr, and Dr.
  • the gain unit 157 generates focus assist information fa1, fb1, fc1, and fd1 by multiplying each difference data a1, b1, c1, and d1 by a certain gain ⁇ .
  • the focus assist information fa1, fb1, fc1, and fd1 generated by the focus assist information generation unit 152 are respectively added to the pixel Y11 of the down-converted video signal of HD resolution generated by the down-converter 151 by the adder 154.
  • the luminance values of Y12, Y21, and Y22 are individually added.
  • the present technology can also be applied when the resolution of the first video signal is 8K and the resolution of the second video signal is HD.
  • the area of the first video signal corresponding to 2 ⁇ 2 pixels in the second video signal is 2N ⁇ 2N pixels (N is a power of 2 of 2 or more). Is applicable.
  • FIG. 9 is a diagram illustrating a case where a plurality of central partial pixels of 2 pixels or more in horizontal direction ⁇ 2 pixels or more in total are 9 pixels of 3 pixels in horizontal direction ⁇ 3 pixels in vertical direction.
  • the resolution of the first video signal is 4K
  • the resolution of the second video signal is HD.
  • the difference calculation unit 156 includes each pixel in the center portion in the horizontal 4 ⁇ vertical 4 pixel region of the first video signal of 4K resolution corresponding to the horizontal 2 ⁇ vertical 2 pixels of the down-convert video signal of HD resolution. A luminance value of a total of 9 pixels of 3 ⁇ 3 pixels is extracted.
  • the difference calculation unit 156 calculates the luminance value of the central partial pixel d22 corresponding to the pixel Y11 of the HD resolution down-converted video signal as the luminance representative value Ar of the central partial pixel corresponding to the pixel Y11. Similarly, the difference calculation unit 156 calculates the average value of the luminance values of the central partial pixels d23 and d24 corresponding to the pixel Y12 as the luminance representative value Br of the central partial pixel corresponding to the pixel Y12. Similarly, the difference calculation unit 156 calculates the average value of the luminance values of the central partial pixels d32 and d42 corresponding to the pixel Y21 as the luminance representative value Cr of the central partial pixel corresponding to the pixel Y21.
  • the difference calculation unit 156 calculates the average value of the luminance values of the central partial pixels d33, d34, d43, and d44 corresponding to the pixel Y22 as the luminance representative value Dr of the central partial pixel corresponding to the pixel Y22.
  • the difference calculation unit 156 calculates the average value of the luminance representative values Ar, Br, Cr, Dr as the average luminance value M1, and the average luminance value M1 for each of the luminance representative values Ar, Br, Cr, Dr. Difference data a1, b1, c1, and d1 are calculated.
  • the gain unit 157 generates focus assist information fa1, fb1, fc1, and fd1 by multiplying each difference data a1, b1, c1, and d1 by a certain gain ⁇ .
  • the focus assist information fa1, fb1, fc1, and fd1 generated by the focus assist information generation unit 152 are respectively added to the pixel Y11 of the down-converted video signal of HD resolution generated by the down-converter 151 by the adder 154.
  • the values are individually added to the values of Y12, Y21, and Y22.
  • the present technology can also be applied to a case where a total of 9 pixels of 3 horizontal pixels ⁇ 3 vertical pixels are used as the central partial pixel. Similarly, it is possible to set the central partial pixel to 5 pixels or more in the horizontal direction and 5 pixels or more in the vertical direction.
  • the present technology can be applied not only when the number of pixels of the central portion pixel of the first video signal is equal in length and width but also when the number of pixels differs vertically and horizontally, such as 4 pixels vertically and 2 pixels horizontally. .
  • the imaging apparatus 1 can be set by the user as follows regarding the focus assist function. 1.
  • Focus assist on / off Number of vertical center pixels (2-n) 3.
  • Gain value
  • Focus assist on / off is a setting to switch on / off the focus assist function.
  • the number of vertical center partial pixels (2-n) is 2N horizontal ⁇ 2N vertical pixels of the first video signal corresponding to 2 horizontal ⁇ 2 vertical pixels of the down-converted video signal (N is a power of 2 greater than or equal to 2). This is a set value of the number of vertical center partial pixels in the area.
  • the number of horizontal central pixels (2-m) is the horizontal 2N ⁇ vertical 2N pixels of the first video signal corresponding to the horizontal 2 ⁇ vertical 2 pixels of the down-converted video signal (N is a power of 2 greater than or equal to 2). This is a set value of the number of horizontal center partial pixels in the region.
  • the maximum value n that can be set in the number of vertical center partial pixels (2-n) is 2N ⁇ 2N pixels (N) of the first video signal corresponding to 2 ⁇ 2 pixels of the down-converted video signal. Is the number of vertical pixels in the entire area of 2).
  • the maximum value m that can be set in the number of horizontal central pixels (2-m) is 2N horizontal ⁇ 2N vertical pixels (N) of the first video signal corresponding to 2 horizontal ⁇ 2 vertical pixels of the down-converted video signal. Is the number of horizontal pixels in the entire area of 2).
  • the gain value is a gain ⁇ that is commonly applied to the difference data a1, b1, c1, and d1.
  • FIG. 10 is a view showing a UI (User Interface) screen for the user setting.
  • UI User Interface
  • the VF 16 or an external display of the imaging device 1 is used as a UI display unit, and a specific operation button or the like provided on the imaging device 1 is used as a setting input unit.
  • a user can select an operator assigned to each setting item from a plurality of operator groups.
  • the operator groups that can be assigned to the setting items are a specific button group and a dial group provided in the operation input unit 18 of the imaging apparatus 1.
  • FIG. 11 is a side view showing an operator related to the focus assist function of the imaging apparatus 1.
  • the imaging apparatus 1 has a plurality of buttons B1, B2, B3, B4, and B5 and a plurality of dials D1, D2, and D3 as an operator group to which each setting item related to the focus assist function can be assigned. , D4.
  • the operator group is provided on the side surface of the body 1A of the imaging device 1 is shown, but it may be provided on another surface such as the upper surface of the imaging device 1 or provided on the VF16. May be.
  • the initial value of the operator is set for each setting item.
  • the operator of the button B1 is used for turning on / off the focus assist
  • the operator of the dial D1 is used for the number of vertical central pixels
  • the dial D2 is used for the horizontal center pixels.
  • the dial D3 controls are set as initial values.
  • FIG. 12 is a diagram showing an operation method in the case where the operator of the horizontal center partial pixel number is changed from the dial D2 to the dial D3 on the UI screen shown in FIG.
  • the user selects a setting item whose operator is to be changed by operating, for example, the cursor key 20 provided on the operation input unit 18.
  • the cursor key 20 provided on the operation input unit 18.
  • the setting item to be changed by the operation element moves from the on / off of the focus assist to the horizontal central pixel number.
  • the display of the operation element for the setting item of the horizontal central pixel number is changed from the dial D2 to the dial D3.
  • the assignment of the operation element to the setting item of the horizontal central partial pixel number is changed from the dial D2 to the dial D3.
  • the display of the operation element for the setting item of the horizontal center partial pixel number is changed from the dial D2 to the dial D4.
  • the assignment of the operation element to the setting item of the horizontal central partial pixel number is changed from the dial D2 to the dial D4.
  • the assignment of the operation elements to other setting items can be changed.
  • FIG. 13 is a diagram showing a switching order between a plurality of dials D1-D4.
  • the dial before the setting change is the dial D2
  • the selected dial is switched in the order of the dial D3, the dial D4, and the dial D1 each time the right key 20r of the cursor key 20 is pressed once.
  • the buttons B1-B5 can be switched according to the same rule.
  • the assignment of the operation element to the setting item of the horizontal central partial pixel number is changed from the dial D2 to the dial D3, it overlaps with the operation element assigned to the setting item of the gain value.
  • the setting of the manipulators for the operation items for example, gain value setting items
  • the operation item is displayed in a state that can be discriminated by reverse display or the like. Accordingly, the user can change the assignment of the operation elements so as to avoid duplication of the operation elements.
  • the user can change the brightness contrast of the second video signal displayed on the VF 16 or an external display in real time by operating each operation element assigned to each setting item related to the focus assist function at the time of shooting. it can. Thereby, the user can select a setting value that is optimal for focus adjustment by visual recognition.
  • control unit 17 detects the state of each operation element individually assigned to each setting item related to the focus assist function in the operation input unit 18.
  • the control unit 17 generates each set value corresponding to the detected state and sets it in the VF signal processing unit 15.
  • the VF signal processing unit 15 generates a VF video signal based on each set value given by the control unit 17 and outputs it to the VF 16.
  • the focus assist information generation unit 152 subtracts an arbitrary value S on the absolute value from each of the difference data a1, b1, c1, and d1 as follows for the purpose of removing noise, and the absolute value is subtracted.
  • Focus assist information fa1 ′, fb1 ′, fc1 ′, and fd1 ′ may be generated by multiplying each of the difference data a1 ′, b1 ′, c1 ′, and d1 ′ by gain ⁇ .
  • the focus assist information generation unit 152 subtracts an arbitrary value S from the difference data a1, b1, c1, and d1 to obtain difference data with an arbitrary value X on the absolute value as described below. You may clip a1.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 16 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied.
  • FIG. 16 shows a state where an operator (doctor) 5067 is performing surgery on a patient 5071 on a patient bed 5069 using an endoscopic surgery system 5000.
  • an endoscopic surgery system 5000 includes an endoscope 5001, other surgical tools 5017, a support arm device 5027 that supports the endoscope 5001, and various devices for endoscopic surgery. And a cart 5037 on which is mounted.
  • trocars 5025a to 5025d are punctured into the abdominal wall.
  • the lens barrel 5003 of the endoscope 5001 and other surgical tools 5017 are inserted into the body cavity of the patient 5071 from the trocars 5025a to 5025d.
  • an insufflation tube 5019, an energy treatment tool 5021, and forceps 5023 are inserted into the body cavity of the patient 5071.
  • the energy treatment device 5021 is a treatment device that performs tissue incision and separation, blood vessel sealing, or the like by high-frequency current or ultrasonic vibration.
  • the illustrated surgical tool 5017 is merely an example, and as the surgical tool 5017, for example, various surgical tools generally used in endoscopic surgery such as a lever and a retractor may be used.
  • the image of the surgical site in the body cavity of the patient 5071 captured by the endoscope 5001 is displayed on the display device 5041.
  • the surgeon 5067 performs a treatment such as excision of the affected part, for example, using the energy treatment tool 5021 and the forceps 5023 while viewing the image of the surgical part displayed on the display device 5041 in real time.
  • the pneumoperitoneum tube 5019, the energy treatment tool 5021, and the forceps 5023 are supported by an operator 5067 or an assistant during surgery.
  • the support arm device 5027 includes an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes joint portions 5033a, 5033b, and 5033c and links 5035a and 5035b, and is driven by control from the arm control device 5045.
  • the endoscope 5001 is supported by the arm unit 5031, and the position and posture thereof are controlled. Thereby, the stable position fixing of the endoscope 5001 can be realized.
  • the endoscope 5001 includes a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • an endoscope 5001 configured as a so-called rigid mirror having a rigid lens barrel 5003 is illustrated, but the endoscope 5001 is configured as a so-called flexible mirror having a flexible lens barrel 5003. Also good.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 5003.
  • a light source device 5043 is connected to the endoscope 5001, and light generated by the light source device 5043 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5003. Irradiation is performed toward the observation target in the body cavity of the patient 5071 through the lens.
  • the endoscope 5001 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 5005, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 5039 as RAW data.
  • CCU camera control unit
  • the camera head 5005 is equipped with a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of imaging elements may be provided in the camera head 5005 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 5003 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 5039 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls operations of the endoscope 5001 and the display device 5041. Specifically, the CCU 5039 performs various types of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 5005. The CCU 5039 provides the display device 5041 with the image signal subjected to the image processing. Further, the CCU 5039 transmits a control signal to the camera head 5005 to control the driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length.
  • the display device 5041 displays an image based on an image signal subjected to image processing by the CCU 5039 under the control of the CCU 5039.
  • the endoscope 5001 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
  • the display device 5041 may be a display device capable of high-resolution display and / or 3D display.
  • 4K or 8K high-resolution imaging a more immersive feeling can be obtained by using a display device 5041 having a size of 55 inches or more.
  • a plurality of display devices 5041 having different resolutions and sizes may be provided depending on applications.
  • the light source device 5043 is composed of a light source such as an LED (light emitting diode), for example, and supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • a light source such as an LED (light emitting diode)
  • the arm control device 5045 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 5031 of the support arm device 5027 according to a predetermined control method.
  • the input device 5047 is an input interface for the endoscopic surgery system 5000.
  • the user can input various information and instructions to the endoscopic surgery system 5000 via the input device 5047.
  • the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 5047.
  • the user instructs the arm unit 5031 to be driven via the input device 5047 or the instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5001. Then, an instruction to drive the energy treatment instrument 5021 is input.
  • the type of the input device 5047 is not limited, and the input device 5047 may be various known input devices.
  • the input device 5047 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5057, and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 5041.
  • the input device 5047 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various types of input are performed according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 5047 includes a camera capable of detecting the user's movement, and various inputs are performed according to the user's gesture and line of sight detected from the video captured by the camera.
  • the input device 5047 includes a microphone that can pick up a user's voice, and various inputs are performed by voice through the microphone.
  • the input device 5047 is configured to be able to input various information without contact, so that a user belonging to a clean area (for example, an operator 5067) can operate a device belonging to an unclean area without contact. Is possible.
  • a user belonging to a clean area for example, an operator 5067
  • the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 5049 controls the drive of the energy treatment instrument 5021 for tissue cauterization, incision, or blood vessel sealing.
  • the pneumoperitoneum device 5051 gas is introduced into the body cavity via the pneumoperitoneum tube 5019.
  • the recorder 5053 is an apparatus capable of recording various types of information related to surgery.
  • the printer 5055 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the support arm device 5027 includes a base portion 5029 as a base and an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes a plurality of joint portions 5033a, 5033b, and 5033c and a plurality of links 5035a and 5035b connected by the joint portion 5033b.
  • FIG. The configuration of the arm portion 5031 is shown in a simplified manner.
  • the shape, number and arrangement of the joint portions 5033a to 5033c and the links 5035a and 5035b, the direction of the rotation axis of the joint portions 5033a to 5033c, and the like are appropriately set so that the arm portion 5031 has a desired degree of freedom.
  • the arm portion 5031 can be preferably configured to have 6 degrees of freedom or more. Accordingly, the endoscope 5001 can be freely moved within the movable range of the arm portion 5031. Therefore, the barrel 5003 of the endoscope 5001 can be inserted into the body cavity of the patient 5071 from a desired direction. It becomes possible.
  • the joint portions 5033a to 5033c are provided with actuators, and the joint portions 5033a to 5033c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the arm control device 5045 By controlling the driving of the actuator by the arm control device 5045, the rotation angles of the joint portions 5033a to 5033c are controlled, and the driving of the arm portion 5031 is controlled. Thereby, control of the position and orientation of the endoscope 5001 can be realized.
  • the arm control device 5045 can control the driving of the arm unit 5031 by various known control methods such as force control or position control.
  • the arm control device 5045 appropriately controls the driving of the arm unit 5031 according to the operation input.
  • the position and posture of the endoscope 5001 may be controlled.
  • the endoscope 5001 at the tip of the arm portion 5031 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the position after the movement.
  • the arm portion 5031 may be operated by a so-called master slave method.
  • the arm unit 5031 can be remotely operated by the user via the input device 5047 installed at a location away from the operating room.
  • the arm control device 5045 When force control is applied, the arm control device 5045 receives the external force from the user and moves the actuators of the joint portions 5033a to 5033c so that the arm portion 5031 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm unit 5031 while directly touching the arm unit 5031, the arm unit 5031 can be moved with a relatively light force. Therefore, the endoscope 5001 can be moved more intuitively and with a simpler operation, and user convenience can be improved.
  • an endoscope 5001 is supported by a doctor called a scopist.
  • the position of the endoscope 5001 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
  • the arm control device 5045 is not necessarily provided in the cart 5037. Further, the arm control device 5045 is not necessarily a single device. For example, the arm control device 5045 may be provided in each joint portion 5033a to 5033c of the arm portion 5031 of the support arm device 5027, and the plurality of arm control devices 5045 cooperate with each other to drive the arm portion 5031. Control may be realized.
  • the light source device 5043 supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • the light source device 5043 is composed of a white light source composed of, for example, an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Adjustments can be made.
  • each RGB light source is controlled by irradiating the observation target with laser light from each of the RGB laser light sources in a time-sharing manner and controlling the driving of the image sensor of the camera head 5005 in synchronization with the irradiation timing. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 5043 may be controlled so as to change the intensity of the output light every predetermined time.
  • the driving of the image sensor of the camera head 5005 is controlled to acquire images in a time-sharing manner, and the images are synthesized, so that high dynamics without so-called blackout and overexposure are obtained. A range image can be generated.
  • the light source device 5043 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • ICG indocyanine green
  • the light source device 5043 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 17 is a block diagram showing an example of the functional configuration of the camera head 5005 and the CCU 5039 shown in FIG.
  • the camera head 5005 includes a lens unit 5007, an imaging unit 5009, a drive unit 5011, a communication unit 5013, and a camera head control unit 5015 as its functions.
  • the CCU 5039 includes a communication unit 5059, an image processing unit 5061, and a control unit 5063 as its functions.
  • the camera head 5005 and the CCU 5039 are connected to each other via a transmission cable 5065 so that they can communicate with each other.
  • the lens unit 5007 is an optical system provided at a connection portion with the lens barrel 5003. Observation light captured from the tip of the lens barrel 5003 is guided to the camera head 5005 and enters the lens unit 5007.
  • the lens unit 5007 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 5007 are adjusted so that the observation light is condensed on the light receiving surface of the image sensor of the imaging unit 5009. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
  • the imaging unit 5009 is configured by an imaging element, and is disposed in the subsequent stage of the lens unit 5007.
  • the observation light that has passed through the lens unit 5007 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 5009 is provided to the communication unit 5013.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
  • the image sensor that configures the image capturing unit 5009 is configured to include a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 5067 can more accurately grasp the depth of the living tissue in the surgical site.
  • the imaging unit 5009 is configured as a multi-plate type, a plurality of lens units 5007 are also provided corresponding to each imaging element.
  • the imaging unit 5009 is not necessarily provided in the camera head 5005.
  • the imaging unit 5009 may be provided inside the lens barrel 5003 immediately after the objective lens.
  • the driving unit 5011 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 5007 by a predetermined distance along the optical axis under the control of the camera head control unit 5015. Thereby, the magnification and focus of the image captured by the imaging unit 5009 can be adjusted as appropriate.
  • the communication unit 5013 is configured by a communication device for transmitting and receiving various types of information to and from the CCU 5039.
  • the communication unit 5013 transmits the image signal obtained from the imaging unit 5009 as RAW data to the CCU 5039 via the transmission cable 5065.
  • the image signal is preferably transmitted by optical communication.
  • the surgeon 5067 performs the surgery while observing the state of the affected area with the captured image, so that a moving image of the surgical site is displayed in real time as much as possible for safer and more reliable surgery. Because it is required.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 5039 via the transmission cable 5065.
  • the communication unit 5013 receives a control signal for controlling driving of the camera head 5005 from the CCU 5039.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 5013 provides the received control signal to the camera head control unit 5015.
  • the control signal from the CCU 5039 may also be transmitted by optical communication.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the control signal is converted into an electric signal by the photoelectric conversion module, and then provided to the camera head control unit 5015.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 5063 of the CCU 5039 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 5001.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the camera head control unit 5015 controls driving of the camera head 5005 based on a control signal from the CCU 5039 received via the communication unit 5013. For example, the camera head control unit 5015 controls driving of the imaging element of the imaging unit 5009 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 5015 appropriately moves the zoom lens and the focus lens of the lens unit 5007 via the drive unit 5011 based on information indicating that the magnification and focus of the captured image are designated.
  • the camera head control unit 5015 may further have a function of storing information for identifying the lens barrel 5003 and the camera head 5005.
  • the camera head 5005 can be resistant to autoclave sterilization by arranging the lens unit 5007, the imaging unit 5009, and the like in a sealed structure with high airtightness and waterproofness.
  • the communication unit 5059 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 5005.
  • the communication unit 5059 receives an image signal transmitted from the camera head 5005 via the transmission cable 5065.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5059 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 5059 provides the image processing unit 5061 with the image signal converted into the electrical signal.
  • the communication unit 5059 transmits a control signal for controlling the driving of the camera head 5005 to the camera head 5005.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 5061 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 5005. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included.
  • the image processing unit 5061 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 5061 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
  • the image processing unit 5061 is configured by a plurality of GPUs, the image processing unit 5061 appropriately divides information related to the image signal, and performs image processing in parallel by the plurality of GPUs.
  • the control unit 5063 performs various controls relating to imaging of the surgical site by the endoscope 5001 and display of the captured image. For example, the control unit 5063 generates a control signal for controlling driving of the camera head 5005. At this time, when the imaging condition is input by the user, the control unit 5063 generates a control signal based on the input by the user. Alternatively, when the endoscope 5001 is equipped with the AE function, the AF function, and the AWB function, the control unit 5063 determines the optimum exposure value, focal length, and the like according to the detection processing result by the image processing unit 5061. A white balance is appropriately calculated and a control signal is generated.
  • control unit 5063 causes the display device 5041 to display an image of the surgical site based on the image signal subjected to the image processing by the image processing unit 5061.
  • the control unit 5063 recognizes various objects in the surgical unit image using various image recognition techniques. For example, the control unit 5063 detects the shape and color of the edge of the object included in the surgical part image, thereby removing surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 5021, and the like. Can be recognized.
  • the control unit 5063 displays various types of surgery support information on the image of the surgical site using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 5067, so that the surgery can be performed more safely and reliably.
  • the transmission cable 5065 for connecting the camera head 5005 and the CCU 5039 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 5065, but communication between the camera head 5005 and the CCU 5039 may be performed wirelessly.
  • communication between the two is performed wirelessly, there is no need to install the transmission cable 5065 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 5065 can be eliminated.
  • the endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied has been described.
  • the endoscopic surgery system 5000 has been described as an example, but a system to which the technology according to the present disclosure can be applied is not limited to such an example.
  • the technology according to the present disclosure may be applied to a testing flexible endoscope system or a microscope operation system.
  • the second display device when a second display device having a screen resolution lower than that of the display device 5041 is added to the configuration described above, the second display device is obtained from an image captured by the camera head 5005 in the CCU 5039.
  • the present invention can be suitably applied in processing for generating an image to be displayed on the screen.
  • an image with a higher brightness contrast can be displayed on the screen of the second display device having a lower screen resolution, the focus by the operator 5067 can be easily and accurately performed, and the operation can be performed more safely. And it becomes possible to carry out more reliably.
  • this technique can also take the following structures.
  • an imaging unit having an imaging element;
  • a first video signal processing unit that generates a first video signal having a first resolution from a pixel signal obtained by the imaging unit;
  • a down-converted video signal having a second resolution lower than the first resolution is generated by down-converting the first video signal generated by the first video signal processing unit, and the down-converted video signal 2 pixels or more in the horizontal direction and 2 pixels in the vertical direction including each pixel in the central portion in the region of 2N pixels in the vertical direction corresponding to 2 pixels in the horizontal direction and 2N pixels in the vertical direction (N is a power of 2 or more).
  • An image pickup apparatus comprising: a viewfinder that displays the second video signal.
  • the luminance representative value is an average value of luminances of one or more central partial pixels corresponding to individual pixels in horizontal 2 ⁇ vertical 2 pixels of the down-converted video signal.
  • the imaging apparatus configured to generate the data obtained by multiplying the difference data by a specific gain as a value corresponding to the difference data.
  • a first operator that can select the number of the central partial pixels in the first axial direction as a first set value and a number of the central partial pixels in the second axial direction can be selected as a second set value.
  • the imaging apparatus further includes a third operator capable of selecting the gain value as a third set value;
  • the controller is At the time of shooting, the state of the third operator is detected, and based on the detection result, the third set value is reflected in the operation of the second video signal processing unit in real time. Imaging device.
  • An imaging apparatus further comprising a user interface for assigning the first operator, the second operator, and the third operator in the operator group.
  • the video signal processing apparatus is An imaging apparatus configured to calculate a value obtained by applying a specific gain to data obtained by subtracting a certain value on an absolute value from each difference data, as a value corresponding to the difference data.
  • the video signal processing apparatus is An imaging apparatus configured to clip each difference data with an arbitrary value on the absolute value when a certain value on the absolute value is subtracted from each of the difference data.
  • a first video signal processing unit that generates a first video signal having a first resolution from a pixel signal obtained by the imaging device;
  • a down-converted video signal having a second resolution lower than the first resolution is generated by down-converting the first video signal generated by the first video signal processing unit, and the down-converted video signal 2 pixels or more in the horizontal direction and 2 pixels in the vertical direction including each pixel in the central portion in the region of 2N pixels in the vertical direction corresponding to 2 pixels in the horizontal direction and 2N pixels in the vertical direction (N is a power of 2 or more).
  • the luminance representative value of one or more of the central partial pixels corresponding to each pixel of the down-converted video signal, with each pixel above the pixel being a central partial pixel A second video that generates a second video signal of the second resolution by individually adding a value corresponding to the difference data to a luminance value of a corresponding pixel of the down-converted video signal
  • a video signal processing apparatus comprising a No. processor.
  • the video signal processing apparatus according to (10) or (11),
  • the luminance representative value is an average value of luminances of one or more central partial pixels corresponding to individual pixels in 2 ⁇ 2 horizontal pixels of the down-converted video signal.
  • the video signal processing apparatus configured to generate data obtained by multiplying the difference data by a specific gain as a value corresponding to the difference data.
  • a first operator that can select the number of the central partial pixels in the first axial direction as a first set value and a number of the central partial pixels in the second axial direction can be selected as a second set value.
  • An operator group including a second operator; At the time of shooting, each state of the first operator and the second operator is detected, and based on the detection result, the first set value and the second set value are converted into the second video.
  • a video signal processing apparatus further comprising a control unit that reflects the operation of the signal processing unit in real time.
  • the video signal processing apparatus according to (14), The operator group further includes a third operator capable of selecting the gain value as a third set value;
  • the controller is At the time of shooting, the state of the third operator is detected, and based on the detection result, the third set value is reflected in the operation of the second video signal processing unit in real time.
  • Video signal processing device At the time of shooting, the state of the third operator is detected, and based on the detection result, the third set value is reflected in the operation of the second video signal processing unit in real time.
  • a video signal processing apparatus further comprising: a user interface for assigning the first operator, the second operator, and the third operator in the operator group.
  • the video signal processing apparatus is A video signal processing apparatus configured to calculate a value obtained by applying a specific gain to data obtained by subtracting a certain value on an absolute value from each difference data, as a value corresponding to the difference data.
  • the video signal processing device according to any one of (10) to (16),
  • the second video signal processor is A video signal processing apparatus configured to clip each difference data with an arbitrary value on the absolute value when a certain value on the absolute value is subtracted from each of the difference data.
  • the first video signal processing unit generates a first video signal having a first resolution from the pixel signal obtained by the imaging device, A second video signal processing unit down-converts the first video signal generated by the first video signal processing unit, thereby converting a down-converted video signal having a second resolution lower than the first resolution.
  • Each pixel in the central portion in the region of 2N ⁇ 2N pixels of the first video signal corresponding to 2 ⁇ 2 pixels of the down-converted video signal (N is a power of 2 or more)
  • N is a power of 2 or more
  • a value corresponding to the difference data from the average luminance value of the central partial pixel is individually added to the luminance value of the corresponding pixel of the down-converted video signal, so that the second video having the second resolution is added.
  • Video signal processing method of generating a degree
  • the luminance representative value is an average value of luminances of one or more central partial pixels corresponding to individual pixels in 2 ⁇ 2 horizontal pixels of the down-converted video signal.
  • the control unit can select the number of the central partial pixels in the first axial direction as a first set value and the number of the central partial pixels in the second axial direction as the second set value.
  • Each state of the second operation element that can be selected as the first detection value is detected, and based on the detection result, the first set value and the second set value are real-time in the operation of the second video signal processing unit.
  • the control unit can select the number of the central partial pixels in the first axial direction as a first set value and the number of the central partial pixels in the second axial direction as the second set value.
  • Each state of the second operator that can be selected as the third operator and the third operator that can be selected by using the gain value as the third set value is detected, and the first set value is determined based on the detection result.
  • the video signal processing method is A video signal processing method of calculating a value obtained by applying a specific gain to data obtained by subtracting a certain value on an absolute value from each difference data, as a value corresponding to the difference data.
  • the video signal processing method is A video signal processing method for clipping each difference data by an arbitrary value on the absolute value when a constant value on the absolute value is subtracted from each difference data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Television Systems (AREA)
  • Focusing (AREA)
  • Viewfinders (AREA)

Abstract

この撮像装置は、４Ｋ解像度の第１の映像信号をダウンコンバートすることによってＨＤ解像度のダウンコンバート映像信号を生成し、ダウンコンバート映像信号の横２×縦２画素に対応する第１の映像信号の横４×縦４画素の領域中の中央部分の横２×縦２画素の輝度値の平均輝度値からのそれぞれの差分データを算出し、各々の差分データをもとに中央部分の横２×縦２画素の画素毎の加算値を算出し、ダウンコンバート映像信号の横２×縦２画素の輝度値に個別に加算することによって、ＨＤ解像度の第２の映像信号を生成するＶＦ信号処理部１５を備える。

Description

撮像装置、映像信号処理装置および映像信号処理方法
　本技術は、ビデオカメラなどの撮像装置、撮像装置などに用いられる映像信号処理装置および映像信号処理方法に関する。
　ビデオカメラの撮像画素数が増大してきている。近年では、４Ｋ（３８４０×２１６０）の撮像画素数を有するカメラも多い。これに対して、ビデオカメラに搭載されるビューファインダーには、画面サイズが最大でも１０インチ程度のものが採用されることが主流である。このため、撮像した映像をダウンコンバートなどによって縮小してビューファインダーに表示したり、撮像した映像からビューファインダーの画面解像度分の信号を切り出してビューファインダーに表示したりすることが行われている（特許文献１参照）。
特開２００７－３３６２５７号公報
　ビデオカメラの撮像画素数が増大してくると、フォーカス調整の精度も要求される。しかしながら、ダウンコンバートによって得られた映像は、エリアシンクノイズの除去のため帯域制限フィルターによって高周波成分が除かれているため、フォーカス状態の視認性が良くない。また、これらの課題に限らず、撮像画素数よりも低い画面解像度のビューファインダーを有する撮像装置には解決が求められる様々な課題が残されている。
　本技術の目的は、ビューファインダーの表示映像を視認しながらのフォーカス調整を良好に行うことのできる撮像装置、映像信号処理装置および映像信号処理方法に関する。
　上記の課題を解決するために、本技術に係る第１の形態である撮像装置は、
　撮像素子を有する撮像部と、
　前記撮像部により得られた画素信号から第１の解像度の第１の映像信号を生成する第１の映像信号処理部と、
　前記第１の映像信号処理部により生成された前記第１の映像信号をダウンコンバートすることによって前記第１の解像度より低い第２の解像度のダウンコンバート映像信号を生成し、前記ダウンコンバート映像信号の横２×縦２画素に対応する前記第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における中央部分の各画素を含む横２画素以上×縦２画素以上の各々の画素を中央部分画素として、前記ダウンコンバート映像信号の個々の画素に対応する１以上の前記中央部分画素の輝度代表値の、前記領域毎の中央部分画素の平均輝度値からの差分データに応じた値を、前記ダウンコンバート映像信号の対応する画素の輝度値に個別に加算することによって、前記第２の解像度の第２の映像信号を生成する第２の映像信号処理部と、
　前記第２の映像信号を表示するビューファインダーとを具備する。
　前記第２の映像信号処理部は、
　各々の前記差分データに所定のゲインをかけることによって前記中央部分の横２×縦２画素の画素毎の加算値を算出するように構成されてもよい。
　前記第２の映像信号処理部は、前記第１の映像信号を帯域制限し、画素間引きによってダウンコンバートを行うように構成されてもよい。
　前記輝度代表値は、前記ダウンコンバート映像信号の横２×縦２画素における個々の画素に対応する１以上の中央部分画素の輝度の平均値とすることができる。
　前記第２の映像信号処理部は、前記差分データに特定のゲインを乗じたデータを、差分データに応じた値として生成するように構成されたものであってよい。
　本技術に係る撮像装置は、
　前記中央部分画素の第１の軸方向の数を第１の設定値として選択可能な第１の操作子と前記中央部分画素の第２の軸方向の数を第２の設定値として選択可能な第２の操作子を含む操作子群と、
　撮影時、前記第１の操作子および前記第２の操作子の各状態を検出し、前記検出結果をもとに、前記第１の設定値および前記第２の設定値を前記第２の映像信号処理部の動作にリアルタイムで反映させる制御部とをさらに具備するものであってよい。
　前記操作子群が、前記ゲインの値を第３の設定値として選択可能な第３の操作子をさらに含み、
　前記制御部は、撮影時、前記第３の操作子の状態を検出し、前記検出結果をもとに、前記第３の設定値を前記第２の映像信号処理部の動作にリアルタイムで反映させるように構成されたものであってよい。
　本技術に係る撮像装置は、前記操作子群における前記第１の操作子、前記第２の操作子、前記第３の操作子の割り当てるためのユーザインタフェースをさらに具備するものであってよい。
　また、前記第２の映像信号処理部は、各々の前記差分データから絶対値上で一定の値を減算したデータに特定のゲインをかけた値を、前記差分データに応じた値として算出するように構成されたものであってよい。
　前記第２の映像信号処理部は、各々の前記差分データから絶対値上で一定の値を減算するとき、絶対値上で任意の値で前記各々の差分データをクリップするように構成されてもよい。
　本技術に係る第２の形態である映像信号処理装置は、
　撮像装置により得られた画素信号から第１の解像度の第１の映像信号を生成する第１の映像信号処理部と、
　前記第１の映像信号処理部により生成された前記第１の映像信号をダウンコンバートすることによって前記第１の解像度より低い第２の解像度のダウンコンバート映像信号を生成し、前記ダウンコンバート映像信号の横２×縦２画素に対応する前記第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における中央部分の各画素を含む横２画素以上×縦２画素以上の各々の画素を中央部分画素として、前記ダウンコンバート映像信号の個々の画素に対応する１以上の前記中央部分画素の輝度代表値の、前記領域毎の中央部分画素の平均輝度値からの差分データに応じた値を、前記ダウンコンバート映像信号の対応する画素の輝度値に個別に加算することによって、前記第２の解像度の第２の映像信号を生成する第２の映像信号処理部とを具備する。
　本技術に係る映像信号処理方法は、
　第１の映像信号処理部が、撮像装置により得られた画素信号から第１の解像度の第１の映像信号を生成し、
　第２の映像信号処理部が、前記第１の映像信号処理部により生成された前記第１の映像信号をダウンコンバートすることによって前記第１の解像度より低い第２の解像度のダウンコンバート映像信号を生成し、前記ダウンコンバート映像信号の横２×縦２画素に対応する前記第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における中央部分の各画素を含む横２画素以上×縦２画素以上の各々の画素を中央部分画素として、前記ダウンコンバート映像信号の個々の画素に対応する１以上の前記中央部分画素の輝度代表値の、前記領域毎の中央部分画素の平均輝度値からの差分データに応じた値を、前記ダウンコンバート映像信号の対応する画素の輝度値に個別に加算することによって、前記第２の解像度の第２の映像信号を生成する。
　以上のように、本技術によれば、ビューファインダーの表示映像を視認しながらのフォーカス調整を良好に行うことができる。
[規則91に基づく訂正 18.05.2018]　
本技術に係る第１の実施形態の撮像装置の構成を示す領域図である。 図１の撮像装置１におけるＶＦ信号処理部１５の機能的な構成を示す領域図である。 ダウンコンバータ１５１による解像度変換を輝度と画素の一方向の並びとの２つの次元空間において示した図である。 ダウンコンバータ１５１による４Ｋ解像度の映像信号からＨＤ解像度の映像信号への解像度変換を縦横の画素配列空間において示す図である。 ４Ｋ解像度の映像信号とＨＤ解像度の映像信号による合焦点のピークの現れ方の違いを示す図である。 フォーカスアシスト情報の生成の手順を示すフローチャートである。 ４Ｋ解像度の第１の映像信号からＨＤ解像度のＶＦ映像信号が生成されるまでの処理を、輝度と画素の一方向の並びとの２つの次元空間において示した図である。 ダウンコンバータ１５１による８Ｋ解像度の映像信号からＨＤ解像度の映像信号への解像度変換を示す図である。 横２画素以上×縦２画素以上の複数の中央部分画素が横３画素×縦３画素の計９画素である場合を示す図である。 フォーカスアシスト機能に関するユーザ設定のためのＵＩ画面を示す図である。 撮像装置１のフォーカスアシスト機能に関する操作子を示す側面図である。 図１０に示したＵＩ画面で横の中央部分画素数の操作子をダイヤルＤ２からダイヤルＤ３に変更する場合の操作方法を示す図である。 図１０に示したＵＩ画面における複数のダイヤル間の切替順を示す図である。 図１０に示したＵＩ画面における複数のボタン間の切替順を示す図である。 図１０に示したＵＩ画面において、操作子の重複設定が発生した場合の表示例を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 図１６に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
　図１は、本技術に係る第１の実施形態の撮像装置の構成を示す領域図である。
　この撮像装置１は、光学ブロック１１と、撮像部１２と、本線映像信号処理部１３と、出力部１４と、ＶＦ信号処理部１５と、ＶＦ（ビューファインダー）１６と、制御ユニット１７と、操作入力部１８とを備える。
　光学ブロック１１は、レンズ、フォーカス調整機構、シャッター機構、絞り（アイリス）機構などを有している。光学ブロック１１は、被写体からの反射光をレンズによって撮像部１２の撮像素子の撮像面に結像する。
　撮像部１２は、撮像素子、アナログ信号処理回路、Ａ／Ｄ変換回路などを有する。撮像素子はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサー、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーなどで構成される。撮像素子は、例えば４Ｋ（３８４０×２１６０）、８Ｋ（７６８０×４３２０）など、比較的高い有効画素数を有する。撮像部１２の撮像素子で得られた画素信号は本線映像信号処理部１３に供給される。
　本線映像信号処理部１３は、特許請求の範囲の「第１の映像信号処理部」に相当するものであり、撮像部１２より供給された画素信号に対して、例えば、欠陥補正、ノイズ除去、レンズ収差補正、Ａ／Ｄ変換、ＲＡＷ現像などの信号処理を行うことによって、撮像素子の有効画素数に対応する第１の解像度の第１の映像信号を生成する。第１の映像信号は、例えば、４Ｋ映像信号、８Ｋ映像信号など、比較的高い解像度の映像信号である。なお、本明細書では、４Ｋ映像信号が生成される場合を想定して説明を続ける。生成された第１の映像信号は出力部１４およびＶＦ信号処理部１５に供給される。
　出力部１４は、本線映像信号処理部１３によって得られた第１の映像信号をカメラケーブルを通じてＣＣＵ（カメラ制御ユニット）などの外部の映像機器に伝送する処理を行う。ＣＣＵでは、撮像装置１よりカメラケーブル３０を通じて伝送された第１の映像信号などを受信し、例えば、伝送に適した形式のデジタル映像信号、アナログ映像信号に変換して伝送する処理などが行われる。
　なお、本線映像信号処理部１３によって得られた第１の映像信号はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記録媒体に記録されてもよい。
　ＶＦ信号処理部１５は、特許請求の範囲の「第２の映像信号処理部」に相当するものであり、本線映像信号処理部１３によって得られた第１の解像度の第１の映像信号から、ＶＦ１６の画面解像度である第２の解像度の第２の映像信号としてのＶＦ映像信号を生成する。
　ＶＦ１６は、ＶＦ映像信号を表示可能な画面を有する。
　操作入力部１８は、ユーザから撮像装置１を操作するための命令や各種設定などの入力を受け付けるものであり、例えば、ボタン、スイッチ、ダイヤル、ＶＦ１６の画面に設けられたタッチパネルセンサーなどにより構成される。
　制御ユニット１７は、撮像装置１の各部を制御するためのコントローラであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）などで構成される。ＲＡＭあるいはＲＯＭには、ＣＰＵにより実行されるプログラムや各種パラメータなどが格納される。制御ユニット１７は、操作入力部１８において受け付けられたユーザの操作入力の情報を解釈し、解釈した入力情報に応じて撮像装置１を制御する。
　次に、上記のＶＦ信号処理部１５の詳細について説明する。
　図２は、ＶＦ信号処理部１５の機能的な構成を示す領域図である。
　ＶＦ信号処理部１５は、ダウンコンバータ１５１、フォーカスアシスト情報生成部１５２、ディテール処理部１５３、加算部１５４および他のＶＦ信号処理部１５５を有する。
　ダウンコンバータ１５１は、入力された第１の解像度の第１の映像信号を、ダウンコンバートによって第１の解像度よりも低い第２の解像度のダウンコンバート映像信号に変換する。より具体的には、ダウンコンバータ１５１は、エリアシンクノイズの除去のため第１の映像信号から帯域制限フィルターによって高周波成分を除去し、画素間引きによって例えば縦２×横２の４画素を１画素に変換する。これにより、ダウンコンバータ１５１は、例えば４Ｋ解像度の映像信号をＨＤ解像度のダウンコンバート映像信号（第２の映像信号）に変換する。
　フォーカスアシスト情報生成部１５２は、差分算出部１５６およびゲイン部１５７を有する。
　差分算出部１５６は、ダウンコンバート映像信号の横２×縦２画素に対応する第１の映像信号の、例えば横４×縦４画素などの横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における中央部分の横２画素以上×縦２画素以上の各々の画素を中央部分画素として、ダウンコンバート映像信号の横２×縦２画素における個々の画素に対応する１以上の中央部分画素の輝度代表値の、平均輝度値からの差分データを算出する。ここで、平均輝度値は、各中央部分画素の輝度値の平均値である。輝度代表値は、ダウンコンバート映像信号の横２×縦２画素における個々の画素に対応する１以上の中央部分画素の輝度値の平均値である。
　ゲイン部１５７は、差分算出部１５６によって算出された各々の差分データに一定のゲイン（α）を乗算することによってフォーカスアシスト情報を生成する。
　加算部１５４は、ダウンコンバータ１５１により生成されたダウンコンバート映像信号の個々の画素の輝度値に、フォーカスアシスト情報生成部１５２により生成された対応するフォーカスアシスト情報を加算して、輝度コントラストをより高めた第２の解像度の第２の映像信号を生成する。生成された第２の映像信号は、他のＶＦ信号処理部１５５にて、キャラクタおよびマーカーの合成などの他の信号処理が施されることによって第２の解像度のＶＦ映像信号となってＶＦ１６に供給される。
　ディテール処理部１５３は、ダウンコンバータ１５１により生成された第２の解像度のダウンコンバート映像信号に対して被写体の輪郭を強調するディテール処理を行う。
　なお、ディテール処理部１５３は、制御ユニット１７からの制御命令に従ってオンオフが切り替えられる。
　上記の撮像装置１の構成において、本線映像信号処理部１３とＶＦ信号処理部１５は、本技術に係る特許請求の範囲の「映像信号処理装置」に相当するものである。
　（ＶＦ映像信号の生成動作の説明）
　次に、本実施形態の撮像装置１によるＶＦ映像信号の生成の動作を図３から図７を用いて説明する。
　（ダウンコンバータ１５１の動作と課題）
　まず、上記のＶＦ信号処理部１５におけるダウンコンバータ１５１の動作から説明する。
　なお、この動作の例では、第１の映像信号の解像度は４Ｋ、第２の映像信号の解像度はＨＤである場合を想定する。
　図３は、ダウンコンバータ１５１による解像度変換を輝度と画素の一方向の並びとの２つの次元空間において示した図である。
　図４は、ダウンコンバータ１５１による解像度変換を縦横の画素配列空間において示す図である。
　ダウンコンバータ１５１は、エリアシンクノイズの除去のため、４Ｋ解像度の第１の映像信号（図３（ａ））から帯域制限フィルターによって高い周波数成分を制限し（図３（ｂ））、解像度変換（画素間引き）によりＨＤ解像度の映像信号（図３（ｃ））を生成する。４Ｋ解像度からＨＤ解像度への変換は、図４に示すように、縦２×横２の４画素を１画素に間引くことによって行われる。
　このようにダウンコンバートによって得られたＨＤ解像度の映像信号は高い周波数成分が除かれている。このため、図５に示すように、変換前の４Ｋ解像度の映像信号に比べ、フォーカス点のピークの現れ方が緩慢になり、それだけピント合わせが困難になる。本実施形態の撮像装置１は、４Ｋ解像度の第１の映像信号から、ダウンコンバート映像信号の各画素に対応する各々のフォーカスアシスト情報を生成し、４Ｋ解像度の第１の映像信号をダウンコンバートすることによって得たＨＤ解像度のダウンコンバート映像信号の各々の画素の輝度値に個別に加算することによって、輝度コントラストをより高めたＨＤ解像度の第２の映像信号を生成するように構成されたものである。以下に、その動作を説明する。
　（フォーカスアシスト情報生成部１５２の動作）
　図６は、フォーカスアシスト情報の生成手順を示すフローチャートである。
　フォーカスアシスト情報生成部１５２において、まず差分算出部１５６が、ＨＤ解像度のダウンコンバート映像信号の横２×縦２画素に対応する、４Ｋ解像度の第１の映像信号の横４×縦４画素の領域２１における中央部分２２の、例えば横２×縦２の４画素（中央部分画素）の輝度値を抽出し（ステップＳ１０１）、各々の輝度値の平均輝度値Ｍ１を次式（１）により算出する（ステップＳ１０２）。
　Ｍ１=（Ａ１+Ｂ１+Ｃ１+Ｄ１）／４　　　　・・・（１）
　ここで、Ａ１、Ｂ１、Ｃ１、Ｄ１は、第１の映像信号の横４×縦４画素の領域２１における中央部分２２の４画素（中央部分画素）それぞれの輝度値である。
　次に、差分算出部１５６は、４画素（中央部分画素）それぞれの輝度値Ａ１、Ｂ１、Ｃ１、Ｄ１を、ダウンコンバート映像信号の横２×縦２画素における個々の画素に対応する中央部分画素の輝度代表値として、それぞれの輝度代表値Ａ１、Ｂ１、Ｃ１、Ｄ１について、平均輝度値Ｍ１との差分データａ１、ｂ１、ｃ１、ｄ１を次式（２）のように算出する（ステップＳ１０３）。
　ａ１＝Ａ１－Ｍ１
　ｂ１＝Ｂ１－Ｍ１
　ｃ１＝Ｃ１－Ｍ１
　ｄ１＝Ｄ１－Ｍ１　　　　・・・（２）
　次に、ゲイン部１５７が、各々の差分データａ１、ｂ１、ｃ１、ｄ１に一定のゲインαを乗算して、フォーカスアシスト情報ｆａ１、ｆｂ１、ｆｃ１、ｆｄ１を生成する（ステップＳ１０４）。
　ｆａ１＝ａ１＊α
　ｆｂ１＝ｂ１＊α
　ｆｃ１＝ｃ１＊α
　ｆｄ１＝ｄ１＊α　　　　・・・（３）
　このようにフォーカスアシスト情報生成部１５２によって生成されたフォーカスアシスト情報ｆａ１、ｆｂ１、ｆｃ１、ｆｄ１はそれぞれ、加算部１５４にて、ダウンコンバータ１５１によって生成されたＨＤ解像度のダウンコンバート映像信号の画素Ｙ１１、Ｙ１２、Ｙ２１、Ｙ２２（図４参照）の値に個別に加算される。
　図７は、４Ｋ解像度の第１の映像信号からＨＤ解像度のＶＦ映像信号が生成されるまでの処理を、輝度と画素の一方向の並びとの２つの次元空間において示した図である。
　なお、同図には、４Ｋ解像度の第１の映像信号からフォーカスアシスト情報生成部１５２によって生成された図６に示すフォーカスアシスト情報ｆａ１、ｆｂ１、ｆｃ１、ｆｄ１のうちの２つのフォーカスアシスト情報ｆａ１、ｆｂ１と、次の領域から生成された２つのフォーカスアシスト情報ｆａ２、ｆｂ２が表記されている。
　図７の例では、フォーカスアシスト情報ｆａ１は正の値であるから、ダウンコンバート映像信号の対応する画素Ｙ１１の値に対して加算部１５４で加算され、また、フォーカスアシスト情報ｆｂ１は負の値であるから、ダウンコンバート映像信号の対応する画素Ｙ１２の値に対して加算部１５４で減算される。したがって、画素間の輝度コントラストを上げたＨＤ解像度のＶＦ映像信号が得られるようになり、ＶＦ１６の画面で、視認によるフォーカス調整をより良好に行うことが可能になる。
　［他の動作例］
　上記の動作説明においては、ＨＤ解像度のダウンコンバート映像信号の横２×縦２画素に対応する、４Ｋ解像度の第１の映像信号の横４×縦４画素の領域における中央部分の横２×縦２の４画素について、各々の輝度値の平均輝度値からの差分データを算出することとした。本技術は、これに限定されるものではない。
　例えば、本技術は、第１の映像信号の解像度を８Ｋ、第２の映像信号の解像度を４Ｋとした場合にも適用できる。この場合、４Ｋ解像度のダウンコンバート映像信号の横２×縦２画素に対応する８Ｋ解像度の第１の映像信号の横４×縦４画素の領域における中央部分の横２×縦２の４画素について、各々の輝度値を輝度代表値として、平均輝度値からの差分データを算出することによってフォーカスアシスト情報を生成し、４Ｋ解像度のダウンコンバート映像信号の横２×縦２画素にそれぞれ加算すればよい。
　また、第１の映像信号の解像度を８Ｋ、第２の映像信号の解像度をＨＤとした場合にも本技術は応用され得る。この場合、ＨＤ解像度のダウンコンバート映像信号の横２×縦２画素に対応する、８Ｋ解像度の第１の映像信号の横８×縦８画素の領域における中央部分の横２×縦２の４画素について、各々の輝度値を輝度代表値として、平均輝度値からの差分データを算出することによってフォーカスアシスト情報を生成し、ＨＤ解像度のダウンコンバート映像信号の横２×縦２画素にそれぞれ加算すればよい。
　さらに、第１の映像信号の解像度を８Ｋ、第２の映像信号の解像度をＨＤとした場合、ＨＤ解像度のダウンコンバート映像信号の横２×縦２画素に対応する、８Ｋ解像度の第１の映像信号の横８×縦８画素の領域における中央部分の横４×縦４の１６画素について処理してもよい。
　この場合、差分算出部１５６は、中央部分の横４×縦４の１６画素を縦横等分する４組の横２×縦２の４画素を、ダウンコンバート映像信号の横２×縦２画素におけるそれぞれの画素に対応する４組の中央部分画素のまとまりとして扱う。差分算出部１５６は、ダウンコンバート映像信号の横２×縦２画素におけるそれぞれの画素に対応する４組の中央部分画素のまとまりについて、一組の中央部分画素のまとまり毎に輝度代表値を算出し、平均輝度値からの差分データを算出することによってフォーカスアシスト情報を生成する。
　図８は、８Ｋ解像度の第１の映像信号からＨＤ解像度の第２の映像信号への解像度変換を示す図である。
　ダウンコンバータ１５１は、８Ｋ解像度の第１の映像信号の画素ｄ１１－ｄ１４、ｄ２１－ｄ２４、ｄ３１－ｄ３４、ｄ４１－ｄ４４から、画素間引きによってＨＤ解像度のダウンコンバート映像信号の横２×縦２画素における画素Ｙ１１を生成する。同様に、ダウンコンバータ１５１は、８Ｋ解像度の第１の映像信号の画素ｄ１５－ｄ１８、ｄ２５－ｄ２８、ｄ３５－ｄ３８、ｄ４５－ｄ４８から画素間引きによってＨＤ解像度のダウンコンバート映像信号の横２×縦２画素における画素Ｙ１２を生成する。同様に、ダウンコンバータ１５１は、８Ｋ解像度の第１の映像信号の画素ｄ５１－ｄ５４、ｄ６１－ｄ６４、ｄ７１－ｄ７４、ｄ８１－ｄ８４から画素間引きによってＨＤ解像度のダウンコンバート映像信号の横２×縦２画素における画素Ｙ２１を生成する。そしてダウンコンバータ１５１は、８Ｋ解像度の第１の映像信号の画素ｄ５５－ｄ５８、ｄ６５－ｄ６８、ｄ７５－ｄ７８、ｄ８５－ｄ８８から画素間引きによってＨＤ解像度のダウンコンバート映像信号の横２×縦２画素における画素Ｙ２２を生成する。
　次に、差分算出部１５６は、ＨＤ解像度のダウンコンバート映像信号の画素Ｙ１１に対応する中央部分画素ｄ３３、ｄ３４、ｄ４３、ｄ４４の輝度値の平均値を、画素Ｙ１１に対応する中央部分画素の輝度代表値Ａｒとして算出する。同様に、差分算出部１５６は、画素Ｙ１２に対応する中央部分画素ｄ３５、ｄ３６、ｄ４５、ｄ４６の輝度値の平均値を、画素Ｙ１２に対応する中央部分画素の輝度代表値Ｂｒとして算出する。同様に、差分算出部１５６は、画素Ｙ２１に対応する中央部分画素ｄ５３、ｄ５４、ｄ６３、ｄ６４の輝度値の平均値を、画素Ｙ２１に対応する中央部分画素の輝度代表値Ｃｒとして算出する。同様に、差分算出部１５６は、画素Ｙ２２に対応する中央部分画素ｄ５５、ｄ５６、ｄ６５、ｄ６６の輝度値の平均値を、画素Ｙ２２に対応する中央部分画素の輝度代表値Ｄｒとして算出する。
　次に、差分算出部１５６は、輝度代表値Ａｒ、Ｂｒ、Ｃｒ、Ｄｒの平均値を平均輝度値Ｍ１として算出する。
　次に、差分算出部１５６は、それぞれの輝度代表値Ａｒ、Ｂｒ、Ｃｒ、Ｄｒについて、平均輝度値Ｍ１との差分データａ１、ｂ１、ｃ１、ｄ１を算出する。
　次に、ゲイン部１５７が、各々の差分データａ１、ｂ１、ｃ１、ｄ１に一定のゲインαを乗算して、フォーカスアシスト情報ｆａ１、ｆｂ１、ｆｃ１、ｆｄ１を生成する。
　このようにフォーカスアシスト情報生成部１５２によって生成されたフォーカスアシスト情報ｆａ１、ｆｂ１、ｆｃ１、ｆｄ１はそれぞれ、加算部１５４にて、ダウンコンバータ１５１によって生成されたＨＤ解像度のダウンコンバート映像信号の画素Ｙ１１、Ｙ１２、Ｙ２１、Ｙ２２の輝度値に個別に加算される。
　このように、第１の映像信号の解像度が８Ｋ、第２の映像信号の解像度がＨＤである場合にも本技術は適用することができる。
　要するに、本技術は、第２の映像信号の横２×縦２画素に対応する第１の映像信号の領域が、横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）である場合において適用可能である。
　次に、横２画素以上×縦２画素以上の複数の中央部分画素について説明を補充する。
　ここまでの説明では、横２画素以上×縦２画素以上の複数の中央部分画素が、横２画素×縦２画素の計４画素、横４画素×縦４画素の計１６画素である場合を説明してきたが、横３画素×縦３画素の計９画素である場合にも本技術は適用できる。
　図９は、横２画素以上×縦２画素以上の複数の中央部分画素が横３画素×縦３画素の計９画素である場合を示す図である。
　ここで、第１の映像信号の解像度は４Ｋ、第２の映像信号の解像度はＨＤとする。
　差分算出部１５６は、ＨＤ解像度のダウンコンバート映像信号の横２×縦２画素に対応する、４Ｋ解像度の第１の映像信号の横４×縦４画素の領域における中央部分の各画素を含む横３×縦３画素の計９画素の輝度値を抽出する。
　次に、差分算出部１５６は、ＨＤ解像度のダウンコンバート映像信号の画素Ｙ１１に対応する中央部分画素ｄ２２の輝度値を、画素Ｙ１１に対応する中央部分画素の輝度代表値Ａｒとして算出する。同様に、差分算出部１５６は、画素Ｙ１２に対応する中央部分画素ｄ２３、ｄ２４の輝度値の平均値を、画素Ｙ１２に対応する中央部分画素の輝度代表値Ｂｒとして算出する。同様に、差分算出部１５６は、画素Ｙ２１に対応する中央部分画素ｄ３２、ｄ４２の輝度値の平均値を、画素Ｙ２１に対応する中央部分画素の輝度代表値Ｃｒとして算出する。同様に、差分算出部１５６は、画素Ｙ２２に対応する中央部分画素ｄ３３、ｄ３４、ｄ４３、ｄ４４の輝度値の平均値を、画素Ｙ２２に対応する中央部分画素の輝度代表値Ｄｒとして算出する。
　次に、差分算出部１５６は、輝度代表値Ａｒ、Ｂｒ、Ｃｒ、Ｄｒの平均値を平均輝度値Ｍ１として算出し、それぞれの輝度代表値Ａｒ、Ｂｒ、Ｃｒ、Ｄｒについて、平均輝度値Ｍ１との差分データａ１、ｂ１、ｃ１、ｄ１を算出する。
　次に、ゲイン部１５７が、各々の差分データａ１、ｂ１、ｃ１、ｄ１に一定のゲインαを乗算して、フォーカスアシスト情報ｆａ１、ｆｂ１、ｆｃ１、ｆｄ１を生成する。
　このようにフォーカスアシスト情報生成部１５２によって生成されたフォーカスアシスト情報ｆａ１、ｆｂ１、ｆｃ１、ｆｄ１はそれぞれ、加算部１５４にて、ダウンコンバータ１５１によって生成されたＨＤ解像度のダウンコンバート映像信号の画素Ｙ１１、Ｙ１２、Ｙ２１、Ｙ２２の値に個別に加算される。
　このように、本技術は、横３画素×縦３画素の計９画素を中央部分画素とする場合にも適用できる。
　同様に、横５画素以上×縦５画素以上を中央部分画素とすることも可能である。
　さらに、第１の映像信号の中央部分画素の画素数は縦横等しい場合のみならず、縦４画素、横２画素のように、縦横で画素数が異なるようにしても本技術は適用可能である。
　［フォーカスアシスト機能に関するユーザ設定］
　本実施形態の撮像装置１は、フォーカスアシスト機能に関して、ユーザによる次のような設定が可能である。
　１．フォーカスアシストのオン／オフ
　２．縦の中央部分画素数（２－ｎ）
　３．横の中央部分画素数（２－ｍ）
　４．ゲイン値
　フォーカスアシストのオン／オフは、フォーカスアシストの機能のオン／オフを切り替える設定である。
　縦の中央部分画素数（２－ｎ）は、ダウンコンバート映像信号の横２×縦２画素に対応する第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における縦の中央部分画素の数の設定値である。
　横の中央部分画素数（２－ｍ）は、ダウンコンバート映像信号の横２×縦２画素に対応する第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における横の中央部分画素の数の設定値である。
　なお、縦の中央部分画素数（２－ｎ）において設定可能な最大値ｎは、ダウンコンバート映像信号の横２×縦２画素に対応する第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域全体の縦の画素数である。
　また、横の中央部分画素数（２－ｍ）において設定可能な最大値ｍは、ダウンコンバート映像信号の横２×縦２画素に対応する第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域全体の横の画素数である。
　ゲイン値は、差分データａ１、ｂ１、ｃ１、ｄ１に共通に掛けられるゲインαである。
　図１０は、上記ユーザ設定のためのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面を示す図である。
　このＵＩに関して、例えば、撮像装置１のＶＦ１６や外部ディスプレイなどがＵＩ表示部として用いられ、撮像装置１に設けられた特定の操作ボタンなどが設定入力部として用いられる。
　ＵＩ画面では、設定項目毎に割り当てる操作子を複数の操作子群のなかからユーザが選択することが可能とされる。設定項目に対して割り当てが可能な操作子群は、撮像装置１の操作入力部１８に設けられた特定のボタン群およびダイヤル群などである。
　図１１は撮像装置１のフォーカスアシスト機能に関する操作子を示す側面図である。同図に示すように、撮像装置１は、フォーカスアシスト機能に関する各設定項目の割り当てが可能な操作子群として、複数のボタンＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５と複数のダイヤルＤ１、Ｄ２、Ｄ３、Ｄ４を備える。
　なお、この図では操作子群が撮像装置１のボディ１Ａの側面に設けられる場合を示したが、撮像装置１の上面など、他の面に設けられたものであってよいし、ＶＦ１６に設けられてもよい。
　次に、図１０に示したＵＩ画面で、ユーザが、撮像装置１の操作子群において、任意の設定項目に対して任意の操作子を割り当てる方法を説明する。
　なお、図１０に示したＵＩ画面には、設定項目毎に操作子の初期値が設定されている場合を想定している。例えば、フォーカスアシストのオン／オフにはボタンＢ１の操作子が、縦の中央部分画素数にはダイヤルＤ１の操作子が、横の中央部分画素数にはダイヤルＤ２の操作子が、ゲイン値にはダイヤルＤ３の操作子が、各々初期値として設定される。
　図１２は図１０に示したＵＩ画面で、横の中央部分画素数の操作子をダイヤルＤ２からダイヤルＤ３に変更する場合の操作方法を示す図である。
　ＵＩ画面においてユーザは、操作子を変更したい設定項目を、例えば操作入力部１８に設けられたカーソルキー２０などを操作して選択する。例えば、カーソルキー２０の下キー２０ｄが２回押されると、操作子の変更対象となる設定項目は、フォーカスアシストのオン／オフから横の中央部分画素数に移動する。次に、カーソルキー２０の右キー２０ｒが一回押されると、横の中央部分画素数の設定項目に対する操作子の表示がダイヤルＤ２からダイヤルＤ３に変更される。これにより、横の中央部分画素数の設定項目に対する操作子の割り当てがダイヤルＤ２からダイヤルＤ３に変更される。なお、カーソルキー２０の右キー２０ｒが二回押された場合には、横の中央部分画素数の設定項目に対する操作子の表示がダイヤルＤ２からダイヤルＤ４に変更される。これにより、横の中央部分画素数の設定項目に対する操作子の割り当てがダイヤルＤ２からダイヤルＤ４に変更される。同様の要領により、他の設定項目に対する操作子の割り当ても変更することができる。
　図１３は、複数のダイヤルＤ１－Ｄ４間の切替順を示す図である。このように、設定変更前のダイヤルがダイヤルＤ２である場合、カーソルキー２０の右キー２０ｒが一回押されるたびに、選択されたダイヤルはダイヤルＤ３、ダイヤルＤ４、ダイヤルＤ１の順にスイッチされる。また、図１４に示すように、ボタンＢ１－Ｂ５についても同様のルールで切り替えられるようになっている。
　なお、横の中央部分画素数の設定項目に対する操作子の割り当てがダイヤルＤ２からダイヤルＤ３に変更された場合、ゲイン値の設定項目に対して割り当てられた操作子と重複する。このように複数の設定項目に対する操作子の重複が発生した場合、図１５に示すように、以前よりその操作子が割り当てられた側の操作項目（例えばゲイン値の設定項目）に対する操作子の設定変更を促すように、その操作項目が反転表示などによって判別可能な状態で表示される。これによりユーザは、操作子の重複設定を避けるように、操作子の割り当てを変更することができる。
　［設定変更によるＶＦ映像生成へのリアルタイム反映］
　ユーザは、撮影時に、フォーカスアシスト機能に関する各設定項目に割り当てられた各々の操作子を操作することによって、ＶＦ１６や外部ディスプレイなどに表示させる第２の映像信号の輝度コントラストをリアルタイムに変化させることができる。これにより、視認によるフォーカス調整に最適な設定値をユーザが選定することができる。
　すなわち、制御ユニット１７は、操作入力部１８においてフォーカスアシスト機能に関する各設定項目に個別に割り当てられた各操作子の状態をそれぞれ検出する。制御ユニット１７は、検出した状態に対応する各設定値を生成し、ＶＦ信号処理部１５に設定する。ＶＦ信号処理部１５は、制御ユニット１７により与えられた各設定値をもとにＶＦ映像信号を生成し、ＶＦ１６に出力する。
　次に、本技術に係る変形例を説明する。
　＜変形例１＞
　フォーカスアシスト情報生成部１５２は、ノイズの除去を目的として、下記のように各々の差分データａ１、ｂ１、ｃ１、ｄ１に対して、絶対値上で任意の値Ｓを減算し、絶対値が減算された各々の差分データａ１'、ｂ１'、ｃ１'、ｄ１'にゲインαをかけてフォーカスアシスト情報ｆａ１'、ｆｂ１'、ｆｃ１'、ｆｄ１'を生成してもよい。
　｜ａ１'｜＝｜ａ１｜－｜Ｓ｜
　｜ｂ１'｜＝｜ｂ１｜－｜Ｓ｜
　｜ｃ１'｜＝｜ｃ１｜－｜Ｓ｜
　｜ｄ１'｜＝｜ｄ１｜－｜Ｓ｜
　＜変形例２＞
　フォーカスアシスト情報生成部１５２は、エリアシングの低減を目的として、差分データａ１、ｂ１、ｃ１、ｄ１に対する任意の値Ｓの減算において、下記のように、絶対値上で任意の値Ｘで差分データａ１をクリップしてもよい。
　｜ａ１'｜＝｜ａ１｜－｜Ｓ｜　ｉｆ｜ａ１｜≦｜Ｘ｜
　｜ａ１'｜＝｜Ｘ｜－｜Ｓ｜　ｉｆ｜ａ１｜＞｜Ｘ｜
　他の差分データｂ１、ｃ１、ｄ１についても同様である。
　＜＜応用例＞＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
[規則91に基づく訂正 18.05.2018]　
　図１６は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１６では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
　（支持アーム装置）
　支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
　（内視鏡）
　内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
　（カートに搭載される各種の装置）
　ＣＣＵ５０３９は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
　表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
　光源装置５０４３は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
　アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
　入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
　入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
　あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
[規則91に基づく訂正 18.05.2018]　
　（支持アーム装置）
　支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１６では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
　関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
　例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
　なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
　（光源装置）
　光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
[規則91に基づく訂正 18.05.2018]　
　（カメラヘッド及びＣＣＵ）
　図１７を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図１７は、図１６に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
[規則91に基づく訂正 18.05.2018]　
　図１７を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
　まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
　撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
　撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
　また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
　また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
　駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
　また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　White　Balance）機能が内視鏡５００１に搭載される。
　カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
　なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
　次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
　また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
　画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
　画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
　制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
　また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
　カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
　以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
　本開示に係る技術は、以上説明した構成に表示装置５０４１よりも画面解像度の低い第２の表示装置を追加した場合に、ＣＣＵ５０３９にて、カメラヘッド５００５により撮像された画像から第２の表示装置に表示させる画像を生成する処理において好適に適用され得る。これにより、画面解像度が低い第２の表示装置の画面に輝度コントラストをより高めた画像を表示させることができ、術者５０６７によるピント合わせを容易かつ精度良く行うことができ、手術をより安全にかつより確実に行うことが可能になる。
　なお、本技術は以下のような構成もとることができる。
（１）撮像素子を有する撮像部と、
　前記撮像部により得られた画素信号から第１の解像度の第１の映像信号を生成する第１の映像信号処理部と、
　前記第１の映像信号処理部により生成された前記第１の映像信号をダウンコンバートすることによって前記第１の解像度より低い第２の解像度のダウンコンバート映像信号を生成し、前記ダウンコンバート映像信号の横２×縦２画素に対応する前記第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における中央部分の各画素を含む横２画素以上×縦２画素以上の各々の画素を中央部分画素として、前記ダウンコンバート映像信号の個々の画素に対応する１以上の前記中央部分画素の輝度代表値の、前記領域毎の中央部分画素の平均輝度値からの差分データに応じた値を、前記ダウンコンバート映像信号の対応する画素の輝度値に個別に加算することによって、前記第２の解像度の第２の映像信号を生成する第２の映像信号処理部と、
　前記第２の映像信号を表示するビューファインダーとを具備する
　を具備する撮像装置。
（２）前記（１）に記載の撮像装置であって、
　前記第２の映像信号処理部は、前記第１の映像信号を帯域制限し、画素間引きによってダウンコンバートを行うように構成された
　撮像装置。
（３）前記（１）または（２）に記載の撮像装置であって、
　前記輝度代表値は、前記ダウンコンバート映像信号の横２×縦２画素における個々の画素に対応する１以上の中央部分画素の輝度の平均値である
　撮像装置。
（４）前記（１）ないし（３）のいずれか１つに記載の撮像装置であって、
　前記第２の映像信号処理部は、前記差分データに特定のゲインを乗じたデータを、差分データに応じた値として生成するように構成された
　撮像装置。
（５）前記（１）ないし（４）のいずれか１つに記載の撮像装置であって、
　前記中央部分画素の第１の軸方向の数を第１の設定値として選択可能な第１の操作子と前記中央部分画素の第２の軸方向の数を第２の設定値として選択可能な第２の操作子を含む操作子群と、
　撮影時、前記第１の操作子および前記第２の操作子の各状態を検出し、前記検出結果をもとに、前記第１の設定値および前記第２の設定値を前記第２の映像信号処理部の動作にリアルタイムで反映させる制御部とをさらに具備する
　撮像装置。
（６）前記（５）に記載の撮像装置であって、
　前記操作子群が、前記ゲインの値を第３の設定値として選択可能な第３の操作子をさらに含み、
　前記制御部は、
　撮影時、前記第３の操作子の状態を検出し、前記検出結果をもとに、前記第３の設定値を前記第２の映像信号処理部の動作にリアルタイムで反映させるように構成された
　撮像装置。
（７）前記（６）に記載の映像信号処理装置であって、
　前記操作子群における前記第１の操作子、前記第２の操作子、前記第３の操作子の割り当てるためのユーザインタフェースをさらに具備する
　撮像装置。
（８）前記（１）ないし（７）のいずれか１つに記載の映像信号処理装置であって、
　前記第２の映像信号処理部は、
　各々の前記差分データから絶対値上で一定の値を減算したデータに特定のゲインをかけた値を、前記差分データに応じた値として算出するように構成された
　撮像装置。
（９）前記（１）ないし（７）のいずれか１つに記載の映像信号処理装置であって、
　前記第２の映像信号処理部は、
　各々の前記差分データから絶対値上で一定の値を減算するとき、絶対値上で任意の値で前記各々の差分データをクリップするように構成された
　撮像装置。
（１０）撮像装置により得られた画素信号から第１の解像度の第１の映像信号を生成する第１の映像信号処理部と、
　前記第１の映像信号処理部により生成された前記第１の映像信号をダウンコンバートすることによって前記第１の解像度より低い第２の解像度のダウンコンバート映像信号を生成し、前記ダウンコンバート映像信号の横２×縦２画素に対応する前記第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における中央部分の各画素を含む横２画素以上×縦２画素以上の各々の画素を中央部分画素として、前記ダウンコンバート映像信号の個々の画素に対応する１以上の前記中央部分画素の輝度代表値の、前記領域毎の中央部分画素の平均輝度値からの差分データに応じた値を、前記ダウンコンバート映像信号の対応する画素の輝度値に個別に加算することによって、前記第２の解像度の第２の映像信号を生成する第２の映像信号処理部と
　を具備する映像信号処理装置。
（１１）前記（１０）に記載の映像信号処理装置であって、
　前記第２の映像信号処理部は、前記第１の映像信号を帯域制限し、画素間引きによってダウンコンバートを行うように構成された
　映像信号処理装置。
（１２）前記（１０）または（１１）に記載の映像信号処理装置であって、
　前記輝度代表値は、前記ダウンコンバート映像信号の横２×縦２画素における個々の画素に対応する１以上の中央部分画素の輝度の平均値である
　映像信号処理装置。
（１３）前記（１０）ないし（１２）のいずれか１つに記載の映像信号処理装置であって、
　前記第２の映像信号処理部は、前記差分データに特定のゲインを乗じたデータを、差分データに応じた値として生成するように構成された
　映像信号処理装置。
（１４）前記（１０）ないし（１３）のいずれか１つに記載の映像信号処理装置であって、
　前記中央部分画素の第１の軸方向の数を第１の設定値として選択可能な第１の操作子と前記中央部分画素の第２の軸方向の数を第２の設定値として選択可能な第２の操作子を含む操作子群と、
　撮影時、前記第１の操作子および前記第２の操作子の各状態を検出し、前記検出結果をもとに、前記第１の設定値および前記第２の設定値を前記第２の映像信号処理部の動作にリアルタイムで反映させる制御部とをさらに具備する
　映像信号処理装置。
（１５）前記（１４）に記載の映像信号処理装置であって、
　前記操作子群が、前記ゲインの値を第３の設定値として選択可能な第３の操作子をさらに含み、
　前記制御部は、
　撮影時、前記第３の操作子の状態を検出し、前記検出結果をもとに、前記第３の設定値を前記第２の映像信号処理部の動作にリアルタイムで反映させるように構成された
　映像信号処理装置。
（１６）前記（１５）に記載の映像信号処理装置であって、
　前記操作子群における前記第１の操作子、前記第２の操作子、前記第３の操作子の割り当てるためのユーザインタフェースをさらに具備する
　映像信号処理装置。
（１７）前記（１０）ないし（１６）のいずれか１つに記載の映像信号処理装置であって、
　前記第２の映像信号処理部は、
　各々の前記差分データから絶対値上で一定の値を減算したデータに特定のゲインをかけた値を、前記差分データに応じた値として算出するように構成された
　映像信号処理装置。
（１８）前記（１０）ないし（１６）のいずれか１つに記載の映像信号処理装置であって、
　前記第２の映像信号処理部は、
　各々の前記差分データから絶対値上で一定の値を減算するとき、絶対値上で任意の値で前記各々の差分データをクリップするように構成された
　映像信号処理装置。
（１９）第１の映像信号処理部が、撮像装置により得られた画素信号から第１の解像度の第１の映像信号を生成し、
　第２の映像信号処理部が、前記第１の映像信号処理部により生成された前記第１の映像信号をダウンコンバートすることによって前記第１の解像度より低い第２の解像度のダウンコンバート映像信号を生成し、前記ダウンコンバート映像信号の横２×縦２画素に対応する前記第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における中央部分の各画素を含む横２画素以上×縦２画素以上の各々の画素を中央部分画素として、前記ダウンコンバート映像信号の個々の画素に対応する１以上の前記中央部分画素の輝度代表値の、前記領域毎の中央部分画素の平均輝度値からの差分データに応じた値を、前記ダウンコンバート映像信号の対応する画素の輝度値に個別に加算することによって、前記第２の解像度の第２の映像信号を生成する
　映像信号処理方法。
（２０）前記（１９）に記載の映像信号処理方法であって、
　前記第２の映像信号処理部は、前記第１の映像信号を帯域制限し、画素間引きによってダウンコンバートを行う
　映像信号処理方法。
（２１）前記（１９）または（２０）に記載の映像信号処理方法であって、
　前記輝度代表値は、前記ダウンコンバート映像信号の横２×縦２画素における個々の画素に対応する１以上の中央部分画素の輝度の平均値である
　映像信号処理方法。
（２２）前記（１９）ないし（２１）のいずれか１つに記載の映像信号処理方法であって、
　前記第２の映像信号処理部は、前記差分データに特定のゲインを乗じたデータを、差分データに応じた値として生成する
　映像信号処理方法。
（２３）前記（１９）ないし（２２）のいずれか１つに記載の映像信号処理方法であって、
　制御部が、前記中央部分画素の第１の軸方向の数を第１の設定値として選択可能な第１の操作子と前記中央部分画素の第２の軸方向の数を第２の設定値として選択可能な第２の操作子の各状態を検出し、前記検出結果をもとに、前記第１の設定値および前記第２の設定値を前記第２の映像信号処理部の動作にリアルタイムで反映させる
　映像信号処理方法。
（２４）前記（１９）ないし（２３）のいずれか１つに記載の映像信号処理方法であって、
　制御部が、前記中央部分画素の第１の軸方向の数を第１の設定値として選択可能な第１の操作子と前記中央部分画素の第２の軸方向の数を第２の設定値として選択可能な第２の操作子と前記ゲインの値を第３の設定値として選択可能な第３の操作子の各状態を検出し、前記検出結果をもとに、前記第１の設定値、前記第２の設定値および前記第３の設定値を前記第２の映像信号処理部の動作にリアルタイムで反映させる
　映像信号処理方法。
（２５）前記（２４）に記載の映像信号処理方法であって、
　前記制御部が、前記操作子群における前記第１の操作子、前記第２の操作子、前記第３の操作子の割り当てるためのユーザインタフェースをユーザに提供する
　映像信号処理方法。
（２６）前記（１９）ないし（２５）のいずれか１つに記載の映像信号処理方法であって、
　前記第２の映像信号処理部は、
　各々の前記差分データから絶対値上で一定の値を減算したデータに特定のゲインをかけた値を、前記差分データに応じた値として算出する
　映像信号処理方法。
（２７）前記（１９）ないし（２５）のいずれか１つに記載の映像信号処理方法であって、
　前記第２の映像信号処理部は、
　各々の前記差分データから絶対値上で一定の値を減算するとき、絶対値上で任意の値で前記各々の差分データをクリップする
　映像信号処理方法。
　１…撮像装置
　１１…光学ブロック
　１２…撮像部
　１３…本線映像信号処理部
　１４…出力部
　１５…ＶＦ信号処理部
　１６…ＶＦ
　１７…制御ユニット
　１８…操作入力部
　１５１…ダウンコンバータ
　１５２…フォーカスアシスト情報生成部
　１５４…加算部
　１５６…差分算出部
　１５７…ゲイン部

Claims (15)

  1. 　撮像素子を有する撮像部と、
    　前記撮像部により得られた画素信号から第１の解像度の第１の映像信号を生成する第１の映像信号処理部と、
    　前記第１の映像信号処理部により生成された前記第１の映像信号をダウンコンバートすることによって前記第１の解像度より低い第２の解像度のダウンコンバート映像信号を生成し、前記ダウンコンバート映像信号の横２×縦２画素に対応する前記第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における中央部分の各画素を含む横２画素以上×縦２画素以上の各々の画素を中央部分画素として、前記ダウンコンバート映像信号の個々の画素に対応する１以上の前記中央部分画素の輝度代表値の、前記領域毎の中央部分画素の平均輝度値からの差分データに応じた値を、前記ダウンコンバート映像信号の対応する画素の輝度値に個別に加算することによって、前記第２の解像度の第２の映像信号を生成する第２の映像信号処理部と、
    　前記第２の映像信号を表示するビューファインダーとを具備する
    　撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記第２の映像信号処理部は、前記第１の映像信号を帯域制限し、画素間引きによってダウンコンバートを行うように構成された
    　撮像装置。
  3. 　請求項１に記載の撮像装置であって、
    　前記輝度代表値は、前記ダウンコンバート映像信号の横２×縦２画素における個々の画素に対応する１以上の中央部分画素の輝度の平均値である
    　撮像装置。
  4. 　請求項１に記載の撮像装置であって、
    　前記第２の映像信号処理部は、前記差分データに特定のゲインを乗じたデータを、差分データに応じた値として生成するように構成された
    　撮像装置。
  5. 　請求項１に記載の撮像装置であって、
    　ユーザによる操作を受け付ける少なくとも1つ以上の操作子を有する操作入力部を更に具備し、
    　前記制御部は、撮影時、前記少なくとも1つ以上の操作子の状態を検出し、前記操作に基づいた設定情報を前記第２の映像信号処理部の動作にリアルタイムで反映させるように構成される
    　撮像装置。
  6. 　請求項５に記載の撮像装置であって、
    　前記設定情報は前記中央部分画素の第１の軸方向の数を第１の設定値と前記中央部分画素の第２の軸方向の数を第２の設定値である
    　撮像装置。
  7. 　請求項５に記載の撮像装置であって、
    　前記設定情報は前記中央部分画素の数である
    　撮像装置。
  8. 　請求項５に記載の撮像装置であって、
    　前記少なくとも１つ以上操作子に対して、前記設定情報の割り当てを設定可能なユーザインタフェースをさらに具備する
    　撮像装置。
  9. 　請求項４に記載の撮像装置であって、
    　ユーザによる操作を受け付ける少なくとも１つ以上の操作子を有する操作入力部を更に具備し、
    　前記制御部は、撮影時、前記少なくとも１つ以上の操作子の状態を検出し、前記操作に基づいた設定情報を前記第２の映像信号処理部の動作にリアルタイムで反映させるように構成される
    　撮像装置。
  10. 　請求項９に記載の撮像装置であって、
    　前記設定情報は前記ゲインの値を第３の設定値である
    　撮像装置。
  11. 　請求項９に記載の撮像装置であって、
    　前記少なくとも１つ以上操作子に対して、前記設定情報の割り当てを設定可能なユーザインタフェースをさらに具備する
    　撮像装置。
  12. 　請求項３に記載の撮像装置であって、
    　前記第２の映像信号処理部は、
    　各々の前記差分データから絶対値上で一定の値を減算したデータに特定のゲインをかけた値を、前記差分データに応じた値として算出するように構成された
    　撮像装置。
  13. 　請求項３に記載の撮像装置であって、
    　前記第２の映像信号処理部は、
    　各々の前記差分データから絶対値上で一定の値を減算するとき、絶対値上で任意の値で前記各々の差分データをクリップするように構成された
    　撮像装置。
  14. 　撮像装置により得られた画素信号から第１の解像度の第１の映像信号を生成する第１の映像信号処理部と、
    　前記第１の映像信号処理部により生成された前記第１の映像信号をダウンコンバートすることによって前記第１の解像度より低い第２の解像度のダウンコンバート映像信号を生成し、前記ダウンコンバート映像信号の横２×縦２画素に対応する前記第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における中央部分の各画素を含む横２画素以上×縦２画素以上の各々の画素を中央部分画素として、前記ダウンコンバート映像信号の個々の画素に対応する１以上の前記中央部分画素の輝度代表値の、前記領域毎の中央部分画素の平均輝度値からの差分データに応じた値を、前記ダウンコンバート映像信号の対応する画素の輝度値に個別に加算することによって、前記第２の解像度の第２の映像信号を生成する第２の映像信号処理部と
    　を具備する映像信号処理装置。
  15. 　第１の映像信号処理部が、撮像装置により得られた画素信号から第１の解像度の第１の映像信号を生成し、
    　第２の映像信号処理部が、前記第１の映像信号処理部により生成された前記第１の映像信号をダウンコンバートすることによって前記第１の解像度より低い第２の解像度のダウンコンバート映像信号を生成し、前記ダウンコンバート映像信号の横２×縦２画素に対応する前記第１の映像信号の横２Ｎ×縦２Ｎ画素（Ｎは２以上の２のべき乗数）の領域における中央部分の各画素を含む横２画素以上×縦２画素以上の各々の画素を中央部分画素として、前記ダウンコンバート映像信号の個々の画素に対応する１以上の前記中央部分画素の輝度代表値の、前記領域毎の中央部分画素の平均輝度値からの差分データに応じた値を、前記ダウンコンバート映像信号の対応する画素の輝度値に個別に加算することによって、前記第２の解像度の第２の映像信号を生成する
    　映像信号処理方法。
PCT/JP2018/008570 2017-03-15 2018-03-06 撮像装置、映像信号処理装置および映像信号処理方法 Ceased WO2018168571A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019505905A JP7063321B2 (ja) 2017-03-15 2018-03-06 撮像装置、映像信号処理装置および映像信号処理方法
EP18767380.1A EP3598732B1 (en) 2017-03-15 2018-03-06 Imaging device and video signal processing method
US16/486,391 US10778889B2 (en) 2017-03-15 2018-03-06 Image pickup apparatus, video signal processing apparatus, and video signal processing method
CN201880016326.XA CN110393005A (zh) 2017-03-15 2018-03-06 图像拾取装置，视频信号处理装置，以及视频信号处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-050649 2017-03-15
JP2017050649 2017-03-15

Publications (1)

Publication Number Publication Date
WO2018168571A1 true WO2018168571A1 (ja) 2018-09-20

Family

ID=63522255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008570 Ceased WO2018168571A1 (ja) 2017-03-15 2018-03-06 撮像装置、映像信号処理装置および映像信号処理方法

Country Status (5)

Country Link
US (1) US10778889B2 (ja)
EP (1) EP3598732B1 (ja)
JP (1) JP7063321B2 (ja)
CN (1) CN110393005A (ja)
WO (1) WO2018168571A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084999A1 (ja) * 2018-10-25 2020-04-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6800938B2 (ja) * 2018-10-30 2020-12-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136456A (ja) * 2003-10-28 2005-05-26 Victor Co Of Japan Ltd フォーカス調整用ビデオデータ発生回路
JP2007336257A (ja) 2006-06-15 2007-12-27 Matsushita Electric Ind Co Ltd フォーカスアシスト機能付撮像装置
JP2011130112A (ja) * 2009-12-16 2011-06-30 Sony Corp 表示支援装置及び撮像装置
JP2014230176A (ja) * 2013-05-23 2014-12-08 ソニー株式会社 画像信号処理装置、画像信号処理方法、撮像装置および画像表示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4363308B2 (ja) * 2004-11-02 2009-11-11 ソニー株式会社 固体撮像素子の信号処理装置及び方法並びに撮像装置
CN1319383C (zh) * 2005-04-07 2007-05-30 西安交通大学 高性能空域可伸缩的运动估计与运动矢量编码实现方法
JP2008145226A (ja) * 2006-12-08 2008-06-26 Olympus Corp 欠陥検査装置及び欠陥検査方法
JP2009194896A (ja) * 2008-01-18 2009-08-27 Sanyo Electric Co Ltd 画像処理装置及び方法並びに撮像装置
JP5490514B2 (ja) * 2009-12-22 2014-05-14 三星電子株式会社 撮像装置及び撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136456A (ja) * 2003-10-28 2005-05-26 Victor Co Of Japan Ltd フォーカス調整用ビデオデータ発生回路
JP2007336257A (ja) 2006-06-15 2007-12-27 Matsushita Electric Ind Co Ltd フォーカスアシスト機能付撮像装置
JP2011130112A (ja) * 2009-12-16 2011-06-30 Sony Corp 表示支援装置及び撮像装置
JP2014230176A (ja) * 2013-05-23 2014-12-08 ソニー株式会社 画像信号処理装置、画像信号処理方法、撮像装置および画像表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3598732A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084999A1 (ja) * 2018-10-25 2020-04-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JPWO2020084999A1 (ja) * 2018-10-25 2021-09-09 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20220222773A1 (en) * 2018-10-25 2022-07-14 Sony Corporation Image processing apparatus, image processing method, and program
US11676242B2 (en) 2018-10-25 2023-06-13 Sony Group Corporation Image processing apparatus and image processing method
JP7456385B2 (ja) 2018-10-25 2024-03-27 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP7063321B2 (ja) 2022-05-09
US20200112670A1 (en) 2020-04-09
EP3598732A1 (en) 2020-01-22
EP3598732A4 (en) 2020-03-11
JPWO2018168571A1 (ja) 2020-05-14
CN110393005A (zh) 2019-10-29
US10778889B2 (en) 2020-09-15
EP3598732B1 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
WO2019187502A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2018221041A1 (ja) 医療用観察システム及び医療用観察装置
WO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
US20230248231A1 (en) Medical system, information processing apparatus, and information processing method
WO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
JP2019004978A (ja) 手術システムおよび手術用撮像装置
US11676242B2 (en) Image processing apparatus and image processing method
US11356596B2 (en) Imaging device, imaging device control unit, and imaging method for adjusting parameters of imaging device
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
JP7063321B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
WO2018179875A1 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
US11979670B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2019202860A1 (ja) 医療用システム、接続構造、及び接続方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18767380

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019505905

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018767380

Country of ref document: EP

Effective date: 20191015