WO2019035244A1 - 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム - Google Patents
撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム Download PDFInfo
- Publication number
- WO2019035244A1 WO2019035244A1 PCT/JP2018/015336 JP2018015336W WO2019035244A1 WO 2019035244 A1 WO2019035244 A1 WO 2019035244A1 JP 2018015336 W JP2018015336 W JP 2018015336W WO 2019035244 A1 WO2019035244 A1 WO 2019035244A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- imaging device
- exposure amount
- captured image
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
- G03B7/093—Digital circuits for control of exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Definitions
- the technology of the present disclosure relates to an imaging device, a control method of the imaging device, and a control program of the imaging device.
- patent documents 1 and 2 use a so-called digital ND (Neutral Density) filter Technology is disclosed. According to the digital ND filter, it is possible to obtain the same effect as the physical ND filter provided in the imaging optical system.
- digital ND Neutral Density
- the image quality of the moving object may be degraded due to blurring of the image of the moving object in the captured image.
- the exposure time becomes longer, the image of the moving object tends to blur.
- the exposure time is relatively long, and the image of the moving body is easily blurred.
- the present disclosure has been made in consideration of the above circumstances, and it is an object of the present invention to provide an imaging device capable of improving the image quality of an image of a moving object, a control method of the imaging device, and a control program of the imaging device. Do.
- an imaging device includes an imaging device in which a plurality of pixels are arranged in a two-dimensional manner, and is obtained by imaging an object by the imaging device through an imaging optical system.
- An imaging unit that outputs a captured image signal
- an image generation unit that generates a captured image according to the image signal
- a determination unit that determines whether an image of a moving object is included in the captured image
- the exposure amount of the imaging element is controlled by the first process of controlling the exposure time of the image pickup element for each row of the plurality of pixels, and the determination unit
- an exposure amount control unit controls the exposure amount of the imaging device by a second process different from the first process, and a captured image obtained by the exposure amount controlled by the exposure amount control unit
- a display unit for displaying .
- the exposure amount control unit may control, as the second process, a light amount per unit time reaching the imaging element.
- An imaging device is the imaging device according to the first aspect or the second aspect, wherein the exposure amount control unit determines that the brightness of the moving object region including the image of the moving object is equal to or greater than a predetermined brightness.
- the first process may be performed.
- An imaging device is the imaging device according to the first aspect or the second aspect, wherein the exposure amount control unit determines that the brightness of the moving object region including the image of the moving object is less than a predetermined brightness.
- the second process may be performed.
- An imaging device is the imaging device according to the third aspect or the fourth aspect, wherein the exposure amount control unit divides the captured image into a plurality of divided areas based on an analysis result of the captured image, and the exposure amount The control unit may set an area including the image of the moving object among the plurality of divided areas as the moving object area.
- An imaging device is the imaging device according to any one of the first aspect to the fifth aspect, wherein the exposure amount control unit determines the captured image by the boundary line determined based on the analysis result of the captured image. May be divided into a plurality of divided areas.
- An imaging device is the imaging device according to any one of the first aspect to the sixth aspect, wherein the exposure amount control unit determines the moving speed of the moving object detected from the image of the moving object in advance.
- the first process may be performed.
- An imaging device is the imaging device according to any one of the first aspect to the sixth aspect, wherein the exposure amount control unit determines the moving speed of the moving object detected from the image of the moving object in advance. If less than, the second process may be performed.
- An imaging device is the imaging device according to any one of the first aspect to the sixth aspect, wherein the exposure amount control unit determines in advance the moving amount per unit time of the moving object detected from the image of the moving object. If the movement amount is equal to or more than the predetermined movement amount, the first process may be performed.
- An imaging device is the imaging device according to any one of the first aspect to the sixth aspect, wherein the exposure amount control unit determines in advance the moving amount per unit time of the moving object detected from the image of the moving object. If the movement amount is less than the predetermined movement amount, the second process may be performed.
- An imaging device is the imaging device according to any one of the first aspect to the tenth aspect, wherein the exposure amount control unit represents performing the first process before performing the first process. Information may be notified.
- An imaging device is the imaging device according to any one of the first aspect to the tenth aspect, wherein the exposure amount control unit determines that the image of the moving object is included in the captured image by the determination unit. In the case, predetermined information may be notified.
- An imaging device is the imaging device according to any one of the first to twelfth aspects, wherein the exposure amount control unit performs the first processing after performing the first processing. Information to represent may be notified.
- An imaging device is the imaging device according to any one of the first aspect to the tenth aspect, further comprising a receiving unit that receives an instruction to execute the first process, and the exposure amount control unit determines The first process may be executed when it is determined by the unit that the captured image includes the image of the moving object and when the receiving unit receives an instruction to execute the first process.
- the imaging device is the imaging device according to the fourteenth aspect, wherein the exposure amount control unit is configured to receive the first image by the receiving unit even when the determining unit determines that the image of the moving object is included in the captured image. If the instruction to execute the process 1 is not accepted, the second process may be executed.
- An imaging device is the imaging device according to any one of the first to fifteenth aspects, wherein the exposure amount control unit determines the first processing based on an analysis result of the captured image.
- the captured image may be divided into a plurality of divided areas by the boundary lines, and the first processing may be performed for each of the plurality of divided areas.
- An imaging device is the imaging device according to the first aspect or the second aspect, wherein the exposure amount control unit determines that the captured image includes an image of a moving object by the determination unit.
- the captured image is divided into a plurality of divided areas based on the analysis result, and the first process is performed on the divided area including the moving object image among the divided plurality of divided areas, and the other process is performed on the other divided areas.
- a control method of an imaging device generates a captured image according to an image signal obtained by capturing an image of a subject by an imaging element in which a plurality of pixels are arranged in a two-dimensional manner, It is determined whether or not an image is included, and when it is determined that an image of a moving object is included in a captured image, the first process of controlling the exposure time of the imaging device for each row of a plurality of pixels is performed. The exposure amount is controlled, and when it is determined that the image of the moving object is not included in the captured image, the exposure amount of the imaging element is controlled by a second process different from the first process, and imaging obtained by the controlled exposure amount Display an image, including processing.
- a control program of an imaging apparatus causes a computer to generate a captured image according to an image signal obtained by capturing an image of a subject by an imaging element in which a plurality of pixels are arranged in a two-dimensional manner It is determined whether or not the image of the moving body is included in the image, and when it is determined that the image of the moving body is included in the captured image, the first process of controlling the exposure time of the imaging element for each row of a plurality of pixel arrays The exposure amount of the imaging device is controlled, and when it is determined that the image of the moving object is not included in the captured image, the exposure amount of the imaging device is controlled by a second process different from the first process The process is performed to display the captured image.
- the image quality of an image of a moving object can be improved.
- the imaging device 10 of the present embodiment is a lens-interchangeable digital camera, and includes an imaging device main body 12 and an imaging lens 14.
- the imaging lens 14 is exchangeably mounted on the imaging device body 12.
- the lens barrel of the imaging lens 14 is provided with a focus ring 16 used in the manual focus mode.
- the imaging lens 14 includes a lens unit 18.
- the lens unit 18 of the present embodiment is an example of the imaging optical system of the present disclosure.
- the lens unit 18 is a combination lens in which a plurality of lenses including the focus lens 20 are combined.
- the focus lens 20 moves in the direction of the optical axis L1 in accordance with the manual rotation operation of the focus ring 16 and moves the subject on the light receiving surface 22A (see FIG. 3) of the image sensor 22 described later.
- Subject light which is reflected light indicating.
- a dial 24 and a release button 26 are provided on the top surface of the imaging device body 12.
- the dial 24 is operated at the time of various settings such as switching between the imaging mode and the reproduction mode. Therefore, in the imaging device 10, when the dial 24 is operated by the user, the imaging mode and the reproduction mode are selectively set as the operation mode.
- the imaging device 10 has a still image capturing mode and a moving image capturing mode as operation modes of the imaging system.
- the still image capturing mode is an operation mode for recording a still image obtained by capturing an object by the imaging device 10
- the moving image capturing mode is to record a moving image obtained by capturing an object by the imaging device 10. It is an operation mode.
- the release button 26 is configured to be capable of detecting a two-step pressing operation of an imaging preparation instruction state and an imaging instruction state.
- the imaging preparation instruction state refers to, for example, a state in which the standby position is depressed to the intermediate position (half pressed position), and the imaging instruction state is a state in which the final depressed position (full pressed position) beyond the intermediate position is depressed.
- Point to In the following "a state in which the standby position is pressed to a half-pressed position” is referred to as "a half-pressed state”, and "a state in which a standby position to a fully pressed position is pressed” and "a half pressed position to a fully pressed position The state to be pressed is referred to as "full press state".
- the imaging condition is adjusted by half-pressing the release button 26. Thereafter, when full-pressing continues, the main exposure is performed.
- the release button 26 is half-pressed and the AE (Auto Exposure) function is activated to set the exposure state
- the AF (Auto Focus) function is activated to control the focus, and the release button 26 is fully pressed. In the state, imaging is performed.
- a display 28, a cross key 30, a MENU / OK key 32, a BACK / DISP button 34, a finder 36, and a touch panel 38 are provided on the back of the imaging device body 12.
- the display 28 is, for example, an LCD (Liquid Crystal Display), and displays an image, characters, and the like obtained by the imaging device 10 capturing an object.
- the display 28 of the present embodiment is an example of the display unit of the present disclosure.
- the display 28 of the present embodiment is configured as a touch panel display 29 together with the touch panel 38.
- the display 28 is used to display a live view image in the imaging mode.
- the live view image is also referred to as a through image, and is a continuous frame image obtained by imaging an object in continuous frames by the imaging element 22 of the imaging device 10.
- the display 28 is also used to display a still image captured and obtained by a single frame when instructed to capture a still image.
- the display 28 is also used to display a reproduced image in the reproduction mode and to display a menu screen or the like.
- a transmissive touch panel 38 is superimposed on the surface of the display area of the display 28.
- the touch panel 38 detects a touch by an indicator such as a finger or a stylus pen, for example.
- the touch panel 38 outputs detection result information indicating a detection result such as presence or absence of a touch on the touch panel 38 at a predetermined cycle (for example, 100 milliseconds) as a predetermined output destination (for example, a central processing unit (CPU) described later). 74, see FIG. 3).
- the detection result information includes two-dimensional coordinates (hereinafter referred to as "coordinates") that can specify the contact position by the indicator on the touch panel 38 when the touch panel 38 detects a touch by the indicator, and the touch panel 38 If no contact is detected, coordinates are not included.
- the cross key 30 functions as a multi-function key that outputs an instruction content signal according to selection of one or more menus and various instructions such as zoom or frame advance.
- the MENU / OK key 32 has a function as a menu (MENU) button for instructing one or more menus to be displayed on the screen of the display 28, and permission to instruct confirmation and execution of selected contents (OK ) Is an operation key having a function as a button.
- the BACK / DISP button 34 is used to delete a desired object such as a selection item or cancel a designated content, or return to the previous operation state.
- FIG. 3 is a block diagram showing an example of the hardware configuration of the imaging device 10 according to the first embodiment.
- the imaging device main body 12 of the present embodiment includes the mount 13 (see also FIG. 1), and the imaging lens 14 includes the mount 15.
- the imaging lens 14 is exchangeably mounted on the imaging device main body 12 by the mount 15 being coupled to the mount 13.
- the imaging lens 14 includes the lens unit 18, the diaphragm 19, and the control device 40 described above.
- the control device 40 is electrically connected to the CPU 74 through the external I / F (Interface) 72 of the imaging device main body 12 by connecting the mount 15 to the mount 13, and according to the instruction of the CPU 74, Control the whole.
- the aperture 19 is provided closer to the imaging device main body 12 than the lens unit 18.
- a diaphragm drive unit and a diaphragm drive motor (not shown) are connected to the diaphragm 19.
- the diaphragm drive unit operates the diaphragm drive motor under the control of the control device 40 in accordance with an instruction received by the reception device 62 described later, thereby adjusting the size of the aperture of the diaphragm 19.
- the light amount of the subject light transmitted through the lens unit 18 is adjusted, and the subject light is guided into the imaging device main body 12.
- the imaging device main body 12 of this embodiment includes an imaging device 22, a first mirror 42, a second mirror 44, a control unit 46, a mirror driving unit 48, an imaging device driver 50, an image signal processing circuit 52, It includes an image memory 54, an image processing unit 56, a display control unit 58, an ND (Neutral Density) filter 80, and an ND filter driving unit 82.
- the imaging apparatus main body 12 also includes a reception I / F 60, a reception device 62, a media I / F 64, and an external I / F 72.
- the control unit 46 is an example of a computer according to the technology of the present disclosure, and includes a CPU 74, a primary storage unit 76, and a secondary storage unit 78.
- the CPU 74 controls the entire imaging device 10.
- the primary storage unit 76 is a volatile memory used as a work area or the like in the execution of various programs.
- An example of the primary storage unit 76 may be a RAM (Random Access Memory).
- the secondary storage unit 78 of the present embodiment is a non-volatile memory in which various programs including an exposure control processing program 79 whose details will be described later, and various parameters and the like are stored in advance. Examples of the secondary storage unit 78 include an EEPROM (Electrically Erasable Programmable Read-Only Memory), a flash memory, and the like.
- the CPU 74, the primary storage unit 76, and the secondary storage unit 78 are connected to the bus line 81. Further, the mirror driving unit 48, the imaging device driver 50, the image signal processing circuit 52, and the ND filter driving unit 82 are also connected to the bus line 81. Further, the image memory 54, the image processing unit 56, the display control unit 58, the reception I / F 60, the media I / F 64, and the external I / F 72 are also connected to the bus line 81.
- the first mirror 42 is interposed between the light receiving surface 22A of the imaging element 22 and the lens unit 18, and is a movable mirror movable to the light receiving surface covering position ⁇ and the light receiving surface open position ⁇ .
- the first mirror 42 is connected to the mirror driving unit 48, and the mirror driving unit 48 drives the first mirror 42 under the control of the CPU 74 to open the light receiving surface covering position ⁇ and the light receiving surface of the first mirror 42.
- the first mirror 42 is disposed at the light reception surface covering position ⁇ by the mirror driving unit 48 when the light reception surface 22A does not receive the object light, and the mirror drive is performed when the light reception surface 22A receives the object light.
- the portion 48 is disposed at the light receiving surface open position ⁇ .
- the first mirror 42 covers the light receiving surface 22 A, and reflects the subject light sent from the lens unit 18 to guide it to the second mirror 44.
- the second mirror 44 reflects the subject light guided from the first mirror 42 to guide it to the finder 36 via an optical system (not shown).
- the finder 36 transmits subject light guided by the second mirror 44.
- the state in which the light receiving surface 22A is covered by the first mirror 42 is released, and the subject light is received by the light receiving surface 22A without being reflected by the first mirror 42.
- the ND filter 80 of the present embodiment is an ND filter having a plurality of stepwise transmittances.
- the ND filter 80 may have a plurality of continuous transmittances.
- the ND filter 80 of the present embodiment is disposed on the optical axis L1 between the first mirror 42 and the stop 19 (lens unit 18) at the light receiving surface covering position ⁇ .
- the ND filter 80 is connected to the ND filter driver 82.
- the CPU 74 controls the transmittance of the ND filter 80 in accordance with the predetermined resolution by changing the voltage applied to the ND filter 80 by the ND filter driver 82.
- the CPU 74 controls the transmittance of the ND filter 80 in this manner to control the exposure amount of the image sensor 22, more specifically, the amount of light per unit time reaching the image sensor 22.
- the ND filter driver 82 controls the transmittance of the ND filter 80 to control the light amount of the subject light reaching the finder 36.
- the process of controlling the exposure amount of the imaging device 22 by the CPU 74 controlling the transmittance of the ND filter 80 is referred to as a “second process”.
- the ND filter 80 when a voltage is applied, the molecule undergoes an oxidation-reduction reaction or changes to a radical state by applying an electrochromic element whose transmittance changes reversibly, or when a voltage is applied.
- permeability changes reversibly, etc. are mentioned by changing the direction of a molecule
- the image sensor driver 50 is connected to the image sensor 22.
- a CCD (Charge Coupled Device) image sensor is used as the imaging device 22, but the technology of the present disclosure is not limited to this, and, for example, a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor etc. Other image sensors may be used.
- CMOS Complementary Metal-Oxide-Semiconductor
- a plurality of pixels 90 are two-dimensionally arranged.
- the number of pixels 90, the number of rows in the array, and the number of columns are not particularly limited.
- Each pixel 90 is driven based on the vertical synchronization signal output from the CPU 74 to the imaging device driver 50 and the horizontal synchronization signal output to the image signal processing circuit 52, and the exposure of the imaging device 22 is controlled.
- the exposure time of the image sensor 22 is controlled by the interval of the scanning period of the horizontal synchronization signal (hereinafter referred to as "HD length"). Therefore, as shown in FIG. 5, when the horizontal synchronization signal includes the HD length X, the row of the pixels 90 corresponding to pulses before and after the HD length X, and in the case shown in FIG. The exposure time is changed by changing the charge accumulation time in the pixel 90, and the exposure time is shortened in the n + 1th and subsequent rows as compared to the rows up to the nth row.
- the CPU 74 of this embodiment controls the exposure amount of the image sensor 22 for each row of the array of pixels 90 by changing the HD length of the horizontal synchronization signal output to the image signal processing circuit 52.
- first process the process of controlling the exposure amount of the imaging device 22 by changing the HD length by the CPU 74 is referred to as “first process”.
- the image signal processing circuit 52 reads an image signal for one frame from the imaging device 22 for each pixel according to the horizontal synchronization signal.
- the image signal processing circuit 52 performs various processing such as correlated double sampling processing, automatic gain adjustment, and A / D (Analog / Digital) conversion on the read image signal.
- the image signal processing circuit 52 carries out various processes on the image signal, and digitizes the image signal at a specific frame rate (for example, several tens of frames per second) defined by a clock signal supplied from the CPU 74. It is outputted to the image memory 54 every one frame.
- the imaging device 22 and the imaging device driver 50 of the present embodiment are an example of an imaging unit of the present disclosure.
- the image memory 54 temporarily holds the image signal input from the image signal processing circuit 52.
- the image processing unit 56 acquires an image signal for each frame at a specific frame rate from the image memory 54, and performs various processing such as gamma correction, luminance conversion, color difference conversion, and compression processing on the acquired image signal. Do. Further, the image processing unit 56 outputs an image signal obtained by performing various processes to the display control unit 58 for each frame at a specific frame rate. Further, the image processing unit 56 outputs an image signal obtained by performing various processes to the CPU 74 in response to a request from the CPU 74.
- the image processing unit 56 of the present embodiment is an example of the image generation unit of the present disclosure.
- the display control unit 58 is connected to the display 28 of the touch panel display 29 and controls the display 28 under the control of the CPU 74.
- the display control unit 58 also outputs the image signal input from the image processing unit 56 to the display 28 at a specific frame rate for each frame.
- the display 28 displays an image indicated by the image signal input from the display control unit 58 at a specific frame rate as a live view image.
- the display 28 also displays a still image which is a single frame image obtained by imaging in a single frame.
- the display 28 displays a reproduced image, a menu screen, and the like.
- the receiving device 62 has a dial 24, a release button 26, a cross key 30, a MENU / OK key 32, a BACK / DISP button 34, and the like, and receives various instructions from the user.
- the touch panel 38 and the reception device 62 of the touch panel display 29 are connected to the reception I / F 60 and output an instruction content signal indicating the content of the received instruction to the reception I / F 60.
- the reception I / F 60 outputs the input instruction content signal to the CPU 74.
- the CPU 74 executes processing in accordance with the instruction content signal input from the reception I / F 60.
- the touch panel 38 and the reception device 62 of the present embodiment are an example of a reception unit of the present disclosure.
- a memory card 66 is detachably connected to the media I / F 64.
- the media I / F 64 performs recording and reading of an image file on the memory card 66 under the control of the CPU 74.
- the media I / F 64 and the memory card 66 of the present embodiment are an example of the recording unit of the present disclosure.
- the image file read out from the memory card 66 by the media I / F 64 is decompressed by the image processor 56 under the control of the CPU 74 and displayed on the display 28 as a reproduced image.
- the operation mode is switched according to the instruction received by the reception device 62.
- the still image imaging mode and the moving image imaging mode are selectively set in accordance with the instruction accepted by the accepting device 62.
- a still image file can be recorded on the memory card 66
- a moving image file can be recorded on the memory card 66.
- the CPU 74 controls the imaging device driver 50 to cause the imaging device 22 to perform main exposure for one frame.
- the image processing unit 56 acquires an image signal obtained by performing exposure for one frame under the control of the CPU 74, performs compression processing on the acquired image signal, and generates a specific still image format. Generate a still image file.
- the specific still image format may be, for example, a format of JPEG (Joint Photographic Experts Group) format.
- the still image file is recorded on the memory card 66 via the media I / F 64 by the image processing unit 56 under the control of the CPU 74.
- the image processing unit 56 When an instruction to capture a moving image is accepted by the release button 26 under the moving image capturing mode, the image processing unit 56 performs compression processing on the image signal for live view image, and the moving image of a specific moving image format Generate an image file.
- the specific moving picture format may be, for example, a format of the Moving Picture Experts Group (MPEG).
- MPEG Moving Picture Experts Group
- the moving image file is recorded on the memory card 66 via the media I / F 64 by the image processing unit 56 under the control of the CPU 74.
- the live view image is displayed on the touch panel display 29 in the imaging mode. And in the imaging device 10 of this embodiment, the exposure control processing which controls the exposure of the live view image displayed on the touch panel display 29 is performed.
- the CPU 74 of the imaging device 10 when transitioning to the photographing mode, the CPU 74 of the imaging device 10 according to the present embodiment reads the exposure control processing program 79 from the secondary storage unit 78, expands it in the primary storage unit 76, and executes it.
- An exposure control process one example of which is shown in FIG.
- the CPU 74 functions as a determination unit and an exposure amount control unit of the present disclosure by executing the exposure control processing program 79.
- the live view image 100 shown in FIG. 7 is, for example, a live view image 100 obtained by imaging a subject including the moving body 110.
- exposure control is performed for each of a plurality of areas set by dividing the live view image 100 by the boundary line.
- the CPU 74 of the present embodiment controls the exposure for each area obtained by dividing the live view image 100 by the boundary line.
- step S100 of FIG. 6 the CPU 74 analyzes the image of the live view image 100, and determines the position of the boundary for setting the region for controlling the exposure.
- FIG. 8 illustrates an example of the border 120 determined for the live view image 100.
- the method for the CPU 74 to determine the position of the boundary is not particularly limited.
- the CPU 74 may determine the position of the boundary based on a histogram (luminance distribution) obtained by image analysis of the live view image 100.
- FIG. 9 shows a histogram 200 of the live view image 100.
- the histogram 200 shown in FIG. 9 shows the luminance distribution of the live view image 100 in which the horizontal axis is a luminance value (brightness) and the vertical axis is the number of pixels (frequency).
- “brightness value” may be simply referred to as “brightness”.
- the CPU 74 detects a range 206 which is a valley between the peak 202 of the brightness value and the peak 204 from the histogram 200, and one specific brightness value 208 based on a predetermined reference from the detected range 206. Decide. Examples of the predetermined reference in this case include an intermediate value of the range 206 and a luminance value which is the minimum number of pixels. Then, based on the determined position of the pixel corresponding to the determined luminance value 208, for example, in the live view image 100, a straight line including the largest number of pixels whose luminance value is the luminance value 208 is set as the boundary line 120. Thus, the position of the boundary 120 in the live view image 100 may be determined.
- the histogram 200 shown in FIG. 9 shows the case where there are two peaks (peaks 202 and 204) of the luminance value, but there are three or more peaks that are the luminance values.
- the position of the boundary 120 can be determined from the histogram even if there are two or more valleys 206. In this case, for example, among the luminance values determined from each of the plurality of valleys 206, a luminance value satisfying a predetermined reference such as a minimum value is determined, and the boundary is determined based on the determined luminance values. The position of 120 may be determined.
- the contrast is extracted based on the brightness or density sequentially from the end of the live view image 100, and the position where the contrast changes suddenly is taken as the position of the boundary line 120. You may decide.
- the mode in which the CPU 74 determines the border based on the live view image 100 that is, the mode in which the CPU 74 automatically determines the border is described.
- the method is not particularly limited.
- the boundary may be determined based on the position (coordinates) of the boundary designated by the user by tracing the live view image 100 displayed on the touch panel display 29 or the like.
- the CPU 74 divides the live view image 100 into a plurality of divided areas based on the determined boundary 120.
- the live view image 100 is divided by the boundary line 120 into two divided areas of the divided area 122 and the divided area 122 including the image of the moving object 110 (hereinafter simply referred to as "moving object 110") Be done.
- the CPU 74 detects a moving object for each divided area.
- the CPU 74 detects the moving object 110 from the divided area 124 of the live view image 100. Note that no moving body is detected from the divided area 122 of the live view image 100.
- the method of detecting the moving object 110 from the live view image 100 is not particularly limited.
- the amount of change in the position of the subject may be derived, and the subject whose amount of change is greater than the threshold may be detected as a moving object.
- the amount of change in the shape of the subject may be derived, and the subject whose derived amount of change is equal to or greater than the threshold may be detected as a moving object.
- step S106 the CPU 74 determines whether a moving object has been detected. In the present embodiment, when the CPU 74 detects a moving object from any one of the divided areas, the determination in step S106 is positive. As described above, when the moving object 110 is detected from the divided area 124 of the live view image 100, the determination in step S106 is positive, and the process proceeds to step S108.
- step S108 the CPU 74 executes the first process whose example is shown in FIG. As shown in FIG. 10, in step S150, the CPU 74 derives, for each divided area, the HD length X of the horizontal synchronization signal according to the control amount of the exposure amount.
- the control amount of the exposure amount is increased, the HD length X becomes longer and the exposure time becomes shorter.
- the smaller the control amount of the exposure amount the shorter the HD length X and the longer the exposure time.
- the method by which the CPU 74 derives the HD length X of the horizontal synchronization signal is not particularly limited.
- the CPU 74 may derive the HD length X of the horizontal synchronization signal based on the luminance of each of the divided area 122 and the divided area 124.
- information representing the correspondence between the luminance and the HD length X of the horizontal synchronization signal is stored in advance in the secondary storage unit 78, and the average values of the luminances of the divided area 122 and the divided area 124 are From the information representing the correspondence relationship calculated and stored in the secondary storage unit 78, the HD length X of the horizontal synchronization signal corresponding to the calculated average value may be derived.
- the CPU 74 receives the HD length X of the horizontal synchronization signal from the user for each of the divided area 122 and the divided area 124 by the receiving device 62, whereby the HD length X of the horizontal synchronization signal for each of the divided area 122 and the divided area 124 It may be derived.
- the divided area 124 is brighter (brightness is higher) than the divided area 122
- the length X is derived to prevent overexposure
- the HD length X for extending the exposure time longer than a predetermined reference is derived to prevent overexposure.
- step S152 the CPU 74 outputs the horizontal sync signal including the HD length X derived in the above step S150 to the image signal processing circuit 52 as an instruction to control the exposure, and then ends the first processing, and the exposure control It transfers to step S110 of a process.
- step S110 the CPU 74 notifies of information indicating that the first process has been performed. Specifically, the CPU 74 presents to the user that the first process has been executed. After presenting the fact that the first processing has been performed to the user, the CPU 74 ends the present exposure control processing.
- FIG. 11 illustrates an example of a state in which information 114 indicating that the first process has been performed is superimposed on the live view image 100 displayed on the touch panel display 29 and displayed. In the example shown in FIG. 11, information indicating that control of the exposure time, which is the first process, is performed is presented as the information 114. The CPU 74 may notify information indicating that the first process is to be performed before the first process is performed.
- the imaging device 10 when the first process is performed, the user can easily recognize which process has been performed by presenting information indicating that to the user. .
- the method of presenting that the first process has been performed is not particularly limited.
- a predetermined icon may be superimposed on the live view image 100 and displayed.
- the present invention is not limited to the method of presenting by display, and may be displayed by voice, and displayed by lighting or blinking an LED (Light Emitting Diode) provided on the imaging device main body 12 which is not shown. It is also good.
- LED Light Emitting Diode
- the live view image 100 displayed on the touch panel display 29 is divided by the CPU 74 into the divided area 122 and the divided area 124 by executing the exposure control process illustrated in FIG. 6 including the second process. It becomes an image obtained by controlling the exposure time of the imaging device 22 for each.
- step S106 when no moving object is detected from any of the divided regions of the live view image, the determination in step S106 is negative, and the process proceeds to step S112.
- step S112 the CPU 74 determines whether an instruction to execute the first process has been received.
- the first process is executed even if a moving object is not detected from the divided area. Therefore, when the receiving device 62 receives an instruction to execute the first process, the determination in step S112 is positive, and the process proceeds to step S108. On the other hand, if the receiving device 62 has not received an instruction to execute the first process, the determination in step S112 is negative, and the process proceeds to step S114.
- step S114 the CPU 74 executes the second process whose example is shown in FIG. As shown in FIG. 12, in step S170, the CPU 74 derives the filter coefficient of the ND filter 80 according to the control amount of the exposure amount for each divided area.
- the control amount of the exposure amount is increased, the effect of the exposure control process is intensified, and the transmittance of the ND filter 80 is lowered. In this case, the effect of preventing so-called overexposure is enhanced.
- the control amount of the exposure amount is reduced, the effect of the exposure control process is weakened, and the transmittance of the ND filter 80 is increased. In this case, the effect of preventing so-called blackout is enhanced.
- the method for the CPU 74 to derive the filter coefficients of the ND filter 80 is not particularly limited.
- the process may be similar to the derivation of the HD length X in the first process of step S108.
- the CPU 74 may derive the filter coefficient of the ND filter 80 based on the luminance of each of the divided area 122 and the divided area 124.
- information representing the correspondence between the brightness and the filter coefficient of the ND filter 80 is stored in advance in the secondary storage unit 78, and the average value of the brightness of the divided area 122 and the divided area 124 is calculated respectively.
- the filter coefficient of the ND filter 80 corresponding to the calculated average value may be derived from the information representing the correspondence relationship stored in the secondary storage unit 78.
- the CPU 74 derives the filter coefficient of the ND filter 80 for each divided area 122 and divided area 124 by receiving the filter coefficient of the ND filter 80 from the user for each divided area 122 and divided area 124 by the receiving device 62. May be
- the divided area 124 is brighter (higher in luminance) than the divided area 122.
- the CPU 74 drives the ND filter 80 in accordance with the derived filter coefficient of the ND filter 80 in the above-mentioned step S170 to output an instruction to control the exposure to the ND filter driver 82,
- the second processing is ended, and the exposure control processing is ended.
- the live view image 100 displayed on the touch panel display 29 is subjected to ND by the CPU 74 with respect to each of the divided area 122 and the divided area 124 by executing the second process, an example of which is shown in FIG. 12.
- the transmittance of the filter 80 is controlled to obtain an image.
- the live view image 100 displayed on the touch panel display 29 is obtained by controlling the degree of the ND filter 80 in which the exposure amount of the imaging element 22 is controlled by the CPU 74. Image. Thereafter, when an instruction for imaging is issued by the user using the release button 26, a captured image obtained by the exposure amount controlled by the CPU 74 is recorded on the memory card 66.
- the CPU 74 determines whether or not a live view image includes a moving body, and if it is determined that a moving body is included, for each divided area By controlling the HD length of the horizontal synchronization signal, a first process of controlling the exposure time of the image sensor 22 is performed for each row of the array of pixels 90.
- the CPU 74 executes a second process of controlling the transmittance of the ND filter 80 for each divided area.
- the exposure time is derived according to the brightness of the divided area having the darkest brightness among the plurality of divided areas. For example, in the live view image 100, since the divided area 122 has lower luminance than the divided area 124, that is, it is dark, an exposure time according to the luminance of the divided area 124 is derived. Therefore, when controlling the transmittance of the ND filter 80, the exposure time tends to be long, and when the exposure time is long, the moving body tends to shake.
- the imaging device 10 when a live view image includes a moving object, imaging is not performed in the second process for controlling the transmittance of the ND filter 80 but imaging for each row of the array of pixels 90 A first process for controlling the exposure time of the element 22 is performed. Specifically, the CPU 74 controls the exposure amount by shortening the exposure time of the bright divided area in the first process. Thereby, blurring of the moving body can be suppressed.
- the imaging device 10 of the present embodiment the image quality of the image of the moving body can be improved.
- the imaging device 10A of this embodiment is different from the imaging device 10 of the first embodiment in that it has an imaging device body 12A instead of the imaging device body 12.
- the imaging device body 12A differs from the imaging device body 12 in that it has a control unit 46A instead of the control unit 46.
- the control unit 46A differs from the control unit 46 in that it has a secondary storage unit 78A instead of the secondary storage unit 78.
- the secondary storage unit 78A differs from the secondary storage unit 78 in that the exposure control processing program 79A is stored instead of the exposure control processing program 79.
- the CPU 74 reads the exposure control processing program 79A from the secondary storage unit 78A, expands it in the primary storage unit 76, and executes the exposure control processing shown in FIG. 13 according to the expanded exposure control processing program 79A.
- the CPU 74 operates as the determination unit and the exposure amount control unit of the present disclosure by executing the exposure control processing program 79A.
- step S107 is executed between step S106 and step S108. Is different.
- the determination in step S106 is positive, and the process proceeds to step S107.
- step S107 the CPU 74 determines whether or not the moving object region, which is a divided region detected as including the image of the moving object, is a bright region.
- the “bright area” may be an area having a predetermined brightness, specifically, a predetermined brightness or more, or another divided area obtained by dividing a live view image. It may be a brighter area.
- step S107 If the divided area in which the moving object is detected is a bright area, the determination in step S107 is affirmative, and the process proceeds to step S108.
- the divided area 124 of the live view image 100 is a bright area, and the moving area 110 is included in the divided area 124, so the determination in step S107 is positive.
- step S107 determines whether the divided area in which the moving object is detected is a bright area. If the divided area in which the moving object is detected is not a bright area, the determination in step S107 is negative, and the process proceeds to step S112.
- the first process of controlling the exposure time of the imaging element 22 is performed for each row of the array of pixels 90.
- the condition that an instruction to execute the first process is not received is provided.
- a second process of controlling the transmittance of the ND filter 80 is performed.
- the exposure time of the dark divided area is the same. It becomes. Therefore, when the moving object is included in the dark divided area, the blurring of the moving object can be regarded as the same regardless of which of the first process and the second process is performed.
- the unit for controlling the exposure time is restricted to the row unit of the arrangement of the pixels 90.
- the transmittance is controlled in the ND filter 80 in units corresponding to the resolution that can be controlled. Therefore, the resolution for controlling the exposure of the image sensor 22 is generally higher in the second process than in the first process.
- the imaging device 10A of the present embodiment even when a moving object is detected, when the divided area is not a bright area, the resolution for controlling the exposure of the imaging element 22 can be increased.
- the imaging device 10B of this embodiment is different from the imaging device 10 of the first embodiment in that it has an imaging device body 12B instead of the imaging device body 12.
- the imaging device main body 12B differs from the imaging device main body 12 in that it has a control unit 46B instead of the control unit 46.
- the control unit 46B differs from the control unit 46 in that it has a secondary storage unit 78B instead of the secondary storage unit 78.
- the secondary storage unit 78B differs from the secondary storage unit 78 in that the exposure control processing program 79B is stored instead of the exposure control processing program 79.
- the CPU 74 reads out the exposure control processing program 79B from the secondary storage unit 78B, expands it in the primary storage unit 76, and executes the exposure control processing shown in FIG. 14 according to the expanded exposure control processing program 79B.
- the CPU 74 operates as the determination unit and the exposure amount control unit of the present disclosure by executing the exposure control processing program 79B.
- step S107 is the same as the exposure control process (see FIG. 13) of the second embodiment, and thus the description thereof is omitted.
- the determination in step S107 is positive, and the process proceeds to step S107A.
- step S107A the CPU 74 derives the moving amount of the moving object by executing the moving amount deriving process whose example is shown in FIG.
- step S200 the CPU 74 derives the position of the moving object on the live view image in the previous frame.
- the method for the CPU 74 to derive the position of the moving object on the live view image is not particularly limited, for example, in step S104 of the exposure control process, a method similar to the method of detecting the moving object for each divided area is used. May be
- the CPU 74 derives the position of the moving body on the live view image in the frame (current frame) currently displayed on the touch panel display 29, as in the above step S200.
- the CPU 74 controls the moving object on the live view image in the next frame based on the position of the moving object in the previous frame derived in step S200 and the position of the moving object in the current frame derived in step S202. Predict the position.
- the CPU 74 derives the moving speed of the moving body from the difference of the position of the moving body. Specifically, the CPU 74 derives the difference between the position of the moving object derived in step S200 and the position of the moving object derived in step S202 to obtain the difference in position of the moving object between the previous frame and the current frame. To derive. Then, the moving speed between the previous frame and the current frame is derived by dividing the derived difference by the interval period of the frame rate. The CPU 74 also derives the difference between the position of the moving object between the current frame and the next frame by deriving the difference between the position of the moving object derived at step S202 and the position of the moving object predicted at step S204.
- the moving speed of the moving object between the current frame and the next frame is derived by dividing the derived difference by the interval period of the frame rate. Furthermore, the CPU 74 derives the average of the derived moving speed between the two frames as the moving speed of the moving object.
- the CPU 74 derives the difference between the position of the moving body between the previous frame and the next frame by deriving the difference between the position of the moving body derived in step S200 and the position of the moving body predicted in step S204.
- the moving speed between the previous frame and the next frame may be derived as the moving speed of the moving object by dividing the derived difference by the value obtained by doubling the interval period of the frame rate.
- the CPU 74 derives the moving amount of the moving body based on the moving speed of the moving body derived in the above step S206, and then ends this moving amount derivation process. Specifically, the CPU 74 derives the moving amount of the moving object by multiplying the derived moving speed of the moving object by the shutter speed in the imaging of the previous frame and the current frame. When the movement amount derivation process ends, the process proceeds to step S107B of the exposure control process.
- step S107B the CPU 74 determines whether or not the derived movement amount is equal to or greater than a predetermined threshold value, that is, whether the movement amount per unit time of the moving body is equal to or greater than a predetermined movement amount. .
- a predetermined threshold value that is, whether the movement amount per unit time of the moving body is equal to or greater than a predetermined movement amount.
- the threshold used in the main determination may be determined in advance according to the degree of motion blur of the moving image in the captured image obtained by experiments or the like, the desired image quality (the allowable range for motion blur of the moving object), and the like. Note that the threshold used in the main determination may be set by the user.
- step S107B If the moving amount of the moving body is equal to or more than the threshold value, the determination in step S107B is positive, and the process proceeds to step S108, and the first process is performed by the CPU 74. On the other hand, if the moving amount of the moving body is less than the threshold value, the determination in step S107B is negative, and the process proceeds to step S112. In this case, the first process or the second process is performed by the CPU 74 according to the determination result of step S112.
- the first process of controlling the exposure time of the imaging element 22 is performed for each row of the array of pixels 90. Further, in the imaging device 10B according to the embodiment, even when a moving object is detected, when the moving amount of the moving object is less than the threshold, the ND filter 80 is received under the condition that the instruction to execute the first process is not received.
- the imaging device 10B of the present embodiment even when the moving object is detected, the movement amount of the moving object is less than the threshold, for example, when the movement of the moving object is within the allowable range.
- the resolution for controlling the exposure can be increased.
- the movement amount deriving process described with reference to FIG. 15 is a derivation method when it is assumed that the moving body has moved in the direction intersecting the optical axis direction (has not moved in the optical axis direction).
- first movement an example of the position of the moving body 126 when the moving body 126 moves in the direction crossing the optical axis direction (hereinafter referred to as “first movement”) is, in order of movement, moving body 126 p , moving body 126 c1 , and moving body It is shown as 126 f1 .
- the moving object 126 p when the moving object is first moved, in the previous frame, the moving object 126 p is photographed, the moving object 126 p is imaged as an imaging 126 p3 in the image pickup device 22 receiving surface 22A.
- the moving body 126c1 is photographed, and the moving body 126c1 forms an image as an image 126c3 on the light receiving surface 22A of the imaging element 22.
- the moving body 126 f 1 is photographed, and the moving body 126 f 1 forms an image as an image 126 f 31 on the light receiving surface 22 A of the imaging element 22.
- the moving direction of the moving body is not limited to the direction intersecting the optical axis direction, and actually moves in both directions in the optical axis direction (hereinafter referred to as “second movement”).
- second movement an example of the position of the moving body 126 when the moving body 126 moves a second time is illustrated as moving body 126 p , moving body 126 c2 , and moving body 126 f2 in the moving order.
- the moving object 126 p when the moving object is second moved, in the previous frame, the moving object 126 p is photographed, the moving object 126 p is imaged as an imaging 126 p3 in the image pickup device 22 receiving surface 22A.
- the moving body 126 c 2 is photographed, and the moving body 126 c 2 forms an image 126 c 3 on the light receiving surface 22 A of the imaging element 22.
- the moving body 126 f 2 is photographed, and the moving body 126 f 2 forms an image as an image 126 f 32 on the light receiving surface 22 A of the imaging element 22.
- the imaging positions of the moving body 126 in the previous frame and the current frame are the same. Therefore, the position of the moving body on the live view image 100 in the previous frame and the current frame is the same in the first movement and the second movement. However, the imaging position of the moving body 126 in the next frame is different between the first movement and the second movement. Therefore, the position of the moving body on the live view image 100 in the next frame is different between the first movement and the second movement.
- the position of the moving object on the live view image 100 in the next frame may not be accurately predicted. Therefore, as the movement of the moving body moves in the direction of the optical axis as in the second movement, the movement amount deriving process can more accurately predict the position of the moving body on the live view image 100 in the next frame. This will be described with reference to the movement amount derivation process whose example is shown in FIG.
- step S250 the CPU 74 derives the position (three-dimensional position) of the moving body in three dimensions based on the live view image in the previous frame. Specifically, the CPU 74 derives the three-dimensional position of the moving object from the position of the moving object on the live view image, the distance in the depth direction (optical axis direction), and the focal length of the imaging device 10. The distance in the depth direction may be derived by measurement using the phase difference method.
- the CPU 74 derives the three-dimensional position of the moving body in the same manner as the above step S250 based on the live view image in the current frame.
- the CPU 74 predicts the three-dimensional position of the moving body in the next frame based on the three-dimensional position of the moving body in the previous frame derived in step S250 and the three-dimensional position of the moving body in the current frame.
- the CPU 74 derives the moving speed of the moving object from the difference of the three-dimensional position of the moving object. Specifically, the CPU 74 derives the difference between the three-dimensional position of the moving object derived in step S250 and the three-dimensional position of the moving object derived in step S252 to obtain the moving object between the previous frame and the current frame. Derivate the difference of 3D position. Then, the moving speed between the previous frame and the current frame is derived by dividing the derived difference by the interval period of the frame rate.
- the CPU 74 derives the difference between the three-dimensional position of the moving object derived in step S252 and the three-dimensional position of the moving object predicted in step S254 to obtain the three-dimensional position of the moving object between the current frame and the next frame. Derive the difference of Then, the moving speed of the moving object between the current frame and the next frame is derived by dividing the derived difference by the interval period of the frame rate. Furthermore, the CPU 74 derives the average of the derived moving speed between the two frames as the moving speed of the moving object.
- the CPU 74 derives the difference between the three-dimensional position of the moving object derived in step S250 and the three-dimensional position of the moving object predicted in step S254 to obtain the three-dimensional position of the moving object between the previous frame and the next frame.
- the moving speed between the previous frame and the next frame may be derived as the moving speed of the moving object by deriving the difference of and dividing the derived difference by the value obtained by doubling the interval period of the frame rate.
- the CPU 74 derives the moving amount of the moving body based on the moving speed of the moving body derived in the above step S256, and then ends this moving amount derivation process.
- the CPU 74 derives the moving amount of the moving body from the derived moving speed of the moving body, the shutter speeds in the imaging of the previous frame and the current frame, the three-dimensional position of the moving body in the next frame, and the focal length.
- the CPU 74 may determine whether the moving speed of the moving object is equal to or higher than a predetermined speed.
- the moving amount of the moving body derived by the moving amount deriving process is more preferable than using the moving speed because the shutter speed of the imaging device 10 is also taken into consideration.
- the imaging device 10C of this embodiment differs from the imaging device 10 of the first embodiment in that it has an imaging device body 12C instead of the imaging device body 12.
- the imaging device main body 12C is different from the imaging device main body 12 in that it has a control unit 46C instead of the control unit 46.
- the control unit 46C is different from the control unit 46 in that a secondary storage unit 78C is provided instead of the secondary storage unit 78.
- the secondary storage unit 78C is different from the secondary storage unit 78 in that an exposure control processing program 79C is stored instead of the exposure control processing program 79.
- the CPU 74 reads out the exposure control processing program 79C from the secondary storage unit 78C, expands it in the primary storage unit 76, and executes the exposure control processing shown in FIG. 18 according to the expanded exposure control processing program 79C.
- the CPU 74 operates as the determination unit and the exposure amount control unit of the present disclosure by executing the exposure control processing program 79C.
- the exposure control process of this embodiment executes the processes of steps S107C and S107D between step S106 and step S108 as compared to the exposure control process of the first embodiment (see FIG. 6) as shown in FIG. The point to do is different.
- the determination in step S106 is positive, and the process proceeds to step S107C.
- step S107C the CPU 74 notifies of predetermined information. Specifically, the CPU 74 presents, to the user, information warning that the moving body shakes.
- FIG. 19 shows an example of a state in which the information 116 for warning that the moving body shakes is superimposed on the live view image 100 displayed on the touch panel display 29 and displayed.
- the second process when an instruction to execute the second process is received in advance by the receiving device 62 from the user, the second process is executed even if a moving object is detected from the divided area. However, if the second process is performed, the moving body will shake. Therefore, in the present embodiment, the user can cancel the instruction to execute the second process and execute the first process by warning that the moving body shakes.
- step S107D the CPU 74 determines whether or not the receiving device 62 has received an instruction to execute the second process. If the receiving device 62 does not receive an instruction to execute the second process, or if the instruction to execute the second process is canceled, the determination in step S107D is negative, and the process proceeds to step S108 to perform the first process. Run.
- step S107D determines whether the instruction to execute the second process is received or if the instruction to execute the second process is not canceled. If the instruction to execute the second process is received or if the instruction to execute the second process is not canceled, the determination at step S107D becomes affirmative, and the process proceeds to step S112 to execute the first process.
- a second process of controlling the transmittance of the ND filter 80 is performed on the condition that the instruction is not received.
- the imaging device 10C when a moving object is detected from the divided area, a warning is presented to the user. Therefore, in consideration of blurring of the moving object, the user controls the exposure It is possible to determine which of the first processing and the second processing. Therefore, according to the imaging device 10C of the present embodiment, the degree of freedom of the user is increased.
- the fifth embodiment will be described in detail below.
- the same components as the components described in the first embodiment are given the same reference numerals, and the description thereof is omitted.
- the imaging device 10D of the present embodiment differs from the imaging device 10 of the first embodiment in that it has an imaging device body 12D instead of the imaging device body 12.
- the imaging device body 12D is different from the imaging device body 12 in that a control unit 46D is provided instead of the control unit 46.
- the control unit 46D is different from the control unit 46 in that a secondary storage unit 78D is provided instead of the secondary storage unit 78.
- the secondary storage unit 78D differs from the secondary storage unit 78 in that the exposure control processing program 79D is stored instead of the exposure control processing program 79.
- the CPU 74 reads out the exposure control processing program 79D from the secondary storage unit 78D, expands it in the primary storage unit 76, and executes the exposure control processing shown in FIG. 20 according to the expanded exposure control processing program 79D.
- the CPU 74 operates as the determination unit and the exposure amount control unit of the present disclosure by executing the exposure control processing program 79D.
- FIG. 20 An exposure control process shown in FIG. 20 will be described as an operation of the imaging device 10D of the present embodiment.
- the description of the same operation as that of the first embodiment is omitted.
- the exposure control process of this embodiment is different from the exposure control process of the first embodiment (see FIG. 6) as shown in FIG. 20 in that the process of step S109 is executed instead of step S108.
- the determination in step S106 is positive, and the process proceeds to step S109.
- step S109 the CPU 74 executes the third process whose example is shown in FIG. As shown in FIG. 21, the third process is a process combining the first process and the second process.
- step S150 the CPU 74 derives the HD length X of the horizontal synchronization signal according to the control amount of the exposure amount for the divided area in which the moving object is detected.
- the HD length X of the horizontal synchronization signal is derived for the divided area 124.
- the divided area 122 remains as the prescribed HD length n.
- the CPU 74 outputs the horizontal synchronization signal including the HD length X derived in the above step S150 to the image signal processing circuit 52 as an instruction to control the exposure.
- the CPU 74 derives the filter coefficient of the ND filter 80 according to the control amount of the exposure amount for the divided region in which no moving body is detected.
- filter coefficients are derived for the divided area 122.
- a filter coefficient is derived in which the transmittance of the ND filter 80 is not controlled.
- the CPU 74 drives the ND filter 80 according to the filter coefficient of the ND filter 80 derived in the above step S170 to output an instruction to control the exposure to the ND filter driver 82,
- the third process ends.
- the first process of controlling the exposure time of the imaging element 22 is performed for each row of the array of pixels 90 in the divided area in which the moving body is detected, and the moving body is not detected
- the second process of controlling the transmittance of the ND filter 80 is executed for the divided area. Note that the CPU 74 does not have to control the exposure amount of the image sensor 22 for divided areas in which no moving object has been detected.
- the exposure amount of the imaging element 22 can be controlled by appropriate processing for each divided area.
- the imaging device 10 (10A, 10B, 10C, and 10D) according to each of the above-described embodiments includes the imaging element 22 in which the plurality of pixels 90 are two-dimensionally arranged, and By performing an exposure control process and an imaging unit that outputs an image signal obtained by imaging with the imaging element 22, an image processing unit 56 that generates a captured image according to the image signal, an image of a moving object in the captured image
- the determination unit determines whether the captured image includes an image of a moving object
- the exposure time of the image sensor 22 is controlled for each row of the plurality of pixels 90.
- the first process controls the exposure of the imaging device 22.
- the discrimination unit determines that the image of the moving object is not included in the captured image
- the second process different from the first process controls the exposure of the imaging device 22.
- Do It comprises a CPU74 which functions as light quantity control unit.
- the imaging device 10 when a live view image includes a moving object, the exposure of the imaging element 22 is performed for each row of the array of pixels 90. Execute a first process to control time. Therefore, according to the imaging device 10 (10A, 10B, 10C, and 10D) of each of the above-described embodiments, the exposure time can be set according to the moving object, and blurring of the moving object can be suppressed. It is possible to improve the image quality of a moving image.
- imaging devices when it is not necessary to distinguish and describe the imaging devices 10, 10A, 10B, 10C, and 10D, they will be referred to as “imaging devices” without reference numerals.
- imaging device bodies 12, 12A, 12B, 12C, and 12D are referred to as “imaging device body” without reference numerals when it is not necessary to distinguish them.
- secondary storage units 78, 78A, 78B, 78C, and 78D they will be referred to as "secondary storage units" without a reference numeral.
- exposure control processing programs 79, 79A, 79B, 79C, and 79D are collectively referred to, they are referred to as an "exposure control processing program" without a reference numeral.
- the CPU 74 controls the transmittance of the ND filter 80 as the second process, but the control of the exposure amount in the second process is not limited to this.
- the CPU 74 may control the gain of the image signal output from the imaging device 22 by controlling the image signal processing circuit 52 to perform exposure control processing, thereby controlling exposure.
- the imaging apparatus gives an example of the live view image 100A in FIG. 23 so that the boundary line 120A matches the horizontal direction H. It is preferable to present the user with information prompting the user to rotate the imaging device main body until the state shown. In addition, when the imaging device main body is rotated, the captured image is also inclined, so it is preferable to trim in accordance with the horizontal direction H.
- the exposure control processing program is read from the secondary storage unit 78.
- an arbitrary portable storage medium 300 such as a solid state drave (SSD), a universal serial bus (USB) memory, or a compact disc read only memory (CD-ROM).
- the processing program may be stored.
- the exposure control processing program of the storage medium 300 is installed in the imaging apparatus main body, and the installed exposure control processing program is executed by the CPU 74.
- the exposure control processing program is stored in a storage unit such as another computer or server device connected to the imaging apparatus main body via a communication network (not shown), and the exposure control processing program receives a request from the imaging apparatus main body. It may be downloaded accordingly. In this case, the downloaded exposure control processing program is executed by the CPU 74.
- the exposure control process is realized by the software configuration using a computer, but the technology of the present disclosure is not limited to this.
- the exposure control process may be executed only by a hardware configuration such as a field-programmable gate array (FPGA) or an application specific integrated circuit (ASIC).
- the exposure control process may be executed by a combination of a software configuration and a hardware configuration.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
動体の画像の画質を向上させることができる撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムを提供する。撮像装置(10)は、複数の画素(90)が2次元状に配列された撮像素子(22)を含み、撮像光学系を通して被写体を撮像素子(22)により撮像して得られた画像信号を出力する撮像部と、画像信号に応じた撮像画像を生成する画像処理部(56)と、露出制御処理を実行することにより、撮像画像に動体の画像が含まれるか否かを判別する判別部と、判別部により撮像画像に動体の画像が含まれると判別された場合、撮像素子(22)の露光時間を複数の画素(90)の配列の行ごとに制御する第1処理により撮像素子(22)の露光量を制御し、判別部により撮像画像に動体の画像が含まれないと判別された場合、第1処理と異なる第2処理により撮像素子(22)の露光量を制御する露光量制御部として機能するCPU(74)と、を備える。
Description
本開示の技術は、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムに関する。
撮像素子により撮像光学系を通して被写体を撮像する撮像装置において、撮像素子の露光量を制御する技術として、例えば、特許文献1及び特許文献2には、いわゆる、デジタルND(Neutral Density)フィルタを用いた技術が開示されている。デジタルNDフィルタによれば、撮像光学系に対して物理的なNDフィルタを設けたことと同等の効果を得ることができる。
ところで、動体を含む被写体を撮像装置により撮像する場合、撮像画像において動体の画像がぶれること等により、動体の画質が低下する場合がある。特に、露光時間が長くなるにつれ、動体の画像がぶれやすくなる。例えば、上記特許文献1及び特許文献2に記載されているようなデジタルNDフィルタを用いて露出の制御を行う場合は、露光時間が比較的長くなるため、動体の画像がぶれやすくなる。
本開示は、上記事情を考慮して成されたものであり、動体の画像の画質を向上させることができる撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第1の態様の撮像装置は、複数の画素が2次元状に配列された撮像素子を含み、撮像光学系を通して被写体を撮像素子により撮像して得られた画像信号を出力する撮像部と、画像信号に応じた撮像画像を生成する画像生成部と、撮像画像に動体の画像が含まれるか否かを判別する判別部と、判別部により撮像画像に動体の画像が含まれると判別された場合、撮像素子の露光時間を複数の画素の配列の行ごとに制御する第1処理により撮像素子の露光量を制御し、判別部により撮像画像に動体の画像が含まれないと判別された場合、第1処理と異なる第2処理により撮像素子の露光量を制御する露光量制御部と、露光量制御部により制御された露光量により得られた撮像画像を表示する表示部と、を備える。
第2の態様の撮像装置は、第1の態様の撮像装置において、露光量制御部は、第2処理として、撮像素子に到達する単位時間あたりの光量を制御してもよい。
第3の態様の撮像装置は、第1の態様または第2の態様の撮像装置において、露光量制御部は、動体の画像を含む動体領域の明るさが予め定められた明るさ以上の場合、第1処理を行ってもよい。
第4の態様の撮像装置は、第1の態様または第2の態様の撮像装置において、露光量制御部は、動体の画像を含む動体領域の明るさが予め定められた明るさ未満の場合、第2処理を行ってもよい。
第5の態様の撮像装置は、第3の態様または第4の態様の撮像装置において、露光量制御部は、撮像画像の解析結果に基づいて撮像画像を複数の分割領域に分割し、露光量制御部は、複数の分割領域のうち動体の画像が含まれる領域を動体領域としてもよい。
第6の態様の撮像装置は、第1の態様から第5の態様のいずれか1態様の撮像装置において、露光量制御部は、撮像画像の解析結果に基づいて決定した境界線により、撮像画像を複数の分割領域に分割してもよい。
第7の態様の撮像装置は、第1の態様から第6の態様のいずれか1態様の撮像装置において、露光量制御部は、動体の画像から検出した動体の移動速度が予め定められた速度以上の場合、第1処理を行ってもよい。
第8の態様の撮像装置は、第1の態様から第6の態様のいずれか1態様の撮像装置において、露光量制御部は、動体の画像から検出した動体の移動速度が予め定められた速度未満の場合、第2処理を行ってもよい。
第9の態様の撮像装置は、第1の態様から第6の態様のいずれか1態様の撮像装置において、露光量制御部は、動体の画像から検出した動体の単位時間あたりの移動量が予め定められた移動量以上の場合、第1処理を行ってもよい。
第10の態様の撮像装置は、第1の態様から第6の態様のいずれか1態様の撮像装置において、露光量制御部は、動体の画像から検出した動体の単位時間あたりの移動量が予め定められた移動量未満の場合、第2処理を行ってもよい。
第11の態様の撮像装置は、第1の態様から第10の態様のいずれか1態様の撮像装置において、露光量制御部は、第1処理を行う前に、第1処理を行うことを表す情報を通知してもよい。
第12の態様の撮像装置は、第1の態様から第10の態様のいずれか1態様の撮像装置において、露光量制御部は、判別部により撮像画像に動体の画像が含まれると判別された場合、予め定められた情報を通知してもよい。
第13の態様の撮像装置は、第1の態様から第12の態様のいずれか1態様の撮像装置において、露光量制御部は、第1処理を行った後に、第1処理を行ったことを表す情報を通知してもよい。
第14の態様の撮像装置は、第1の態様から第10の態様のいずれか1態様の撮像装置において、第1処理の実行の指示を受け付ける受付部をさらに備え、露光量制御部は、判別部により撮像画像に動体の画像が含まれると判別された場合、かつ受付部により第1処理の実行の指示が受け付けられた場合、第1処理を実行してもよい。
第15の態様の撮像装置は、第14の態様の撮像装置において、露光量制御部は、判別部により撮像画像に動体の画像が含まれると判別された場合であっても、受付部により第1処理の実行の指示が受け付けられていない場合、第2処理を実行してもよい。
第16の態様の撮像装置は、第1の態様から第15の態様のいずれか1態様の撮像装置において、露光量制御部は、第1処理を行う場合、撮像画像の解析結果に基づいて決定した境界線により撮像画像を複数の分割領域に分割し、分割した複数の分割領域毎に第1処理を行ってもよい。
第17の態様の撮像装置は、第1の態様または第2の態様の撮像装置において、露光量制御部は、判別部により撮像画像に動体の画像が含まれると判別された場合、撮像画像の解析結果に基づいて撮像画像を複数の分割領域に分割し、分割した複数の分割領域のうち動体の画像を含む分割領域に対しては第1処理を行い、その他の分割領域に対しては第2処理を行うかまたは撮像素子の露光量の制御を行わなくてもよい。
第18の態様の撮像装置の制御方法は、複数の画素が2次元状に配列された撮像素子により被写体を撮像して得られた画像信号に応じた撮像画像を生成し、撮像画像に動体の画像が含まれるか否かを判別し、撮像画像に動体の画像が含まれると判別された場合、撮像素子の露光時間を複数の画素の配列の行ごとに制御する第1処理により撮像素子の露光量を制御し、撮像画像に動体の画像が含まれないと判別された場合、第1処理と異なる第2処理により撮像素子の露光量を制御し、制御された露光量により得られた撮像画像を表示させる、処理を含む。
第19の態様の撮像装置の制御プログラムは、コンピュータに、複数の画素が2次元状に配列された撮像素子により被写体を撮像して得られた画像信号に応じた撮像画像を生成し、撮像画像に動体の画像が含まれるか否かを判別し、撮像画像に動体の画像が含まれると判別された場合、撮像素子の露光時間を複数の画素の配列の行ごとに制御する第1処理により撮像素子の露光量を制御し、撮像画像に動体の画像が含まれないと判別された場合、第1処理と異なる第2処理により撮像素子の露光量を制御し、制御された露光量により得られた撮像画像を表示させる、処理を実行させる。
本開示によれば、動体の画像の画質を向上させることができる。
以下、図面を参照して本開示の技術を実施するための形態例を詳細に説明する。
[第1実施形態]
まず、図1~図3を参照して、本実施形態の撮像装置10の構成の一例について説明する。一例として図1に示すように、本実施形態の撮像装置10は、レンズ交換式のデジタルカメラであり、撮像装置本体12及び撮像レンズ14を含む。
まず、図1~図3を参照して、本実施形態の撮像装置10の構成の一例について説明する。一例として図1に示すように、本実施形態の撮像装置10は、レンズ交換式のデジタルカメラであり、撮像装置本体12及び撮像レンズ14を含む。
撮像レンズ14は、撮像装置本体12に対して交換可能に装着される。撮像レンズ14の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング16が設けられている。撮像レンズ14は、レンズユニット18を含む。本実施形態のレンズユニット18が、本開示の撮像光学系の一例である。
レンズユニット18は、フォーカスレンズ20を含む複数のレンズが組み合わされた組み合わせレンズである。フォーカスレンズ20は、フォーカスリング16の手動による回転操作に伴って光軸L1方向に移動し、被写体距離に応じた合焦位置において後述の撮像素子22の受光面22A(図3参照)に、被写体を示す反射光である被写体光が結像される。
撮像装置本体12の上面には、ダイヤル24及びレリーズボタン26が設けられている。ダイヤル24は、撮像モードと再生モードとの切り替え等の各種設定の際に操作される。従って、撮像装置10では、ダイヤル24がユーザによって操作されることにより、動作モードとして撮像モードと再生モードとが選択的に設定される。
撮像装置10は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置10により被写体が撮像されて得られた静止画像を記録する動作モードであり、動画撮像モードは、撮像装置10により被写体が撮像されて得られた動画像を記録する動作モードである。
レリーズボタン26は、撮像準備指示状態と撮像指示状態との2段階の押圧操作が検出可能に構成されている。撮像準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」及び「半押し位置から全押し位置まで押下される状態」を「全押し状態」という。
オートフォーカスモードでは、レリーズボタン26を半押し状態にすることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると本露光が行われる。つまり、レリーズボタン26を半押し状態にすることによりAE(Auto Exposure)機能が働いて露出状態が設定された後、AF(Auto Focus)機能が働いて合焦制御され、レリーズボタン26を全押し状態にすると撮像が行われる。
一例として図2に示すように、撮像装置本体12の背面には、ディスプレイ28、十字キー30、MENU/OKキー32、BACK/DISPボタン34、ファインダ36、及びタッチパネル38が設けられている。
ディスプレイ28は、例えば、LCD(Liquid Crystal Display)であり、撮像装置10により被写体が撮像されることで得られた画像及び文字等を表示する。本実施形態のディスプレイ28が、本開示の表示部の一例である。なお、本実施形態のディスプレイ28は、タッチパネル38と共に、タッチパネルディスプレイ29として構成されている。ディスプレイ28は、撮像モードにおけるライブビュー画像の表示に用いられる。ライブビュー画像は、スルー画像とも称され、撮像装置10の撮像素子22により被写体が連続フレームで撮像されて得られた連続フレーム画像である。ディスプレイ28は、静止画撮像の指示が与えられた場合に単一フレームにより撮像されて得られた静止画像の表示にも用いられる。更に、ディスプレイ28は、再生モードにおける再生画像の表示及びメニュー画面等の表示にも用いられる。
ディスプレイ28の表示領域の表面には、透過型のタッチパネル38が重ねられている。タッチパネル38は、例えば、指またはスタイラスペン等の指示体による接触を検知する。タッチパネル38は、タッチパネル38に対する指示体による接触の有無等の検知結果を示す検知結果情報を予め定められた周期(例えば100ミリ秒)で既定の出力先(例えば、後述のCPU(Central Processing Unit)74、図3参照)に出力する。検知結果情報は、タッチパネル38が指示体による接触を検知した場合、タッチパネル38上の指示体による接触位置を特定可能な二次元座標(以下、「座標」という)を含み、タッチパネル38が指示体による接触を検知していない場合、座標を含まない。
十字キー30は、1つまたは複数のメニューの選択、及びズーム又はコマ送り等の各種の指示に応じた指示内容信号を出力するマルチファンクションのキーとして機能する。MENU/OKキー32は、ディスプレイ28の画面上に1つまたは複数のメニューを表示させる指示を行うためのメニュー(MENU)ボタンとしての機能と、選択内容の確定及び実行等を指示する許可(OK)ボタンとしての機能とを兼備した操作キーである。BACK/DISPボタン34は、選択項目等、所望の対象の消去又は指定内容の取消し、あるいは1つ前の操作状態に戻す場合等に使用される。
図3は、第1実施形態の撮像装置10のハードウェア構成の一例を示すブロック図である。
図3に示すように本実施形態の撮像装置本体12はマウント13を備えており(図1も参照)、撮像レンズ14は、マウント15を備えている。撮像レンズ14は、マウント13にマウント15が結合されることにより撮像装置本体12に交換可能に装着される。
撮像レンズ14は、上述したレンズユニット18、絞り19、及び制御装置40を含む。制御装置40は、マウント13にマウント15が接続されることで、撮像装置本体12の外部I/F(Interface)72を介してCPU74と電気的に接続され、CPU74の指示に従って、撮像レンズ14の全体を制御する。
絞り19は、レンズユニット18よりも撮像装置本体12側に設けられている。絞り19には、図示を省略した絞り駆動部及び絞り駆動用モータが接続されている。絞り駆動部が、後述する受付デバイス62によって受け付けられた指示に応じて、制御装置40の制御下で、絞り駆動用モータを作動させることで、絞り19の開口の大きさを調節することにより、レンズユニット18を透過した被写体光の光量を調節し、被写体光を撮像装置本体12内に導く。
図3に示すように本実施形態の撮像装置本体12は、撮像素子22、第1ミラー42、第2ミラー44、制御部46、ミラー駆動部48、撮像素子ドライバ50、画像信号処理回路52、画像メモリ54、画像処理部56、表示制御部58、ND(Neutral Density)フィルタ80、及びNDフィルタ駆動部82を含む。また、撮像装置本体12は、受付I/F60、受付デバイス62、メディアI/F64、及び外部I/F72を含む。
制御部46は、本開示の技術のコンピュータの一例であり、CPU74、一次記憶部76、及び二次記憶部78を備えている。CPU74は、撮像装置10の全体を制御する。一次記憶部76は、各種プログラムの実行におけるワークエリア等として用いられる揮発性のメモリである。一次記憶部76の一例としては、RAM(Random Access Memory)等が挙げられる。本実施形態の二次記憶部78は、詳細を後述する露出制御処理プログラム79を含む各種プログラム、及び各種パラメータ等を予め記憶した不揮発性のメモリである。二次記憶部78の一例としては、EEPROM(Electrically Erasable Programmable Read-Only Memory)またはフラッシュメモリ等が挙げられる。
CPU74、一次記憶部76、及び二次記憶部78は、バスライン81に接続されている。また、ミラー駆動部48、撮像素子ドライバ50、画像信号処理回路52、及びNDフィルタ駆動部82も、バスライン81に接続されている。また、画像メモリ54、画像処理部56、表示制御部58、受付I/F60、メディアI/F64、及び外部I/F72も、バスライン81に接続されている。
第1ミラー42は、撮像素子22の受光面22Aとレンズユニット18との間に介在しており、受光面被覆位置αと受光面開放位置βとに移動可能な可動ミラーである。
第1ミラー42は、ミラー駆動部48に接続されており、ミラー駆動部48は、CPU74の制御下で、第1ミラー42を駆動させ、第1ミラー42を受光面被覆位置αと受光面開放位置βとに選択的に配置する。すなわち、第1ミラー42は、受光面22Aに対して被写体光を受光させない場合にミラー駆動部48によって受光面被覆位置αに配置され、受光面22Aに対して被写体光を受光させる場合にミラー駆動部48によって受光面開放位置βに配置される。
受光面被覆位置αでは、第1ミラー42が受光面22Aを覆い、かつ、レンズユニット18から送り込まれた被写体光を反射して第2ミラー44に導く。第2ミラー44は、第1ミラー42から導かれた被写体光を反射することで光学系(図示省略)を介して、ファインダ36に導く。ファインダ36は、第2ミラー44によって導かれた被写体光を透過させる。
一方、受光面開放位置βでは、第1ミラー42によって受光面22Aが覆われた状態が解除され、被写体光が第1ミラー42により反射されることなく、受光面22Aによって受光される。
本実施形態のNDフィルタ80は、段階的な透過率を複数有するNDフィルタである。なお、例えば、NDフィルタ80は、連続的な透過率を複数有していてもよい。本実施形態のNDフィルタ80は、受光面被覆位置αにおける第1ミラー42と絞り19(レンズユニット18)との間の、光軸L1上に配置されている。NDフィルタ80は、NDフィルタ駆動部82に接続されている。CPU74は、NDフィルタ駆動部82によりNDフィルタ80に印加する電圧を変化させることにより、予め定められた分解能に応じて、NDフィルタ80の透過率を制御する。CPU74は、このようにNDフィルタ80の透過率を制御することで、撮像素子22の露光量、より具体的には撮像素子22に到達する単位時間あたりの光量を制御する。なお、第1ミラー42が受光面被覆位置αに配置されている場合、NDフィルタ駆動部82がNDフィルタ80の透過率を制御することにより、ファインダ36に到達する被写体光の光量が制御される。以下では、CPU74がNDフィルタ80の透過率を制御することで、撮像素子22の露光量を制御する処理を、「第2処理」という。
本実施形態のNDフィルタ80の具体例としては、電圧を印加すると分子が酸化還元反応を起こしたりラジカル状態になったりすることにより透過率が可逆的に変化するエレクトロクロミック素子、又は電圧を印加すると分子の向きが変わることにより透過率が可逆的に変化する液晶シャッター等が挙げられるが、これらに限定されない。また、液晶シャッターの具体例としては、ねじれネマティック(TN)型又はゲストホスト(GH)型の液晶シャッターが挙げられる。
撮像素子ドライバ50は、撮像素子22に接続されている。本実施形態では、撮像素子22として、CCD(Charge Coupled Device)イメージセンサを用いているが、本開示の技術はこれに限定されず、例えば、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ等の他のイメージセンサを用いてもよい。
本実施形態の撮像素子22は、一例として図4に示すように、複数の画素90が二次元状に配列されている。なお、画素90の数、配列における行の数、及び列の数は特に限定されない。CPU74から撮像素子ドライバ50に出力される垂直同期信号、及び画像信号処理回路52に出力される水平同期信号に基づいて各画素90が駆動し、撮像素子22の露光が制御される。
一般に、撮像素子22の露光時間は、水平同期信号の走査期間の間隔(以下「HD長」という)により制御される。そのため、図5に示すように、水平同期信号がHD長Xを含む場合、HD長Xの前後のパルスに応じた画素90の行、図5に示した場合では、第n行と第n+1行とで画素90における電荷の蓄積時間が変化することにより露光時間が変化し、第n+1行以降の行では、第n行までの行に比べて、露光時間が短くなる。
本実施形態のCPU74は、画像信号処理回路52に出力する水平同期信号のHD長を変化させることにより、画素90の配列の行毎に、撮像素子22の露光量を制御する。なお、以下では、CPU74がHD長を変化させることで、撮像素子22の露光量を制御する処理を、「第1処理」という。
画像信号処理回路52は、上記水平同期信号に応じて撮像素子22から1フレーム分の画像信号を画素毎に読み出す。画像信号処理回路52は、読み出した画像信号に対して、相関二重サンプリング処理、自動利得調整、及びA/D(Analog/Digital)変換等の各種処理を行う。画像信号処理回路52は、画像信号に対して各種処理を行うことでデジタル化した画像信号を、CPU74から供給されるクロック信号により規定される特定のフレームレート(例えば、数十フレーム/秒)で1フレーム毎に画像メモリ54に出力する。
本実施形態の撮像素子22及び撮像素子ドライバ50が本開示の撮像部の一例である。
画像メモリ54は、画像信号処理回路52から入力された画像信号を一時的に保持する。
画像処理部56は、画像メモリ54から特定のフレームレートで1フレーム毎に画像信号を取得し、取得した画像信号に対して、ガンマ補正、輝度変換、色差変換、及び圧縮処理等の各種処理を行う。また、画像処理部56は、各種処理を行って得た画像信号を特定のフレームレートで1フレーム毎に表示制御部58に出力する。更に、画像処理部56は、各種処理を行って得た画像信号を、CPU74の要求に応じて、CPU74に出力する。本実施形態の画像処理部56が、本開示の画像生成部の一例である。
表示制御部58は、タッチパネルディスプレイ29のディスプレイ28に接続されており、CPU74の制御下で、ディスプレイ28を制御する。また、表示制御部58は、画像処理部56から入力された画像信号を1フレーム毎に特定のフレームレートでディスプレイ28に出力する。
ディスプレイ28は、表示制御部58から特定のフレームレートで入力された画像信号により示される画像をライブビュー画像として表示する。また、ディスプレイ28は、単一フレームで撮像されて得られた単一フレーム画像である静止画像も表示する。なお、ディスプレイ28には、ライブビュー画像の他に、再生画像及びメニュー画面等が表示される。
受付デバイス62は、ダイヤル24、レリーズボタン26、十字キー30、MENU/OKキー32、及びBACK/DISPボタン34等を有しており、ユーザによる各種指示を受け付ける。
タッチパネルディスプレイ29のタッチパネル38及び受付デバイス62は、受付I/F60に接続されており、受け付けた指示の内容を示す指示内容信号を受付I/F60に出力する。受付I/F60は、入力された指示内容信号をCPU74に出力する。CPU74は、受付I/F60から入力された指示内容信号に応じた処理を実行する。本実施形態のタッチパネル38及び受付デバイス62が、本開示の受付部の一例である。
メディアI/F64には、メモリカード66が着脱可能に接続されている。メディアI/F64は、CPU74の制御下で、メモリカード66に対する画像ファイルの記録及び読み出しを行う。本実施形態のメディアI/F64及びメモリカード66が、本開示の記録部の一例である。
メディアI/F64によってメモリカード66から読み出された画像ファイルは、CPU74の制御下で、画像処理部56によって伸長処理が施されてディスプレイ28に再生画像として表示される。
撮像装置10では、受付デバイス62で受け付けられた指示に応じて、動作モードが切り替えられる。例えば、撮像装置10では、撮像モード下において、受付デバイス62で受け付けられた指示に応じて、静止画撮像モードと動画撮像モードとが選択的に設定される。静止画撮像モード下では、静止画像ファイルがメモリカード66に記録可能になり、動画撮像モード下では、動画像ファイルがメモリカード66に記録可能になる。
CPU74は、静止画撮像モード下でレリーズボタン26によって静止画像の撮像の指示が受け付けられた場合、撮像素子ドライバ50を制御することで、撮像素子22に1フレーム分の本露光を行わせる。画像処理部56は、CPU74の制御下で、1フレーム分の露光が行われることによって得られた画像信号を取得し、取得した画像信号に対して圧縮処理を施して特定の静止画像用フォーマットの静止画像ファイルを生成する。なお、特定の静止画像用フォーマットは、例えば、JPEG(Joint Photographic Experts Group)形式のフォーマットであってもよい。静止画像ファイルは、CPU74の制御下で、画像処理部56によって、メディアI/F64を介してメモリカード66に記録される。
画像処理部56は、動画撮像モード下でレリーズボタン26によって動画像の撮像の指示が受け付けられた場合、ライブビュー画像用の画像信号に対して圧縮処理を施して特定の動画像用フォーマットの動画像ファイルを生成する。なお、特定の動画像用フォーマットとは、例えば、MPEG(Moving Picture Experts Group)形式のフォーマットであってもよい。動画像ファイルは、CPU74の制御下で、画像処理部56によって、メディアI/F64を介してメモリカード66に記録される。
次に、本実施形態の撮像装置10の作用として、本実施形態の露光量制御処理を実行する場合の撮像装置10の作用について説明する。
本実施形態の撮像装置10では、撮像モードにおいて、上述したように、タッチパネルディスプレイ29にライブビュー画像が表示される。そして、本実施形態の撮像装置10では、タッチパネルディスプレイ29に表示されたライブビュー画像の露出を制御する露出制御処理が実行される。
具体的には、撮影モードに移行すると、本実施形態の撮像装置10のCPU74は、二次記憶部78から露出制御処理プログラム79を読み出して一次記憶部76に展開して実行することにより、図6に一例を示した、露出制御処理を実行する。CPU74は、露出制御処理プログラム79を実行することにより、本開示の判別部及び露光量制御部として機能する。
なお、以下では、説明の便宜上、タッチパネルディスプレイ29に表示された、図7に一例として示したライブビュー画像100に対して露出制御処理を実行する場合について説明する。図7に示したライブビュー画像100は、一例として、動体110を含む被写体を撮像して得られたライブビュー画像100である。
本実施形態の撮像装置10では、ライブビュー画像100を境界線により分割することで設定された複数の領域毎に、露出の制御を行う。換言すると、本実施形態のCPU74は、ライブビュー画像100を境界線により分割して得られた領域毎に、露出を制御する。
そのため、まず、図6のステップS100において、CPU74は、ライブビュー画像100を画像解析し、露出を制御する領域を設定するための境界線の位置を決定する。図8には、ライブビュー画像100について決定された境界線120の一例を示す。
なお、CPU74が、境界線の位置を決定する方法は特に限定されない。例えば、CPU74は、ライブビュー画像100を画像解析することにより得られたヒストグラム(輝度分布)に基づいて、境界線の位置を決定してもよい。一例として、図9に、ライブビュー画像100のヒストグラム200を示す。図9に示したヒストグラム200は、横軸を輝度値(明るさ)とし、縦軸を画素数(頻度)としたライブビュー画像100の輝度分布を示している。なお、以下では、「輝度値」を単に「輝度」という場合がある。
CPU74は、ヒストグラム200から、輝度値の山202と山204との間の谷となる範囲206を検出し、検出した範囲206の中から予め定められた基準に基づいて特定の1つの輝度値208を決定する。この場合の予め定められた基準としては、例えば、範囲206の中間値であることや、最低画素数となる輝度値であること等が挙げられる。そして、CPU74は、決定した輝度値208に対応する画素の位置に基づいて、例えば、ライブビュー画像100において、輝度値が輝度値208である、画素を最も多く含む直線を境界線120とすることにより、ライブビュー画像100における境界線120の位置を決定すればよい。
なお、図9に示したヒストグラム200が、輝度値の山となる部分が2つ(山202及び山204)である場合を示したが、輝度値の山となる部分が3つ以上、すなわち、谷となる範囲206が2つ以上である場合であっても、ヒストグラムから境界線120の位置を決定することができる。この場合、例えば、複数の谷となる範囲206の各々から決定された輝度値のうちから、最小値等、予め定められた基準を満たす輝度値を決定し、決定した輝度値に基づいて境界線120の位置を決定すればよい。
また、境界線120の位置のその他の決定方法としては、ライブビュー画像100の端部から順に輝度または濃度に基づいてコントラストを抽出し、コントラストが急に変化する位置を、境界線120の位置として決定してもよい。
また、本実施形態では、境界線の決定方法として、CPU74がライブビュー画像100に基づいて境界線を決定する形態、いわば自動的にCPU74が境界線を決定する形態について説明したが境界線の決定方法は特に限定されない。例えば、タッチパネルディスプレイ29に表示されたライブビュー画像100をなぞること等によりユーザが指定した境界線の位置(座標)に基づいて、境界線を決定してもよい。
次のステップS102において、CPU74は、決定した境界線120に基づいて、ライブビュー画像100を、複数の分割領域に分割する。図9に示した一例では、ライブビュー画像100が、境界線120により、分割領域122、及び動体110の画像(以下、単に「動体110」という)を含む分割領域122の2つの分割領域に分割される。
次のステップS104において、CPU74は、分割領域毎に動体の検出を行う。本実施形態では、CPU74は、ライブビュー画像100の分割領域124から動体110を検出する。なお、ライブビュー画像100の分割領域122からは動体が検出されない。
ライブビュー画像100から動体110を検出する方法は特に限定されない。例えば、前後する複数のフレームのライブビュー画像100において、被写体の位置の変化量を導出し、導出した変化量が閾値以上の被写体を動体として検出してもよい。また、前後する複数のフレームのライブビュー画像100において、被写体の形状の変化量を導出し、導出した変化量が閾値以上の被写体を動体として検出してもよい。
次のステップS106において、CPU74は、動体が検出されたか否かを判定する。本実施形態では、CPU74は、分割した分割領域のいずれか1つからでも動体を検出した場合、ステップS106の判定が肯定判定となる。上述のようにライブビュー画像100の分割領域124から動体110が検出された場合、ステップS106の判定が肯定判定となり、ステップS108へ移行する。
ステップS108において、CPU74は、図10に一例を示した第1処理を実行する。図10に示すようにステップS150において、CPU74は、分割領域毎に、露光量の制御量に応じた水平同期信号のHD長Xを導出する。本実施形態では、露光量の制御量を大きくするほど、HD長Xは長くなり、露光時間が短くなる。また、本実施形態では、露光量の制御量を小さくするほど、HD長Xは短くなり、露光時間が長くなる。
CPU74が水平同期信号のHD長Xを導出する方法は特に限定されない。例えば、CPU74は、分割領域122及び分割領域124各々の輝度に基づいて、水平同期信号のHD長Xを導出してもよい。この場合の一例としては、輝度と水平同期信号のHD長Xとの対応関係を表す情報を二次記憶部78に予め記憶しておき、分割領域122及び分割領域124の輝度の平均値を各々算出し、二次記憶部78に記憶されている対応関係を表す情報から、算出した平均値に対応する水平同期信号のHD長Xを導出してもよい。また例えば、CPU74は、分割領域122及び分割領域124毎にユーザから水平同期信号のHD長Xを受付デバイス62により受け付けることによって、分割領域122及び分割領域124毎に水平同期信号のHD長Xを導出してもよい。
一例として本実施形態では、分割領域124の方が、分割領域122よりも明るい(輝度が高い)ため、分割領域124に対しては、予め定められた基準よりも露光時間を短くするためのHD長Xを導出して白飛びを防ぎ、分割領域122に対しては、予め定められた基準よりも露光時間を長くするためのHD長Xを導出して黒つぶれを防ぐ。
次のステップS152において、CPU74は、上記ステップS150において導出したHD長Xを含む水平同期信号を露出を制御する指示として画像信号処理回路52に出力した後、本第1処理を終了し、露出制御処理のステップS110に移行する。
ステップS110において、CPU74は、第1処理を行ったことを表す情報を通知する。具体的には、CPU74は、第1処理を実行した旨をユーザに対して提示する。CPU74は、第1処理を実行した旨をユーザに対して提示した後、本露出制御処理を終了する。図11には第1処理を実行した旨を表す情報114をタッチパネルディスプレイ29に表示されているライブビュー画像100に重畳させて表示させた状態の一例を示している。図11に示した一例では、情報114として、第1処理である露光時間の制御を行った旨を表す情報を提示している。なお、CPU74は、第1処理を行う前に、第1処理を行うことを表す情報を通知してもよい。
第1処理及び第2処理のいずれを行ったかは、ライブビュー画像100からは判別し難いため、いずれの処理が行われたかをユーザは認識しにくい。そこで、本実施形態の撮像装置10では、第1処理を行った場合、その旨を表す情報をユーザに対して提示することにより、いずれの処理が行われたかをユーザが認識しやすくしている。
なお、第1処理を実行した旨を提示する方法は特に限定されない。例えば、予め定められたアイコンをライブビュー画像100に重畳させて表示させてもよい。また例えば、表示により提示する方法に限定されず、音声により表示させてもよいし、撮像装置本体12に設けられた図示を省略したLED(Light Emitting Diode)を点灯または点滅させることにより表示させてもよい。
このようにして、第2処理を含む図6に一例を示した露出制御処理が実行されることにより、タッチパネルディスプレイ29に表示されるライブビュー画像100が、CPU74により分割領域122及び分割領域124の各々に対して撮像素子22の露光時間が制御されて得られた画像となる。
一方、本実施形態のライブビュー画像100と異なり、ライブビュー画像の分割領域のいずれからも動体が検出されなかった場合、ステップS106の判定が否定判定となり、ステップS112へ移行する。
ステップS112において、CPU74は、第1処理の実行の指示を受け付けたか否かを判定する。本実施形態では、ユーザから第1処理の実行の指示を受付デバイス62により予め受け付けた場合、分割領域から動体が検出されなかった場合であっても第1処理を実行する。そこで、受付デバイス62が第1処理の実行の指示を受け付けていた場合、ステップS112の判定が肯定判定となり、ステップS108へ移行する。一方、受付デバイス62が第1処理の実行の指示を受け付けていなかった場合、ステップS112の判定が否定判定となり、ステップS114へ移行する。
ステップS114において、CPU74は、図12に一例を示した第2処理を実行する。図12に示すようにステップS170において、CPU74は、分割領域毎に、露光量の制御量に応じたNDフィルタ80のフィルタ係数を導出する。本実施形態では、露光量の制御量を大きくするほど、露出制御処理の効果が強まり、NDフィルタ80の透過率が低くなる。この場合、いわゆる白飛びを防ぐ効果が高くなる。また、本実施形態では、露光量の制御量を小さくするほど、露出制御処理の効果が弱まり、NDフィルタ80の透過率が高くなる。この場合、いわゆる黒つぶれを防ぐ効果が高くなる。
CPU74がNDフィルタ80のフィルタ係数を導出する方法は特に限定されない。例えば、上記ステップS108の第1処理におけるHD長Xの導出と同様にしてもよい。具体的には、CPU74は、分割領域122及び分割領域124各々の輝度に基づいて、NDフィルタ80のフィルタ係数を導出してもよい。この場合の一例としては、輝度とNDフィルタ80のフィルタ係数との対応関係を表す情報を二次記憶部78に予め記憶しておき、分割領域122及び分割領域124の輝度の平均値を各々算出し、二次記憶部78に記憶されている対応関係を表す情報から、算出した平均値に対応するNDフィルタ80のフィルタ係数を導出してもよい。また例えば、CPU74は、分割領域122及び分割領域124毎にユーザからNDフィルタ80のフィルタ係数を受付デバイス62により受け付けることによって、分割領域122及び分割領域124毎にNDフィルタ80のフィルタ係数を導出してもよい。
一例としてライブビュー画像100に動体110が含まれていない(写っていない)とした場合、分割領域124の方が、分割領域122よりも明るい(輝度が高い)ため、分割領域124に対しては、予め定められた基準よりもNDフィルタ80の透過率を低くするためのフィルタ係数を導出して白飛びを防ぎ、分割領域122に対しては、予め定められた基準よりもNDフィルタ80の透過率を高くするためのフィルタ係数を導出して黒つぶれを防ぐ。
次のステップS172において、CPU74は、上記ステップS170において、導出したNDフィルタ80のフィルタ係数に応じてNDフィルタ80を駆動させることにより、露出を制御する指示をNDフィルタ駆動部82に出力した後、本第2処理を終了し、本露出制御処理を終了する。
このようにして、図12に一例を示した第2処理が実行されることにより、タッチパネルディスプレイ29に表示されるライブビュー画像100が、CPU74により分割領域122及び分割領域124の各々に対してNDフィルタ80の透過率が制御されて得られた画像となる。
このようにして露出制御処理が実行されることにより、タッチパネルディスプレイ29に表示されるライブビュー画像100が、CPU74により撮像素子22の露光量が制御されたNDフィルタ80の度合いが制御されて得られた画像となる。この後、ユーザによりレリーズボタン26によって撮像の指示が行われると、CPU74によって制御された露光量により得られた撮像画像がメモリカード66に記録される。
以上説明したように、本実施形態の撮像装置10では、CPU74が、ライブビュー画像に動体が含まれているか否かを判別し、動体が含まれていると判別した場合は、分割領域毎に水平同期信号のHD長を制御することにより、画素90の配列の行毎に撮像素子22の露光時間を制御する第1処理を実行する。また、CPU74は、ライブビュー画像に動体が含まれていないと判別した場合は、分割領域毎にNDフィルタ80の透過率を制御する第2処理を実行する。
NDフィルタ80の透過率を制御することにより撮像素子22の露光量を制御する場合、露光時間は、複数の分割領域の中で明るさが最も暗い分割領域の輝度に応じて導出される。例えば、ライブビュー画像100では、分割領域122の方が分割領域124よりも輝度が低い、すなわち暗いため分割領域124の輝度に応じた露光時間が導出される。そのため、NDフィルタ80の透過率を制御する場合、露光時間が長くなる傾向があり、露光時間が長くなると動体がぶれやすくなる。
上述のように本実施形態の撮像装置10では、ライブビュー画像に動体が含まれている場合は、NDフィルタ80の透過率を制御する第2処理ではなく、画素90の配列の行毎に撮像素子22の露光時間を制御する第1処理を実行する。具体的には、CPU74は、第1処理において明るい分割領域の露光時間を短くすることにより、露光量を制御する。これにより、動体のぶれを抑制することができる。
従って、本実施形態の撮像装置10によれば、動体の画像の画質を向上することができる。
[第2実施形態]
以下、第2実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
以下、第2実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
一例として図1~図3に示すように、本実施形態の撮像装置10Aは、上記第1実施形態の撮像装置10に比べ、撮像装置本体12に代えて撮像装置本体12Aを有する点が異なる。
一例として図3に示すように、撮像装置本体12Aは、撮像装置本体12に比べ、制御部46に代えて制御部46Aを有する点が異なる。制御部46Aは、制御部46に比べ、二次記憶部78に代えて二次記憶部78Aを有する点が異なる。
一例として図3に示すように、二次記憶部78Aは、二次記憶部78に比べ、露出制御処理プログラム79に代えて露出制御処理プログラム79Aを記憶している点が異なる。CPU74は、二次記憶部78Aから露出制御処理プログラム79Aを読み出して一次記憶部76に展開し、展開した露出制御処理プログラム79Aに従って図13に示す露出制御処理を実行する。CPU74は、露出制御処理プログラム79Aを実行することで本開示の判別部及び露光量制御部として動作する。
次に、本実施形態の撮像装置10Aの作用として、図13に示す露出制御処理について説明する。なお、上記第1実施形態と同一の作用については説明を省略する。
本実施形態の露出制御処理は、図13に示すように上記第1実施形態の露出制御処理(図6参照)に比べ、ステップS106とステップS108との間に、ステップS107の処理を実行する点が異なる。本実施形態の露出制御処理では、分割した分割領域のいずれか1つからでも動体が検出された場合、ステップS106の判定が肯定判定となり、ステップS107へ移行する。
ステップS107において、CPU74は、動体の画像を含むと検出された分割領域である動体領域が明るい領域で有ったか否かを判定する。ここで「明るい領域」とは、予め定められた明るさ、具体例としては予め定められた輝度以上である領域であってもよいし、ライブビュー画像を分割して得られた他の分割領域よりも明るい領域であってもよい。
動体が検出された分割領域が明るい領域であった場合、ステップS107の判定が肯定判定となり、ステップS108へ移行する。図8に示した一例では、ライブビュー画像100の分割領域124は明るい領域であり、分割領域124に動体110が含まれるため、ステップS107の判定が肯定判定となる。
一方、動体が検出された分割領域が明るい領域ではない場合、ステップS107の判定が否定判定となり、ステップS112へ移行する。
このように本実施形態の撮像装置10Aでは、動体が検出された分割領域が明るい領域であった場合は、画素90の配列の行毎に撮像素子22の露光時間を制御する第1処理を行う。また本実施形態の撮像装置10Aでは、動体が検出された場合であっても、動体が検出された分割領域が明るい領域ではない場合は、第1処理の実行の指示を受け付けていないことを条件としてNDフィルタ80の透過率を制御する第2処理を行う。
画素90の配列の行毎に撮像素子22の露光時間を制御する第1処理、及びNDフィルタ80の透過率を制御する第2処理のいずれを行った場合でも、暗い分割領域の露光時間は同様となる。そのため、暗い分割領域に動体が含まれる場合、第1処理及び第2処理のいずれを行った場合でも動体のぶれは、同様とみなせる。
なお、第1処理では、上述のように露光時間を制御する単位が、画素90の配列の行単位となる制約をうける。一方、第2処理では、NDフィルタ80における透過率の制御が可能な分解能に応じた単位となる。そのため、一般的に、第2処理のほうが第1処理に比べて、撮像素子22の露出を制御する分解能が高くなる。
従って、本実施形態の撮像装置10Aによれば、動体が検出された場合であっても、分割領域が明るい領域ではない場合は、撮像素子22の露出を制御する分解能を高くすることができる。
[第3実施形態]
以下、第3実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
以下、第3実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
一例として図1~図3に示すように、本実施形態の撮像装置10Bは、上記第1実施形態の撮像装置10に比べ、撮像装置本体12に代えて撮像装置本体12Bを有する点が異なる。
一例として図3に示すように、撮像装置本体12Bは、撮像装置本体12に比べ、制御部46に代えて制御部46Bを有する点が異なる。制御部46Bは、制御部46に比べ、二次記憶部78に代えて二次記憶部78Bを有する点が異なる。
一例として図3に示すように、二次記憶部78Bは、二次記憶部78に比べ、露出制御処理プログラム79に代えて露出制御処理プログラム79Bを記憶している点が異なる。CPU74は、二次記憶部78Bから露出制御処理プログラム79Bを読み出して一次記憶部76に展開し、展開した露出制御処理プログラム79Bに従って図14に示す露出制御処理を実行する。CPU74は、露出制御処理プログラム79Bを実行することで本開示の判別部及び露光量制御部として動作する。
次に、本実施形態の撮像装置10Bの作用として、図14に示す露出制御処理について説明する。なお、上記第1実施形態と同一の作用については説明を省略する。
本実施形態の露出制御処理は、図14に示すように上記第1実施形態の露出制御処理(図6参照)に比べ、ステップS106とステップS108との間に、ステップS107、S107A、及びS107Bの処理を実行する点が異なる。ステップS107の処理は第2実施形態の露出制御処理(図13参照)と同様であるため説明を省略する。本実施形態の露出制御処理では、動体が検出された分割領域が明るい領域であった場合、ステップS107の判定が肯定判定となり、ステップS107Aへ移行する。
ステップS107Aにおいて、CPU74は、図15に一例を示した移動量導出処理を実行することにより、動体の移動量を導出する。
図15に示すようにステップS200において、CPU74は、前フレームにおけるライブビュー画像上の動体の位置を導出する。なお、CPU74がライブビュー画像上の動体の位置を導出する方法は特に限定されないが、例えば、上記露出制御処理のステップS104において、分割領域毎に動体の検出を行った方法と同様の方法を用いてもよい。
次のステップS202において、CPU74は、タッチパネルディスプレイ29に現在表示されているフレーム(現フレーム)におけるライブビュー画像上の動体の位置を、上記ステップS200と同様に導出する。
次のステップS204において、CPU74は、上記ステップS200で導出した前フレームにおける動体の位置と、上記ステップS202で導出した現フレームにおける動体の位置とに基づいて、次フレームにおけるライブビュー画像上の動体の位置を予測する。
次のステップS206において、CPU74は、動体の位置の差分から動体の移動速度を導出する。具体的には、CPU74は、ステップS200において導出した動体の位置と、ステップS202において導出した動体の位置との差分を導出することで、前フレームと現フレームとの間における動体の位置の差分を導出する。そして、導出した差分をフレームレートのインターバル期間で除することにより前フレームと現フレーム間の移動速度を導出する。また、CPU74は、ステップS202において導出した動体の位置と、ステップS204において予測した動体の位置との差分を導出することで、現フレームと次フレームとの間における動体の位置の差分を導出する。そして、導出した差分をフレームレートのインターバル期間で除することにより現フレームと次フレーム間の動体の移動速度を導出する。さらに、CPU74は、導出した2つのフレーム間の移動速度の平均を動体の移動速度として導出する。
なお、CPU74は、ステップS200において導出した動体の位置と、ステップS204において予測した動体の位置との差分を導出することで、前フレームと次フレームとの間における動体の位置の差分を導出し、導出した差分をフレームレートのインターバル期間を2倍した値で除することにより前フレームと次フレーム間の移動速度を動体の移動速度として導出してもよい。
次のステップS208においてCPU74は、上記ステップS206で導出した動体の移動速度に基づいて動体の移動量を導出した後、本移動量導出処理を終了する。具体的にはCPU74は、導出した動体の移動速度に、前フレーム及び現フレームの撮像におけるシャッタースピードを乗算することで、動体の移動量を導出する。移動量導出処理が終了すると露出制御処理のステップS107Bに移行する。
ステップS107Bにおいて、CPU74は、導出した移動量が予め定められた閾値以上であるか否か、すなわち、動体の単位時間あたりの移動量が予め定められた移動量以上であるか否かを判定する。動体の移動量が大きい場合とは、動体の移動速度が速い場合である。移動速度が速いほど動体がぶれやすくなる。本実施形態の撮像装置10Bでは、動体の移動速度が速く、ぶれやすい場合に、第1処理を行うことにより動体のぶれを抑制する。
なお、本判定に用いる閾値は、予め実験等によりえられた撮像画像における動体のぶれの程度または、所望の画質(動体のぶれに対する許容範囲)等に応じて定めておけばよい。なお、本判定に用いる閾値は、ユーザによる設定が可能であってもよい。
動体の移動量が閾値以上の場合、ステップS107Bの判定が肯定判定となり、ステップS108へ移行して、CPU74により第1処理が行われる。一方、動体の移動量が閾値未満の場合、ステップS107Bの判定が否定判定となり、ステップS112へ移行する。この場合は、ステップS112の判定結果に応じてCPU74により第1処理または第2処理が行われることになる。
このように本実施形態の撮像装置10Bでは、検出された動体の移動量が閾値以上の場合は、画素90の配列の行毎に撮像素子22の露光時間を制御する第1処理を行う。また、実施形態の撮像装置10Bでは、動体が検出された場合であっても、動体の移動量が閾値未満の場合は、第1処理の実行の指示を受け付けていないことを条件としてNDフィルタ80の透過率を制御する第2処理を行う。
従って、本実施形態の撮像装置10Bによれば、動体が検出された場合であっても、動体のぶれについて許容範囲内の場合等、動体の移動量が閾値未満の場合は、撮像素子22の露出を制御する分解能を高くすることができる。
なお、移動量の導出方法は、上記移動量導出処理(図15参照)によるものに限定されない。ここで、本実施形態における動体の移動量の導出について図16を参照して説明する。上記図15を参照して説明した移動量導出処理は、動体が光軸方向と交差する方向に移動した(光軸方向へは移動していない)と仮定した場合の導出方法である。図16では、動体126が光軸方向と交差する方向に移動(以下、「第1移動」という)した場合の動体126の位置の一例を、移動した順に動体126p、動体126c1、及び動体126f1として示している。
このように動体が第1移動した場合、前フレームでは、動体126pが撮影され、動体126pは、撮像素子22受光面22Aに結像126p3として結像する。現フレームでは、動体126c1が撮影され、動体126c1は、撮像素子22受光面22Aに結像126c3として結像する。さらに次フレームでは、動体126f1が撮影され、動体126f1は、撮像素子22受光面22Aに結像126f31として結像する。
しかしながら、動体の移動方向は光軸方向と交差する方向に限定されず、実際には光軸方向の両方向に移動(以下、「第2移動」という)する。図16では、動体126が第2移動した場合の動体126の位置の一例を、移動した順に動体126p、動体126c2、及び動体126f2として示している。
このように動体が第2移動した場合、前フレームでは、動体126pが撮影され、動体126pは、撮像素子22受光面22Aに結像126p3として結像する。現フレームでは、動体126c2が撮影され、動体126c2は、撮像素子22受光面22Aに結像126c3として結像する。さらに次フレームでは、動体126f2が撮影され、動体126f2は、撮像素子22受光面22Aに結像126f32として結像する。
図16に示すように第1移動と第2移動とでは、前フレーム及び現フレームにおける、動体126の結像位置は同様となる。そのため、前フレーム及び現フレームでのライブビュー画像100上における動体の位置が、第1移動及び第2移動では同様となる。しかしながら、第1移動と第2移動とでは、次フレームにおける、動体126の結像位置が異なる。そのため、次フレームでのライブビュー画像100上における動体の位置が、第1移動と第2移動とでは異なる。
従って、図15に示した移動量導出処理では、次フレームにおけるライブビュー画像100上の動体の位置が正確に予測できない場合がある。そこで動体の移動が上記第2移動のように、光軸方向にも移動する場合に次フレームにおけるライブビュー画像100上の動体の位置をより正確に予測することができる移動量導出処理について図17に一例を示した移動量導出処理を参照して説明する。
図17に示すようにステップS250において、CPU74は、前フレームにおけるライブビュー画像に基づき、3次元における動体の位置(3次元位置)を導出する。具体的には、CPU74は、ライブビュー画像上における動体の位置、奥行方向(光軸方向)の距離、及び撮像装置10の焦点距離から動体の3次元位置を導出する。なお、奥行方向の距離は、位相差方式による計測で導出すればよい。
次のステップS252において、CPU74は、現フレームにおけるライブビュー画像に基づき、上記ステップS250と同様に動体の3次元位置を導出する。
次のステップS254において、CPU74は、上記ステップS250で導出した前フレームにおける動体の3次元位置と、現フレームにおける動体の3次元位置とに基づいて、次フレームにおける動体の3次元位置を予測する。
次のステップS256でCPU74は、動体の3次元位置の差分から動体の移動速度を導出する。具体的には、CPU74は、ステップS250で導出した動体の3次元位置と、ステップS252で導出した動体の3次元位置との差分を導出することで、前フレームと現フレームとの間における動体の3次元位置の差分を導出する。そして、導出した差分をフレームレートのインターバル期間で除することにより前フレームと現フレーム間の移動速度を導出する。また、CPU74は、ステップS252で導出した動体の3次元位置と、ステップS254で予測した動体の3次元位置との差分を導出することで、現フレームと次フレームとの間における動体の3次元位置の差分を導出する。そして、導出した差分をフレームレートのインターバル期間で除することにより現フレームと次フレーム間の動体の移動速度を導出する。さらに、CPU74は、導出した2つのフレーム間の移動速度の平均を動体の移動速度として導出する。なお、CPU74は、ステップS250で導出した動体の3次元位置と、ステップS254で予測した動体の3次元位置との差分を導出することで、前フレームと次フレームとの間における動体の3次元位置の差分を導出し、導出した差分をフレームレートのインターバル期間を2倍した値で除することにより前フレームと次フレーム間の移動速度を動体の移動速度として導出してもよい。
次のステップS258でCPU74は、上記ステップS256で導出した動体の移動速度に基づいて動体の移動量を導出した後、本移動量導出処理を終了する。CPU74は、導出した動体の移動速度と、前フレーム及び現フレームの撮像におけるシャッタースピードと、次フレームにおける動体の3次元位置と、焦点距離とから動体の移動量を導出する。
このように図17に示した移動量導出処理では、動体の3次元位置に基づいて動体の移動量を導出するため、より正確な移動量を導出することができる。
なお、移動量にかわり、ステップS107Bにおいて、CPU74は、動体の移動速度が予め定められた速度以上であるか否かを判定してもよい。しかしながら、上記移動量導出処理により導出された動体の移動量は、撮像装置10のシャッタースピードも加味しているため、移動速度を用いるよりも好ましい。
[第4実施形態]
以下、第4実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
以下、第4実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
一例として図1~図3に示すように、本実施形態の撮像装置10Cは、上記第1実施形態の撮像装置10に比べ、撮像装置本体12に代えて撮像装置本体12Cを有する点が異なる。
一例として図3に示すように、撮像装置本体12Cは、撮像装置本体12に比べ、制御部46に代えて制御部46Cを有する点が異なる。制御部46Cは、制御部46に比べ、二次記憶部78に代えて二次記憶部78Cを有する点が異なる。
一例として図3に示すように、二次記憶部78Cは、二次記憶部78に比べ、露出制御処理プログラム79に代えて露出制御処理プログラム79Cを記憶している点が異なる。CPU74は、二次記憶部78Cから露出制御処理プログラム79Cを読み出して一次記憶部76に展開し、展開した露出制御処理プログラム79Cに従って図18に示す露出制御処理を実行する。CPU74は、露出制御処理プログラム79Cを実行することで本開示の判別部及び露光量制御部として動作する。
次に、本実施形態の撮像装置10Cの作用として、図18に示す露出制御処理について説明する。なお、上記第1実施形態と同一の作用については説明を省略する。
本実施形態の露出制御処理は、図18に示すように上記第1実施形態の露出制御処理(図6参照)に比べ、ステップS106とステップS108との間に、ステップS107C及びS107Dの処理を実行する点が異なる。本実施形態の露出制御処理では、分割領域から動体が検出された場合、ステップS106の判定が肯定判定となり、ステップS107Cへ移行する。
ステップS107Cにおいて、CPU74は、予め定められた情報を通知する。具体的には、CPU74は、動体がぶれることを警告する情報をユーザに対して提示する。図19には動体がぶれることを警告する情報116をタッチパネルディスプレイ29に表示されているライブビュー画像100に重畳させて表示させた状態の一例を示している。
本実施形態では、ユーザから第2処理の実行の指示を受付デバイス62により予め受け付けた場合、分割領域から動体が検出された場合であっても第2処理を実行する。しかしながら第2処理を実行してしまうと動体がぶれてしまうことになる。そこで、本実施形態では、動体がぶれることを警告することにより、ユーザは第2処理の実行の指示を取り消して第1処理を実行させることができる。
そこで、次のステップS107Dにおいて、CPU74は、第2処理の実行の指示を受付デバイス62が受け付けたか否かを判定する。受付デバイス62は第2処理の実行の指示を受け付けていない場合、または第2処理の実行の指示が取り消された場合、ステップS107Dの判定が否定判定となり、ステップS108へ移行して第1処理を実行する。
一方、第2処理の実行の指示を受け付けた場合、または第2処理の実行の指示が取り消されてない場合、ステップS107Dの判定が肯定定となり、ステップS112へ移行し、第1処理の実行の指示を受け付けていないことを条件としてNDフィルタ80の透過率を制御する第2処理を行う。
このように、本実施形態の撮像装置10Cでは、分割領域から動体が検出された場合、ユーザに対して警告を提示するため、ユーザは、動体がぶれることを考慮して、露出の制御を第1処理及び第2処理のいずれとするかを決定することができる。従って、本実施形態の撮像装置10Cによれば、ユーザの自由度が増す。
[第5実施形態]
以下、第5実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
以下、第5実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
一例として図1~図3に示すように、本実施形態の撮像装置10Dは、上記第1実施形態の撮像装置10に比べ、撮像装置本体12に代えて撮像装置本体12Dを有する点が異なる。
一例として図3に示すように、撮像装置本体12Dは、撮像装置本体12に比べ、制御部46に代えて制御部46Dを有する点が異なる。制御部46Dは、制御部46に比べ、二次記憶部78に代えて二次記憶部78Dを有する点が異なる。
一例として図3に示すように、二次記憶部78Dは、二次記憶部78に比べ、露出制御処理プログラム79に代えて露出制御処理プログラム79Dを記憶している点が異なる。CPU74は、二次記憶部78Dから露出制御処理プログラム79Dを読み出して一次記憶部76に展開し、展開した露出制御処理プログラム79Dに従って図20に示す露出制御処理を実行する。CPU74は、露出制御処理プログラム79Dを実行することで本開示の判別部及び露光量制御部として動作する。
次に、本実施形態の撮像装置10Dの作用として、図20に示す露出制御処理について説明する。なお、上記第1実施形態と同一の作用については説明を省略する。
本実施形態の露出制御処理は、図20に示すように上記第1実施形態の露出制御処理(図6参照)に比べ、ステップS108に替わりステップS109の処理を実行する点が異なる。本実施形態の露出制御処理では、分割領域から動体が検出された場合、ステップS106の判定が肯定判定となり、ステップS109へ移行する。
ステップS109において、CPU74は、図21に一例を示した第3処理を実行する。図21に示すように第3処理は、上記第1処理及び第2処理を組み合わせた処理である。
ステップS150において、CPU74は、動体が検出された分割領域について、露光量の制御量に応じた水平同期信号のHD長Xを導出する。ライブビュー画像100の場合、分割領域124について、水平同期信号のHD長Xを導出する。なお、動体が検出されなかった分割領域、ライブビュー画像100の場合では分割領域122については規定のHD長nのままとなる。
次のステップS152において、CPU74は、上記ステップS150において導出したHD長Xを含む水平同期信号を露出を制御する指示として画像信号処理回路52に出力する。
次のステップS170でCPU74は、動体が検出されなかった分割領域について、露光量の制御量に応じたNDフィルタ80のフィルタ係数を導出する。ライブビュー画像100の場合、分割領域122について、フィルタ係数を導出する。なお、動体が検出された分割領域、例えばライブビュー画像100の場合における分割領域124についてはNDフィルタ80の透過率の制御を行わないものとしたフィルタ係数を導出する。
次のステップS172において、CPU74が、上記ステップS170で導出したNDフィルタ80のフィルタ係数に応じてNDフィルタ80を駆動させることにより、露出を制御する指示をNDフィルタ駆動部82に出力した後、本第3処理を終了する。
このように本実施形態の撮像装置10Dでは、動体が検出された分割領域については画素90の配列の行毎に撮像素子22の露光時間を制御する第1処理を実行し、動体が検出されなかった分割領域についてはNDフィルタ80の透過率を制御する第2処理を実行する。なお、CPU74は、動体が検出されなかった分割領域について、撮像素子22の露光量の制御を行わなくてもよい。
従って、本実施形態の撮像装置10Dによれば、分割領域毎に、適切な処理により撮像素子22の露光量を制御することができる。
以上説明したように、上記各実施形態の撮像装置10(10A,10B、10C、及び10D)は、複数の画素90が2次元状に配列された撮像素子22を含み、撮像光学系を通して被写体を撮像素子22により撮像して得られた画像信号を出力する撮像部と、画像信号に応じた撮像画像を生成する画像処理部56と、露出制御処理を実行することにより、撮像画像に動体の画像が含まれるか否かを判別する判別部と、判別部により撮像画像に動体の画像が含まれると判別された場合、撮像素子22の露光時間を複数の画素90の配列の行ごとに制御する第1処理により撮像素子22の露光量を制御し、判別部により撮像画像に動体の画像が含まれないと判別された場合、第1処理と異なる第2処理により撮像素子22の露光量を制御する露光量制御部として機能するCPU74と、を備える。
このように、上記各実施形態の撮像装置10(10A,10B、10C、及び10D)は、ライブビュー画像に動体が含まれている場合は、画素90の配列の行毎に撮像素子22の露光時間を制御する第1処理を実行する。従って、上記各実施形態の撮像装置10(10A,10B、10C、及び10D)によれば、動体に応じた露光時間とすることができ、動体のぶれを抑制することができる。動体の画像の画質を向上させることができる。
以下では、説明の便宜上、撮像装置10、10A、10B、10C、及び10Dを区別して説明する必要がない場合、符号を付さずに「撮像装置」と称する。また、以下では、説明の便宜上、撮像装置本体12、12A、12B、12C、及び12Dを区別して説明する必要がない場合、符号を付さずに「撮像装置本体」と称する。また、以下では、説明の便宜上、二次記憶部78、78A、78B、78C、及び78Dを区別して説明する必要がない場合は、符号を付さずに「二次記憶部」と称する。また、以下では、説明の便宜上、露出制御処理プログラム79、79A、79B、79C、及び79Dを総称する場合、符号を付さずに「露出制御処理プログラム」と称する。
上記各実施形態では、第2処理として、CPU74がNDフィルタ80の透過率を制御する形態について説明したが、第2処理における露光量の制御の形態はこれに限定されない。例えば、CPU74が画像信号処理回路52を制御することにより、撮像素子22により出力される画像信号のゲインを制御することで露出制御処理を行うことにより、露出の制御を行う態様としてもよい。
また、上記各実施形態の撮像装置において図22に一例を示したライブビュー画像100Aのように、導出された境界線120Aが水平方向Hに対して斜めの場合(角度を有する場合)がある、この場合、画素90の行毎にHD長を制御する第1処理が行い難いため、撮像装置は、境界線120Aと水平方向Hとが一致するように、ライブビュー画像100Aを図23に一例を示した状態となるまで撮像装置本体を回転させることを促す情報をユーザに提示することが好ましい。なお、撮像装置本体を回転させた場合、撮像画像も斜めになってしまうため、水平方向Hに応じてトリミングすることが好ましい。
また、上記各実施形態では、露出制御処理プログラムを二次記憶部78から読み出す場合を例示したが、必ずしも最初から二次記憶部78に記憶させておく必要はない。例えば、図24に示すように、SSD(Solid State Drave)、USB(Universal Serial Bus)メモリ、またはCD-ROM(Compact Disc Read Only Memory)等の任意の可搬型の記憶媒体300に先ずは露出制御処理プログラムを記憶させておいてもよい。この場合、記憶媒体300の露出制御処理プログラムが撮像装置本体にインストールされ、インストールされた露出制御処理プログラムがCPU74によって実行される。
また、通信網(図示省略)を介して撮像装置本体に接続される他のコンピュータまたはサーバ装置等の記憶部に露出制御処理プログラムを記憶させておき、露出制御処理プログラムが撮像装置本体の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされた露出制御処理プログラムはCPU74によって実行される。
また、上記各実施形態で説明した露出制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記各実施形態では、コンピュータを利用したソフトウェア構成により露出制御処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、露出制御処理が実行されるようにしてもよい。また、露出制御処理がソフトウェア構成とハードウェア構成とを組み合わせた構成によって実行されるようにしてもよい。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
10、10A、10B、10C、10D 撮像装置
12、12A、12B、12C、12D 撮像装置本体
13、15 マウント
14 撮像レンズ
16 フォーカスリング
18 レンズユニット
19 絞り
20 フォーカスレンズ
22 撮像素子
22A 受光面
24 ダイヤル
26 レリーズボタン
28 ディスプレイ
29 タッチパネルディスプレイ
30 十字キー
32 MENU/OKキー
34 BACK/DISPボタン
36 ファインダ
38 タッチパネル
40 制御装置
42 第1ミラー
44 第2ミラー
46、46A、46B、46C、46D 制御部
48 ミラー駆動部
50 撮像素子ドライバ
52 画像信号処理回路
54 画像メモリ
56 画像処理部
58 表示制御部
60 受付I/F
62 受付デバイス
64 メディアI/F
66 メモリカード
72 外部I/F
74 CPU
76 一次記憶部
78、78A、78B、78C、78D 二次記憶部
79、79A、79B、79C、79D 露出制御処理プログラム
80 NDフィルタ
81 バスライン
82 NDフィルタ駆動部
90 画素
100、100A ライブビュー画像
110、126、126p、126c1、126c2、126f1、126f2 動体
114、116 情報
120、120A 境界線
122、124 分割領域
126c3、126p3、126f31、126f32 結像
200 ヒストグラム
202、204 山
206 範囲
208 輝度値
300 記憶媒体
α 受光面被覆位置
β 受光面開放位置
H 水平方向
L1 光軸
12、12A、12B、12C、12D 撮像装置本体
13、15 マウント
14 撮像レンズ
16 フォーカスリング
18 レンズユニット
19 絞り
20 フォーカスレンズ
22 撮像素子
22A 受光面
24 ダイヤル
26 レリーズボタン
28 ディスプレイ
29 タッチパネルディスプレイ
30 十字キー
32 MENU/OKキー
34 BACK/DISPボタン
36 ファインダ
38 タッチパネル
40 制御装置
42 第1ミラー
44 第2ミラー
46、46A、46B、46C、46D 制御部
48 ミラー駆動部
50 撮像素子ドライバ
52 画像信号処理回路
54 画像メモリ
56 画像処理部
58 表示制御部
60 受付I/F
62 受付デバイス
64 メディアI/F
66 メモリカード
72 外部I/F
74 CPU
76 一次記憶部
78、78A、78B、78C、78D 二次記憶部
79、79A、79B、79C、79D 露出制御処理プログラム
80 NDフィルタ
81 バスライン
82 NDフィルタ駆動部
90 画素
100、100A ライブビュー画像
110、126、126p、126c1、126c2、126f1、126f2 動体
114、116 情報
120、120A 境界線
122、124 分割領域
126c3、126p3、126f31、126f32 結像
200 ヒストグラム
202、204 山
206 範囲
208 輝度値
300 記憶媒体
α 受光面被覆位置
β 受光面開放位置
H 水平方向
L1 光軸
Claims (19)
- 複数の画素が2次元状に配列された撮像素子を含み、撮像光学系を通して被写体を前記撮像素子により撮像して得られた画像信号を出力する撮像部と、
前記画像信号に応じた撮像画像を生成する画像生成部と、
前記撮像画像に動体の画像が含まれるか否かを判別する判別部と、
前記判別部により前記撮像画像に動体の画像が含まれると判別された場合、前記撮像素子の露光時間を前記複数の画素の配列の行ごとに制御する第1処理により前記撮像素子の露光量を制御し、前記判別部により前記撮像画像に動体の画像が含まれないと判別された場合、前記第1処理と異なる第2処理により前記撮像素子の露光量を制御する露光量制御部と、
前記露光量制御部により制御された露光量により得られた撮像画像を表示する表示部と、
を備えた撮像装置。 - 前記露光量制御部は、前記第2処理として、前記撮像素子に到達する単位時間あたりの光量を制御する、
請求項1に記載の撮像装置。 - 前記露光量制御部は、前記動体の画像を含む動体領域の明るさが予め定められた明るさ以上の場合、前記第1処理を行う、
請求項1または請求項2に記載の撮像装置。 - 前記露光量制御部は、前記動体の画像を含む動体領域の明るさが予め定められた明るさ未満の場合、前記第2処理を行う、
請求項1または請求項2に記載の撮像装置。 - 前記露光量制御部は、前記撮像画像の解析結果に基づいて前記撮像画像を複数の分割領域に分割し、
前記露光量制御部は、前記複数の分割領域のうち前記動体の画像が含まれる領域を前記動体領域とする、
請求項3または請求項4に記載の撮像装置。 - 前記露光量制御部は、前記撮像画像の解析結果に基づいて決定した境界線により、前記撮像画像を複数の分割領域に分割する、
請求項1から請求項5のいずれか1項に記載の撮像装置。 - 前記露光量制御部は、前記動体の画像から検出した前記動体の移動速度が予め定められた速度以上の場合、前記第1処理を行う、
請求項1から請求項6のいずれか1項に記載の撮像装置。 - 前記露光量制御部は、前記動体の画像から検出した前記動体の移動速度が予め定められた速度未満の場合、前記第2処理を行う、
請求項1から請求項6のいずれか1項に記載の撮像装置。 - 前記露光量制御部は、前記動体の画像から検出した前記動体の単位時間あたりの移動量が予め定められた移動量以上の場合、前記第1処理を行う
請求項1から請求項6のいずれか1項に記載の撮像装置。 - 前記露光量制御部は、前記動体の画像から検出した前記動体の単位時間あたりの移動量が予め定められた移動量未満の場合、前記第2処理を行う、
請求項1から請求項6のいずれか1項に記載の撮像装置。 - 前記露光量制御部は、前記第1処理を行う前に、前記第1処理を行うことを表す情報を通知する、
請求項1から請求項10のいずれか1項に記載の撮像装置。 - 前記露光量制御部は、前記判別部により前記撮像画像に動体の画像が含まれると判別された場合、予め定められた情報を通知する、
請求項1から請求項10のいずれか1項に記載の撮像装置。 - 前記露光量制御部は、前記第1処理を行った後に、前記第1処理を行ったことを表す情報を通知する、
請求項1から請求項12のいずれか1項に記載の撮像装置。 - 前記第1処理の実行の指示を受け付ける受付部をさらに備え、
前記露光量制御部は、前記判別部により前記撮像画像に動体の画像が含まれると判別された場合、かつ前記受付部により前記第1処理の実行の指示が受け付けられた場合、前記第1処理を実行する、
請求項1から請求項10のいずれか1項に記載の撮像装置。 - 前記露光量制御部は、前記判別部により前記撮像画像に動体の画像が含まれると判別された場合であっても、前記受付部により前記第1処理の実行の指示が受け付けられていない場合、前記第2処理を実行する、
請求項14に記載の撮像装置。 - 前記露光量制御部は、前記第1処理を行う場合、前記撮像画像の解析結果に基づいて決定した境界線により前記撮像画像を複数の分割領域に分割し、分割した複数の分割領域毎に前記第1処理を行う、
請求項1から請求項15のいずれか1項に記載の撮像装置。 - 前記露光量制御部は、前記判別部により前記撮像画像に動体の画像が含まれると判別された場合、前記撮像画像の解析結果に基づいて前記撮像画像を複数の分割領域に分割し、分割した前記複数の分割領域のうち前記動体の画像を含む分割領域に対しては前記第1処理を行い、その他の分割領域に対しては前記第2処理を行うかまたは前記撮像素子の露光量の制御を行わない、
請求項1または請求項2に記載の撮像装置。 - 複数の画素が2次元状に配列された撮像素子により被写体を撮像して得られた画像信号に応じた撮像画像を生成し、
前記撮像画像に動体の画像が含まれるか否かを判別し、
前記撮像画像に動体の画像が含まれると判別された場合、前記撮像素子の露光時間を前記複数の画素の配列の行ごとに制御する第1処理により前記撮像素子の露光量を制御し、
前記撮像画像に動体の画像が含まれないと判別された場合、前記第1処理と異なる第2処理により前記撮像素子の露光量を制御し、
制御された露光量により得られた撮像画像を表示させる、
処理を含む撮像装置の制御方法。 - コンピュータに、
複数の画素が2次元状に配列された撮像素子により被写体を撮像して得られた画像信号に応じた撮像画像を生成し、
前記撮像画像に動体の画像が含まれるか否かを判別し、
前記撮像画像に動体の画像が含まれると判別された場合、前記撮像素子の露光時間を前記複数の画素の配列の行ごとに制御する第1処理により前記撮像素子の露光量を制御し、
前記撮像画像に動体の画像が含まれないと判別された場合、前記第1処理と異なる第2処理により前記撮像素子の露光量を制御し、
制御された露光量により得られた撮像画像を表示させる、
処理を実行させるための撮像装置の制御プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019536421A JP6755405B2 (ja) | 2017-08-18 | 2018-04-12 | 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム |
| CN201880047148.7A CN110892709B (zh) | 2017-08-18 | 2018-04-12 | 摄像装置、摄像装置的控制方法及摄像装置的控制程序 |
| US16/729,501 US11012629B2 (en) | 2017-08-18 | 2019-12-30 | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-158003 | 2017-08-18 | ||
| JP2017158003 | 2017-08-18 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US16/729,501 Continuation US11012629B2 (en) | 2017-08-18 | 2019-12-30 | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019035244A1 true WO2019035244A1 (ja) | 2019-02-21 |
Family
ID=65362236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/015336 Ceased WO2019035244A1 (ja) | 2017-08-18 | 2018-04-12 | 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11012629B2 (ja) |
| JP (1) | JP6755405B2 (ja) |
| CN (1) | CN110892709B (ja) |
| WO (1) | WO2019035244A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024170370A (ja) * | 2023-05-04 | 2024-12-10 | ウェイモ エルエルシー | 自動露出レイテンシの低減 |
| JP7674783B1 (ja) * | 2024-12-27 | 2025-05-12 | 株式会社オプトエレクトロニクス | 光学的情報読取方法、光学的情報読取装置及びプログラム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019035245A1 (ja) * | 2017-08-18 | 2019-02-21 | 富士フイルム株式会社 | 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム |
| CN116193267B (zh) * | 2021-11-25 | 2025-11-21 | 浙江宇视科技有限公司 | 一种曝光调整方法、装置、介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010028596A (ja) * | 2008-07-23 | 2010-02-04 | Hitachi Ltd | 撮像装置 |
| JP2014039116A (ja) * | 2012-08-13 | 2014-02-27 | Olympus Imaging Corp | 撮像装置 |
| JP2015053652A (ja) * | 2013-09-09 | 2015-03-19 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
| JP2016163322A (ja) * | 2015-03-05 | 2016-09-05 | リコーイメージング株式会社 | 撮影装置、及び撮影装置における表示制御方法 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4157620B2 (ja) * | 1998-06-19 | 2008-10-01 | 株式会社東芝 | 移動物体検出装置及びその方法 |
| US20030117672A1 (en) * | 2001-12-20 | 2003-06-26 | Eastman Kodak Company | Dynamic CCD line length timing for color scanners |
| JP2004056331A (ja) | 2002-07-18 | 2004-02-19 | Canon Inc | 撮像装置 |
| JP4277216B2 (ja) * | 2005-01-13 | 2009-06-10 | ソニー株式会社 | 撮像装置及び撮像結果の処理方法 |
| US7493030B2 (en) * | 2005-06-24 | 2009-02-17 | Nokia Corporation | Adaptive optical plane formation with rolling shutter |
| US20080044170A1 (en) * | 2006-08-16 | 2008-02-21 | Choon Hwee Yap | Image Capturing System And Method Of Operating The Same |
| US7936945B2 (en) * | 2006-12-18 | 2011-05-03 | Nokia Corporation | System, method, device, and computer program product for providing image correction |
| JP5428504B2 (ja) * | 2009-04-30 | 2014-02-26 | 株式会社Jvcケンウッド | 光量制御装置、撮像装置及び光量制御方法 |
| JP5655626B2 (ja) * | 2011-02-24 | 2015-01-21 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| EP2566151A4 (en) * | 2011-03-07 | 2014-01-29 | Panasonic Corp | PICTURE DEVICE AND RANGE SEARCH |
| JP5735478B2 (ja) * | 2012-12-14 | 2015-06-17 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法 |
| JP5735479B2 (ja) * | 2012-12-14 | 2015-06-17 | 富士フイルム株式会社 | 内視鏡及装置びその作動方法 |
| JP6172967B2 (ja) * | 2013-02-20 | 2017-08-02 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
| JP6198567B2 (ja) * | 2013-10-21 | 2017-09-20 | ソニーセミコンダクタソリューションズ株式会社 | イメージセンサおよびその動作方法、並びに電子機器 |
| US20150116525A1 (en) * | 2013-10-31 | 2015-04-30 | Himax Imaging Limited | Method for generating high dynamic range images |
| JP6278713B2 (ja) | 2014-01-20 | 2018-02-14 | オリンパス株式会社 | 撮像装置および撮像方法 |
| KR20150118213A (ko) * | 2014-04-11 | 2015-10-22 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
| US9781393B2 (en) * | 2015-03-27 | 2017-10-03 | Olympus Corporation | Imaging apparatus, control method of imaging apparatus, and non-transitory storage medium storing control program of imaging apparatus |
| CN107431764B (zh) * | 2015-03-27 | 2018-08-21 | 富士胶片株式会社 | 摄影装置、摄影装置主体及摄影装置的控制方法 |
| US9544506B1 (en) * | 2015-08-26 | 2017-01-10 | Novatek Microelectronics Corp. | Image processing method for image capturing device |
| CN106303269A (zh) | 2015-12-28 | 2017-01-04 | 北京智谷睿拓技术服务有限公司 | 图像采集控制方法和装置、图像采集设备 |
| JP6750876B2 (ja) * | 2016-10-07 | 2020-09-02 | キヤノン株式会社 | 固体撮像装置及びその駆動方法 |
| WO2018173597A1 (ja) * | 2017-03-22 | 2018-09-27 | 富士フイルム株式会社 | 撮像装置、撮像方法、及び撮像プログラム |
-
2018
- 2018-04-12 WO PCT/JP2018/015336 patent/WO2019035244A1/ja not_active Ceased
- 2018-04-12 JP JP2019536421A patent/JP6755405B2/ja active Active
- 2018-04-12 CN CN201880047148.7A patent/CN110892709B/zh active Active
-
2019
- 2019-12-30 US US16/729,501 patent/US11012629B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010028596A (ja) * | 2008-07-23 | 2010-02-04 | Hitachi Ltd | 撮像装置 |
| JP2014039116A (ja) * | 2012-08-13 | 2014-02-27 | Olympus Imaging Corp | 撮像装置 |
| JP2015053652A (ja) * | 2013-09-09 | 2015-03-19 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
| JP2016163322A (ja) * | 2015-03-05 | 2016-09-05 | リコーイメージング株式会社 | 撮影装置、及び撮影装置における表示制御方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024170370A (ja) * | 2023-05-04 | 2024-12-10 | ウェイモ エルエルシー | 自動露出レイテンシの低減 |
| JP7674783B1 (ja) * | 2024-12-27 | 2025-05-12 | 株式会社オプトエレクトロニクス | 光学的情報読取方法、光学的情報読取装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6755405B2 (ja) | 2020-09-16 |
| US20200137284A1 (en) | 2020-04-30 |
| CN110892709B (zh) | 2021-06-08 |
| CN110892709A (zh) | 2020-03-17 |
| US11012629B2 (en) | 2021-05-18 |
| JPWO2019035244A1 (ja) | 2020-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20120122677A (ko) | 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터 판독가능 저장매체 | |
| US11368629B2 (en) | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus for controlling exposure of region having different brightness | |
| US11012629B2 (en) | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus | |
| US11412128B2 (en) | Imaging device, control method of imaging device, and control program of imaging device to change zoom tracking information based on contrast values | |
| US11233949B2 (en) | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus | |
| JP2023164919A (ja) | 映像作成方法 | |
| US11140331B2 (en) | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus | |
| US11064135B2 (en) | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus | |
| JP2008263478A (ja) | 撮像装置 | |
| JP7337562B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム | |
| KR101613619B1 (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 | |
| JP2008079193A (ja) | デジタルカメラ | |
| KR20130092213A (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
| JP2011249923A (ja) | 撮像装置、画像処理装置、及び画像処理プログラム | |
| JP6616573B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 | |
| WO2019171696A1 (ja) | 撮像装置、撮像方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18846068 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2019536421 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18846068 Country of ref document: EP Kind code of ref document: A1 |