[go: up one dir, main page]

WO2006120814A1 - 撮像装置、および方法 - Google Patents

撮像装置、および方法 Download PDF

Info

Publication number
WO2006120814A1
WO2006120814A1 PCT/JP2006/307036 JP2006307036W WO2006120814A1 WO 2006120814 A1 WO2006120814 A1 WO 2006120814A1 JP 2006307036 W JP2006307036 W JP 2006307036W WO 2006120814 A1 WO2006120814 A1 WO 2006120814A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
compression
image
imaging
compression encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2006/307036
Other languages
English (en)
French (fr)
Inventor
Takashi Tsujimura
Takuro Enomoto
Yutaka Yoneda
Masatsugu Fukunaga
Daisuke Miyakoshi
Nobuho Ikeda
Manabu Kubo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US11/629,927 priority Critical patent/US7705895B2/en
Priority to CN2006800003997A priority patent/CN1977532B/zh
Priority to EP06730984.9A priority patent/EP1744554B1/en
Publication of WO2006120814A1 publication Critical patent/WO2006120814A1/ja
Priority to KR1020067024891A priority patent/KR101264389B1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42646Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode

Definitions

  • the present invention relates to an imaging apparatus and method, and more particularly to an imaging apparatus and method for imaging an image using a solid-state imaging device.
  • Patent Document 1 JP-A-8-88833 (paragraph numbers [0011] to [0014], FIG. 1)
  • Patent Document 2 JP-A-8-251492 (paragraph numbers [0018] to [0027], FIG. 1) Disclosure of the invention
  • the present invention has been made in view of these points, and has been taken at a screen rate faster than the standard.
  • the object is to provide an inexpensive imaging device that can store the captured image in an existing video format.
  • Another object of the present invention is to provide an imaging method capable of realizing, at a low cost, saving an image captured at a screen rate faster than the standard in an existing video format.
  • an imaging apparatus that captures an image using a solid-state imaging device
  • image data obtained by imaging is received at a first screen rate and compressed and encoded.
  • Compression encoding means temporary storage means for temporarily storing the image data compression-encoded by the first compression encoding means, and image data captured during a predetermined time in the temporary storage Means for reading and decoding at a second screen rate lower than the first screen rate and decompressing and decoding the image data decompressed and decoded by the decompressing and decoding means.
  • an imaging apparatus comprising: a second compression encoding unit; and a storage unit that stores the image data compression encoded by the second compression encoding unit.
  • image data obtained by imaging is input to the first compression encoding means at the first screen rate, compression encoded, and temporarily stored in the temporary storage means.
  • First compression code key means power
  • image data is written to the temporary storage means for a predetermined time, these image data are decompressed by the decompression decoding key means and are lower than the first screen rate. It is read at the screen rate of 2, decompressed and decoded, and stored in the storage means.
  • the second screen rate is the existing standard rate
  • image data having a screen rate faster than the standard rate is obtained by imaging, and the image data is input to the first compression encoding means. Even in this case, the image data is processed at the standard rate in the second compression encoding means and the storage means.
  • the imaging apparatus of the present invention when image data is input at the first screen rate to the first compression encoding means, the second compression encoding means and the storage means Image data is processed at a second screen rate that is slower than the first screen rate. For this reason, if the second screen rate is the existing standard rate, even if image data having a screen rate faster than the standard rate is obtained by imaging, the second compression encoding means and the storage means are already existing. Existing video that can use the circuit and that is compliant with standard rates for storage Image data can be recorded in the format. Further, since the image data of the first screen rate is compressed by the first compression encoding means and stored in the temporary storage means, the capacity of the temporary storage means can be reduced. Therefore, image data captured at a screen rate faster than the standard rate can be saved in an existing video format while suppressing an increase in manufacturing cost.
  • FIG. 1 is a system configuration example of an imaging apparatus according to an embodiment.
  • FIG. 2 is a data flow diagram in a high rate mode.
  • FIG. 3 is a timing chart showing an operation example of the imaging apparatus according to the embodiment.
  • FIG. 4 is a flowchart showing processing of the control unit during image compression processing of the compression / decompression circuit.
  • FIG. 5 is a timing chart showing an operation example when only data reproduction is performed once.
  • FIG. 1 is a system configuration example of an imaging apparatus according to an embodiment. 1 includes an image sensor 101, a preprocessing circuit 102, a camera signal processing circuit 103, a conversion processing unit 104, a compression / decompression circuit 105, 109, a memory control circuit 106, a RAM 107, a display processing circuit 108, and an optical disc. 110, a monitor 111, and a control unit 112.
  • the image sensor 101 is a device that converts incident light from a subject whose force is also taken into an imaging device, such as a lens unit, into an electrical signal by photoelectric conversion.
  • an imaging device such as a lens unit
  • CMOS Complementary Metal Oxide Semiconductor
  • Image sensor 101 also has a built-in sample and hold function to maintain a good S / N (Signal / Noise) ratio by CDS (Correlated Double Sampling) processing! /
  • the image sensor 101 can read out signals at a high speed at a rate of 60 fps (field Z seconds) or more, which is the NTSC system specification.
  • a rate of 60 fps (field Z seconds) or more which is the NTSC system specification.
  • data is read out at 240 fps, which is four times the standard rate.
  • the image sensor 101 adds signals of adjacent pixels of the same color adjacent to two-dimensionally arranged image sensors, and outputs them simultaneously. It has a function to reduce the image size without changing the angle of view, that is, a function to reduce the amount of image data per frame.
  • Such pixel addition makes it possible to increase the screen switching rate without increasing the pixel signal readout frequency.
  • the preprocessing circuit 102 controls the gain of the image signal output from the image sensor 101 by AGC (Auto Gain Control) processing, performs AZD conversion, and outputs a digital image signal.
  • the camera signal processing circuit 103 performs camera signal processing such as white balance adjustment processing, color correction processing, AF (Auto Focus) processing, and AE (Auto Exposure) processing on the image signal from the preprocessing circuit 102.
  • the preprocessing circuit 102 and the camera signal processing circuit 103 process the image signal without increasing the operating frequency. This comes out.
  • the conversion processing unit 104 performs size adjustment and display thinning on the image signal received from the camera signal processing circuit 103. Also, size adjustment is performed on the image signal received from the compression / decompression circuit 105. Note that display thinning is performed only when output to the display processing circuit 108. Here, display thinning means that extra fields are used to match the number of fields per unit time (60 fps in this case) specified by the display standard of the display device that is projected when the imaging device 100 is in the high-speed rate mode. It is thinning out. When the conversion processing unit 104 adjusts the size of the image signal received from the camera signal processing circuit 103, the conversion processing unit 104 adjusts and outputs to the compression / decompression circuit 105 and the display processing circuit 108, respectively. Is possible.
  • the compression / decompression circuit 105 applies, for example, «JPEG to the image signal from the conversion processing unit 104.
  • the memory control circuit 106 controls writing and reading of image data to and from the RAM 107.
  • the RAM 107 receives from the memory control circuit 106.
  • SDRAM Serial Dynamic Random Access Memory
  • Display processing circuit 108 generates an image signal to be displayed on monitor 111 from the image signal received from conversion processing unit 104 or compression / decompression circuit 109, and sends this signal to motor 111. Display an image.
  • the monitor 111 is composed of, for example, an LCD (Liquid Crystal Display), and displays a camera-through image being imaged, an image obtained by reproducing data recorded on the optical disc 110, and the like.
  • the compression / decompression circuit 109 performs compression coding processing on the image data received from the conversion processing unit 104 using a moving image coding scheme such as MPEG (Moving Picture Experts Group).
  • a moving image coding scheme such as MPEG (Moving Picture Experts Group).
  • the decoding / decoding process is performed on the encoded data of the moving image supplied from the optical disc 110, and the decoded data is output to the display processing circuit 108.
  • the monitor 111 displays the moving image received from the display processing circuit 108. Note that the monitor 111 may be provided outside the imaging apparatus 100, and an interface for external output may be provided in the imaging apparatus 100 instead of the monitor 111.
  • the control unit 112 is a microcontroller including, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and executes a program stored in the ROM or the like. By doing so, each part of the imaging device is controlled in an integrated manner.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the recording medium for storing MPEG-encoded image data is not limited to the optical disk 110 described above, and for example, a semiconductor memory such as a magnetic tape or a flash memory, an HDD, or the like may be used.
  • This recording medium is basically detachable, but it may be possible to output recorded data to the outside via a communication interface as detachable.
  • FIG. 2 is a data flow diagram in the high rate mode.
  • the functional blocks shown in FIG. 2 are a part of the blocks of the imaging apparatus 100 shown in the system configuration example of FIG.
  • each arrow shown with the thick line has shown the flow of data. In the following, the process will be described along the numbers attached to the arrows.
  • the conversion processing unit 104 is sent out from the camera signal processing circuit 103 at 240 fps.
  • the image signal is sent to the display processing circuit 108 by reducing the number of fields by a factor of 4 so that the NTSC standard 60 fps is achieved.
  • the display processing circuit 108 generates an image signal to be displayed on the monitor 111 from the image signal also received by the conversion processing unit 104, and sends this signal to the monitor 111 to display the image.
  • the conversion processing unit 104 When the conversion processing unit 104 receives a request to start recording a high-speed image captured from the control unit 112 in response to a user operation, the image is also adjusted in size for the compression / decompression circuit 105 Send a signal. At this time, the image signal is not thinned out.
  • the conversion processing unit 104 changes the size of the image signal received from the camera signal processing circuit 103 to, for example, 512 pixels ⁇ 192 pixels, and sends the image signal to the compression / decompression circuit 105.
  • the size adjustment at this time is for adjusting to the specifications of the compression / decompression circuit 105 and the RAM 107.
  • the compression / decompression circuit 105 When the compression / decompression circuit 105 receives the image signal from the conversion processing unit 104, the compression / decompression circuit 105 performs compression coding processing on the image signal in JPEG format in accordance with an instruction from the control unit 112.
  • the memory control circuit 106 temporarily stores the sign key data received from the compression / decompression circuit 105 in the RAM 107. In this way, image data for a fixed time is accumulated in the RAM 107.
  • the memory control circuit 106 When the memory control circuit 106 receives a request to read the code data temporarily stored in the RAM 107 from the control unit 112, the memory circuit 106 stores the code data stored in the RAM 107 at 60 fps. Read and send to compression / decompression circuit 105.
  • the compression / decompression circuit 105 receives the code data from the memory control circuit 106, the compression / decompression circuit 105 performs the decompression decoding process and sends it to the conversion processing unit 104.
  • the conversion processing unit 104 Upon receiving a recording request to the optical disc 110 from the control unit 112, the conversion processing unit 104 sends the image signal received from the compression / decompression circuit 105 to the compression / decompression circuit 109.
  • the compression / decompression circuit 109 converts the image signal received from the conversion processing unit 104 into an MPEG format video and stores it on the optical disc 110.
  • the conversion processing unit 104 adjusts the size of the image signal received from the compression / decompression circuit 105 at 60 fps, and sends it to the display processing circuit 108.
  • the data may be simultaneously output in parallel to the data force display processing circuit 108 output from the conversion processing unit 104 in the flow (3).
  • FIG. 3 is a timing chart illustrating an operation example of the imaging apparatus according to the embodiment.
  • the imaging apparatus 100 starts up in the standard rate mode when the power is turned on.
  • an image signal picked up at 60 fps is supplied from the camera signal processing circuit 103 to the display processing circuit 108 via the conversion processing unit 104, whereby a camera-through image is displayed on the monitor 111.
  • the image signal strength of 60 fps is supplied from the S camera signal processing circuit 103 to the compression / decompression circuit 109 via the conversion processing unit 104, and is compressed and encoded by the MPEG method to the optical disk 110. To be recorded.
  • time T2 When the imaging device 100 is requested to change from the standard rate mode to the high-speed rate mode by a user operation input, the control unit 112 outputs an instruction to change to the high-speed rate mode, and the high-speed rate mode is output. Change to mode.
  • the time ⁇ 2 to ⁇ 4 is the state in which data is flowing in the flow (1) shown in Fig. 2.
  • the imaging apparatus 100 Upon receiving a recording start request from the user, the imaging apparatus 100 starts a temporary recording operation to the RAM 107 at a high speed rate of 240 fps. At this time, the data flows in the flow (2) shown in FIG. 2, and the flow of data in both flows (1) and (2) occurs.
  • the imaging apparatus 100 automatically stops shooting and recording at a high rate, and performs data reproduction and recording on the optical disk 110. . That is, the moving image data stored in the RAM 107 is read out at 60 fps, sent to the compression / decompression circuit 105, decompressed and decoded, and output to the conversion processing unit 104.
  • the image signal output from the conversion processing unit 104 is input to the compression / decompression circuit 109, and the compression / decompression circuit 109 performs compression code processing on the received image signal in the MPEG format and records it on the optical disk 110.
  • the image signal from the conversion processing unit 104 is simultaneously output in parallel to the display processing circuit 108 and the moving image is displayed on the monitor 111.
  • the image data shot at 240 fps is output at 60 fps without being thinned out.
  • slow playback is performed at a quarter speed at the time of shooting.
  • the time from T3 to T4 is 3 seconds
  • 720 frames were shot and stored in the RAM 107 for 3 seconds from time T3 to T4.
  • the time from T4 to T5 is 12 seconds, four times the shooting time.
  • the imaging apparatus 100 enters the imaging standby state in the standard rate mode when the user power also receives a request to change to the standard rate mode.
  • the image data captured in the high-speed rate mode is stored in the RAM 107 as it is, and then read from the RAM 107 at the standard rate (60 fps) and read onto the optical disc 110. Record.
  • the compression / decompression circuit 109 and the circuit and mechanism of the recording processing system for the optical disc 110 can be shared with those used in the standard rate mode, and the manufacturing cost of the apparatus can be suppressed.
  • an image is captured at a high screen rate, it can be encoded and recorded on the optical disc 110 using an existing standard video format.
  • the recorded moving image can be decompressed and decoded by the compression / decompression circuit 109 in the same manner as usual, and sent to the monitor 111 via the display processing circuit 108 for slow reproduction.
  • slow playback can be performed in the same manner on other playback devices that support the same video format.
  • the display processing circuit 108 when a captured image is recorded in the high-speed rate mode (time T4 to T5), after a moving image for a predetermined time is temporarily recorded in the RAM 107, While executing recording on the optical disc 110, the slow-played playback image can be visually recognized by the display processing circuit 108, so that the user can check the recorded image when recording to the optical disc 110, and the user can perform natural operations. A feeling can be given. Also in this case, the display processing circuit 108 is shared with that used in the standard rate mode, so that the effect of further reducing the manufacturing cost can be obtained.
  • the image thinned out by the conversion processing unit 104 is also used when adjusting the angle of view in the fast rate mode (time ⁇ 2 to ⁇ 3) or when recording to the RAM 107 (time ⁇ 3 to ⁇ 4). Is sent to the display processing circuit 108 so that the captured image can be visually recognized on the monitor 111 without impairing the operational feeling of the user. In this case, the display processing circuit 108 can be shared with the standard rate mode.
  • a circuit that encodes a moving image such as the compression / decompression circuit 109, processes moving image data at a constant screen rate and resolution defined by the moving image standard. For this reason, in order to be able to perform processing at a non-standard screen rate, especially a screen rate faster than the standard, the cost of developing and manufacturing the circuit will be significantly increased.
  • the resolution of recent image sensors tends to be much higher than the resolution defined in the moving image standard, and there are many circuits that encode such high-resolution still images. .
  • Such a circuit can increase the processing speed when the resolution is lowered. Therefore, by using a still image circuit as the compression / decompression circuit 105 for processing at a high screen rate, the manufacturing cost can be reduced as compared with the case where the processing speed of the moving image encoder is increased.
  • the compression / decompression circuit 105 is used to generate moving image data.
  • Still image data (here, PEG) can be recorded on the optical disk 110 using only (here, MPEG data).
  • MPEG data can be recorded on the optical disc 110 without changing the circuit configuration.
  • FIG. 4 is a flowchart showing the processing of the control unit 112 during the image compression processing of the compression / decompression circuit 105. In the following, the process shown in Fig. 4 will be described in order of step number.
  • the amount of image data for the above time depends on the time of the image to be recorded in the high-speed mode, the capacity of the RAM 107, the screen rate, and the resolution of the image processed by the compression / decompression circuit 105.
  • the initial value Qave of the quantization scale value for each piece of image data is preliminarily obtained and stored in a ROM or the like in the control unit 112 so as to be accumulated quickly.
  • the compression / decompression circuit 105 has a function of notifying the control unit 112 of the code amount Cres at the time of compression encoding processing.
  • the control unit 112 obtains and holds the quantization scale value Qres from the compression / decompression circuit 105 based on the code amount Cres of the image signal of the previous field, and holds! /, And the initial value Qave of the quantization scale value. Find the difference ⁇ .
  • Step S12 When the difference ⁇ is added to the initial value Qave and the compression encoding process is performed on the image signal, it is determined in advance that the image quality does not change suddenly. Divide by. The result is set as a target quantization scale value Qtgt for the next image signal.
  • Step S13 When the compression encoding process is performed on the image signal, if the compression rate is too high, the amount of code decreases but the noise of the image increases. On the other hand, if the compression rate is too low, the data size becomes large, and a moving image of a desired number of seconds cannot be stored in the RAM 107. Therefore, a fixed range is provided for the target quantization scale value Qtgt, and the control unit 112 determines whether the target quantization scale value Qtgt calculated in step S12 is within the specified range. If it is determined that it is within the range, the process proceeds to step S14. If it is determined that it is not within the range, the process proceeds to step S15.
  • Step S14 The control unit 112 sets the target quantum scale value Qtgt in the compression / decompression circuit 105, and causes the compression / encoding process to be executed.
  • Step S15 If the specified range is exceeded, the target quantization scale value Qtgt is reset to the specified value. Specifically, if it is determined that the specified range is exceeded, the maximum value within the range is set as the target quantization scale value Qtgt, and if it is below the specified range, the minimum value within the range is set. Is the value of the target quantization scale value Qtgt.
  • the captured image data is recorded so as to satisfy the capacity of the RAM 107 as much as possible while minimizing the deterioration of the image quality of the captured image in the high-speed rate mode.
  • the Such processing has been generally used in the past in imaging devices and video recorders that have a VBR (Variable Bit Rate) recording function for moving image data.
  • VBR Very Bit Rate
  • data reproduction and recording on the optical disk 110 are started immediately after high-speed recording, but recording on the optical disk 110 is performed immediately after recording.
  • recording on the optical disk 110 is performed immediately after recording.
  • only data reproduction may be performed once, and recording on the optical disc 110 may be performed after waiting for a user instruction.
  • the timing chart in that case is shown below.
  • FIG. 5 is a timing chart showing an operation example in the case where only data reproduction is performed once.
  • the imaging apparatus 100 starts up in the standard rate mode when the power is turned on.
  • the imaging apparatus 100 When receiving a recording start request from the user, the imaging apparatus 100 starts a temporary recording operation in the RAM 107 at a high rate. At this time, data flows in the flow (2) shown in FIG. 2, and both data flows in the flows (1) and (2) are generated.
  • the imaging apparatus 100 automatically stops shooting and recording at a high rate and performs data reproduction. At this time, the image data shot at 240 fps is output at 60 fps without being thinned out. In other words, slow playback is performed at a normal playback speed of 1/4. At this time, the flow (2) shown in FIG. 2 is completed, and the data flow (3) is generated.
  • a device that outputs an image signal at 60 fps from the conversion processing unit 104 can use the conventional device as it is. It is possible to introduce without spending.
  • the memory control circuit 106 When the memory control circuit 106 receives a request for recording on the optical disc 110, the memory control circuit 106 reads out the moving image stored in the RAM 107 and sends it to the compression / decompression circuit 105, where it is expanded and converted. Displayed from the monitor 111 via the display 104 and the display processing circuit 108. The image signal output from the conversion processing unit 104 is also input in parallel to the compression / decompression circuit 109.
  • the compression / decompression circuit 109 performs compression encoding processing on the received image signal in MPEG format and records it on the optical disc 110.
  • the time T13 to T14 is 3 seconds
  • 720 frames are shot and stored in the RAM 107 in 3 seconds from the time ⁇ 13 to ⁇ 14.
  • the time from T15 to T16 is 12 seconds, four times the shooting time.
  • the flow (4) shown in FIG. 2 is started, and the flow of data in both the flows (3) and (4) is generated and the state becomes .
  • RAM 107 described in the above embodiment may be changed to a portable recording medium.
  • the image data generated in the high-speed rate mode and recorded in the PEG format can be directly recorded on the portable recording medium, and the high-speed captured image can be viewed without performing the compression encoding process in the MPEG format.
  • the RAM107 can be changed to a memory with a relatively fast access speed and a large capacity, such as a hard disk. It becomes ability.
  • the present invention can be applied to apparatuses having an imaging function such as a mobile phone and a PDA (Personal Digital Assistants) in addition to the above-described imaging apparatus (digital video camera, digital still camera). Further, the present invention can also be applied to a processing device and a recording device for an image signal from a small camera such as a videophone connected to a PC (personal computer) or the like for game software.
  • an imaging function such as a mobile phone and a PDA (Personal Digital Assistants) in addition to the above-described imaging apparatus (digital video camera, digital still camera).
  • the present invention can also be applied to a processing device and a recording device for an image signal from a small camera such as a videophone connected to a PC (personal computer) or the like for game software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

 標準より高速な画面レートで撮像した画像を安価な撮像装置で既存のビデオフォーマットに保存する。撮像により得られた画像データが第1の画面レートで第1の圧縮符号化手段に入力されて圧縮符号化され、一時記憶手段に一時的に記憶される。第1の圧縮符号化手段から一時記憶手段に対して所定時間だけ画像データが書き込まれた後、これらの画像データが伸長復号化手段により、第1の画面レートより低い第2の画面レートで読み出されて伸長復号化され、記憶手段に記憶される。

Description

明 細 書
撮像装置、および方法
技術分野
[0001] 本発明は、撮像装置、および方法に関し、特に固体撮像素子を用いて画像を撮像 する撮像装置、および方法に関する。
背景技術
[0002] 近年、デジタルカメラに代表される撮像機器の競争の激ィ匕に伴い、民生用の撮像 機器分野においても一層の高画質化、高集積化、高機能化が求められている。この ため、これまで業務用途に限定されていた特殊な機能も民生用機器へ普及し始めて いる。通常の撮像レートよりも高速なレートで撮像を行う高速撮像機能は、上記特殊 な機能の代表的なものの 1つである。
[0003] 従来の撮像装置において、高速レートで処理する 1枚あたりの画像サイズを小さい サイズ、たとえば標準画像サイズの 4分の 1に変換して標準レートの画像に 4枚分を 埋め込むことにより、高速撮像を実現したものがあった (たとえば、特許文献 1参照)。 また、センサからのデータを並列に処理するような回路構造を取ることにより、単位時 間あたりの画像データの処理量を増加させて、高速撮像を実現したものもあった (た とえば、特許文献 2参照)。
[0004] しかし、上記特許文献 1記載の発明のように複数枚の画像を埋め込んで記録した 画像に対し、再生時に 1枚ずつ取り出して表示するためには、そのデータの記録や 読み出しをするための専用の規格が必要となり、製造コストが上がることや、汎用性 に欠けるといった問題があった。また、上記特許文献 2記載の発明のように並列処理 をするような回路を形成すると、それだけ製造コストが上がることや、携帯性が損なわ れると ヽつた問題があった。
特許文献 1:特開平 8— 88833号公報 (段落番号〔0011〕〜〔0014〕、図 1) 特許文献2 :特開平8— 251492号公報(段落番号〔0018〕〜〔0027〕、図 1) 発明の開示
[0005] 本発明はこのような点に鑑みてなされたものであり、標準より高速な画面レートで撮 像した画像を既存のビデオフォーマットで保存できる安価な撮像装置を提供すること を目的とする。
[0006] また、本発明の他の目的は、標準より高速な画面レートで撮像した画像を既存のビ デォフォーマットでの保存を安価に実現できる撮像方法を提供することである。
[0007] 本発明では上記問題を解決するために、固体撮像素子を用いて画像を撮像する 撮像装置において、撮像により得られた画像データを第 1の画面レートで受け取り圧 縮符号化する第 1の圧縮符号化手段と、前記第 1の圧縮符号化手段により圧縮符号 化された画像データを一時的に記憶する一時記憶手段と、所定時間の間に撮像さ れた画像データを、前記一時記憶手段から前記第 1の画面レートより低速な第 2の画 面レートで読み出して伸長復号化する伸長復号化手段と、前記伸長復号化手段によ り伸長復号化された画像データを圧縮符号化する第 2の圧縮符号化手段と、前記第 2の圧縮符号化手段により圧縮符号化された画像データを記憶する記憶手段とを有 することを特徴とする撮像装置が提供される。
[0008] このような撮像装置によれば、撮像により得られた画像データが第 1の画面レートで 第 1の圧縮符号化手段に入力されて圧縮符号化され、一時記憶手段に一時的に記 憶される。第 1の圧縮符号ィ匕手段力 一時記憶手段に対して所定時間だけ画像デ ータが書き込まれた後、これらの画像データが伸長復号ィ匕手段により、第 1の画面レ ートより低い第 2の画面レートで読み出されて伸長復号化され、記憶手段に記憶され る。ここで、たとえば、第 2の画面レートを既存の標準レートとすると、撮像により標準 レートより高速な画面レートの画像データが得られ、その画像データが第 1の圧縮符 号化手段に入力された場合でも、第 2の圧縮符号化手段および記憶手段において は画像データが標準レートで処理される。
[0009] 本発明の撮像装置によれば、第 1の圧縮符号化手段に対して第 1の画面レートで 画像データが入力された場合に、第 2の圧縮符号ィ匕手段および記憶手段において は第 1の画面レートより低速な第 2の画面レートで画像データが処理される。このため 、第 2の画面レートを既存の標準レートとすると、標準レートより高速な画面レートの画 像データが撮像により得られた場合でも、第 2の圧縮符号化手段および記憶手段とし て既存の回路を使用でき、かつ、記憶手段には標準レートに準拠した既存のビデオ フォーマットで画像データを記録できる。また、第 1の画面レートの画像データは第 1 の圧縮符号ィヒ手段によりデータ量が圧縮されて一時記憶手段に記憶されるので、一 時記憶手段の容量を削減できる。したがって、製造コストの上昇を抑えつつ、標準レ ートより高速な画面レートで撮像された画像データを既存のビデオフォーマットで保 存できる。
図面の簡単な説明
[0010] [図 1]図 1は、実施の形態に係る撮像装置のシステム構成例である。
[図 2]図 2は、高速レートモードでのデータフロー図である。
[図 3]図 3は、実施の形態に係る撮像装置の動作例を示すタイミングチャートである。
[図 4]図 4は、圧縮'伸長回路の画像圧縮処理時における制御部の処理を示すフロー チャートである。
[図 5]図 5は、いったんデータ再生のみを行う場合の動作例を示すタイミングチャート である。
発明を実施するための最良の形態
[0011] 以下、本発明の実施の形態を図面を参照して詳細に説明する。
図 1は、実施の形態に係る撮像装置のシステム構成例である。図 1に示す撮像装置 100は、イメージセンサ 101、前処理回路 102、カメラ信号処理回路 103、変換処理 部 104、圧縮 ·伸長回路 105、 109、メモリ制御回路 106、 RAM107、表示処理回路 108、光ディスク 110、モニタ 111、および制御部 112を備えている。
[0012] イメージセンサ 101は、レンズユニットなど力も撮像装置に取り込まれた被写体から の入射光を光電変換によって電気信号に変える装置であり、たとえば CMOS (Comp lementary Metal Oxide Semiconductor)型の撮像素子が用いられている。また、ィメ ージセンサ 101は、 CDS (Correlated Double Sampling)処理により S/N (Signal/Noi se)比を良好に保つようにサンプルホールド機能を内蔵して!/、る。
[0013] このイメージセンサ 101は、 NTSC方式の仕様である 60fps (フィールド Z秒)以上 のレートで高速に信号を読み出すことができる。ここでは、たとえば、イメージセンサ 1 01が高速に信号を読み出す高速レートモードに切り替えたときには標準レートの 4倍 である 240fpsで読み出すものとする。 [0014] イメージセンサ 101は、たとえば 1ライン分の画素信号を出力するときに、 2次元配 列してある撮像素子の隣接している同色の画素の信号を加算して同時に出力するこ とによって、画角を変えることなぐ画像サイズを小さくする機能、すなわち 1コマあたり の画像データ量を減らす機能を持っている。このような画素加算により、画素信号の 読み出し周波数を高めることなぐ画面の切替レートを高めることができる。なお、カロ 算する画素の数を調節することで、任意の画面レートで出力できるようにしてもよ!、。
[0015] 前処理回路 102は、イメージセンサ 101から出力された画像信号に対して、 AGC ( Auto Gain Control)処理により利得を制御し、 AZD変換を行ってデジタル画像信号 を出力する。カメラ信号処理回路 103は、前処理回路 102からの画像信号に対して、 ホワイトバランス調整処理や色補正処理、 AF (Auto Focus)処理、 AE (Auto Exposur e)処理などのカメラ信号処理を施す。なお、高速レートモードでは、イメージセンサ 1 01からの画像信号の解像度が標準レートモードより低いため、前処理回路 102およ びカメラ信号処理回路 103では、動作周波数を高めることなく画像信号を処理するこ とがでさる。
[0016] 変換処理部 104は、カメラ信号処理回路 103から受け取った画像信号に対して、 サイズ調整と表示間引きを行う。また、圧縮 ·伸長回路 105から受け取った画像信号 に対して、サイズ調整を行う。なお、表示間引きは表示処理回路 108に出力するとき のみ行う。ここで表示間引きとは、撮像装置 100が高速レートモードのときに映し出す 表示装置の表示規格で規定されて ヽる単位時間あたりのフィールド数 (ここでは 60f ps)に合うように、余分なフィールドを間引くことである。変換処理部 104は、カメラ信 号処理回路 103から受け取った画像信号に対してサイズ調整を行うとき、圧縮'伸長 回路 105と表示処理回路 108へは、それぞれ別々のサイズに調整して出力すること が可能である。
[0017] 圧縮 ·伸長回路 105は、変換処理部 104からの画像信号に対して、たとえ «JPEG
(Joint Photographic Experts Group)などの静止画像の符号化方式で圧縮符号化処 理を行う。また、メモリ制御回路 106から供給された静止画像の符号ィ匕データに対し て伸長復号化処理を行う。メモリ制御回路 106は、 RAM107に対する画像データの 書き込みおよび読み込みを制御する。 RAM107は、メモリ制御回路 106から受け取 つた画像データを一時的に保存する FIFO (First In First Out)方式のメモリであり、 たとえば、 SDRAM (Synchronous Dynamic Random Access Memory)などを用いる。
[0018] 表示処理回路 108は、変換処理部 104または圧縮 ·伸長回路 109から受け取った 画像信号から、モニタ 111に表示させるための画像信号を生成して、この信号をモ- タ 111に送り、画像を表示させる。モニタ 111は、たとえば LCD (Liquid Crystal Displ ay)からなり、撮像中のカメラスルー画像や光ディスク 110に記録されたデータを再生 した画像などを表示する。
[0019] 圧縮 ·伸長回路 109は、変換処理部 104から受け取った画像データに対して、たと えば MPEG (Moving Picture Experts Group)などの動画像の符号化方式で圧縮符 号化処理を行う。また、光ディスク 110から供給された動画の符号化データに対して 伸長復号化処理を行い、表示処理回路 108に出力する。モニタ 111は、表示処理回 路 108から受け取った動画を表示する。なお、モニタ 111を、撮像装置 100の外部に 設け、モニタ 111の代わりに外部出力のためのインタフェイスを撮像装置 100に設け ておいてもよい。
[0020] 制御部 112は、たとえば、 CPU (Central Processing Unit)、 ROM (Read Only Mem ory)、 RAM (Random Access Memory)などから構成されるマイクロコントローラであり 、 ROMなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的 に制御する。
[0021] なお、 MPEG符号化した画像データを保存する記録媒体としては、上記の光ディ スク 110に限らず、たとえば磁気テープ、フラッシュメモリなどの半導体メモリ、 HDD などを用いてもよい。この記録媒体は基本的には脱着可能なものが適用されるが、脱 着不能として、記録したデータを通信インタフェイスを介して外部に出力できるように してちよい。
[0022] 図 2は、高速レートモードでのデータフロー図である。図 2に示す機能ブロックは、 図 1のシステム構成例で示した撮像装置 100のブロックの一部である。
なお、太線で示した各矢印はデータの流れを示している。以下、各矢印に付した番 号に沿って処理を説明する。
[0023] 〔フロー(1)〕変換処理部 104は、カメラ信号処理回路 103から 240fpsで送出され る画像信号を、 NTSC規格の仕様である 60fpsになるようにフィールド数を 4分の 1に 間引きして表示処理回路 108へ送る。そして、表示処理回路 108は、変換処理部 10 4力も受け取った画像信号から、モニタ 111に表示させるための画像信号を生成して 、この信号をモニタ 111に送り、画像を表示させる。
[0024] 〔フロー(2)〕変換処理部 104は、ユーザ操作に応じて制御部 112から高速撮像し た映像の記録開始要求を受け取ると、圧縮 ·伸長回路 105に対してもサイズ調節した 画像信号を送る。このとき、画像信号の間引きは行わない。変換処理部 104は、カメ ラ信号処理回路 103から受け取った画像信号を、たとえば 512ピクセル X 192ピクセ ルにサイズを変更して、圧縮 ·伸長回路 105へ送る。このときのサイズ調節は、圧縮' 伸長回路 105や RAM107の仕様に合わせるためのものである。
[0025] 圧縮 ·伸長回路 105は、変換処理部 104から画像信号を受け取ると、制御部 112 の指示に従って画像信号に対して JPEG形式で圧縮符号化処理を行う。メモリ制御 回路 106は、圧縮 ·伸長回路 105から受け取った符号ィ匕データを RAM107に一時 記憶する。このようにして、 RAM107には一定時間分の画像データが蓄積される。
[0026] 〔フロー(3)〕メモリ制御回路 106は、 RAM107に一時記憶した符号ィ匕データの読 み出し要求を制御部 112から受け取ると、 RAM107に記憶されている符号ィ匕データ を 60fpsで読み出して圧縮 ·伸長回路 105へ送る。圧縮 ·伸長回路 105は、メモリ制 御回路 106から符号ィ匕データを受け取ると伸長復号ィ匕処理を行い、変換処理部 104 へ送る。変換処理部 104は、制御部 112から光ディスク 110への記録要求を受け取 ると、圧縮'伸長回路 105から受け取った画像信号を圧縮'伸長回路 109へ送る。圧 縮-伸長回路 109は、変換処理部 104から受け取った画像信号を、 MPEG形式の動 画に変換し、光ディスク 110へ記憶する。
[0027] 〔フロー(4)〕変換処理部 104は、圧縮 ·伸長回路 105から 60fpsで受け取った画像 信号をサイズ調整し、表示処理回路 108へ送る。なお、フロー (4)では、フロー(3)で 変換処理部 104から出力されるデータ力 表示処理回路 108に並列に同時に出力 されてちょい。
[0028] このような動作により、圧縮 ·伸長回路 109や表示処理回路 108など、標準レートで 動作する既存の回路を使用できる部分が多くなり、かつ、光ディスク 110には標準レ ートに準拠した既存のビデオフォーマットで画像データを記録できる。また、圧縮 '伸 長回路 105によりデータ量が圧縮されて RAM107に記憶されているので、 RAM10 7の容量を抑制できる。
[0029] 図 3は、実施の形態に係る撮像装置の動作例を示すタイミングチャートである。
〔時間 Tl〕撮像装置 100は、電源が投入されると標準レートモードで起動する。な お、標準レートモードでは、 60fpsで撮像された画像信号が、カメラ信号処理回路 10 3から変換処理部 104を介して表示処理回路 108に供給され、これによりモニタ 111 にカメラスルー画像が表示される。また、撮像画像を保存する場合には、 60fpsの画 像信号力 Sカメラ信号処理回路 103から変換処理部 104を介して圧縮 ·伸長回路 109 に供給され、 MPEG方式で圧縮符号化されて光ディスク 110に記録される。
[0030] 〔時間 T2〕撮像装置 100は、ユーザの操作入力により標準レートモードから高速レ ートモードへの変更を要求されると、制御部 112から高速レートモードへの変更指示 が出力され、高速レートモードへ変更される。ここで、時間 Τ2〜Τ4までが、図 2で示 したフロー(1)でデータが流れている状態である。
[0031] 〔時間 Τ3〕撮像装置 100は、ユーザから記録開始要求を受け取ると、 240fpsの高 速レートで RAM107への一時記録動作を開始する。このとき、図 2で示したフロー(2 )でデータが流れ、フロー(1)および(2)の双方のデータの流れが発生して 、る状態 となる。
[0032] 〔時間 T4〕撮像装置 100は、 RAM107の容量が記憶した画像データで満杯になる と、高速レートでの撮影および記録を自動で停止し、データ再生および光ディスク 11 0への記録を行う。すなわち、 RAM 107に記憶されている動画のデータを 60fpsで 読み出して圧縮 ·伸長回路 105へ送り、伸長復号ィ匕して変換処理部 104に出力する 。変換処理部 104から出力された画像信号は圧縮'伸長回路 109に入力され、圧縮 •伸長回路 109は、受け取った画像信号を MPEG形式に圧縮符号ィ匕処理を行い、 光ディスク 110へ記録する。これとともに、変換処理部 104からの画像信号は表示処 理回路 108にも並列に同時に出力され、動画がモニタ 111に表示される。このとき、 2 40fpsで撮影された画像データを間引きすることなく 60fpsで出力する。つまり、撮影 時の 4分の 1の速度によるスロー再生が行われる。たとえば、時間 T3〜T4までを 3秒 とすると、時間 T3〜T4までの 3秒間に 720コマが撮影され RAM107に記憶されて いることになる。そして、データ再生を行うときには標準レートである 60fpsで出力され るので、時間 T4〜T5までの時間は撮影時間の 4倍の 12秒間となる。このデータ再 生および光ディスク 110への記録が行われるとき、図 2で示したフロー(1)および(2) が終了し、フロー(1)および(2)の双方のデータの流れが発生して 、る状態となる。
[0033] 〔時間 Τ5〕撮像装置 100は、データ再生および光ディスク 110へデータ記録が終了 すると、高速レートモードで撮影待機状態になる。このとき、図 2で示したフロー (4)お よび(5)が終了し、フロー(1)のデータの流れが発生して 、る状態となる。
[0034] 〔時間 Τ6〕撮像装置 100は、ユーザ力も標準レートモードへの変更要求を受け取る と標準レートモードで撮影待機状態になる。
以上説明したように、本実施の形態の撮像装置 100では、高速レートモードで撮像 した画像データをそのレートのままー且 RAM107に蓄積した後、標準レート (60fps )で RAM107から読み出して光ディスク 110に記録する。このため、圧縮'伸長回路 109や光ディスク 110への記録処理系の回路や機構を、標準レートモードで使用す るものと共用することができ、装置の製造コストを抑制することができる。また、高速な 画面レートで撮像したにもかかわらず、標準レートの既存のビデオフォーマットでェン コードして光ディスク 110に記録することができる。なお、記録した動画像は、圧縮' 伸長回路 109で通常と同様に伸長復号化処理し、表示処理回路 108を介してモニタ 111に送ることで、スロー再生させることができる。また、同じビデオフォーマットに対 応する他の再生装置で、同様にスロー再生させることができる。
[0035] さらに、上記の図 3の動作例では、高速レートモードで撮像画像を記録する際(時 間 T4〜T5)には、所定時間分の動画像を RAM107に一時的に記録した後、光ディ スク 110への記録を実行しながら、スロー再生した再生画像を表示処理回路 108で 視認することができ、光ディスク 110への記録時にユーザが記録画像を確認できると ともに、ユーザに自然な操作感を与えることができる。そして、この際にも、表示処理 回路 108は、標準レートモードで使用されるものと共用されるので、一層の製造コスト の抑制効果が得られる。また、高速レートモードでの画角合わせ時(時間 Τ2〜Τ3) や、 RAM107への記録時(時間 Τ3〜Τ4)でも、変換処理部 104で間引かれた画像 が表示処理回路 108に送られることで撮像画像をモニタ 111で視認でき、ユーザの 操作感を損なうことがない。そして、その際にも表示処理回路 108を標準レートモード と共用できる。
[0036] また、高速レートモードでの撮像画像のデータは、圧縮'伸長回路 105によりデータ サイズが圧縮されて RAM107に記録されるので、 RAM107の容量を抑制し、回路 規模や製造コストを抑制できる。従って、標準より高速な画面レートで撮像した画像を 、標準レートで処理する既存の回路や機構に最小限の回路を付加することで、既存 のビデオフォーマットで記録媒体に記録することができるので、装置の大型化や製造 コストの上昇を抑制しながらも、ユーザにとって便利で付加価値の高い機能を搭載す ることが可能となる。
[0037] ここで、既存の回路に付加される回路の製造コストについて補足説明する。圧縮' 伸長回路 109のように動画像をエンコードする回路は、動画像規格で規定された一 定の画面レートおよび解像度で動画像データを処理するものである。このため、規格 外の画面レート、特に標準より高速な画面レートで処理できるようにするためには、そ の回路の開発'製造のコストが大幅に高くなつてしまう。
[0038] これに対して、最近の撮像素子の解像度は動画像規格で定められた解像度よりは るかに高くなる傾向にあり、このような高解像度の静止画像をエンコードする回路は 数多く存在する。このような回路では、解像度を落とした場合には処理速度を高める ことができる。従って、高速な画面レートで処理する圧縮 ·伸長回路 105として静止画 像用の回路を用いることで、動画像用エンコーダの処理速度を高めた場合と比較し て製造コストを抑えることができる。
[0039] さらに、上記の撮像装置 100では、圧縮 ·伸長回路 105を用いて、動画像のデータ
(ここでは MPEGデータ)だけでなぐ静止画像のデータ(ここで ίお PEG)を光デイス ク 110に記録できるようにしてもよい。このように、動画像と静止画像の双方の圧縮デ ータを記録媒体に記録できる装置の場合には、回路構成を変更することなぐ高速レ ートモードの撮像画像を光ディスク 110に記録できるようになる。
[0040] さらに、図 4は、圧縮 ·伸長回路 105の画像圧縮処理時における制御部 112の処理 を示すフローチャートである。以下、図 4に示す処理をステップ番号に沿って説明す る。
以下の処理にあたり、高速レートモードで記録する画像の時間や、 RAM107の容 量、画面レート、圧縮 ·伸長回路 105で処理する画像の解像度に応じて、上記時間 分の画像データが RAM 107の容量 、つぱいに蓄積されるように、画像データ 1枚あ たりの量子化スケール値の初期値 Qaveをあら力じめ求めておき、制御部 112内の R OMなどに保存しておく。
[0041] 〔ステップ Sl l〕圧縮 ·伸長回路 105は、圧縮符号化処理するたびに、そのときの符 号量 Cresを制御部 112に通知する機能を備えている。制御部 112は、圧縮'伸長回 路 105から前フィールドの画像信号の符号量 Cresをもとに量子化スケール値 Qresを 求め、保持して!/、た量子化スケール値の初期値 Qaveとの差分 Δを求める。
[0042] 〔ステップ S12〕差分 Δを初期値 Qaveに加算し、画像信号に対して圧縮符号化処 理を行うとき、急激に画質が変化しな 、ようにあらかじめ決めてぉ 、た時定数 Tで除 算する。その結果を次の画像信号に対する目標量子化スケール値 Qtgtとする。
[0043] 〔ステップ S13〕画像信号に対して圧縮符号化処理を行うとき、圧縮率が高すぎると 符号量が小さくなるが画像のノイズが増える。一方、圧縮率が低すぎると、データサイ ズが大きくなつて所望の秒数の動画を RAM107に記憶できなくなる。そこで、目標量 子化スケール値 Qtgtに対して一定の範囲を設け、制御部 112は、ステップ S 12で算 出された目標量子化スケール値 Qtgtが規定範囲内に入っているカゝ判断する。範囲 内に入っていると判断した場合は、処理をステップ S 14へ進め、範囲内に入っていな いと判断した場合は、処理をステップ S 15へ進める。
[0044] 〔ステップ S14〕制御部 112は、圧縮 ·伸長回路 105に目標量子ィ匕スケール値 Qtgt を設定し、圧縮符号化処理を実行させる。
〔ステップ S15〕規定の範囲を超えて 、た場合には、目標量子化スケール値 Qtgtを 規定値に設定し直す。具体的には、規定の範囲を超えていると判断された場合は、 範囲内の最大値を目標量子化スケール値 Qtgtの値とし、規定の範囲を下回ってい た場合は、範囲内の最小値を目標量子化スケール値 Qtgtの値とする。
[0045] 以上の図 4の処理により、高速レートモードでの撮像画像の画質劣化を最小限に留 めながら、 RAM107の容量をできるだけ満たすように撮像画像のデータが記録され る。このような処理は、動画像データの VBR (Variable Bit Rate)記録機能を持つ撮 像装置やビデオレコーダなどにおいて従来から一般的に用いられているものであり、 このような既存の技術を本実施の形態に応用することで、製造 ·開発コストを抑制しな がらも、高速レートでの撮像画像の画質劣化を抑え、かつ RAM107の容量を抑えて 回路規模や製造コストを抑制する効果が得られる。
[0046] ところで、上記実施の形態では、高速レート記録をした後すぐにデータ再生および 光ディスク 110への記録を開始するようにして 、たが、記録後にすぐには光ディスク 1 10への記録を行わず、いったんデータ再生のみを行い、ユーザの指示を待って光 ディスク 110への記録を行わせてもよい。その場合のタイミングチャートを以下に示す
[0047] 図 5は、いったんデータ再生のみを行う場合の動作例を示すタイミングチャートであ る。
〔時間 Tl l〕撮像装置 100は、電源が投入されると標準レートモードで起動する。
[0048] 〔時間 Τ12〕撮像装置 100は、ユーザから標準レートモードから高速レートモードへ の変更要求を受け取ると、制御部 112から高速レートモードへの変更指示が出力さ れ、高速レートモードへ変更される。時間 Τ12〜Τ14まで力 図 2で示したフロー(1) でデータが流れて!/、る状態である。
[0049] 〔時間 Τ13〕撮像装置 100は、ユーザから記録開始要求を受け取ると、高速レート で RAM107への一時記録動作を開始する。このとき、図 2で示したフロー(2)でデー タが流れ、フロー(1)および(2)の双方のデータの流れが発生して 、る状態になる。
[0050] 〔時間 Τ14〕撮像装置 100は、 RAM107の容量が記憶した画像データで満杯にな ると、高速レートでの撮影および記録を自動で停止し、データ再生を行う。このとき、 2 40fpsで撮影された画像データを間引きすることなく 60fpsで出力する。つまり、通常 の 4分の 1の再生スピードのスロー再生が行われる。このとき、図 2で示したフロー(2) が終了し、(3)のデータの流れが発生して 、る状態となる。
[0051] なお、表示処理回路 108などの変換処理部 104から 60fpsで画像信号が出力され る装置は従来の装置をそのまま転用することができるので、高速撮像という新たな機 能を、コストをほとんどかけることなく導入することが可能である。 [0052] 〔時間 T15〕メモリ制御回路 106は、ユーザ力も光ディスク 110への記録要求を受け 取ると、 RAM107に記憶されている動画を読み出し圧縮 ·伸長回路 105へ送り、伸 長され、変換処理部 104および表示処理回路 108を介してモニタ 111から表示され る。また、変換処理部 104から出力された画像信号は圧縮 ·伸長回路 109にも並列 に入力される。圧縮 ·伸長回路 109は、受け取った画像信号を MPEG形式に圧縮符 号化処理を行い、光ディスク 110へ記録する。
[0053] たとえば、時間 T13〜T14までを 3秒とすると、時間 Τ13〜Τ14までの 3秒間に 720 コマが撮影され RAM107に記憶されていることになる。そして、データ再生を行うとき には標準レートである 60fpsで出力されるので、時間 T15〜T16までの時間は撮影 時間の 4倍の 12秒間となる。このデータ再生および光ディスク 110への記録が行わ れるとき、図 2で示したフロー(4)が開始され、フロー(3)および (4)の双方のデータ の流れが発生して 、る状態になる。
[0054] 〔時間 Τ16〕撮像装置 100は、データ再生および光ディスク 110へデータ記録が終 了すると、高速レートモードで撮影待機状態になる。このとき、図 2で示したフロー(3) および (4)は終了し、フロー(1)のデータの流れが発生して 、る状態となる。
[0055] 〔時間 Τ17〕撮像装置 100は、ユーザから標準レートモードへの変更要求を受け取 ると標準レートモードで撮影待機状態になる。
以上の図 5の動作では、高速レートによる撮像画像をー且 RAM107に格納した後 、時間 Τ14〜Τ15においてその撮像画像を再生してユーザが確認した後、ユーザが 必要に応じて撮像画像のデータを光ディスク 110に記録させることができる。従って、 保存の必要がない画像データが光ディスク 110に書き込まれ、その後にユーザの操 作により削除する手間を省くことができ、光ディスク 110の容量の使用効率の向上効 果も得られる。
[0056] なお、上記の実施の形態で示した RAM107を可搬型記録媒体に変更してもよい。
その場合、高速レートモードで生成され PEG形式の画像データが直接可搬型記 録媒体に記録され、 MPEG形式で圧縮符号化処理を行わなくても高速撮像した画 像を見ることができる。また、 RAM107は、ハードディスクなどの比較的アクセス速度 が速ぐかつ大容量なメモリへ変更することもでき、その場合には長時間の記録が可 能となる。
また、本発明は、上記のような撮像装置 (デジタルビデオカメラ、デジタルスチルカメ ラ)以外に、例えば、携帯電話機、 PDA (Personal Digital Assistants)などの撮像機 能を持つ装置に適用可能である。また、 PC (パーソナルコンピュータ)などに接続さ れるテレビ電話用ある ヽはゲームソフト用などの小型カメラによる撮像信号に対する 処理装置や記録装置にも、本発明を適用することができる。

Claims

請求の範囲
[1] 固体撮像素子を用いて画像を撮像する撮像装置にぉ ヽて、
撮像により得られた画像データを第 1の画面レートで受け取り圧縮符号ィ匕する第 1 の圧縮符号化手段と、
前記第 1の圧縮符号ィ匕手段により圧縮符号化された画像データを一時的に記憶す る一時記憶手段と、
所定時間の間に撮像された画像データを、前記一時記憶手段から前記第 1の画面 レートより低速な第 2の画面レートで読み出して伸長復号化する伸長復号化手段と、 前記伸長復号ィ匕手段により伸長復号化された画像データを圧縮符号ィ匕する第 2の 圧縮符号化手段と、
前記第 2の圧縮符号ィ匕手段により圧縮符号化された画像データを記憶する記憶手 段と、
を有することを特徴とする撮像装置。
[2] 前記所定時間の間に撮像された画像データを前記一時記憶手段から前記第 2の 画面レートで読み出し、表示用の画像信号を生成する表示処理手段をさらに有する ことを特徴とする請求項 1記載の撮像装置。
[3] 前記表示処理手段は、前記第 2の圧縮符号化手段による圧縮符号化処理の実行 中に、前記第 2の圧縮符号ィ匕手段に入力される画像データを並列に受け取って表示 用の画像信号を生成することを特徴とする請求項 2記載の撮像装置。
[4] 撮像により得られた前記第 1の画面レートの画像データを、前記第 2の画面レートと なるように間引 、て前記表示処理手段に出力する間引き手段をさらに有することを特 徴とする請求項 2記載の撮像装置。
[5] 前記固体撮像素子により前記第 1および第 2の画面レートでそれぞれ撮像する 2つ の撮像モードを切り替えるモード切替手段をさらに有し、
前記第 2の画面レートでの撮像モードでは、撮像により得られた前記第 2の画面レ ートの画像データが前記第 2の圧縮符号化手段により圧縮符号化され、前記記憶手 段に記憶されることを特徴とする請求項 1記載の撮像装置。
[6] 前記固体撮像素子は、 2次元配列された所定数の画素の各信号を前記第 2の画面 レートで出力する通常撮像モードと、前記所定数の画素のうち、隣接する同色のフィ ルタの画素の信号を同時に読み出して各信号を加算することで、画角を変えずに前 記第 1の画面レートで画像信号を出力する高速撮像モードとを備えたことを特徴とす る請求項 1記載の撮像装置。
[7] 前記第 1の圧縮符号化手段および前記伸長復号化手段は、静止画像フォーマット により画像データの圧縮符号化および伸長復号化をそれぞれ行うことを特徴とする 請求項 1記載の撮像装置。
[8] 固体撮像素子を用いて画像を撮像する撮像方法にお!ヽて、
第 1の圧縮符号ィ匕手段が、撮像により得られた画像データを第 1の画面レートで受 け取り圧縮符号化するステップと、
一時記憶手段が、前記第 1の圧縮符号化手段により圧縮符号化された画像データ を一時的に記憶するステップと、
伸長復号化手段が、所定時間の間に撮像された画像データを、前記一時記憶手 段力 前第 1の画面レートより低速な第 2の画面レートで読み出して伸長復号ィ匕する ステップと、
第 2の圧縮符号化手段が、前記伸長復号化手段により伸長復号化された画像デー タを圧縮符号化するステップと、
記憶手段が、前記第 2の圧縮符号ィ匕手段により圧縮符号化された画像データを記 憶するステップと、
を含むことを特徴とする撮像方法。
PCT/JP2006/307036 2005-05-11 2006-04-03 撮像装置、および方法 Ceased WO2006120814A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US11/629,927 US7705895B2 (en) 2005-05-11 2006-04-03 Image taking apparatus and image-taking method
CN2006800003997A CN1977532B (zh) 2005-05-11 2006-04-03 摄像装置及方法
EP06730984.9A EP1744554B1 (en) 2005-05-11 2006-04-03 Imaging device and method
KR1020067024891A KR101264389B1 (ko) 2005-05-11 2006-11-27 촬상 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005138200A JP4725183B2 (ja) 2005-05-11 2005-05-11 撮像装置、および方法
JP2005-138200 2005-11-05

Publications (1)

Publication Number Publication Date
WO2006120814A1 true WO2006120814A1 (ja) 2006-11-16

Family

ID=37396331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/307036 Ceased WO2006120814A1 (ja) 2005-05-11 2006-04-03 撮像装置、および方法

Country Status (7)

Country Link
US (1) US7705895B2 (ja)
EP (1) EP1744554B1 (ja)
JP (1) JP4725183B2 (ja)
KR (1) KR101264389B1 (ja)
CN (1) CN1977532B (ja)
TW (1) TW200705980A (ja)
WO (1) WO2006120814A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045812A1 (en) * 2006-11-30 2010-02-25 Sony Corporation Imaging apparatus, method of controlling imaging apparatus, program for the method, and recording medium recording the program

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4986588B2 (ja) * 2006-11-29 2012-07-25 キヤノン株式会社 撮像装置及びその制御方法
JP5116407B2 (ja) * 2007-03-27 2013-01-09 三洋電機株式会社 撮像装置及び撮像システム
JP2009010821A (ja) 2007-06-29 2009-01-15 Sony Corp 撮像装置および撮像方法、記録媒体、並びに、プログラム
US8139954B2 (en) * 2008-08-19 2012-03-20 Ciena Corporation System and method for reducing memory requirements for electrical domain compensation of intra-channel nonlinearity in an optical communications system
JP5347706B2 (ja) * 2009-05-14 2013-11-20 ソニー株式会社 記録装置、記録方法およびプログラム
JP5498064B2 (ja) * 2009-06-29 2014-05-21 キヤノン株式会社 撮像装置およびその制御方法
JP2011193424A (ja) * 2010-02-16 2011-09-29 Casio Computer Co Ltd 撮像装置及び方法、並びにプログラム
JP5725981B2 (ja) * 2010-06-16 2015-05-27 株式会社東芝 医用画像表示装置及びx線コンピュータ断層撮影装置
TWI583195B (zh) 2012-07-06 2017-05-11 新力股份有限公司 A solid-state imaging device and a solid-state imaging device, and an electronic device
JP6314477B2 (ja) * 2013-12-26 2018-04-25 ソニー株式会社 電子デバイス
CN106534979A (zh) * 2016-10-31 2017-03-22 深圳市金立通信设备有限公司 一种视频发送方法及终端
JP6493454B2 (ja) * 2017-06-07 2019-04-03 株式会社ニコン 電子カメラ
WO2020066326A1 (ja) 2018-09-26 2020-04-02 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
WO2020066186A1 (ja) * 2018-09-27 2020-04-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ出力方法、及びプログラム
JP2019092223A (ja) * 2019-03-07 2019-06-13 株式会社ニコン 電子カメラ

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001359038A (ja) * 2000-06-09 2001-12-26 Olympus Optical Co Ltd 撮像装置
JP2004040518A (ja) * 2002-07-04 2004-02-05 Hitachi Ltd 撮像記録装置と再生装置
JP2004129217A (ja) * 2002-08-01 2004-04-22 Canon Inc 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2004266373A (ja) * 2003-02-24 2004-09-24 Matsushita Electric Ind Co Ltd テレビジョンカメラ
JP2005006198A (ja) * 2003-06-13 2005-01-06 Canon Inc 撮像装置、その制御方法、プログラム及び記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0661885A1 (en) * 1993-12-28 1995-07-05 Canon Kabushiki Kaisha Image processing method and apparatus for converting between data coded in different formats
US6018363A (en) * 1994-04-28 2000-01-25 Canon Kabushiki Kaisha Image sensing apparatus with optical-axis deflecting device
JPH0888833A (ja) 1994-09-19 1996-04-02 Fuotoron:Kk 変換装置および逆変換装置ならびにこれらを具備したスローモーション表示装置
JP3707820B2 (ja) 1995-03-07 2005-10-19 株式会社フォトロン 高速撮影装置
US5883670A (en) * 1996-08-02 1999-03-16 Avid Technology, Inc. Motion video processing circuit for capture playback and manipulation of digital motion video information on a computer
JP3398081B2 (ja) * 1999-03-01 2003-04-21 三洋電機株式会社 ディジタルカメラ
JP2000295506A (ja) * 1999-04-01 2000-10-20 Canon Inc 映像記録装置及び映像記録方法及び記憶媒体
US6636639B1 (en) * 1999-04-01 2003-10-21 Canon Kabushiki Kaisha Image recording apparatus, image recording method and storage medium
US7158183B1 (en) * 1999-09-03 2007-01-02 Nikon Corporation Digital camera
US6523102B1 (en) * 2000-04-14 2003-02-18 Interactive Silicon, Inc. Parallel compression/decompression system and method for implementation of in-memory compressed cache improving storage density and access speed for industry standard memory subsystems and in-line memory modules
JP2002101329A (ja) * 2000-09-26 2002-04-05 Fuji Photo Film Co Ltd デジタルカメラ、画像再生装置及び方法
US20030222998A1 (en) * 2000-12-20 2003-12-04 Satoru Yamauchi Digital still camera system and method
US7292274B2 (en) * 2001-11-06 2007-11-06 Eastman Kodak Company Solid-state image pickup device driving method and image capturing apparatus for outputting high-resolution signals for still images and moving images of improved quality at a high frame rate
JP3944726B2 (ja) * 2002-09-25 2007-07-18 ソニー株式会社 撮像装置および方法
WO2005002206A1 (ja) * 2003-06-25 2005-01-06 Nokia Corporation 画像データの圧縮パラメータの値を制御するデジタル撮影装置、及び画像データの圧縮パラメータ値決定方法
JP4337505B2 (ja) * 2003-10-31 2009-09-30 ソニー株式会社 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム
KR100603332B1 (ko) * 2004-02-26 2006-07-20 삼성에스디아이 주식회사 디스플레이 패널구동방법
JP2006115424A (ja) * 2004-10-18 2006-04-27 Sharp Corp 画像処理装置、画像処理装置の転送制御方法、画像処理装置の出力制御方法、画像処理装置の制御プログラム、画像処理装置の制御プログラムを記録した記録媒体
US7605804B2 (en) * 2005-04-29 2009-10-20 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001359038A (ja) * 2000-06-09 2001-12-26 Olympus Optical Co Ltd 撮像装置
JP2004040518A (ja) * 2002-07-04 2004-02-05 Hitachi Ltd 撮像記録装置と再生装置
JP2004129217A (ja) * 2002-08-01 2004-04-22 Canon Inc 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2004266373A (ja) * 2003-02-24 2004-09-24 Matsushita Electric Ind Co Ltd テレビジョンカメラ
JP2005006198A (ja) * 2003-06-13 2005-01-06 Canon Inc 撮像装置、その制御方法、プログラム及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1744554A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045812A1 (en) * 2006-11-30 2010-02-25 Sony Corporation Imaging apparatus, method of controlling imaging apparatus, program for the method, and recording medium recording the program
US8405735B2 (en) * 2006-11-30 2013-03-26 Sony Corporation System and method for controlling recording in an image processing appartus in a slow motion taking mode

Also Published As

Publication number Publication date
US7705895B2 (en) 2010-04-27
EP1744554B1 (en) 2018-11-14
EP1744554A4 (en) 2016-10-19
JP4725183B2 (ja) 2011-07-13
JP2006319513A (ja) 2006-11-24
TWI325721B (ja) 2010-06-01
CN1977532A (zh) 2007-06-06
EP1744554A1 (en) 2007-01-17
KR20080013674A (ko) 2008-02-13
CN1977532B (zh) 2012-03-21
KR101264389B1 (ko) 2013-05-14
US20080049121A1 (en) 2008-02-28
TW200705980A (en) 2007-02-01

Similar Documents

Publication Publication Date Title
US10986323B2 (en) Image capturing apparatus and image capturing method
US7573504B2 (en) Image recording apparatus, image recording method, and image compressing apparatus processing moving or still images
US8428423B2 (en) Reproducing apparatus for video data
US8743227B2 (en) Imaging apparatus and control method for reducing a load of writing image data on a recording medium
JP4725183B2 (ja) 撮像装置、および方法
JP4525561B2 (ja) 撮像装置、画像処理方法、並びにプログラム
JP4441882B2 (ja) 撮影装置、表示制御方法、プログラム
JP5141324B2 (ja) 撮像装置および撮像装置の制御方法、ならびに、信号処理装置および信号処理方法
JP4560422B2 (ja) 撮像装置及びその制御方法
JP5164610B2 (ja) 撮像装置及びその制御方法
KR101480407B1 (ko) 디지털 영상 처리 장치, 이의 제어 방법 및 상기 제어방법을 기록한 기록 매체
TWI253305B (en) Image pickup apparatus and moving picture photographing method thereof
JP2003125331A (ja) 画像記録方法及び装置、並びに画像再生方法及び装置
JP2010147531A (ja) 撮像装置と撮像方法
JP4872571B2 (ja) 撮像装置、撮像方法及びプログラム
KR101332299B1 (ko) 영상기록장치 및 방법
JP2013058853A (ja) 動画再生装置、動画再生方法及びプログラム
JP2004236290A (ja) 画像記録装置
JP2020065219A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2006730984

Country of ref document: EP

Ref document number: 1020067024891

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 11629927

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200680000399.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2006730984

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

NENP Non-entry into the national phase

Ref country code: JP