[go: up one dir, main page]

WO1998010592A1 - Image compression encoder and image compression encoding method - Google Patents

Image compression encoder and image compression encoding method Download PDF

Info

Publication number
WO1998010592A1
WO1998010592A1 PCT/JP1997/003107 JP9703107W WO9810592A1 WO 1998010592 A1 WO1998010592 A1 WO 1998010592A1 JP 9703107 W JP9703107 W JP 9703107W WO 9810592 A1 WO9810592 A1 WO 9810592A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint position
code amount
area
viewpoint
region
Prior art date
Application number
PCT/JP1997/003107
Other languages
English (en)
French (fr)
Inventor
Kan Ebisawa
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US09/066,434 priority Critical patent/US6246799B1/en
Priority to JP51248198A priority patent/JP3924794B2/ja
Publication of WO1998010592A1 publication Critical patent/WO1998010592A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Definitions

  • the present invention relates to an image compression encoding device and an image compression encoding method for encoding and compressing image data.
  • BACKGROUND ART In recent years, with the progress of video digitization and image compression technology, various types of image compression encoding have been performed. However, conventionally, the code amount allocated to a predetermined unit of image data is fixed at a certain fixed amount (in the case of a fixed rate), or the code amount allocated to the predetermined unit of image data is changed depending on the fineness of the image. Even in the case of a variable rate, if the maximum value of the code amount within a certain period of time is determined because the maximum code amount to be allocated is determined, and if a complicated screen continues continuously, The code amount was restricted.
  • the code amount is set so as to minimize the image quality degradation at the time of decoding while maintaining the same code amount for one entire screen. The control was done.
  • the viewer's perception of image quality degradation should be It depends on what you see.
  • the other region is not so complicated and the amount of code allocated should not be reduced. At least, even when the generated code amount is not so large, that is, when there is enough code amount, the code amount allocated to other areas is necessarily reduced, and the image quality of other areas is unnecessarily degraded. There is a problem of getting it.
  • the size of the area that the viewer gazes at on the screen is not always constant. Therefore, if the size of the area to which the allocated code amount is increased is fixed, the following problem occurs. In other words, if the area watched by the viewer is larger than the area where the code amount is increased, a large code amount is assigned to the central area of the area watched by the viewer, and the deterioration of image quality is small. In the area on the peripheral side of the area watched by the viewer, the allocated code amount decreases, and the image quality deteriorates greatly, resulting in a screen that is difficult for the viewer to see, that is, a screen with deteriorated image quality.
  • the present invention has been made in view of the above-described problems, and enables image data to be encoded and compressed in real time within a limited code amount. It is an object of the present invention to provide an image compression encoding device and an image compression encoding method capable of obtaining a high-quality image. Disclosure of the invention The present invention provides encoding means for compressing and encoding input image data, viewpoint position detecting means for detecting a viewpoint position on a screen on which the input image data is output, and viewpoint position detecting means.
  • An area setting means for setting an area near the viewpoint position to be detected in the vicinity of the detected viewpoint position; and, when a code amount generated by the encoding means exceeds a predetermined amount, the vicinity of the viewpoint position set by the area setting means.
  • Code amount limiting means for limiting the code amount generated by the encoding means so that the code amount allocated to an area other than the area is smaller than the code amount allocated to the area near the viewpoint position.
  • the viewpoint position detecting means detects the operator's viewpoint position on the screen based on the input image data
  • the region setting means detects the viewpoint position on the screen based on the input image data.
  • An area near the viewpoint position is set near the viewpoint position detected by the outputting means.
  • the input image data is encoded and compressed by the encoding means, and when the code amount is not limited by the code amount limiting means, the code amount per predetermined time generated by the encoding means is equal to the predetermined amount. Only when it exceeds, the code amount corresponding to the region is set so that the code amount allocated to the region other than the region near the viewpoint position set by the region setting means is smaller than the code amount allocated to the region near the viewpoint position.
  • the present invention provides encoding means for compressing and encoding input image data, viewpoint position detecting means for detecting a viewpoint position on a screen to which the input image data is output, and detection by the viewpoint position detecting means.
  • Area setting means for setting a viewpoint position vicinity area near the viewpoint position; and a code amount allocated to an area other than the viewpoint position vicinity area set by the area setting means, a code assigned to the viewpoint position vicinity area.
  • Code amount limiting means for limiting allocation of the code amount according to the viewpoint position vicinity area so as to be smaller than the viewpoint amount, and an area for changing the size of the viewpoint position vicinity area set by the area setting means And variable means.
  • the viewpoint position detecting means detects the operator's viewpoint position on the screen based on the input image data
  • the region setting means detects the viewpoint position on the screen based on the input image data.
  • An area near the viewpoint position is set near the viewpoint position detected by the outputting means.
  • the size of the area near the viewpoint position can be changed by the area size changing means.
  • the input image data is encoded and compressed by the encoding means, and the code amount allocated to the area other than the area near the viewpoint position set by the area setting means by the code restriction means is determined by the viewpoint position.
  • the code amount limiting unit gradually reduces the code amount allocated to an area other than the area near the viewpoint position in a direction away from the area near the viewpoint position. This makes it possible to avoid conspicuous boundaries of the region near the viewpoint position, and to obtain a visually more high-quality image.
  • the apparatus further comprises a selection unit for selecting whether or not to change the allocation of the code amount according to the area by the code amount restriction unit.
  • a selection unit for selecting whether or not to change the allocation of the code amount according to the area by the code amount restriction unit.
  • the region setting unit sets the region near the viewpoint position temporally continuously between detection points of each viewpoint position. To do so.
  • the area setting means may include: when a viewpoint position is first detected by the viewpoint position detecting means in an image unit including a plurality of frames or a plurality of fields; and when the image unit is started.
  • the area setting means may be configured to continuously set the vicinity of the viewpoint position between the viewpoint position and the viewpoint position within an image unit including a plurality of frames or a plurality of fields.
  • the region near the viewpoint position is set continuously between the last time the viewpoint position is detected by the detection means and the end of the image unit. It is mentioned. This makes it possible to set a region near the viewpoint position even when the viewpoint position is not stable after or before the scene change, and it is possible to obtain a visually higher-quality image. .
  • FIG. 1 is a block diagram showing a configuration of an image compression encoding apparatus according to one embodiment of the present invention.
  • FIG. 2 is a block diagram showing a detailed configuration of the position detection unit in FIG.
  • FIG. 3 is an explanatory diagram showing a configuration of an eyeball movement measuring device used in the image compression encoding device according to one embodiment of the present invention.
  • FIG. 4 is an explanatory diagram for explaining the operation principle of the eye movement measuring device shown in FIG.
  • FIG. 5 is an explanatory diagram for describing an overview of viewpoint correction in the image compression encoding device according to one embodiment of the present invention.
  • FIG. 6 is an explanatory diagram for describing an operation performed by an operator when encoding a video signal in the image compression encoding apparatus according to one embodiment of the present invention.
  • FIG. 7 is an explanatory diagram showing markers displayed on a monitor screen in the image compression encoding device according to one embodiment of the present invention.
  • FIG. 8 is a flowchart for explaining the operation of the position processing unit in FIG.
  • FIG. 9 is a flowchart for explaining the operation of the position processing unit in FIG. It is.
  • FIG. 10 is a flowchart for explaining the operation of the position processing unit in FIG.
  • FIG. 11 is a flowchart for explaining the operation of the position processing unit in FIG.
  • FIG. 12 is a flowchart for explaining the operation of the position processing unit in FIG.
  • FIG. 13 is a flowchart for explaining the operation of the position processing unit in FIG.
  • FIG. 14 is a flowchart for explaining the operation of the position processing unit in FIG.
  • FIG. 15 is a flowchart for explaining the operation of the position processing unit in FIG.
  • FIG. 16 is a flowchart for explaining the operation of the position processing unit in FIG.
  • FIG. 17 is a flowchart for explaining the operation of the position processing unit in FIG.
  • FIG. 18 is a flowchart for explaining the operation of the position processing unit in FIG.
  • FIG. 19 is a flowchart for explaining the operation of the position processing unit in FIG. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 19 is a flowchart for explaining the operation of the position processing unit in FIG. BEST MODE FOR CARRYING OUT THE INVENTION
  • an eye movement measuring device is used as a viewpoint position detecting means for detecting an operator's viewpoint position on the screen based on the input image data.
  • the eye movement measuring device will be described.
  • FIG. 3 is an explanatory diagram showing a configuration of an eye movement measuring device.
  • This eye movement measurement device includes a light-emitting diode (hereinafter, referred to as an LED) 1 that emits infrared light, a two-segment photodetector 2 having light-receiving units 2A and 2B divided into two parts in the horizontal direction. It has. 3A and 3B, for convenience, the LED 1 and the split photodetector 2 are shown separately, but they are actually integrated, and the goggle-shaped holding member holds the eyeball 3 in place. It is held so that it is located at the lower position in the center.
  • an LED light-emitting diode
  • the two-piece photodetector 2 When the operator mounts the holding member, the two-piece photodetector 2 is arranged such that the light receiving section 2A is arranged on the right side as viewed from the operator, and the light receiving section 2B is arranged on the left side as viewed from the operator. ing.
  • the LED 1 When the operator puts on the holding member, as shown in Fig. 3A, the LED 1 irradiates infrared rays toward the eyeball 1 from a position outside the field of view below the eyeball 1 and shown in Fig. 3B.
  • the two-segment photodetector 2 detects reflected light from the eyeball 1.
  • FIG. 4A shows the state of the eyeball 3 when the viewpoint of the operator moves rightward. Since the light reflectance of the central part of the eyeball (black eye) 3a is smaller than that of the peripheral part of the eyeball (white eye) 3b, the amount of light returning to the light receiving part 2A in the state shown in FIG. The amount of light returning to part 2B is smaller.
  • FIG. 4B shows the state of the eyeball 3 when the viewpoint of the operator moves to the left. This In this state, the amount of light returning to the light receiving unit 2B is smaller than the amount of light returning to the light receiving unit 2A. Therefore, it is possible to detect the horizontal movement of the eyeball 3, that is, the horizontal movement of the viewpoint from the difference between the output of the light receiving unit 2A and the output of the light receiving unit 2B.
  • FIG. 4C shows the state of the eyeball 3 when the operator's viewpoint moves upward. In this state, each light returning to the light receiving sections 2A and 2B increases.
  • FIG. 4D shows the state of the eyeball 3 when the operator's viewpoint moves downward. In this state, the amount of each light returning to the light receiving sections 2A and 2B decreases. Therefore, the vertical movement of the eyeball 3, that is, the vertical movement of the viewpoint can be detected from the sum of the output of the light receiving unit 2A and the output of the light receiving unit 2B. In this manner, the position of the operator's viewpoint can be detected from the difference and the sum of the outputs of the light receiving sections 2A and 2B.
  • the above is the principle of operation of the eye movement measuring device.
  • the position of the operator's head is fixed and the predetermined number on the screen
  • the position of the point is watched, and the viewpoint position is corrected (hereinafter referred to as viewpoint correction) based on the outputs of the light receiving sections 2A and 2B at that time.
  • the screen 5 is divided into 640 in the horizontal direction (X direction) and 480 in the vertical direction (y direction), and the origin in the upper left of the screen 5 is m, the horizontal position is m, and the vertical
  • the position is represented by n, and the position of an arbitrary point on the screen is represented by P (m, n).
  • the following nine points namely, P (10, 10), P (32, 10), P (630, 10), P (10, 24) , P (32, 24), P (63, 24), P (10, 470), P (320, 470), and P (630, 470) are displayed with the marker 6 in order, and the operator 7 wearing the holding member 8 to which the eye movement measuring device is attached is displayed by the marker 6
  • Each of the indicated points is gazed at, and the viewpoint is corrected based on the outputs of the light receiving sections 2A and 2B at that time.
  • FIG. 1 is a block diagram showing a configuration of the image compression encoding apparatus according to the present embodiment.
  • This image compression encoding apparatus receives a video signal 10 and encodes and compresses the video signal 10, and delays the output data of the compression unit 11 for a predetermined time.
  • the output data is input from the delay unit 12 and the delay unit 12, and if necessary, the code amount allocated to the area other than the area close to the viewpoint position is determined by the code amount allocated to the area close to the viewpoint position.
  • a code amount reducing unit 13 that outputs a code amount 14 by reducing the code amount by changing the code amount allocation according to the area so as to reduce the code amount.
  • the compression unit 11 uses, for example, a discrete cosine transform (hereinafter, referred to as DCT) processing using spatial correlation and a temporal correlation as employed in the Moving Picture Experts Group (MPEG) standard.
  • DCT discrete cosine transform
  • MPEG Moving Picture Experts Group
  • the compression processing of the video signal is performed by using the bidirectional prediction coding described above.
  • the compression unit 11 performs DCT processing on a predetermined pixel block basis, quantizes the coefficients after the DCT processing, and furthermore, performs variable length coding on the quantized data and outputs coded data.
  • the variable length coding may be performed by the code amount reduction unit 13 and the compression unit 11 may output the quantized data.
  • the image compression encoding apparatus further includes a change switch 16 for the operator to instruct the timing of a scene change and the like, and a code amount.
  • a suspending switch 17 for giving an instruction to suspend changing the code amount assignment according to the area in the reducing unit 13 and a size changing lever 18 for changing the size of the area near the viewpoint position. are provided.
  • the image compression encoding device further includes a position detection unit that detects the viewpoint position of the operator based on the output signals of each of the light receiving units 2A and 2B of the two-divided photodetector 2.
  • a position processing unit 21 for performing a process of determining the center position of the area near the viewpoint position based on the position information output from the position detection unit 20; and an output signal of the size-variable lever 18 And a size for performing processing for determining the size of the area near the viewpoint based on the output signal of the delay unit 22 And a processing unit 23.
  • the image compression encoding apparatus further determines the position and size of the marker on the screen from the position information from the position detection unit 20 and the output signal of the size variable lever 18, and displays the marker on the video signal 10 for marker display. And a marker insertion unit 24 that superimposes these signals and outputs the superimposed signal as a video output signal 25 for monitoring.
  • the image compression / encoding apparatus further includes a correlation detection unit 26 that receives the output data of the compression unit 11 and checks the correlation between the current screen and the previous screen, and an output data of the correlation detection unit 26. Evening and changeover switch 16 Inputs the output signal of switch 16 and the switching signal 28 from a switcher (not shown) used for camera switching, and determines the evening of the scene switching 2 7 And a system control unit that controls the entire image compression and encoding device
  • the system control section 30 includes a compression section 11 and a position processing section 21 And the output signals of the size processing section 23 and the switching processing section 27, and the output signals of the change switch 16 and the interruption switch 17 are input.
  • Switch selection signal 31 and viewpoint correction mode signal 32 which are input via a switch, etc.
  • specified code amount data 33 which is input via an interface (not shown). I have.
  • the system control section 30 outputs a code amount reduction control signal 35 to the code amount reduction section 13 and controls the marker insertion section 24 and the switching processing section 27. .
  • An output signal of the interruption switch 17 and output data of the switching processing unit 27 are also input to the position processing unit 21.
  • the size processing unit 23 is also configured to receive the output data of each of the position processing unit 21 and the switching processing unit 27.
  • the position processing unit 21, the size processing unit 23, the correlation detection unit 26, the switching processing unit 27, and the system control unit 30 are composed of, for example, a microcontroller.
  • FIG. 2 is a professional and technical diagram showing a detailed configuration of the position detection unit 20 in FIG.
  • the position detection unit 20 includes a subtractor 41 that generates a difference signal between the current-to-voltage converted signals of the light receiving units 2A and 2B in the two-segment photodetector 2, and a light receiving unit 2A. , 2B, an adder 42 that generates a sum signal of the signal after the current-to-voltage conversion, and an analog-to-digital converter that converts the output signal of the subtracter 41 into, for example, an 8-bit digital signal.
  • a / D converter (2) 4 for converting the output signal of the converter (1) 43 and the adder 42 into, for example, an 8-bit digital signal. 4 and a divider 45 for dividing the output signal of the A / D converter (1) 43 by the output signal of the A / D converter (2) 44. division The output signal of the unit 45 and the output signal of the A / D converter (2) 44 are input to the system control unit 30. At the time of viewpoint correction, the system control section 30 outputs the output signal of the divider 45 and the output signal of the A / D converter (2) 44, and the marker 6 generated by the system control section 30 (see FIG.
  • the position detection unit 20 further stores a correction value for the output signal of the divider 45 output from the system control unit 30 at the time of viewpoint correction, and stores the correction value at the time of encoding the video signal 10.
  • the RAM (random-access memory) (1) 47 outputs the correction value according to the output signal of (5), and the A / D converter (2) output from the system control unit 30 during viewpoint correction.
  • the operation of the image compression encoding apparatus will be described.
  • the operation at the time of viewpoint correction will be described. Whether or not to perform the operation of the viewpoint correction is instructed by the viewpoint correction mode signal 32 input to the system control unit 30.
  • a control signal for instructing insertion of the force 6 is sent from the system control unit 30 to the marker input unit 24, and the force input unit 24 is responded to this control signal.
  • the video signal 10 is superimposed with the display signal of the display 6 so that the marker 6 is inserted at a predetermined position on the screen, and is output as the monitor output video signal 25.
  • the operator turns on the change switch 16 when the viewpoint comes to the marker 6 on the screen.
  • the system control section 30 sets the position of the output signal of the divider 45 and the A / D converter (2) 44 and the position of the marker 6 at that time.
  • a correction value is calculated based on the information and the correction value is stored in the RAMs 47 and 48 in association with the output values of the divider 45 and the A / D converter (2) 44. .
  • the system control unit 30 sequentially switches the position of the marker 6 according to the control signal.
  • a viewpoint position marker 61 indicating the viewpoint position is displayed on the screen 5, and, for example, a rectangular frame-shaped range designation marker 62 indicating the range of the region near the viewpoint position is displayed around the marker 61.
  • the signals after the current-to-voltage conversion of the light receiving units 2A and 2B in the two-segment photodetector 2 are sequentially input to the position detecting unit 20 shown in FIG.
  • a difference signal and a sum signal are generated by the subtractor 41 and the adder 42, and the difference signal and the sum signal are digitized by A / D converters 43 and 44, respectively. Is converted into a signal.
  • a / D converter The output signal of (1) 43 is divided by the output signal of the A / D converter (2) 44.
  • the output signal of the divider 45 is input to the RAM (1) 47 and the multiplier (1) 49, and the output signal of the A / D converter (2) 44 is multiplied by the RAM (2) 48 (2) Input to 50.
  • Multiplier (1) 49 multiplies the output signal of divider 45 by the correction value output from RAM (1) 47, and multiplier (2) 50 performs A / D conversion.
  • the output signal of the unit (2) 44 is corrected by multiplying it by the correction value output from the RAM (2) 48.
  • the output signals of the multipliers 47 and 48 are converted into horizontal and vertical position information on the screen by the ROMs 51 and 52, respectively. It is sent to the insertion section 24.
  • the marker input unit 24 determines the positions and sizes of the markers 6 1 and 6 2 on the screen from the position information from the position detection unit 20 and the output signal of the size changeable lever 18, and converts them to the video signal 10.
  • the signal for marker display is superimposed and output as the monitor output video signal 25.
  • the monitors 61 and 62 are superimposed and displayed on the screen based on the video signal 10 on the monitor.
  • the position processing unit 21 performs a process of determining the center position of the area near the viewpoint position, as described later in detail.
  • the output signal of the size changing lever 18 is delayed by the delay unit 22 by an amount corresponding to the processing time of the position processing unit 21 and is input to the size processing unit 23, where the size processing unit 2 In step 3, processing for determining the size of the area near the viewpoint position is performed.
  • the size processing section 23 cuts the high frequency component of the size fluctuation based on the output data of the position processing section 21 when the viewpoint position is constant. As a result, size fluctuations due to minute movements of the hand can be suppressed.
  • the video signal 10 to be encoded is encoded and compressed by the compression unit 11, and the output data of the compression unit 11 is converted by the delay unit 12 into the position processing unit 21 and the size processing unit 2. It is delayed by the processing time in 3 and input to the code amount reduction unit 13.
  • the output data of the compression unit 11 is also input to a correlation detection unit 26, and the correlation detection unit 26 checks the correlation between the current screen and the previous screen.
  • the correlation detection unit 26 takes the difference of the low-frequency component of the DCT-transformed coefficients in the compression unit 11 between the current screen and the previous screen, and this difference is large (the low-frequency component). When the change is large), it is judged that the correlation is small.
  • the output data of the correlation detection unit 26 is input to the switching processing unit 27.
  • an output signal of the change switch 16 and a switch signal 28 from the switch are input to the switch processing unit 27.
  • the evening of the scene change is determined. Specifically, the switching processing unit 27 sets the origin of the time at which the change switch 16 is turned on, and within a period of 1.0 to 0 seconds, the DCT coefficient of the DCT coefficient is compared with the previous screen. Select the screen where the change is large (the correlation is small) as the screen at the scene change. If there is little change in the correlation in the section of 1.0 to 0 seconds, 1 .33 seconds is set as the switching point of the scene.
  • the switching processing unit 27 receives the switching signal 28 from the switcher used for camera switching. Input timing Is the scene switching point.
  • a scene switching signal which is an output of the switching processing unit 27 indicating a scene switching eye, is input to the system control unit 30, the position processing unit 21, and the size processing unit 23.
  • the position processing unit 21 determines the viewpoint position between the detection points of the viewpoint positions. The interpolation processing is performed so that the area near the position is set continuously in time. This interpolation processing is performed for each scene. Further, under predetermined conditions, the position processing section 21 sets a region near the viewpoint position temporally continuously between the time of detection of the first viewpoint position in one scene and the start of the scene.
  • the area near the viewpoint position is set temporally continuously between the time of detection of the last viewpoint position in one scene and the end of the scene. Interpolation is performed so that The size processing unit 23 also performs the same interpolation processing as the position processing unit 21.
  • the system control unit 30 compares the code amount per predetermined time by the output data of the compression unit 11 with a specified value of the code amount specified in advance by the specified code amount data 33, and performs compression.
  • a code amount reduction control signal 35 is output to the code amount reduction unit 13 only when the code amount per predetermined time due to the output data of the unit 11 exceeds the specified value, and the code amount reduction unit is output.
  • the code amount reduction unit 13 is made to reduce the code amount so that the code amount per predetermined time outputted from 13 does not exceed the specified value.
  • the system control unit 30 sets the area near the viewpoint position based on the output data of the position processing unit 21 and the output data of the size processing unit 23, and sets the area other than the area near this viewpoint position.
  • the allocation of the code amount is changed according to the region so that the code amount is smaller than the code amount allocated to the region near the viewpoint position.
  • the amount of code is reduced by sequentially reducing the number of bits allocated to the coefficients after the DCT processing, starting from the high frequency side.
  • the amount of code is reduced stepwise from the area near the viewpoint to the outside. For example, the number of allocated bits is sequentially reduced by one bit for each pixel block on which DCT processing is performed from the area near the viewpoint to the outside.
  • the code amount is reduced as necessary, and the code data 14 output from the code amount reduction unit 13 is output to the outside as the output data of the image compression encoding device. This output data is transmitted to a communication network or recorded on a recording medium, for example.
  • the processing of position processing can be broadly divided into point processing for specifying the viewpoint position when the viewpoint is fixed, and vector processing for determining the movement vector of the viewpoint position when the viewpoint is moving. It consists of three types of processes, namely, the interrupt process, which interrupts the allocation of a large amount of code to the area near the viewpoint position.
  • the viewpoint position determined by the point processing is represented by a point P (i, p (i)), and the vector determined by the vector processing is represented by V (i, V (i)).
  • N (i, n (i)
  • i the time since the scene was changed
  • p (i), V (i), n (i) indicates the number of processes within the same unit time t.
  • interpolation processing is performed as described later, so that a plurality of point processing and vector processing are performed within the same unit time t.
  • the interruption process is either performed or not performed within the same unit time t even if the interpolation process is performed.
  • step S101 in the position processing, first, p (i), V (i), and n (i) are all cleared (set to 0) (step S101), and similarly, i is cleared. Clear (set to 0) (step S102). Next, i + 1 is newly set to i (step S103), and it is determined whether or not the scene is switched (step S104). Scene switching information is obtained from the switching processing unit 27. If the scene is switched (Y), the process moves to the end processing (Figs. 15 to 19) described later. If the scene has not been switched (N), the state of the suspending switch 17 is checked (step S105). If the suspending switch 17 is pressed (turned on), the process proceeds to the suspending switch processing (FIG. 14) described later.
  • step S106 it is determined whether the viewpoint moving distance is small or large.
  • the viewpoint movement distance within the unit time t is calculated, If this viewpoint movement distance is within 20 x 20 pixels of the screen, it is determined that the viewpoint movement distance is small. Otherwise, it is determined that the viewpoint movement distance is large. If the viewpoint movement distance is small, the viewpoint is assumed to be fixed, and the process proceeds to the point processing (FIG. 9) described later. If the viewpoint movement distance is large, it is determined whether the viewpoint movement speed is high or low (step S107).
  • the moving speed of the viewpoint is determined based on the moving distance between frames (1/30 second), and when moving more than 100 pixels vertically or horizontally between frames within the unit time t If there is, it is determined that the viewpoint moving speed is high, and otherwise, it is determined that the viewpoint moving speed is low.
  • the moving speed of the viewpoint is high, it is regarded that the viewpoint is moving, and the process is not performed within the unit time t, and the process returns to step S103 to update i. Since a high-speed moving object that moves more than 100 pixels vertically or horizontally between frames cannot be seen by the human eye on the screen, a large amount of code is allocated to the area near the viewpoint position. There is no need to perform any processing. If the movement speed of the viewpoint is low, the procedure moves to the vector processing (Figs. 11 and 12) described later.
  • the average of the viewpoint positions within the unit time t (viewpoint average position) is obtained, and the point P (i, p) determined by the processing within the unit time t is obtained.
  • (i)) (m i 0, nio) to (step S 2 0 1).
  • the average viewpoint position is obtained, for example, by averaging the viewpoint positions for each frame.
  • m i 0 is the horizontal position on the screen, ni. Is the vertical position on the screen.
  • variable j is set to 1 (step S202), and then,
  • PD ref is 1800 . If PD (i, i-j) is smaller than PD ref (Y), it is assumed that the user is continuously looking at the vicinity of the same point, and no interpolation processing is performed. ) To update i to proceed to the processing at the next unit time t. On the other hand, if PD (i, i-j) is equal to or larger than PD ref (N), it is determined whether or not there is a previously viewed place near the point at the current processing.
  • V i, v (i)) msi. , Nsi. , Mei. , Neio)
  • VED (X, y) is expressed by the following equation.
  • VED (, y) tm x . — Me y . .) 2 4- (n x .- ne y) 2 PD (i, i - j) is less than or VED than PD ref (i, if i-j) is remote smaller by PD re f (step S 206; Y) performs point interpolation processing (Fig. 10).
  • PD (i, i - j) is PD ref by remote small or VED (i, i- j) If there is other than when the small Sai than PD r "(step S 206; N) is, N (i- .
  • N i - j 3 0
  • N i - j 3 0
  • Y interruption processing has been made, and it or earlier portion That is, without performing the interpolation process, the process returns to step S103 (FIG. 8), and updates i so that the process proceeds to the next unit time t.
  • N i ⁇ i, 0
  • N return to step S204.
  • the viewpoint is continuously viewed in time.
  • the near-position region is set, and a process of allocating a large amount of code to the near-view position region is performed as necessary. This allows, for example, the operator to sequentially view multiple locations on the screen
  • the area near the viewpoint position is set successively and temporally near each of the plurality of gaze points. If the previously viewed location cannot be found near the point of the current processing within the fixed time TD max or before the start of the scene (step S205; Y), the scene is switched.
  • step S208 It is determined whether or not the time i has been within the specified time TS (step S208). If the time i since the scene was switched exceeds the specified time TS (N), the interpolation processing is not performed, and the process returns to step S103 (FIG. 8) and proceeds to the processing at the next unit time t. To update i. If the time i since the scene was switched is within the specified time TS (step S208; Y), the position of the point P (1, (1)) in i21 for processing is (M, mo) (step S209), and moves to the point internal processing (Fig. 10), from the start of the scene to the current processing. Interpolation processing is performed.
  • FIG. 10 shows the point interpolation processing.
  • the variable k is set to 0 (step S301), then k + 1 is newly set to k (step S302).
  • k j. Judgment is made (step S303). If it is not k2j (N), p (ik) +1 is newly set as p (ik) (step S304). That is, the number of processes is incremented by one.
  • the interpolated value P (ik—p, p (ik)) of the point is calculated as the center value ((m l0 + m (1 —.) / 2, ( ⁇ + n ( ,,,.) / 2), add the internal value (step S308), and return to step S302. ⁇ (i, 0) ) And P (ij, 0) are not present (step S 307; N), it is determined whether or not P (i, 0) and V (ij, 0) are present (Step S309) When there is P (i, 0) and V (ij—0), (Y), that is, the points of the current process and the vector of the previous process (i—j) are obtained.
  • the interpolated value P (ik, p (ik)) of the point is calculated as the center value ((msi. + m “—”))) / 2, (nsio + nti-j) o) / 2) and add this interpolated value (step S311), and returns to step S302.
  • FIG. 11 and FIG. 12 show the vector processing.
  • the average of the viewpoint position vectors within the unit time t is obtained, and this is determined by the vector V (i, V (i)) determined by processing within the unit time t.
  • the average viewpoint movement vector is obtained, for example, by averaging the viewpoint movement vector between each frame within the unit time t, and calculating this average vector as the center of this average vector. It is determined by multiplying by 15 times.
  • V ⁇ X y) (msxo—me y o) 2 + (ns x .—ne y .) 2 Specifically, first, a variable j is set to 1 (step S 402), and then VD (i, j) is smaller than a fixed distance VD r "(step S403).
  • VDref is, like PDref,
  • VD (i, i—j) is smaller than VD rBf (Y)
  • the vector is assumed to be continuous and interpolation is not performed.
  • i is updated to proceed to processing at the next unit time t.
  • V (ij, 0) it is determined whether or not V (ij, 0) exists (step S407). If V (ij, 0) exists (Y), the continuity between the current vector and the vector determined by the previous vector processing is determined. In the case of vector processing, the difference between the starting point of the current processing vector predicted from the previous vector and the actual vector starting point of the current processing, or the current processing vector The continuity of the vector is determined by the difference between the starting point of the previous vector predicted from the vector and the starting point of the previous actual vector. Here, the continuity of the vector is determined based on the difference between the starting point of the previous vector predicted from the vector at the time of the current processing and the starting point of the previous actual vector.
  • the starting point of the previous vector predicted from the vector at the time of the current processing (hereinafter referred to as the vector starting point predicted value) mc nc ii returns the vector at the time of the current processing to the time difference as it is Can be obtained by the following formula, and is expressed by the following equation.
  • mc xy ms xo- (X - y) x (me x .- ms x.)
  • ncxy ns-(x-y) x, ne x .
  • VCD (x, y) which represents the distance between the predicted vector starting point m C xy, ⁇ C and the starting point of the previous actual vector, is expressed by the following equation.
  • VCD (X, y) (mc xy — ms y .) 2 + (nc xy — ns y .) 2 Therefore, if there is V (i — j, 0) (step S 407; Y), VCD It is determined whether (i, i ⁇ j) is smaller than PD ref (step S 408). If VCD (i, i-j) is smaller than PD ref (Y), vector interpolation is performed (Fig. 13).
  • V (i- j, 0) is not (step S 407; N) or VCD (i, i one j) If the PD r "or more (step S 408; N) is, P (i - j, 0 ) Is determined (step S 409) . If P (i — j, 0) is present (Y), the vector determined at the current processing and the point determined by the previous point processing are determined. Judgment of continuity with the point.
  • the distance VSD (, y) between the starting point of the vector and the previous point at the time of the current processing, and the VSCD representing the distance between the predicted value mc xy , nc xy of the vector starting point and the previous point (X, y) is defined as the following equation.
  • VSD (X, y) (ms x .1 m; 2 + (ns x . — Ny .) 2
  • VSD (i, i-j) It is determined whether or not VSD (i, i-j) is smaller than PD ref (step S410). If VSD (i, i-j) is smaller than PD ref (Y), point interpolation is performed (Fig. 10). VSD (i, i one j) is equal to or greater than PD ref (N) is, VS CD (i, i- j ) or PD ref less it determines whether than (Step S 4 I 1). If VS CD (i, i-j) is smaller than PD rer (Y), the vector Perform the interpolation processing (Fig. 13).
  • step S 409; N VS CD (i, i - j ) If the PD r "or more (step S 4 1 1; N) is, N (i- j) (0) is determined (step S412) If N (i-j, 0) is present (Y), it means that the interruption process has been performed, so that the previous part is determined. That is, without performing the interpolation process, the process returns to step S103 (FIG. 8), and updates i to proceed to the process at the next unit time t.N (i—j, 0) If not (N), the process returns to step S404 (FIG. 11).
  • the area near the viewpoint position is set continuously in time after the interpolation processing is performed.
  • the operator may select a plurality of target targets at different positions. Then, the area near the viewpoint is set continuously in time.
  • step S405 when the interpolation processing is not performed (step S405; Y), it is determined whether or not the time i from when the scene is switched is within the specified time TS (see FIG. 11). Step S406). If the time i since the scene was switched exceeds the specified time TS (N), the interpolation processing is not performed, and the process returns to step S103 (Fig. 8) to proceed to the processing at the next unit time t. Update i to move. If the time i since the scene was switched is within the specified time TS (step S 406; Y), the process moves to the vector interpolation process (Fig. 13), at the start of the scene. During the period from to the current processing, vector interpolation is performed.
  • Figure 13 shows the vector interpolation process.
  • the variable k is set to 0 (step S501)
  • k + 1 is newly set to k (step S502)
  • Step S506 the process returns to Step S502.
  • the interpolated value of the vector is an extension of the vector at the time of the current processing. Therefore, as it goes back in time, the start point of a vector is replaced by the end point of the previous vector in order, and the end point of the previous vector is created. The start point of the previous vector may be created by going back by the difference between the end point and the start point of the vector.
  • the vector interpolation value V (ik, v (ik)) is specifically expressed by the following equation.
  • m s 0 i ic m s i ⁇ k + 1 v (i ⁇ k + n ⁇ (m s i o— m e i o)
  • ns 0 ik ns u ⁇ v (i-iichi (nsio-neio)
  • n ⁇ 0-k nsi-k + 1 v (t-k + 1) It is.
  • step S507 it is determined whether or not V (i-j, 0) is present (step S507). If V (1—j, 0) exists (Y), that is, if the interpolation processing is performed based on the question of the current processing vector and the previous (i-j) processing vector, the current processing The start point of the vector at the time of processing is connected to the end point of the previous vector, and the interpolated value of each vector is calculated by dividing the interval by the unit time taken, and the interpolated value of this vector is calculated. In addition (step S508), the process returns to step S502.
  • the vector interpolated value V (i-k, v (i-k)) is specifically expressed by the following equation.
  • n e v i-k n s i-k +: (i-k + 1>
  • V— (i—j, 0) does not exist (step S507; N)
  • the interpolation between the vector at the current processing and the point at the previous processing (i—j) is performed.
  • the start point of the vector at the time of the current processing is connected to the previous point, the interval is divided for each unit time, and the interpolated value of each vector is calculated. Add the interpolated value of (step S509), and returns to step S502.
  • the vector interpolation value V (ikV (ik)) is specifically expressed by the following equation.
  • n e i-k n s i-k v (i-k + 1)
  • step S503 this (step S503; Y)
  • step S503 this (step S503; Y)
  • the vector interpolation processing ends, and the flow returns to step S103 (FIG. 8).
  • FIG. 14 shows the interruption switch processing.
  • interpolation processing of the interruption processing is performed.
  • This interpolation process is a process in which if the suspending switch 17 has been turned on within a certain period of time after the scene switching when the on state of the suspending switch 17 has been continued since the scene switching, it is regarded as an off state after the scene switching. If the suspending switch 17 has been turned off within a certain period of time after the scene switching while the off state of the switch 17 has been continued since the scene switching, it is regarded as the on state from the scene switching. It is a kind.
  • the interruption switch processing first, the time i since the scene was switched is compared with the specified time TS (step S601).
  • n (i) 1, that is, N (i, 1) (step S602), and step S106 (FIG. 8)
  • N i1-1,0
  • the suspending switch 17 if the suspending switch 17 has been turned on within the specified time TS after the scene switching while the off state of the suspending switch 17 has continued since the scene switching, it will be turned on from the scene switching. It is regarded as a state, and interruption processing is performed from the time of scene switching.
  • step S601 if i is greater than the specified time TS, it is set to N (i, 0) (snap S610), the interruption process is performed, and the process returns to step S106 (Fig. 8).
  • FIGS. 15 to 19 show end processing.
  • interpolation is performed by interpolation processing from the end of the scene to a point before a predetermined end processing time TE. If there is an inserted point or vector, interpolation is performed until the scene is switched.
  • the end processing time TE is set to 5 seconds.
  • step S701 j is set to 20 (step S701), j + 1 is newly set to j (step S702), and next, whether i-j is larger than TE is determined. Is determined (step S703). If i-j is not larger than TE (N), it is determined whether or not N (i-j, 0) exists (step S704). If there is no N (i-1, 0) (N), the process returns to step S702. If there is N (i ⁇ 1, 0) (Y), the process proceeds to step S705, and the interpolation processing is performed for j and later. If i-j is larger than TE (step S703; Y), the process also proceeds to step S705.
  • step S810 the non-interpolated points input in the unit time following the point P (ik-1, q) searched for in the processing shown in Fig. 15 It is determined whether or not P (ik—0) exists (step S810). If the point P (ik — 0) is (Y), the distance PDN (ik-0,0) between the point and the searched point P (ik — 1, q) It is determined whether or not i ⁇ k ⁇ 1, q) is smaller than of PD ref (step S 802). PDN is expressed by the following equation.
  • the interpolated point P (i-k-1 , Q) are points interpolated by interpolation using the non-interpolated point P (ik).
  • the point of P (ik, 0) is interpolated to the scene change point by the processing after step S803.
  • step S8 ⁇ 1; N If there is no uninterpolated point P (ik-0) input in the next unit time of the searched point P (ik-1, q) (step S8 ⁇ 1; N) In other words, if only the vector or the interpolated value is input in the next unit time, and PDN (ik, 0, i—k—1, q) is more than 1/2 of PD ref If is not smaller (step S802; N), the process returns to step S706 (FIG. 15) without performing the interpolation process.
  • step S910 the non-interpolated points input in the next unit time of the vector V (ik-1, q) searched in the processing shown in Fig. 16 It is determined whether or not P (ik) is present (step S910). If there is the point P (i-k, 0) (Y), the distance VEDN (i-k, 0) between the point and the end point of the searched vector V (i-k-1 1, q) is obtained. It is determined whether (0, i—k—1, q) is smaller than 1/2 of PD ref (step S902). VEDN is expressed by the following equation.
  • the interpolated vector V (ik-1,) q) is a vector interpolated by the interpolation process using the non-interpolated point P (i-k, 0).
  • the point of P (ik : 0) is interpolated to the scene change point by the processing after step S903.
  • step S 904 By repeating the processing of steps S 904 to S 907 until r 2 k is reached, P is calculated from the next unit time of the non-interpolated point P (i-k, 0) to the scene change. The point at (i-k, 0) is interpolated.
  • step S905; Y the process returns to step S713 (FIG. 16).
  • step S901; N If there is no uninterpolated point P (ik-0) input at the next unit time of the searched vector V (ik-1, q) (step S901; N ) Proceeds to the processing shown in FIG. Further, VEDN (i - k, 0 , i- k one 1, q) if is not less than 1/2 of the PD ref (Step S 90 2; N), the step S 7 without interpolation processing Return to 1 3 (Fig. 16).
  • step S908 the non-interpolated vector input in the unit time next to the vector V (ik- 1, q) searched in the processing shown in Fig. 16 It is determined whether or not V (ik, 0) exists (step S908). If the vector V (i—k, 0) exists (Y), the start point of the vector and the searched vector V (i-k -Determine whether the distance to the end point of 1), 0, 1 1,) is smaller than 1 of (step). Is represented by the following equation.
  • VD N (x, y, z, a)
  • step S910 (ms ⁇ z -me 2 + (ns xa -ne ya ) 2 1, 0, 1,) is smaller than that (step; is the interpolated vector 11,) and is not interpolated It can be seen that the vector is interpolated by interpolation using the vector. In this case, the vector is interpolated up to the scene switching point by the processing after step S910.
  • the vector interior value V (i-r, V (i-r)) is specifically expressed by the following equation.
  • step S910 0
  • Step S 908; N When there is no non-interpolated vector V (ik-0) input in the next unit time of the searched vector V (ik-l, q) (snap S 908; N) In other words, if only the interpolated value is input in the next unit time, and if VDN (ik, 0, i1k-1, q) is not smaller than 1/2 of PD ref ( Step S909; N) returns to step S713 (FIG. 16) without performing the interpolation process.
  • the point value and the vector value for each unit time determined by the processing described with reference to FIGS. 8 to 19 are converted into the point value for each frame, and The point value becomes the center position of the area near the viewpoint position. Note that the point value in the unit time becomes the point value for each frame as it is.
  • the vector at the unit time is divided into vectors at each frame, and the starting point of the vector at each frame is obtained. The midpoint between the point and the end point may be used as the point value for each frame.
  • the position processing in the position processing unit 21 has been described above, but the size processing in the size processing unit 23 is substantially the same as the position processing. That is, in the size processing, a fixed value of the size of the area near the viewpoint position in the unit time is defined instead of the point in the position processing, and the size of the area near the viewpoint position in the unit time in place of the vector in the position processing. Is defined. Then, also in the size processing, as in the case of the position processing, the internal processing of the fixed value and the changed value of the size is performed. Note that the size processing differs greatly from the position processing in that the output signal of the size changing lever 18 lags behind the movement of the viewpoint, so that only the value in the latter half of the unit time is used to determine the size.
  • the point is to determine the fixed value and the change value.
  • the size value obtained by the size processing is determined so as to correspond to each of the center positions (point values for each frame) of the area near the viewpoint position determined by the position processing. Therefore, a three-dimensional value (m, n, s) based on a point (m, n) and a size (s) is obtained for each frame as information representing the area near the viewpoint position. Note that the size value s is set to 0 when interruption processing is being performed.
  • the system control unit 30 generates a code amount reduction control signal 35 based on the information (m, n, s) representing the area near the viewpoint position obtained in this way, and sends the signal to the code amount reduction unit 13. send.
  • the viewpoint position of the operator is detected, and the vicinity of the viewpoint position is detected based on the viewpoint position and the output of the size varying lever 18. It is possible to set an area and change the amount of code according to the area so that the amount of code allocated to the area other than the area near the viewpoint position is smaller than the amount of code allocated to the area near the viewpoint position.
  • image data is encoded and compressed in real time within a limited code amount.
  • the process of changing the code amount allocation according to the area is performed.
  • Image data can be encoded by effectively using a limited amount of code without unnecessarily deteriorating image quality when there is room, and at the time of decoding, visually high-quality images for users as much as possible Can be obtained.
  • the image compression encoding apparatus since the size of the area near the viewpoint position can be changed, the area to which a large amount of code is allocated is set to an appropriate size. From this point, it is also possible from this point that it is possible to effectively use the limited code amount to encode the image data, and to obtain a visually high-quality image for the user as much as possible during decoding. Become.
  • the boundary of the area near the viewpoint is conspicuous. Can be avoided.
  • the operator can sequentially view a plurality of locations on the screen and change the viewpoint.
  • areas near the viewpoint position can be set temporally consecutively in the vicinity of a plurality of gaze points, and the viewpoint position is not stable before and after the scene change
  • the area near the viewpoint can be set, and as a result, the area near the viewpoint is intermittent. Can be prevented from being set, and a high quality image can be obtained visually for the user at the time of decoding.
  • the present invention is not limited to the above embodiment.
  • the encoding method in 1 is not limited to the method using the DCT processing and the bidirectional prediction encoding, but may be another method. Further, the method of eliminating the code amount is not limited to the method of decreasing the number of bits allocated to the coefficients after the DCT processing, but may be another method such as pixel reduction. In addition, various changes can be made without departing from the spirit of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

明 现 曞 画像圧瞮笊号化装眮及び画像圧瞮笊号化方法 技 術 分 野 本発明は、 画像デヌタを笊号化しお圧瞮する画像圧瞮笊号化装眮 及び画像圧瞮笊号化方法に関する。 背 景 技 術 近幎、 映像のディゞタル化及び画像圧瞮技術の進歩に䌎い、 色々 な画像圧瞮笊号化が行なわれるようにな぀おきた。 しかし、 埓来は、 所定単䜍の画像デヌタに割り圓おられる笊号量がある䞀定量で固定 されおいたり 固定レヌトの堎合 、 画像の现かさによっお所定単 䜍の画像デヌタに割り圓おられる笊号量を倉化させる可倉レヌ卜の 堎合であっおも、 最倧に割り圓おられる笊号量が決たっおいたり し お、 ある䞀定時間内での笊号量の最倧倀が決められおおり、 連続し お耇雑な画面が続く ずきには、 笊号量の制限を受けおいた。 圓然な がら、 画面に割り圓おられる笊号量の増枛は、 画質の善し悪しに぀ ながる。 そこで、 埓来は、 画面䞊の耇雑な所により倚くの笊号量を 割り圓おる等の方法によっお、 䞀枚の画面党䜓ずしおは同䞀の笊号 量ずしながら、 埩号時における画質劣化が最小ずなるように笊号量 を制埡するこずが行われおいた。
しかし、 芖聎者の画質劣化の感じ方は、 䞀枚の画面䞭のどこに泚 目するかで倉わっおく る。 䞀方、 芖聎者が泚芖するのは、 その画面 䞭の重芁な郚分であっお、 その郚分が、 その画面䞭の耇雑な郚分に 圓たるずは限らない。 そのため、 画面䞊の耇雑な所により倚くの笊 号量を割り圓おる方法では、 次のような䞍具合が生じる。 すなわち、 䟋えば耇雑な背景の䞭に䞻人公がいる堎合等では、 耇雑な背景の方 に倚くの笊号が割り圓おられ、 結果ずしお芖聎者が泚芖する䞻人公 に割り圓おられる笊号量が少なくなり、 埩号時に芖聎者は画質劣化 を感じるこずになる。
これに察凊するに、 操䜜者が、 画面毎に、 画面内における笊号量 の割り 圓おを任意に倉えるこずができるようにするこずが考えられ る。 しかし、 笊号量の割り圓おの異なる領域を、 画面毎に操䜜者が 蚭定するのは、 倚倧な劎力が必芁になるず共に、 生䞭継等のリアル 倕ィム性が芁求されるような状況では、 このような操䜜は䞍可胜で ある。
ずころで、 特開平 7— 4 4 1 1 0号公報には、 利甚者の芖点の䜍 眮を怜出し、 1画面䞭における芖点䜍眮近傍の䞀定の領域を高解像 床で衚瀺し、 他の領域を䜎解像床で衚瀺する技術が瀺されおいる。 この技術は、 蚀い換えるず、 1画面䞭における芖点䜍眮近傍の領域 に割り圓おる笊号量を倚く し、 他の領域に割り圓おる笊号量を少な くする技術ず蚀える。 この技術によれば、 各画面を限られた笊号量 内でリアルタむムに笊号化しながら、 埩号時に利甚者の感じる画質 劣化を抑えるこずが可胜ずなる。
しかしながら、 垞に、 芖点近傍の領域に割り圓おる笊号量を倚く し、 他の領域に割り圓おる笊号量を少なくするようにした堎合には、 他の領域がそれほど耇雑ではなく、 割り圓おる笊号量を少なく しな く ずも、 発生する笊号量がそれほど倚くならない堎合すなわち笊号 量に䜙裕がある堎合であっおも、 他の領域に割り圓おる笊号量は必 ず少なくされ、 他の領域の画質が䞍必芁に劣化しおしたうずいう問 題点がある。
たた、 画面䞭においお芖聎者が泚芖する領域の倧きさは䞀定ずは 限らない。 埓っお、 割り圓おる笊号量を倚く する領域の倧きさを䞀 定にした堎合には、 次のような問題が生じる。 すなわち、 芖聎者が 泚芖する領域が笊号量を倚くする領域よりも倧きい堎合には、 芖聎 者が泚芖する領域のうちの䞭心偎の領域では笊号量が倚く割り圓お られお画質の劣化が小さく、 芖聎者が泚芖する領域のうちの呚蟺偎 の領域では割り圓おられる笊号量が少なくなり、 画質の劣化が倧き くなり、 芖聎者にずっおは芋にくい画面、 すなわち画質の劣化した 画面ずなっおしたう。 逆に、 芖聎者が泚芖する領域が笊号量を倚く する領域よりも小さい堎合には、 芖聎者が泚芖する領域以倖の領域 にも倚くの笊号量が割り圓おられおしたい、 その結果、 芖聎者が泚 芖する領域に割り圓おられる笊号量が少なくな぀おしたう事態が生 じ埗る。
本発明は、 䞊述したような問題点に鑑みおなされたものであり、 画像デヌタを限られた笊号量内でリアルタむムに笊号化しお圧瞮で き、 䞔぀、 埩号時にできるだけ利甚者にずっお芖芚的に高画質な画 像が埗られるようにした画像圧瞮笊号化装眮及び画像圧瞮笊号化方 法を提䟛するこずを目的ずするものである。 発 明 の 開 瀺 本発明は、 入力画像デヌタを圧瞮しお笊号化する笊号化手段ず、 前蚘入力画像デ䞀倕が出力される画面䞊における芖点䜍眮を怜出す る芖点䜍眮怜出手段ず、 前蚘芖点䜍眮怜出手段によっお怜出される 芖点䜍眮の近傍に芖点䜍眮近傍領域を蚭定する領域蚭定手段ず、 前 蚘笊号化手段によっお発生される笊号量が所定量を超えるずき、 前 蚘領域蚭定手段によっお蚭定される芖点䜍眮近傍領域以倖の領域に 割り圓おられる笊号量が、 前蚘芖点䜍眮近傍領域に割り圓おられる 笊号量よりも少なくなるよう前蚘笊号化手段によっお発生される笊 号量を制限する笊号量制限手段ずを備えたこずを特城ずする。
このような構成においお、 芖点䜍眮怜出手段によっお、 入力画像 デ䞀倕に基づく画面䞊における操䜜者の芖点䜍眮が怜出され、 領域 蚭定手段によっお、 入力画像デ䞀倕に基づく画面䞊で、 芖点䜍眮怜 出手段によっお怜出される芖点䜍眮の近傍に芖点䜍眮近傍領域が蚭 定される。 たた、 笊号化手段によっお入力画像デ䞀倕が笊号化され お圧瞮され、 笊号量制限手段によっお、 笊号量を制限しない堎合に は笊号化手段によっお発生される所定時間圓たりの笊号量が所定量 を越えるこずずなるずきにのみ、 領域蚭定手段によっお蚭定される 芖点䜍眮近傍領域以倖の領域に割り圓おられる笊号量が、 芖点䜍眮 近傍領域に割り圓おられる笊号量よりも少なくなるように、 領域に 応じお笊号量の割り圓おを倉えるこずによっお、 笊号化手段によ぀ お発生される笊号量が制限される。 埓っお、 笊号量に䜙裕があるず きに画質を䞍必芁に劣化させるこずがなく、 画像デ䞀倕を限られた 笊号量内でリアルタむムに笊号化しお圧瞮でき、 䞔぀、 埩号時にで きるだけ利甚者にずっお芖芚的に高画質な画像を埗るこずが可胜ず なるずいう効果を奏する。 たた本発明は、 入力画像デヌタを圧瞮笊号化する笊号化手段ず、 前蚘入力画像デヌタが出力される画面䞊における芖点䜍眮を怜出す る芖点䜍眮怜出手段ず、 前蚘芖点䜍眮怜出手段で怜出される前蚘芖 点䜍眮の近傍に芖点䜍眮近傍領域を蚭定する領域蚭定手段ず、 前蚘 領域蚭定手段で蚭定される芖点䜍眮近傍領域以倖の領域に割り圓お られる笊号量が、 前蚘芖点䜍眮近傍領域に割り圓おられる笊号量よ りも少なくなるように、 前蚘芖点䜍眮近傍領域に応じお笊号量の割 り圓おを制限する笊号量制限手段ず、 前蚘領域蚭定手段で蚭定され る芖点䜍眮近傍領域の倧きさを倉える領域可倉手段ずを備えたこず を特城ずする。
このような構成においお、 芖点䜍眮怜出手段によっお、 入力画像 デ䞀倕に基づく画面䞊における操䜜者の芖点䜍眮が怜出され、 領域 蚭定手段によっお、 入力画像デ䞀倕に基づく画面䞊で、 芖点䜍眮怜 出手段によっお怜出される芖点䜍眮の近傍に芖点䜍眮近傍領域が蚭 定される。 この芖点䜍眮近傍領域のサむズは、 領域サむズ可倉手段 によっお倉えられる。 たた、 笊号化手段によっお入力画像デ䞀倕が 笊号化されお圧瞮され、 笊号皇制限手段によっお、 領域蚭定手段に よっお蚭定される芖点䜍眮近傍領域以倖の領域に割り圓おられる笊 号量が、 芖点䜍眮近傍領域に割り圓おられる笊号量よりも少なくな るように、 領域に応じお笊号量の割り圓おを倉えるこずによっお、 笊号化手段によっお発生される笊号量が制限される。 埓っお、 倚く の笊号量力が割り圓おられる領域を適切な倧きさに蚭定するこずが 可胜ずなり、 画像デ䞀倕を限られた笊号量内でリアルタむムに笊号 化しお圧瞮でき、 䞔぀、 埩号時にできるだけ利甚者にずっお芖芚的 に高画質な画像を埗るこずが可胜ずなるずいう効果を奏する。 ここで、 前蚘笊号量制限手段は、 前蚘芖点䜍眮近傍領域以倖の領 域に割り圓おられる笊号量を、 前蚘芖点䜍眮近傍領域から離れる方 向に向かっお段階的に枛少させるこずが奜たしい。 これによ぀お、 芖点䜍眮近傍領域の境界郚が目立぀こずを避けるこずができ、 より 芖芚的に高画質な画像を埗るこずが可胜ずなる。
たた、 前蚘笊号量制限手段によっお領域に応じお笊号量の割り圓 おを倉えるこずを行うか吊かを遞択する遞択手段をさらに備えるこ ずが奜たしい。 これによ぀お、 操䜜者が、 必芁に応じお、 領域に応 じお笊号量の割り圓おを倉えるこずを行うか吊かを遞択するこずが 可胜ずなり、 䜿い勝手が向䞊する。
さらに、 前蚘領域蚭定手段は、 前蚘芖点䜍眮怜出手段によっお芖 点䜍眮が断続的に怜出されたずきは、 各芖点䜍眮の怜出時点間で芖 点䜍眮近傍領域は時間的に連続しお蚭定されるようにするこずが挙 げられる。 これによ぀お、 䟋えば操䜜者が画面内の耇数の堎所を順 次、 芖点を倉えお繰り返し泚芖した堎合にも、 泚芖した耇数の堎所 の近傍にそれぞれ、 時間的に連続しお芖点䜍眮近傍領域を蚭定する こずができ、 より芖芚的に高画質な画像を埗るこずが可胜ずなる。 たたさらに、 前蚘領域蚭定手段は、 耇数のフレヌムたたは耇数の フィ䞀ルドからなる画像単䜍内においお前蚘芖点䜍眮怜出手段で最 初に芖点䜍眮が怜出されたずきず、 前蚘画像単䜍が開始されたずき ずの間で前蚘芖点䜍眮近傍が連続しお蚭定されるようにするこずが 挙げられ、 たた、 前蚘領域蚭定手段は、 耇数のフレヌムたたは耇数 のフィ䞀ル ドからなる画像単䜍内においお前蚘芖点䜍眮怜出手段で 最埌に芖点䜍眮が怜出されたずきず、 前蚘画像単䜍が終了されたず きずの間で前蚘芖点䜍眮近傍領域が連続しお蚭定されるようにする こずが挙げられる。 これによ぀お、 シヌンの切り替わり埌や切り替 わり前においお芖点䜍眮が安定しおいないずきにおいおも芖点䜍眮 近傍領域を蚭定するこずができ、 より芖芚的に高画質な画像を埗る こずが可胜ずなる。 図面の簡単な説明 図 1は、 本発明の䞀実斜の圢態に係る画像圧瞮笊号化装眮の構成 を瀺すブロック図である。
図 2は、 図 1における䜍眮怜出郚の詳现な構成を瀺すプロック図 である。
図 3は、 本発明の䞀実斜の圢態に係る画像圧瞮笊号化装眮で利甚 する県球運動枬定噚の構成を瀺す説明図である。
図 4は、 図 3に瀺した県球運動枬定噚の動䜜原理に぀いお説明す るための説明図である。
図 5は、 本発明の䞀実斜の圢態に係る画像圧瞮笊号化装眮におけ る芖点補正の抂略に぀いお説明するための説明図である。
図 6は、 本発明の䞀実斜の圢態に係る画像圧瞮笊号化装眮におけ るビデオ信号の笊号化時の操䜜者の操䜜に぀いお説明するための説 明図である。
図 7は、 本発明の䞀実斜の圢態に係る画像圧瞮笊号化装眮におい おモニタ画面に衚瀺するマヌカを瀺す説明図である。
図 8は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ図 である。
図 9は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ図 である。
図 1 0は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ 図である。
図 1 1は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ 図である。
図 1 2は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ 図である。
図 1 3は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ 図である。
図 1 4は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ 図である。
図 1 5は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ 図である。
図 1 6は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ 図である。
図 1 7は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ 図である。
図 1 8は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ 図である。
図 1 9は、 図 1における䜍眮凊理郚の動䜜を説明するための流れ 図である。 発明を実斜するための最良の圢態 以䞋、 本発明に係る奜たしい実斜の圢態に぀いお、 図面を参照し ながら詳现に説明する。
本実斜の圢態に係る画像圧瞮笊号化装眮では、 入力画像デ䞀倕に 基づく画面䞊における操䜜者の芖点䜍眮を怜出する芖点䜍眮怜出手 段ずしお、 県球運動枬定噚を甚いるが、 始めに、 この県球運動枬定 噚に぀いお説明する。
図 3は、 県球運動枬定噚の構成を瀺す説明図である。 この県球運 動枬定噚は、 赀倖線を発光する発光ダむオヌ ド 以䞋、 L E Dず蚘 す。  1 ず、 氎平方向に 2分割された受光郚 2 A 2 Bを有する 2 分割光怜出噚 2 ずを備えおいる。 図 3 A , 図 3 Bでは、 䟿宜䞊、 L E D 1 ず 2分割光怜出噚 2 ずを別々に瀺しおいるが、 これらは、 実 際には䞀䜓化され、 ゎヌグル状の保持郚材によっお、 県球 3の䞭倮 郚の䞋偎の䜍眮に配眮されるように保持されおいる。 なお、 2分割 光怜出噚 2は、 操䜜者が保持郚材を装着したずき、 受光郚 2 Aが操 䜜者から芋お右偎、 受光郚 2 Bが操䜜者から芋お巊偎に配眮される ようにな぀おいる。 操䜜者が保持郚材を装着したずき、 図 3 Aに瀺 したように、 L E D 1は、 県球 1の䞋偎の芖野倖の䜍眮から県球 1 に向けお赀倖線を照射し、 図 3 Bに瀺したように、 2分割光怜出噚 2は、 県球 1からの反射光を怜出するようになっおいる。
ここで、 図 4を参照しお、 図 3に瀺した県球運動枬定噚の動䜜原 理に぀いお説明する。 図 4 Aは、 操䜜者の芖点が右方向に移動した ずきの県球 3の状態を瀺したものである。 県球䞭心郚 黒目 3 a は、 県球呚蟺郚 癜目 3 bに比べお光の反射率が小さいので、 図 4 Aに瀺した状態では、 受光郚 2 Aに戻っおく る光量は、 受光郚 2 Bに戻っおく る光量に比べお少なくなる。 図 4 Bは、 操䜜者の芖点 が巊方向に移動したずきの県球 3の状態を瀺したものである。 この 状態では、 受光郚 2 Bに戻っおく る光量は、 受光郚 2 Aに戻っおく る光量に比べ少なくなる。 埓っお、 受光郚 2 Aの出力ず受光郚 2 B の出力ずの差から、 県球 3の氎平方向の移動、 蚀い換えるず芖点の 氎平方向の移動を怜出するこずが可胜ずなる。
図 4 Cは、 操䜜者の芖点が䞊方向に移動したずきの県球 3の状態 を瀺したものである。 この状態では、 受光郚 2 A, 2 Bに戻っおく る各光は共に倚くなる。 図 4 Dは、 操䜜者の芖点が䞋方向に移動し たずきの県球 3の状態を瀺したものである。 この状態では、 受光郚 2 A, 2 Bに戻っおく る各光は共に少なくなる。 埓っお、 受光郚 2 Aの出力ず受光郚 2 Bの出力の和から、 県球 3の垂盎方向の移動、 蚀い換えるず芖点の垂盎方向の移動を怜出するこずが可胜ずなる。 このようにしお、 受光郚 2 A 2 Bの出力の差ず和から、 操䜜者 の芖点の䜍眮を怜出するこずが可胜ずなる。 以䞊が県球運動枬定噚 の動䜜原理であるが、 実際には、 操䜜者毎に県球 3での反射光量が 違うので、 操䜜者の頭の䜍眮を固定しお、 画面䞊の予め決められた 数点の䜍眮を泚芖しおもらい、 そのずきの受光郚 2 A 2 Bの出力 に基づいお、 芖点䜍眮の補正 以䞋、 芖点補正ず蚀う。  を行うこ ずになる。
ここで、 図 5を参照しお、 芖点補正の抂略に぀いお説明する。 こ こでは、 画面 5䞊を暪方向 X方向 に 64 0、 瞊方向  y方向 に 4 8 0に分割し、 画面 5の巊䞊を原点ずしお、 暪方向の䜍眮を m、 瞊方向の䜍眮を nで衚し、 画面䞊の任意の点の䜍眮を P (m n) で衚す。 芖点補正時には、 䟋えば以䞋の 9点、 すなわち、 P ( 1 0 1 0 ) 、 P ( 3 2 0 1 0 ) 、 P ( 6 3 0 1 0 ) 、 P ( 1 0 2 4 0 ) 、 P ( 3 2 0 24 0 ) 、 P ( 6 3 0 2 4 0 ) 、 P ( 1 0 , 470) 、 P ( 320 470) 、 P ( 63 0 4 70) に、 順次、 マヌカ 6を衚瀺し、 県球運動枬定噚が取り付けられた保持郚材 8を 装着した操䜜者 7に、 マヌカ 6によっお瀺される各点を泚芖しおも らい、 そのずきの受光郚 2 A 2 Bの出力に基づいお、 芖点補正が 行われる。
図 1は、 本実斜の圢態に係る画像圧瞮笊号化装眮の構成を瀺すブ ロック図である。 この画像圧瞮笊号化装眮は、 ビデオ信号 1 0を入 力し、 このビデオ信号 1 0を笊号化しお圧瞮する圧瞮郚 1 1ず、 こ の圧瞮郚 1 1の出力デ䞀倕を所定時間遅延する遅延噚 1 2ず、 この 遅延噚 1 2から出力デヌタが入力されお、 必芁に応じお、 芖点䜍眮 近傍領域以倖の領域に割り圓おられる笊号量が、 芖点䜍眮近傍領域 に割り 圓おられる笊号量よ り も少なくなるように、 領域に応じお笊 号量の割り圓おを倉えるこずによっお、 笊号量の削枛を行っお、 笊 号デ䞀倕 14を出力する笊号量削枛郚 13ずを備えおいる。 圧瞮郚 1 1は、 䟋えば、 MPE G (Moving Picture Experts Group) 芏栌 で採甚されおいるように、 空間的盞関を利甚した離散コサむン倉換 (以䞋、 D CTず蚘す。  凊理ず時間的盞関を利甚した双方向予枬 笊号化ずを甚いおビデオ信号の圧瞮凊理を行うようにな぀おいる。 この堎合、 圧瞮郚 1 1は、 所定の画玠ブロック単䜍で D C T凊理を 行い、 D C T凊理埌の係数を量子化し、 曎に、 量子化デヌタを可倉 長笊号化しお笊号デヌタを出力するようになっおいる。 なお、 可倉 長笊号化は笊号量削枛郚 1 3で行うようにし、 圧瞮郚 1 1は量子化 デヌタを出力するようにしおも良い。
画像圧瞮笊号化装眮は、 曎に、 操䜜者がシヌンの切り替わり目の ã‚¿ã‚€ ミ ング等を指瀺するためのチェンゞ甚スィ ッチ 1 6ず、 笊号量 削枛郚 1 3においお領域に応じお笊号量の割り圓おを倉えるこずを 䞭断する指瀺を䞎えるための䞭断甚スィ ッチ 1 7 ず、 芖点䜍眮近傍 領域のサむズを倉えるためのサむズ可倉甚レバ䞀 1 8 ずを備えおい る。
画像圧瞮笊号化装眮は、 曎に、 2分割光怜出噚 2の各受光郚 2 A , 2 Bの出力信号に基づいお操䜜者の芖点䜍眮を怜出する䜍眮怜出郚
2 0ず、 この䜍眮怜出郚 2 0から出力される䜍眮情報に基づいお、 芖点䜍眮近傍領域の䞭心䜍眮を決定する凊理を行う䜍眮凊理郚 2 1 ず、 サむズ可倉甚レバ䞀 1 8の出力信号を、 䜍眮凊理郚 2 1 におけ る凊理時間盞圓分だけ遅延する遅延噚 2 2 ず、 この遅延噚 2 2の出 力信号に基づいお、 芖点䜍眮近傍領域のサむズを決定する凊理を行 うサむズ凊理郚 2 3 ずを備えおいる。
画像圧瞮笊号化装眮は、 曎に、 䜍眮怜出郚 2 0からの䜍眮情報ず サむズ可倉甚レバヌ 1 8の出力信号から画面䞊のマヌカの䜍眮ず倧 きさを決め、 ビデオ信号 1 0にマヌカ衚瀺甚の信号を重畳しお、 モ 二倕甚出力ビデオ信号 2 5 ずしお出力するマヌカ挿入郚 2 4を備え おいる。
画像圧瞮笊号化装眮は、 曎に、 圧瞮郚 1 1の出力デ䞀倕を入力し、 珟圚の画面ず前画面ずの盞関を調べる盞関怜出郚 2 6 ず、 この盞関 怜出郚 2 6の出力デ䞀倕ずチェンゞ甚スむ ッチ 1 6の出力信号ず力 メラ切替に甚いる図瀺しないスィ ッチダからの切替信号 2 8ずを入 力し、 シヌンの切り替わり目の倕む ミングを決定する切替凊理郚 2 7ず、 画像圧瞮笊号化装眮党䜓を制埡するシステムコン 卜ロヌル郚
3 0 ずを備えおいる。
システムコン 卜ロヌル郚 3 0には、 圧瞮郚 1 1 䜍眮凊理郚 2 1 およびサむズ凊理郚 2 3および切替凊理郚 2 7の各出力デ䞀倕、 チ ェンゞ甚スィ ッチ 1 6および䞭断甚スィ ッチ 1 7の各出力信号が入 力され、 曎に、 図瀺しないスィ ッチ等を介しお入力される切替遞択 信号 3 1および芖点補正モ䞀ド信号 3 2、 図瀺しないむン倕プ䞀 スを介しお入力される芏定笊号量デヌタ 3 3が入力されるようにな ぀おいる。 たた、 システムコン トロヌル郚 3 0は、 笊号量削枛郚 1 3に察しお笊号量削枛制埡信号 3 5を出力するず共に、 マヌカ挿入 郚 2 4および切替凊理郚 2 7を制埡するようにな぀おいる。
䜍眮凊理郚 2 1には、 䞭断甚スィ ッチ 1 7の出力信号および切替 凊理郚 2 7の出力デヌタも入力されるようになっおいる。 たた、 サ ィズ凊理郚 2 3には、 䜍眮凊理郚 2 1および切替凊理郚 2 7の各出 カデ䞀倕も入力されるようになっおいる。
䜍眮凊理郚 2 1 , サむズ凊理郚 2 3 盞関怜出郚 2 6 , 切替凊理 郚 2 7およびシステムコン ト ロヌル郚 3 0は、 䟋えばマむクロコン ビュヌ倕によっお構成される。
図 2は、 図 1 における䜍眮怜出郚 2 0の詳现な構成を瀺すプロ、゜ ク図である。 この䜍眮怜出郚 2 0は、 2分割光怜出噚 2における受 光郚 2 A 2 Bの電流䞀電圧倉換された埌の信号の差信号を生成す る枛算噚 4 1 ず、 受光郚 2 A 2 Bの電流䞀電圧倉換された埌の信 号の和信号を生成する加算噚 4 2 ず、 枛算噚 4 1の出力信号を䟋え ば 8 ビッ 卜のディ ゞタル信号に倉換するアナログ䞀ディ ゞタル 以 䞋、 A / Dず蚘す。  倉換噚  1 ) 4 3 ず、 加算噚 4 2の出力信号 を䟋えば 8 ビヅ 卜のディゞ倕ル信号に倉換する A / D倉換噚  2 ) 4 4ず、 A / D倉換噚  1 ) 4 3の出力信号を A / D倉換噚  2 ) 4 4の出力信号によっお割算する割算噚 4 5 ずを備えおいる。 割算 噚 4 5の出力信号および A/ D倉換噚  2 ) 44の出力信号はシス テムコン 卜ロヌル郚 3 0に入力されるようになっおいる。 システム コン トロヌル郚 3 0は、 芖点補正時には、 割算噚 4 5の出力信号お よび A/D倉換噚  2 ) 4 4の出力信号ず、 システムコン トロヌル 郚 3 0が発生するマヌカ 6 (図 5 ) の䜍眮情報ずに基づいお、 マ䞀 力 6によっお瀺される各䜍眮における基準倀に倉換するための補正 倀を蚈算し、 この補正倀を、 割算噚 4 5および A/D倉換噚  2 ) 44の各出力倀に察応付けお出力するようになっおいる。
䜍眮怜出郚 2 0は、 曎に、 芖点補正時にシステムコン トロヌル郚 3 0より出力される割算噚 4 5の出力信号に察する補正倀を蚘憶し、 ビデオ信号 1 0の笊号化時に、 割算噚 4 5の出力信号に応じお補正 倀を出力する R AM (ランダム - アクセス · メモリ  1 ) 4 7ず、 芖点補正時にシステムコン トロヌル郚 3 0よ り出力される A/D倉 換噚  2 ) 44の出力信号に察する補正倀を蚘憶し、 ビデオ信号 1 0の笊号化時に、 A/D倉換噚  2 ) 44の出力信号に応じお補正 倀を出力する R AM ( 2 ) 4 8ず、 ビデオ信号 1 0の笊号化時に、 割算噚 4 5の出力信号に、 RAM ( 1 ) 4 7より出力される補正倀 を掛ける掛算噚  1 ) 4 9 ず、 ビデオ信号 1 0の笊号化時に、 A/ D倉換噚  2 ) 44の出力信号に、 RAM ( 2 ) 4 8より出力され る補正倀を掛ける掛算噚  2 ) 5 0ず、 掛算噚  1 ) 4 9の出力信 号を画面䞊の暪方向の䜍眮情報に倉換するための R OM (リヌド · オンリ ' メモリ  1 ) 5 1 ず、 掛算噚  2 ) 5 0の出力信号を画 面䞊の瞊方向の䜍眮情報に倉換するための R OM ( 2 ) 5 2ずを備 えおいる。 R OM 5 1 , 5 2の出力情報は、 システムコン トロヌル 郚 3 0に入力されるず共に、 図 1における䜍眮凊理郚 2 1に送られ るようになっおいる。
次に、 本実斜の圢態に係る画像圧瞮笊号化装眮の動䜜に぀いお説 明する。 たず、 芖点補正時の動䜜に぀いお説明する。 芖点補正の動 䜜を実行するか吊かは、 システムコン トロヌル郚 3 0に入力される 芖点補正モヌド信号 3 2によっお指瀺される。 芖点補正時には、 シ ステムコン トロヌル郚 3 0からマヌカ揷入郚 2 4に察しお、 マ䞀力 6の挿入を指瀺する制埡信号が送られ、 この制埡信号に応じお、 マ 䞀力揷入郚 2 4は、 マヌカ 6が画面䞊の予め芏定された䜍眮に挿入 されるように、 ビデオ信号 1 0にマ䞀力 6の衚瀺甚の信号を重畳し お、 モニタ甚出力ビデオ信号 2 5ずしお出力する。 操䜜者は、 画面 䞊のマヌカ 6に芖点が合぀たずきにチェンゞ甚スィ ッチ 1 6をオン にする。 システムコン トロヌル郚 3 0は、 チェンゞ甚スィ ッチ 1 6 がオンにされるず、 そのずきの割算噚 4 5および A / D倉換噚  2 ) 4 4の各出力信号ずマヌカ 6の䜍眮情報ずに基づいお補正倀を蚈算 し、 この補正倀を割算噚 4 5および A / D倉換噚  2 ) 4 4の各出 力倀に察応付けお、 R A M 4 7 , 4 8に蚘憶させる。 次に、 チェン ゞ甚スィ ッチ 1 6がオンにされるず、 システムコン 卜ロヌル郚 3 0 は、 制埡信号によっお、 マヌカ 6の䜍眮を順次切り替える。 以䞊の 操䜜を繰り返し、 順に、 図 5に瀺した 9箇所での枬定を終えるず、 補正倀が党お蚈算されたこずになる。
次に、 本実斜の圢態に係る画像圧瞮笊号化装眮におけるビデオ信 号の笊号化時の動䜜に぀いお説明する。 この動䜜は、 芖点補正モ䞀 ド信号 3 2によっお芖点補正の動䜜が指瀺されおいるずき以倖のず きに実行される。 たず、 図 6を参照しお、 ビデオ信号の笊号化時に おける操䜜者の操䜜に぀いお説明する。 ビデオ信号の笊号化時、 県 球運動枬定噚が取り付けられた保持郚材 8を装着した操䜜者 7は、 自分自身の芖点ず、 チェンゞ甚スィ ッチ 1 6 , 䞭断甚スむ ッチ 1 7 およびサむズ可倉甚レバヌ 1 8を操䜜する。 すなわち、 操䜜者 7は, 画面 5䞊に珟れるマ䞀力 6 1 を芋ながら芖点を倉えるず共に、 サむ ズ可倉甚レバヌ 1 8によっお、 笊号量を倚く割り圓おる領域である 芖点䜍眮近傍領域の倧きさ サむズ を指定する。 画面 5䞊には、 芖点䜍眮を瀺す芖点䜍眮甚マヌカ 6 1が衚瀺され、 その呚囲に、 芖 点䜍眮近傍領域の範囲を瀺す、 䟋えば矩圢の枠状の範囲指定甚マヌ 力 6 2が衚瀺される。 操䜜者 7が芖点を動かすず、 マ䞀力 6 1 , 6 2は、 共に芖点に远埓しお画面 5䞊を移動する。 たた、 操䜜者 7が サむズ可倉甚レバヌ 1 8を操䜜するず、 マヌカ 6 2の倧きさが倉化 する。 図 7 A〜図 7 Dに、 マヌカ 6 2の倧きさが異なる 4皮類の状 態に぀いお、 マ䞀力 6 1 , 6 2の衚瀺䟋を瀺す。 たた、 操䜜者 7は、 画面 5に衚瀺されおいる映像のシヌンが切り替わったずきには、 チ ェンゞ甚スィ ッチ 1 6をオンにするこずによっお、 シヌンの切り替 わりのタむ ミングを指瀺する。 曎に、 操䜜者 7は、 画面 5䞊に特に 重芁な郚分がない堎合等には、 䞭断甚スィ ツチ 1 7をオンにするこ ずによ り、 芖点䜍眮近傍領域に笊号量を倚く割り圓おるこずを䞭断 するこずができる。
ビデオ信号の笊号化時には、 2分割光怜出噚 2における受光郚 2 A 2 Bの電流䞀電圧倉換された埌の信号が、 図 2に瀺した䜍眮怜 出郚 2 0に順次入力される。 䜍眮怜出郚 2 0では、 枛算噚 4 1およ び加算噚 4 2によっお差信号および和信号が生成され、 この差信号 および和信号は、 それぞれ A / D倉換噚 4 3 4 4によっおデむ ã‚ž タル信号に倉換される。 たた、 割算噚 4 5によっお、 A / D倉換噚 ( 1 ) 4 3の出力信号は A/ D倉換噚  2 ) 44の出力信号によ぀ お割算される。 割算噚 4 5の出力信号は、 RAM ( 1 ) 4 7ず掛算 噚  1 ) 4 9に入力され、 A/D倉換噚  2 ) 44の出力信号は、 RAM ( 2 ) 4 8ず掛算噚  2 ) 5 0に入力される。 掛算噚  1 ) 4 9は、 割算噚 4 5の出力信号に、 RAM ( 1 ) 4 7より出力され る補正倀を掛けお補正し、 掛算噚  2 ) 5 0は、 A/D倉換噚  2 ) 4 4の出力信号に、 R AM ( 2 ) 4 8より出力される補正倀を掛け お補正する。 掛算噚 4 7 , 4 8の各出力信号は、 それそれ R OM 5 1 , 5 2によっお画面䞊の暪方向および瞊方向の䜍眮情報に倉換さ れ、 この䜍眮情報が䜍眮凊理郚 2 1 ずマヌカ挿入郚 2 4に送られる。 マヌカ揷入郚 2 4は、 䜍眮怜出郚 2 0からの䜍眮情報ずサむズ可 倉甚レバヌ 1 8の出力信号から画面䞊のマヌカ 6 1 , 6 2の䜍眮ず 倧きさを決め、 ビデオ信号 1 0にマヌカ衚瀺甚の信号を重畳しお、 モニタ甚出力ビデオ信号 2 5ずしお出力する。 このモニタ甚出力ビ デォ信号 2 5に基づいお、 モニタには、 ビデオ信号 1 0に基づく画 面䞊にマ䞀力 6 1 , 6 2が重畳されお衚瀺される。 䞀方、 䜍眮凊理 郚 2 1では、 埌で詳しく説明するように、 芖点䜍眮近傍領域の䞭心 䜍眮を決定する凊理が行われる。
たた、 サむズ可倉甚レバヌ 1 8の出力信号は、 遅延噚 2 2によ぀ お、 䜍眮凊理郚 2 1における凊理時間盞圓分だけ遅延されおサむズ 凊理郚 2 3に入力され、 このサむズ凊理郚 2 3では、 芖点䜍眮近傍 領域のサむズを決定する凊理が行われる。 なお、 サむズ凊理郚 2 3 では、 䜍眮凊理郚 2 1の出力デ䞀倕に基づいお、 芖点䜍眮が䞀定の ずきは、 サむズ倉動の高域分をカツ 卜するようにな぀おいる。 これ により、 手の埮小な動きによるサむズ倉動を抑制するこずができる。 笊号化されるビデオ信号 1 0は、 圧瞮郚 1 1によっお笊号化され お圧瞮され、 この圧瞮郚 1 1の出力デ䞀倕は、 遅延噚 1 2によっお、 䜍眮凊理郚 2 1およびサむズ凊理郚 2 3における凊理時間盞圓分だ け遅延されお笊号量削枛郚 1 3に入力される。
たた、 圧瞮郚 1 1の出力デ䞀倕は、 盞関怜出郚 2 6にも入力され、 この盞関怜出郚 2 6によっお、 珟圚の画面ず前画面ずの盞関が調べ られる。 ここでは、 盞関怜出郚 2 6は、 珟圚の画面ず前画面ずで、 圧瞮郚 1 1においお D C T倉換された係数のうちの䜎域分の差分を 取っお、 この差分が倧きい 䜎域分の倉化が倧きい ずきに盞関が 小さいず刀断する。 盞関怜出郚 2 6の出力デ䞀倕は切替凊理郚 2 7 に入力される。 切替凊理郚 2 7には、 この他に、 チェンゞ甚スィ ッ チ 1 6の出力信号ずスィ ッチダからの切替信号 2 8 ずが入力される。 切替凊理郚 2 7は、 システムコン トロヌル郚 3 0に入力されおいる 切替遞択信号 3 1が操䜜者のスィ ツチのモヌドになっおいるずきに は、 盞関怜出郚 2 6の出力デ䞀倕ずチェンゞ甚スィ ッチ 1 6の出力 信号ずに基づいお、 シヌンの切り替わり 目の倕む ミ ングを決定する。 具䜓的には、 切替凊理郚 2 7は、 チェンゞ甚スィ ッチ 1 6かオンに なった時刻を原点にずっお、 侀 1 . 0〜 0秒の間で、 前画面ず比べ お D C T係数のうちの䜎枛分の倉化が倧きい 盞関が小さい 画面 をシヌンの切り替わり 目の画面ずしお遞択する。 たた、 侀 1 . 0〜 0秒の区間での盞関の倉化が少ない堎合には、 侀 0 . 3 3秒をシ䞀 ンの切り替わり目ずする。
たた、 切替凊理郚 2 7は、 システムコン トロヌル郚 3 0に入力さ れおいる切替遞択信号 3 1がカメラモヌドになっおいるずきは、 力 メラ切替に甚いるスィ ッチダからの切替信号 2 8の入力のタむ ミ ン グをシヌンの切り替わり 目ずする。
シヌンの切り替わり 目を瀺す切替凊理郚 2 7の出力デ䞀倕である シヌン切替信号は、 システムコン トロヌル郚 3 0 , 䜍眮凊理郚 2 1 およびサむズ凊理郚 2 3に入力される。 䜍眮凊理郚 2 1は、 埌で詳 しく説明するように、 䜍眮怜出郚 2 0によっお芖点䜍眮が所定の䜍 眮関係の䞋で断続的に怜出されるずきには、 各芖点䜍眮の怜出時点 間で芖点䜍眮近傍領域が時間的に連続しお蚭定されるように内挿凊 理を行う。 この内挿凊理は、 シヌン単䜍で行われる。 曎に、 䜍眮凊 理郹 2 1は、 所定の条件䞋で、 䞀぀のシヌン内における最初の芖点 䜍眮の怜出時点ずシヌンの開始時ずの間で芖点䜍眮近傍領域が時間 的に連続しお蚭定されるように内挿凊理を行うず共に、 所定の条件 䞋で、 䞀぀のシヌン内における最埌の芖点䜍眮の怜出時点ずシヌン の終了時ずの間で芖点䜍眮近傍領域が時間的に連続しお蚭定される ように内挿凊理を行う。 サむズ凊理郚 2 3も、 䜍眮凊理郚 2 1 ず同 様の内挿凊理を行う。
システムコン トロヌル郚 3 0は、 圧瞮郚 1 1の出力デ䞀倕による 所定時間圓たりの笊号量ず、 芏定笊号量デヌタ 3 3によっお予め芏 定されおいる笊号量の芏定倀ずを比范し、 圧瞮郚 1 1の出力デ䞀倕 による所定時間圓たりの笊号量が芏定倀を越えた堎合にのみ、 笊号 量削枛郚 1 3に察しお笊号量削枛制埡信号 3 5を出力しお、 笊号量 削枛郚 1 3から出力される所定時間圓たりの笊号量が芏定倀を越え ないように、 笊号量削枛郚 1 3に察しお笊号量の削枛を行わせる。 このずき、 システムコン トロヌル郚 3 0は、 䜍眮凊理郚 2 1の出力 デ䞀倕ずサむズ凊理郚 2 3の出力デ䞀倕ずに基づいお芖点䜍眮近傍 領域を蚭定し、 この芖点䜍眮近傍領域以倖の領域に割り圓おられる 笊号量が、 芖点䜍眮近傍領域に割り圓おられる笊号量より も少なく なるように、 領域に応じお笊号量の割り圓おを倉える。 笊号量の削 枛は、 D C T凊理埌の係数のうちの高域偎から順に、 その係数に割 り圓おられるビッ ト数を順次枛らしおいく こずによっお行う。 ただ し、 芖点䜍眮近傍領域の境界郚が目立぀こずを避けるため、 笊号量 の削枛は、 芖点䜍眮近傍領域から倖偎に向かっお段階的に行う。 䟋 えば、 芖点䜍眮近傍領域から倖偎に向かっお、 D C T凊理を行う画 玠ブロック毎に、 順次 1 ビッ トず぀割り圓おビッ ト数を枛少させる。 このように、 必芁に応じお笊号量の削枛が行われお笊号量削枛郚 1 3より出力される笊号デヌタ 1 4が、 画像圧瞮笊号化装 ϋの出力デ —倕ずしお倖郚に出力される。 この出力デヌタは、 䟋えば通信網ぞ 送信されたり、 蚘録媒䜓に蚘録されたりする。
以䞋、 図 8ないし図 1 9の流れ図を参照しお、 䜍眮凊理郚 2 1に おける䜍眮凊理に぀いお詳しく説明する。 この䜍眮凊理は䞀定の単 䜍時間 t毎に行うこずずする。 単䜍時間 tは、 䟋えば 5 0 0 m s ( 1 / 2秒 ずする。 䜍眮凊理の凊理内容は、 倧きく分けお、 芖点 が固定されおいる堎合に芖点䜍眮を特定するためのポィ ン ト凊理、 芖点が移動しおいる堎合に芖点䜍眮の移動べク トルを求めるべク 卜 ル凊理、 芖点䜍眮近傍領域に笊号量を倚く割り圓おるこずを䞭断す る䞭断凊理の 3皮類からなる。 以䞋、 ポむ ン ト凊理によっお決定さ れる芖点䜍眮をポィ ン ト P ( i p ( i ) ) で衚し、 べク トル凊理 によっお決定されるベク トルを V ( i V ( i ) ) で衚し、 䞭断凊 理の状況を N ( i , n ( i ) ) で衚す。 なお、 iは、 シヌンが倉わ ぀おからの時間を衚し、 i番目の時間は、 シヌンが倉わっおから i / 2〜  i + 1 ) / 2秒の間の凊理を意味する。 p ( i ) 、 V ( i ) 、 n ( i ) は、 それぞれ同䞀単䜍時間 t内で、 いく぀目の凊理に圓た るかを瀺す。 芖点移動時には、 埌述するように内挿凊理が行なわれ るので、 同䞀単䜍時間 t内で耇数のポむン ト凊理、 ベク トル凊理が 行なわれる。 p ( i ) = 0、 V ( i ) = 0のずきは、 内挿凊理を行 ぀おいない実際の芖点䜍眮を衚し、 p ( i ) ≠ 0 v ( i ) ≠ 0の ずきは、 内挿凊理によるものであるこずを衚す。 たた、 䞭断凊理は 内挿凊理を斜しおも、 同䞀単䜍時間 t内では䞭断凊理が行なわれる か行なわれないかのどちらかである。 しかし、 埌述するように䞭断 甚スィ ツチ 1 7のオンのタむ ミ ングで、 䞭断凊理を行うか行わない かが分かれるため、 䞭断凊理を行わないずきおよび䞭断甚スィ ッチ 1 7が抌されおいるずき オンになっおいるずき を n ( i ) = 1 で衚し、 䞭断凊理を行なうずきを n ( i ) = 0で衚す。
図 8に瀺したように、 䜍眮凊理では、 たず、 p ( i ) 、 V ( i ) 、 n ( i ) を党おク リアし  0ずし ステップ S 1 0 1 ) 、 同様に iをク リアする 0ずする ステップ S 1 02) 。 次に、 i + 1 を新たに iずし ステップ S 1 03) 、 シヌンの切り替わりか吊か を刀断する ステップ S 1 04) 。 シヌンの切り替わり情報は切替 凊理郚 27から埗おいる。 シヌンが切り替わった堎合  Y) には、 埌述するェン ド凊理 図 1 5〜図 1 9) に移る。 シヌンが切り替わ ぀おいない堎合 N) には、 䞭断甚スィ ッチ 1 7の状態を確認する (ステップ S 1 0 5) 。 䞭断甚スィ ッチ 1 7が抌されおいる オン になっおいる 堎合には、 埌述する䞭断甚スィ ツチ凊理 図 1 4 ) に移る。 䞭断甚スィ ッチ 1 7が抌されおいない オフになっおいる 堎合には、 芖点移動距離が小さいか倧きいかを刀断する ステップ S 106) 。 ここでは、 単䜍時間 t内における芖点移動距離を求め、 この芖点移動距離が画面䞊の画玠で 2 0 x 2 0以内の堎合には芖点 移動距離が小さいず刀断し、 それ以倖の堎合には芖点移動距離が倧 きいず刀断するものずする。 芖点移動距離か小さい堎合には、 芖点 は固定されおいるものずしお、 埌述するポむ ン ト凊理 図 9 ) に移 る。 芖点移動距離が倧きい堎合には、 芖点の移動速床が高速か䜎速 かを刀断する ステップ S 1 0 7 ) 。 ここでは、 芖点の移動速床を フレヌム  1 / 3 0秒 間の移動距離に基づいお刀断し、 単䜍時間 t内においお、 フレヌム間で 1 0 0画玠以䞊、 瞊方向たたは暪方向 に移動したずきがある堎合には、 芖点の移動速床が高速であるず刀 断し、 それ以倖の堎合には芖点の移動速床か䜎速であるず刀断する ものずする。 芖点の移動速床が高速の堎合には、 芖点移動䞭ず芋な しお、 単䜍時間 t内における凊理を行わず、 ステップ S 1 0 3に戻 ぀お iを曎新する。 なお、 フレヌム間で 1 0 0画玠以䞊、 瞊方向た たは暪方向に移動するような高速の移動物は、 画面䞊では人間の目 が぀いお行けないので、 芖点䜍眮近傍領域に笊号量を倚く割り圓お る凊理を行う必芁性はない。 芖点の移動速床が䜎速の堎合には、 埌 述するべク トル凊理 図 1 1 図 1 2 ) に移る。
図 9に瀺したポむ ン ト凊理では、 たず、 単䜍時間 t内の芖点䜍眮 の平均 芖点平均䜍眮 を求め、 これを単䜍時間 t内における凊理 によっお決定されるポむ ン ト P ( i , p ( i ) ) = ( m i 0 , n i o ) ずする ステップ S 2 0 1 ) 。 なお、 芖点平均䜍眮は、 䟋えば、 フ レヌム毎の芖点䜍眮を平均しお求める。 たた、 m i 0は画面䞊の暪方 向の䜍眮、 n i。は画面䞊の瞊方向の䜍眮ずする。 次に、 内挿凊理を 行うか吊かを刀断する。 連続しお同じ点の近傍を芋おいるずきは、 内挿凊理は䞍芁なので、 ここでは、 䞀぀前の単䜍時間 tにおける凊 理によっお決定されたポむン 卜ずの距離に基づいお、 内挿凊理を行 うか吊かを刀断する。 ボむン 卜間の距離は、 暪方向 瞊方向それぞ れの䜍眮の差の 2乗を加算した倀 PD (x , y ) を甚いる。 なお、 x yは、 各ポむン ト決定時の iを衚しおいる。 PD (X , y ) は、 以䞋の匏で衚される。
P D ( , y ) = ( m 0— m y 0 ) ' + nx。— ny。) 2
具䜓的には、 たず、 倉数 j = 1ずし ステップ S 202 ) 、 次に、
P D ( i i侀 j ) が、 䞀定距離 P D ref よ り小さいか吊かを刀断 する ステップ S 203 ) 。 ここで、 PDref は 1 800ずする。 P D ( i i - j ) が P Dref より小さい堎合  Y) には、 連続し お同じ点の近傍を芋おいるず芋なしお、 内挿凊理を行わず、 ステツ プ S 1 03 (図 8) に戻っお、 次の単䜍時間 tにおける凊理に移る ため iを曎新する。 䞀方、 PD ( i , i - j ) が PDref 以䞊の堎 合 N) には、 珟凊理時のポむン ト近傍に以前に芋おいた堎所があ るか吊かを刀断する。 これは、 䞀定時間 TDraax (ここでは、 5秒 ずする。  内に、 以前のポむ ン ト凊理によっお決定されたポむン ト たたは以前のべク トル凊理によっお決定されたべク トルの終点䜍眮 があるか吊かを刀断しお行う。 なお、 ベク トル凊理では、 ベク トル V ( i , V ( i ) ) を始点ず終点で衚し、 内挿凊理ではない V ( i ) = 0のずき、 ベク トル V ( i , V ( i ) ) は次匏で衚される。 なお、 始点の䜍眮を rn s io, n s io) 、 終点の䜍眮を m e , n e i 0) ずする。
V i , v { i ) ) = m s i。 n s i。 m e i。 n e i o ) 珟凊理時のポィン 卜近傍に以前に芋おいた堎所があるか吊かの刀 断は、 具䜓的には、 以䞋のようにしお行う。 すなわち、 たず、 j + 1を新たに jず し ステップ S 2 04 ) 、 t i— t i぀が T D maxを越 えるかたたは i = jか、 それ以倖かを刀断する ステップ S 2 05 ) 。 それ以倖である堎合、 すなわち t t i — jが T Draax以内であり、 侔 ぀ i = jではない堎合 N) は、 P D ( i , i— j ) が䞀定距離 P D re f よりも小さいかたたは珟凊理時のポィ ン 卜ず以前のべク トル凊 理によっお決定されたベク トルの終点ずの距離 VE D ( i , i - j ) が䞀定距離 P D re f よ りも小さいか、 それ以倖かを刀断する ステツ ブ S 2 0 6) 。 なお、 VED ( X , y ) は、 以䞋の匏で衚される。
VED ( , y ) = tmx。— mey。) 24- (nx。— ney。) 2 P D ( i , i - j ) が PDrefよりも小さいかたたは VED ( i , i— j ) が P D re f よ りも小さい堎合 ステップ S 2 06  Y ) は、 ポむン 卜の内挿凊理 図 1 0 ) を行う。 PD ( i i - j ) が PD r e f よ りも小さいかたたは V E D ( i , i— j ) が P D r "よりも小 さい堎合以倖の堎合 ステップ S 206  N) は、 N ( i— j , 0 ) があるか吊かを刀断する ステップ S 207 ) 。 N ( i - j 3 0) があれば Y) 、 䞭断凊理がなされおいるこずになるので、 それ以 前の郚分ずは切り離される。 すなわち、 内挿凊理を行わず、 ステツ プ S 1 03 (図 8 ) に戻っお、 次の単䜍時間 tにおける凊理に移る ため iを曎新する。 N ( i - i , 0 ) がなければ N) 、 ステツプ S 204に戻る。
このように、 珟凊理時のポィン 卜近傍に以前に芋おいた堎所があ る堎合には、 内挿凊理が行われ、 珟凊理時のポむン ト近傍には、 時 間的に連続しお芖点䜍眮近傍領域が蚭定され、 必芁に応じお、 芖点 䜍眮近傍領域に笊号量を倚く割り圓おる凊理が行われるこずになる。 これにより、 䟋えば、 操䜜者が画面内の耇数の堎所を順次、 芖点を 倉えお繰り返し泚芖した堎合に、 泚芖した耇数の堎所の近傍にそれ ぞれ、 時間的に連続しお芖点䜍眮近傍領域が蚭定されるこずになる。 䞀定時間 T D max内たたはシヌンの開始時たでの間に、 珟凊理時の ポむン 卜近傍に以前に芋おいた堎所が芋぀からなかった堎合 ステ ップ S 205  Y) には、 シヌンが切り替わ぀おからの時間 iが芏 定時間 T S以内か吊かを刀断する ステップ S 208) 。 シヌンが 切り替わ぀おからの時間 iが芏定時間 T Sを越えおいる堎合 N) は、 内挿凊理を行わず、 ステップ S 103 (図 8) に戻っお、 次の 単䜍時間 tにおける凊理に移るため iを曎新する。 シヌンが切り替 わっおからの時間 iが芏定時間 T S以内の堎合 ステップ S 208  Y) は、 凊理甚に、 i二 1におけるポむン ト P ( 1 , ( 1 ) ) の䜍眮を、 珟凊理時におけるポむン トの䜍眮 m , mo) ず同じ にしお ステップ S 2 09) 、 ポむン トの内揷凊理 図 1 0 ) ぞ移 り、 シヌンの開始時から珟凊理時たでの間、 ポむン トの内挿凊理を 行う。
図 1 0は、 ポむン トの内挿凊理を瀺したものである。 このポむン 卜の内挿凊理では、 たず、 倉数 k = 0ずし ステップ S 30 1 ) 、 次に、 k + 1を新たに kずし ステップ S 302 ) 、 次に、 k = j か吊かを刀断する ステップ S 303 ) 。 k二 jではない堎合 N) には、 p ( i - k) + 1を新たに p ( i - k) ずする ステップ S 304 ) 。 すなわち、 凊理回数を 1むンク リメン トする。 次に、 i 侀 j = 0か吊かを刀断する ステップ S 305) 。 i— j = 0の堎 合 Y) は、 シヌンの開始時から珟凊理時たでの間、 珟凊理時にお けるポむン トを埋めおいく。 すなわち、 ポむ ン トの内挿倀 P ( i - k p ( i— k) ) を、 珟凊理時におけるポィ ン トの䜍眮 mi0 n i0) を同じにしお、 この内挿倀を加え ステップ S 30 6 ) 、 ス テツプ S 302に戻る。 i— j= 0ではない堎合 ステップ S 30 5  N) は、 P ( i , 0) および P ( i - j , 0) があるか吊かを 刀断する ステップ S 30 7 ) 。 P ( i , 0) および P ( i - j , 0 ) がある堎合  Î¥ ) 、 すなわち珟凊理時におけるボむン トず以前 ( i侀 j ) の凊理時におけるボむン 卜ずの間で内挿凊理を行う堎合 は、 2぀のポむ ン トは非垞に近い䜍眮関係にあるので、 ポむ ン トの 内挿倀 P ( i— k p ( i - k ) ) を、 2点間の䞭心倀  ml0 + m (1— 。 / 2 , ( η χ ο + n (, , 。 / 2 ) ずしお、 この内揷倀を 加え ステップ S 308) 、 ステップ S 302に戻る。 Ρ ( i , 0) および P ( i - j , 0 ) がある堎合以倖の堎合 ステップ S 30 7  N) は、 P ( i 0 ) および V ( i— j , 0 ) があるか吊かを刀 断する ステップ S 309) 。 P ( i , 0) および V ( i— j 0) がある堎合  Y) 、 すなわち珟凊理時におけるボむン 卜ず以前  i ― j ) の凊理時におけるべク トルの終点ずの間で内挿凊理を行う堎 合は、 2点は非垞に近い䜍眮関係にあるので、 ポむ ン トの内挿倀 P ( i - k , p ( i - k )) を、 2点間の䞭心倀  mi。十 m e "― n 0 ) / 2 , (ni() + ne (い」。 / 2) ずしお、 この内挿倀を加え ス テツブ S 3 1 0) 、 ステップ S 302に戻る。 P ( i , 0) および V ( i— j 0 ) がある堎合以倖の堎合 ステップ S 309 ; N) は、 珟凊理時におけるべク トルの始点ず以前  i— j ) の凊理時に おけるポむ ン ト ずの間での内挿凊理ずなる。 この堎合も、 2点は非 垞に近い䜍眮関係にあるので、 ポむ ン トの内挿倀 P ( i - k, p ( i - k ) ) を、 2点間の䞭心倀  m s i。 + m "—」。 /2, ( n s i o + n t i - j) o) / 2 ) ずしお、 この内挿倀を加え ステップ S 3 1 1 ) 、 ステップ S 30 2に戻る。 k = jずなったら ステツ プ S 303 ; Y) 、 ポむン 卜の内挿凊理を終了し、 ステップ S 1 0 3 (図 8 ) に戻る。
図 1 1および図 1 2は、 べク トル凊理を瀺したものである。 たず、 単䜍時間 t内の芖点䜍眮べク トルの平均 平均芖点移動べク トル を求め、 これを単䜍時問 t内における凊理によっお決定されるべク トル V ( i , V ( i ) ) ずする ステップ S 40 1 ) 。 平均芖点移 動ベク トルは、 䟋えば、 単䜍時間 t内における各フ レヌム間での芖 点移動のべク トルの平均を求め、 この平均のべク トルを、 この平均 のべク トルの䞭心を基準にしお 1 5倍するこずによっお求められる。 次に、 ポむ ン ト凊理の堎合ず同様に、 内揷凊理を行うか吊かを刀断 する。 すなわち、 芖点が、 同じものを远っお連続的に移動しおいる ずきには、 内挿凊理は䞍芁なので、 ここでは、 珟凊理時におけるべ ク トルの始点ず䞀぀前の凊理によっお決定されたべク トルの終点ず の距離に基づいお、 内挿凊理を行うか吊かを刀断する。 珟凊理時に おけるべク トルの始点ず䞀぀前の凊理によっお決定されたべク トル の終点ずの距離は、 暪方向 瞊方向それぞれの䜍眮の差の 2乗を加 算した倀 VD ( x , y ) を甚いる。 なお、 x yは、 各べク トル決 定時の iを衚しおいる。 VD ( X , y ) は、 以䞋の匏で衚される。
V ύ X y ) = ( m s x o— m e y o ) 2 + ( n s x。— n e y。) 2 具䜓的には、 たず、 倉数 j = 1ずし ステップ S 402 ) 、 次に、 VD ( i i侀 j ) が、 䞀定距離 VDr"よ り小さいか吊かを刀断す る ステップ S 403 ) 。 ここで、 VDrefは、 PDrefず同様に、
1 800ずする。 VD ( i , i— j ) が VDrBfより小さい堎合  Y) には、 ベク トルが連続しおいるず芋なしお、 内挿凊理を行わず、 ス テツプ S I 03 (図 8 ) に戻っお、 次の単䜍時間 tにおける凊理に 移るため iを曎新する。 䞀方、 VD ( i i - j ) が VDref 以䞊 の堎合  N) には、 j + 1を新たに jずし ステップ S 404 ) 、 t i — t t—』が T Dmax を越えるかたたは i = jか、 それ以倖かを刀 断する ステップ S 405 ) 。 それ以倖である堎合、 すなわち t i - t i぀が T D ma x以内であり、 䞔぀ i二 jではない堎合 N) は、 珟 凊理時のぺク トルず、 以前のべク トル凊理によっお決定されたべク トルたたは以前のポむ ン ト凊理によっお決定されたポむン トずの連 続性を刀断する。
具䜓的には、 たず、 図 1 2に瀺したように、 V ( i - j , 0 ) が あるか吊かを刀断する ステップ S 407 ) 。 V ( i— j , 0) が ある堎合 Y) は、 珟凊理時のべク トルず以前のべク トル凊理によ ぀お決定されたべク トルずの連続性を刀断する。 べク トル凊理の堎 合は、 以前のべク トルから予枬した珟凊理時のべク トルの始点ず珟 凊理時の実際のベク トルの始点ずの差、 たたは、 珟凊理時のべク ト ルから予枬した以前のべク トルの始点ず以前の実際のぺク トルの始 点ずの差によっおベク トルの連続性を刀断する。 ここでは、 珟凊理 時のべク トルから予枬した以前のべク トルの始点ず以前の実際のベ ク トルの始点ずの差によっおべク トルの連続性を刀断するこずずす る。 この堎合、 珟凊理時のベク トルから予枬した以前のベク トルの 始点 以䞋、 ぺク 卜ル始点予枬倀ず蚀う。  mc n c i.iは、 珟 凊理時のべク トルを、 そのたた時間差分戻すこずによっお求めるこ ずができ、 以䞋の匏で衚される。
m c xy = m s xo— ( X - y ) x (mex。— msx。)
n c x y = n s - ( x - y ) x 、nex。䞀 nsx。) このべク 卜ル始点予枬倀 m C xy Π C ず以前の実際のべク トル の始点ずの距離を衚す V CD (x y) は、 以䞋の匏で衚される。
V C D ( X , y ) = (mcxy— msy。) 2+ (n cxy— n sy。) 2 埓っお、 V ( i— j , 0) がある堎合 ステップ S 40 7  Y) は、 V C D ( i , i - j ) が P D refよ りも小さいか吊かを刀断する (ステップ S 408) 。 VCD ( i , i - j ) が PDref よりも小さ い堎合  Y) は、 べク トルの内挿凊理 図 1 3 ) を行う。 V ( i— j , 0 ) がない堎合 ステップ S 407  N) たたは VCD ( i , i侀 j ) が P D r"以䞊の堎合 ステップ S 408  N) は、 P ( i — j 0) があるか吊かを刀断する ステップ S 409) 。 P ( i — j 0 ) がある堎合  Y) は、 珟凊理時のべク トルず以前のボむ ン ト凊理によっお决定されたポむ ン トずの連続性を刀断する。
ここで、 珟凊理時のべク トルの始点ず以前のポィ ン トずの距離 V S D ( , y ) ず、 ベク トル始点予枬倀 m c xy, n cxyず以前のポ むン 卜 ずの距離を衚す V S C D ( X , y ) を、 以䞋の匏のように定 我— 9 る。
V S D ( X , y ) = (msx。䞀 m ; 2 + (nsx。— ny。) 2
V S C D ( x , y ) 二 (mcxy— my。) 2+ ( n c x y - n y o ) 2 P ( i - j , 0) がある堎合 ステップ S 409  Y) は、 たず、
V S D ( i , i - j ) が P D refよ りも小さいか吊かを刀断する ス テヅプ S 4 1 0 ) 。 VSD ( i , i - j ) が PDref よりも小さい堎 合  Y) は、 ポむ ン トの内挿凊理 図 1 0 ) を行う。 VSD ( i i侀 j ) が P D ref以䞊の堎合 N) は、 V S CD ( i, i— j ) か PDrefよりも小さいか吊かを刀断する ステップ S 4 I 1 ) 。 VS CD ( i i - j ) が PDrerよりも小さい堎合 Y) は、 ベク トル の内挿凊理 図 1 3 ) を行う。
P ( i - j , 0 ) がない堎合 ステップ S 409  N) たたは V S CD ( i , i - j ) が PDr "以䞊の堎合 ステップ S 4 1 1  N) は、 N ( i— j 0 ) があるか吊かを刀断する ステップ S 412 ) 。 N ( i -j , 0 ) があれば  Y) 、 䞭断凊理がなされおいるこずにな るので、 それ以前の郚分ずは切り離される。 すなわち、 内挿凊理を 行わず、 ステップ S 1 03 (図 8 ) に戻っお、 次の単䜍時間 tにお ける凊理に移るため iを曎新する。 N ( i— j 0 ) がなければ ( N ) 、 ステップ S 404 (図 1 1 ) に戻る。
このように、 珟凊理時のベク トルず、 以前のベク トル凊理によ぀ お决定されたべク トルたたは以前のポむ ン ト凊理によっお決定され たポむ ン トずの問に連続性がある堎合には、 内挿凊理が行われお時 間的に連続しお芖点䜍眮近傍領域が蚭定されるこずになる。 これに より、 䟋えば、 操䜜者が画面内で移動する察象ず他の察象 停止し たものでも移動するものでも良い。  ずを亀互に泚芖した堎合に、 泚芖した耇数の察象に察しおそれぞれ、 時間的に連続しお芖点䜍眮 近傍領域が蚭定されるこずになる。
ポむン ト凊理ず同様に、 内挿凊理が行なわれない堎合 ステップ S 405  Y) には、 シヌンが切り替わ぀おからの時間 iが芏定時 間 T S以内か吊かを刀断する 図 1 1ステップ S 406) 。 シヌン が切り替わ぀おからの時間 iが芏定時間 T Sを越えおいる堎合 N) は、 内挿凊理を行わず、 ステップ S 1 03 (図 8) に戻っお、 次の 単䜍時間 tにおける凊理に移るため iを曎新する。 シヌンが切り替 わっおからの時間 iが芏定時間 T S以内の堎合 ステップ S 406  Y) は、 べク トルの内挿凊理 図 1 3 ) ぞ移り、 シヌンの開始時 から珟凊理時たでの間、 ベク トルの内挿凊理を行う。
図 1 3は、 べク トルの内挿凊理を瀺したものである。 このべク ト ルの内挿凊理では、 たず、 倉数 k= 0ずし ステップ S 5 0 1 ) 、 次に、 k + 1を新たに kずし ステップ S 5 0 2 ) 、 次に、 k = j か吊かを刀断する ステップ S 5 0 3 ) 。 k = jではない堎合 N) には、 V ( i - k ) + 1を新たに v ( i - k ) ずする ステップ S
5 04 ) 。 すなわち、 凊理回数を 1むンク リメン トする。 次に、 i 侀 j = 0か、 吊かを刀断する ステップ S 5 0 5 ) 。 i侀  i = 0の 堎合 Y) は、 シヌンの開始時から珟凊理時たでの間、 べク トルの 内挿倀を加えお珟凊理時における芖点に至るぺク トルを埋めおいき
(ステップ S 5 0 6 ) 、 ステップ S 5 0 2に戻る。 ベク トルの内挿 倀は、 珟凊理時のベク トルを延長したものになる。 よっお、 時間的 に遡るに埓っお、 順番に、 あるベク トルの始点を䞀぀前のベク トル の終点に眮き換えお䞀぀前のべク トルの終点を䜜成するず共に、 䜜 成した終点から珟凊理時のベク トルの終点ず始点ずの差分だけ遡぀ お、 䞀぀前のべク トルの始点を䜜成しおいく ようにすれば良い。 ベ ク トルの内挿倀 V ( i— k v ( i - k) ) は、 具䜓的には、 以䞋 の匏で衚される。
V ( i - k, v( i - k ))
二 ( m s 0 i - k n s 0 i _k m e 0 i k m e 0 i—
ただし、
m s 0 i ic = m s i- k+ 1 v (i -k+ n― ( m s i o— m e i o)
n s 0 i k= n s卜 〗 v (i - い䞀 ( n s i o - n e i o)
me 0 i-k = ms i-k+i v <i -k + n
n Θ 0 - k = n s i - k + 1 v ( t - k + 1 ) である。
i - j = 0ではない堎合 ステップ S 505  N) は、 V ( i - j 0 ) があるか吊かを刀断する ステップ S 507 ) 。 V ( 1— j 0 ) がある堎合  Y) 、 すなわち珟凊理時のべク トルず以前 ( i - j ) の凊理時のべク トルずの問で内挿凊理を行う堎合は、 珟 凊理時のベク トルの始点ず、 以前のベク トルの終点ずを結び、 その 間をかかった単䜍時間毎に分けお、 各ベク トルの内挿倀を求め、 こ のベク トルの内挿倀を加えお ステップ S 5 08) 、 ステップ S 5 02に戻る。 べク トルの内挿倀 V ( i - k , v ( i侀 k) ) は、 具 䜓的には、 以䞋の匏で衚される。
V ( i - k , v ( i - k ) )
= (, m s v i - n s v me v i -k , n e V i- ただし、
m s v i - k
Figure imgf000034_0001
m e v i - k = m s i
n e v i-k= n s i-k+: ( i - k + 1 >
である。
V— ( i— j 0 ) がない堎合 ステップ S 507 ; N) は、 す なわち珟凊理時のぺク トルず以前  i— j ) の凊理時のボむン 卜ず の間で内挿凊理を行う堎合は、 珟凊理時のベク トルの始点ず、 以前 のポむ ン トずを結び、 その間をかかった単䜍時間毎に分けお、 各べ ク トルの内挿倀を求め、 このベク トルの内挿倀を加えお ステップ S 509 ) 、 ステップ S 50 2に戻る。 べク 卜ルの内挿倀 V ( i k V ( i - k ) ) は、 具䜓的には、 以䞋の匏で衚される。
V ( i -k, v ( i侀 k) )
= ( m s p i-k, n s p i -k , m e p x - k , n e p ただし、
m s p i - k
= m s i - k + 1 v (i · k + 1 (ms i。䞀mi j。) / ( j — l ) n s p i - k
= n s i - k + 1 v ( i - k (■ l )― ( n s i。— ri i 。) Z ^ j — 1 ) me p i-k = ms i-k+i v " 1 )
n e i-k = n s i-k v ( i - k + 1 )
である。
k=こ ずなったら ステップ S 503 ; Y) 、 ぺク トルの内挿凊 理を終了し、 ステップ S 103 (図 8) に戻る。
図 14は、 䞭断甚スィ ッチ凊理を瀺したものである。 この䞭断甚 スィ ッチ凊理では、 䞭断凊理の内挿凊理を行う。 この内挿凊理は、 䞭断甚スィ ツチ 1 7のオン状態がシヌン切替時から続いおいるずき に、 シヌン切替埌䞀定時間以内にオフにされた堎合に、 シヌン切替 埌はオフ状態ず芋なす凊理ず、 䞭断甚スィ ッチ 1 7のオフ状態がシ ヌン切替時から続いおいるずきに、 シヌン切替埌䞀定時間以内にォ ンにされた堎合に、 シヌン切替時からオン状態ず芋なす凊理の 2çš® 類である。 䞭断甚スむ ッチ凊理では、 たず、 シヌンが切り替わっお からの時間 iず芏定時間 T Sずを比范する ステップ S 60 1 ) 。 iが芏定時間 T Sより小さいずきは、 n ( i ) = 1、 すなわち N ( i 1 ) ずしお ステップ S 602) 、 ステップ S 1 0 6 (図 8) に戻る。 なお、 䞭断甚スィ ッチ 1 7が抌されおおらず、 䞔぀内揷凊 理されないずきは、 n ( i ) = 1のたたで、 䞭断凊理は行われない。 ステップ S 602の凊理によ り、 䞭断甚スィ ッチ 1 7のオン状態が シヌン切替時から続いおいるずきに、 シヌン切替埌芏定時間 T S以 内にオフにされた堎合には、 シヌン切替埌はオフ状態ず芋なされ、 シヌン切替埌から䞭断凊理は行われない。
ステップ S 6◩ 1においお、 iが芏定時間 T Sず等しいずきは、 n ( i ) = 0、 すなわち N ( i 0) ずし ステップ S 6 03) 、 䞭断凊理を行うようにしお、 内挿凊理に移る。 この内揷凊理では、 たず、 前回の凊理時における䞭断凊理の状況を確認し、 n ( i— 1 ) = 0、 すなわち N ( i - 1 , 0) があるか吊かを刀断する ステツ ブ S 604 ) 。 N ( i— 1 0 ) がある堎合  Y) には、 そのたた 䞭断凊理を続行するようにしおステップ S 1 06 (図 8 ) に戻る。 N ( i侀 1 , 0 ) がない堎合 N) には、 たず、 j = 0ず し ステ ップ S 605 ) 、 次に、 j + 1を新たに jずし ステツプ S 606 ) 、 N ( i - j , 1 ) があるか吊かを刀断する ステップ S 6 07 ) 。 N ( i— j 1 ) がある堎合  Y) には、 N ( i— j 0 ) に倉曎、 すなわち䞭断凊理を内挿する ステップ S 608 ) 。 次に、 i = j か吊かを刀断し ステップ S 609 ) 、 i = jおなければ N) 、 ステップ S 606に戻る。 N ( i— j , 1 ) がない堎合 ステップ S 60 7  N) および i = jの堎合 ステップ S 609  Y) は、 ステップ S 10 6 (図 8) に戻る。 このような凊理により、 䞭断甚 スィ ッチ 1 7のオフ状態がシヌン切替時から続いおいるずきに、 シ ヌン切替埌芏定時間 T S以内にオンにされた堎合には、 シヌン切替 時からオン状態ず芋なされ、 シヌン切替時から䞭断凊理が行われる。 ステップ S 60 1においお、 iが芏定時間 T Sより倧きいずきは、 N ( i , 0) ずし スナップ S 6 1 0) 、 䞭断凊理を行うようにし お、 ステップ S 106 (図 8) に戻る。
図 1 5ないし図 1 9は、 ゚ン ド凊理を瀺したものである。 このェ ン ド凊理では、 シヌンの切り替わり 目を瀺す切替凊理郚 27からの シヌン切替信号が入力されるず、 シヌンの終了時から所定のェン ド 凊理時間 T E前たでに、 内挿凊理によっお内挿されたボむ ン トたた はべク トルがある堎合には、 シヌンの切り替わり目たで内挿凊理が 行われる。 ここでは、 ゚ン ド凊理時間 T Eを 5秒ずする。
この゚ン ド凊理では、 たず、 j二 0ずし ステップ S 70 1 ) 、 次に、 j + 1を新たに jずし ステップ S 702 ) 、 次に、 i侀 j が TEより も倧きいか吊かを刀断する ステップ S 703 ) 。 i侀 jが TEよ りも倧きくない堎合 N) は、 N ( i— j 0 ) がある か吊かを刀断する ステップ S 704) 。 N ( i— 1 0) がない 堎合 N) には、 ステップ S 702に戻る。 N ( i侀 1 0 ) がある 堎合  Y) にはステップ S 7 05に進み、 内挿凊理は j以降に぀い お行われる。 i侀 jが T Eよ りも倧きい堎合 ステップ S 703  Y) もステップ S 70 5に進む。
ステップ S 705以降では、 たず、 ゚ン ド凊理時間内で内挿した ポむン トを怜玢する。 具䜓的には、 ステップ S 705で、 倉数 k = 0ずし、 次に、 k + 1を新たに kずし ステップ S 706) 、 次に、 k = jか吊かを刀断する ステップ S 707 ) 。 k = jではない堎 合 N) には、 倉数 qを、 q = p ( i—k— l ) ずし ステップ S 708) 、 P ( i— k侀 1 q) 、 すなわち内挿したポむ ン トがあ るか吊かを刀断する ステップ S 709) 。 内挿したポむン ト P ( i— k侀 1 , q) がなければ N) 、 q— 1を新たに qずし ス テツブ S 7 10) 、 q = 0か吊かを刀断し ステップ S 7 1 1 ) 、 q = 0おなければ N) 、 ステップ S 709に戻り、 q = 0であれ ば  Y ) 、 ステップ S 706に戻る。 内挿したポむ ン ト P ( i— k 侀 1 , q ) があれば ステップ S 709  Y) 、 図 1 7に瀺す凊理 に進む。 内挿したポむ ン ト P ( i - k -1, 0) が芋぀からず、 k = jずな぀た堎合 ステップ S 707  Y) は、 図 1 6に瀺す内挿し たべク トルの怜玢凊理に進む。
図 1 6に瀺した凊理では、 ェン ド凊理時間内で内挿したべク トル を怜玢する。 具䜓的には、 ステップ S 7 1 2で、 倉数 k = 0ずし、 次に、 k + 1を新たに kずし ステップ S 7 13 ) 、 次に、 k = j か吊かを刀断する ステップ S 7 14 ) 。 k = jではない堎合 N) には、 倉数 qを、 q = v ( i - k - 1 ) ずし ステップ S 7 1 5) 、 V ( i— k— 1 q ) 、 すなわち内挿したベク トルがあるか吊かを 刀断する ステップ S 7 1 6 ) 。 内挿したベク トル V ( i - k - 1 , q ) がなければ N) 、 q - 1を新たに qずし ステップ S 7 1 7 ) 、 q = 0か吊かを刀断し スナップ S 7 1 8 ) 、 q = 0おなければ
(N) 、 ステップ S 7 1 6に戻り、 q = 0であれば Y) 、 ステツ ブ S 7 1 3に戻る。 内挿したポむ ン ト V ( i - k - 1, q ) があれば
(ステップ S 7 1 6 ; Y) 、 図 1 8に瀺す凊理に進む。 内挿したベ ク トル V ( i - k-1, q) が芋぀からず、 k= j ずなった堎合 ス テツプ S 7 14  Y) は、 笊号化を終了するか吊かを刀断し ステ ッブ S 7 1 9 ) 、 笊号化を終了する堎合  Y) には䜍眮凊理郚 2 1 における䜍眮凊理を終了し、 笊号化を終了しない堎合 N) には、 次のシヌンにおける䜍眮凊理のため、 ステップ S 1 0 1 (図 8) に 戻り、 p ( i) 、 v ( i) 、 n ( i) および iをク リアする。
図 1 7に瀺した凊理では、 たず、 図 1 5に瀺した凊理で怜玢され たポむン ト P ( i - k - 1 , q ) の次の単䜍時間においお入力され おいる内挿しおいないボむン ト P ( i— k 0 ) があるか吊かを刀 断する ステップ S 8 0 1 ) 。 そのポむン ト P ( i— k, 0) があ れぱ  Y) 、 そのボむ ン 卜ず怜玢されたボむン ト P ( i— k— 1 q ) ずの距離 PDN ( i - k , 0 i - k - 1 , q ) が PDref の 1 / 2よりも小さいか吊かを刀断する ステップ S 802 ) 。 なお、 PDNは、 以䞋の匏で衚される。
PDN ( X , y , z a)
= ( mxz - my z 2 + ( n x a - n ya 2
PDN ( i - k, 0 i侀 k— l , q ) が PDrefの 1/2よりも 小さい堎合 ステップ S 80 2 ; Y) は、 内挿したポむ ン ト P ( i 侀 k侀 1 q ) は、 内挿しおいないポむ ン ト P ( i—k 0) を甚 いた内挿凊理によっお内挿されたボむン トであるこずが分かる。 こ の堎合には、 ステップ S 80 3以降の凊理によっお、 P ( i - k , 0) のポむン トをシヌンの切り替わり目たで内挿する。 具䜓的には、 倉数 r = 0ずし ステップ S 803) 、 次に Γ + lを新たに rずし (ステップ S 804) 、 r = kか吊かを刀断する ステップ S 80 5 ) 。 r = kでなければ N) 、 p ( i侀 r ) + 1を新たに p ( i - r ) ずし ステヅブ S 80 6) 、 すなわち、 凊理回数を 1むンク リメン ト し、 ポむン トの内挿倀 P ( i— r p ( i— r) ) を、 ポ むン 卜 P ( i - k , 0 ) ず同じ倀 mi-k。 ii i - ko ) ずし、 この内 挿倀を加えお ステップ S 807) 、 ステップ S 804に戻る。 ス テヅプ S 804〜S 807の凊理を、 r = kずなるたで繰り返すこ ずによ り、 内挿しおいないポむン ト P ( i - k , 0) の次の単䜍時 間からシヌンの切り替わり 目たで、 P ( i— k, 0) のポむン トが 内挿される。 r = kずなったら ステップ S 80 5  Y) は、 ステ ッブ S 706 (図 1 5 ) に戻る。
怜玢されたポむン ト P ( i— k侀 1 q) の次の単䜍時間におい お入力されおいる内挿しおいないポむン ト P ( i - k , 0) がない 堎合 ステップ S 8◩ 1  N) すなわち次の単䜍時間においお入力 されおいるのがベク トル、 たたは内挿倀のみの堎合、 および PDN ( i - k , 0 i— k— 1 q ) が PDrefの 1/2よりも小さくな い堎合 ステップ S 8 02  N) は、 内挿凊理を行わずにステヅプ S 706 (図 1 5) に戻る。
図 1 8に瀺した凊理では、 たず、 図 1 6に瀺した凊理で怜玢され たベク トル V ( i— k侀 1 , q ) の次の単䜍時間においお入力され おいる内挿しおいないポむン ト P ( i - k , 0) があるか吊かを刀 断する ステップ S 9 0 1 ) 。 そのポむン ト P ( i - k , 0) があ れば Y) 、 そのポむ ン ト ず怜玢されたベク トル V ( i— k侀 1 q ) の終点ずの距離 VEDN ( i— k 0, i— k— 1, q ) が PDref の 1/2よりも小さいか吊かを刀断する ステップ S 902) 。 な お、 VEDNは、 以䞋の匏で衚される。
VEDN (x y , z , a)
二 ( mx z - m e y z ) 2+ (nxa— n eya) 2
VEDN ( i - k , 0, i - k -1, q) が PDrefの 1/2より も小さい堎合 ステップ S 9 02  Y) は、 内挿したベク トル V ( i - k - 1 , q) は、 内挿しおいないポむ ン ト P ( i - k, 0) を甚いた内挿凊理によっお内挿されたべク トルであるこずが分かる。 この堎合には、 ステップ S 9 03以降の凊理によっお、 P ( i - k: 0) のポむン トをシヌンの切り替わり目たで内挿する。 具䜓的には、 倉数 r = 0ずし ステップ S 903) 、 次に r+ 1を新たに rずし
(ステップ S 904) 、 r = kか吊かを刀断する ステップ S 90 5) 。 r = kおなければ N) 、 p ( i - r ) + 1を新たに p ( i 侀 r) ずし ステップ S 90 6) 、 すなわち、 凊理回数を 1むンク リメン ト し、 ポむン トの内挿倀 P ( i - r , p ( i - r ) ) を、 ポ ã‚€ ン 卜 P ( i - k , 0 ) ず同じ倀 mi . 。 n i ko) ずし、 この内 揷倀を加えお ステップ S 9 07) 、 ステップ S 904に戻る。 ス テツプ S 904~S 907の凊理を、 r二 kずなるたで繰り返すこ ずにより、 内挿しおいないポむン ト P ( i - k , 0) の次の単䜍時 間からシヌンの切り替わり目たで、 P ( i— k 0) のポむン トが 内挿される。 r = kずなったら ステップ S 905  Y) は、 ステ ッブ S 7 1 3 (図 1 6 ) に戻る。
怜玢されたべク トル V ( i - k - 1 , q ) の次の単䜍時間におい お入力されおいる内挿しおいないポむン ト P ( i - k , 0 ) がない 堎合 ステップ S 90 1 ; N) は、 図 1 9に瀺す凊理に進む。 たた、 VEDN ( i - k , 0 i— k侀 1, q ) が PDrefの 1/2よりも 小さくない堎合 ステップ S 90 2  N) は、 内挿凊理を行わずに ステップ S 7 1 3 (図 1 6 ) に戻る。
図 1 9に瀺した凊理では、 たず、 図 1 6に瀺した凊理で怜玢され たベク トル V ( i— k— 1 , q ) の次の単䜍時間においお入力され おいる内挿しおいないベク トル V ( i - k , 0) があるか吊かを刀 断する ステップ S 908) 。 そのベク トル V ( i— k, 0) があ れば Y) 、 そのベク トルの始点ず怜玢されたベク トル V ( i - k - 1 ) の終点ずの距離  0 侀 1 ) が の 1 よりも小さいか吊かを刀断する ステップ ) 。 なお、 は、 以䞋の匏で衚される。
VD N (x , y , z a)
= ( m s χ z - m e 2 + ( n s xa - n e ya) 2 侀  0 1 ) が の よりも 小さい堎合 ステップ  は、 内挿したベク トル 侀 侀  ) は、 内挿しおいないベク トル を甚 いた内挿凊理によっお内挿されたべク トルであるこずが分かる。 こ の堎合には、 ステップ S 9 1 0以降の凊理によっお、 シヌンの切り 替わり 目たでべク トルの内挿を行う。 具䜓的には、 倉数 r = kずし (ステップ S 9 1 0) 、 次に r侀 1を新たに rずし ステップ S 9 1 1 ) 、 r = 0か吊かを刀断する ステップ S 9 1 2) 。 r = 0で なければ N) 、 p ( i - r ) を新たに p ( i— r ) ずし ス テツブ S 9 1 3 ) 、 すなわち、 凊理回数を 1むンクリメン ト し、 ベ ク トルの内揷倀 V ( i - r , v ( i - r ) ) を求め、 このベク トル の内挿倀を加えお ステップ S 9 1 4) 、 ステップ S 9 1 1に戻る。 ぺク トルの内揷倀 V ( i— r V ( i— r ) ) は、 具䜓的には、 以 䞋の匏で衚される。
V ( i - r , v ( i - r) )
= (ms ki- r, n s k me k i - r , n e k ただし、
m s k i - = m s i 1 v <i-r+ n ― (ms i-ko— mi-ko) n s k n s 1 n s i-k0- n i-ko) m e k i = mS i
Figure imgf000043_0001
である。
ステップ S 9 1 1〜S 9 14の凊理を、 r = 0ずなるたで繰り返 すこずにより、 内挿しおいないベク トル V ( i— k 0) の次の単 䜍時間からシヌンの切り替わり目たで、 ぺク トルの内挿が行われる。 r = 0ずなったら ステップ S 9 1 2  Y) は、 ステップ S 7 1 3 (図 1 6 ) に戻る。
怜玢されたべク トル V ( i—k— l , q ) の次の単䜍時間におい お入力されおいる内挿しおいないベク トル V ( i - k , 0) がない 堎合 スナップ S 908 ; N) すなわち次の単䜍時間においお入力 されおいるのが内挿倀のみの堎合、 および VDN ( i - k , 0 i 侀 k— 1 q ) が P D refの 1 / 2よりも小さ くない堎合 ステップ S 909  N ) は、 内挿凊理を行わずにステッブ S 7 13 (図 1 6 ) に戻る。
以䞊、 図 8ないし図 19を参照しお説明した凊理によっお決定さ れた各単䜍時間毎のポィン トの倀およびぺク トルの倀は、 フレヌム 毎のポむン ト倀に倉換され、 このフレヌム毎のポむン ト倀が、 芖点 䜍眮近傍領域の䞭心䜍眮ずなる。 なお、 単䜍時間におけるポむン ト の倀は、 そのたたフレヌム毎のポむン ト倀ずなる。 䞀方、 単䜍時間 におけるべク トルの倀をフレヌム毎のボむン ト倀に倉換するには、 単䜍時間におけるべク トルをフレヌム毎のべク トルに分割し、 フレ —ム毎のべク トルの始点ず終点ずの䞭点をフレヌム毎のボむン ト倀 ずすれば良い。
以䞊、 䜍眮凊理郚 2 1における䜍眮凊理に぀いお説明したが、 サ ィズ凊理郚 23におけるサむズ凊理も、 䜍眮凊理ず略同様である。 すなわち、 サむズ凊理では、 䜍眮凊理におけるポむ ン トの代わりに 単䜍時間における芖点䜍眮近傍領域のサむズの固定倀が定矩され、 䜍眮凊理におけるべク トルの代わりに単䜍時間における芖点䜍眮近 傍領域のサむズの倉化倀が定矩される。 そしお、 サむズ凊理におい おも、 䜍眮凊理の堎合ず同様に、 サむズの固定倀ず倉化倀の内揷凊 理が行われる。 なお、 サむズ凊理においお、 䜍眮凊理ず倧き く異な る点は、 サむズ可倉甚レバヌ 1 8の出力信号は、 芖点の動䜜より も 遅れるので、 単䜍時間内における埌半郚分における倀のみを甚いお、 サむズの固定倀ず倉化倀を決定する点である。 サむズ凊理によっお 埗られるサむズの倀は、 䜍眮凊理によっお決定される芖点䜍眮近傍 領域の䞭心䜍眮 フレヌム毎のポむ ン ト倀 のそれぞれに察応する ように決定される。 埓っお、 芖点䜍眮近傍領域を衚す情報ずしお、 フレヌム毎に、 ポむン ト m n ) ずサむズ  s ) による 3次元倀 ( m , n s ) が埗られる。 なお、 䞭断凊理が行われおいるずきに は、 サむズの倀 sは 0 ずされる。 システムコン トロヌル郚 3 0は、 このようにしお埗られた芖点䜍眮近傍領域を衚す情報 m n s ) に基づいお、 笊号量削枛制埡信号 3 5を生成し笊号量削枛郚 1 3に 送る。
以䞊説明したように本実斜の圢態に係る画像圧瞮笊号化装眮によ れば、 操䜜者の芖点䜍眮を怜出し、 この芖点䜍眮ずサむズ可倉甚レ バヌ 1 8の出力ずに基づいお芖点䜍眮近傍領域を蚭定し、 この芖点 䜍眮近傍領域以倖の領域に割り圓おられる笊号量が、 芖点䜍眮近傍 領域に割り圓おられる笊号量よりも少なくなるように、 領域に応じ お笊号量の割り圓おを倉えるこずができるので、 簡単な操䜜で、 画 像デヌタを限られた笊号量内でリアルタむムに笊号化しお圧瞮し、 䞔぀埩号時にできるだけ利甚者にずっお芖芚的に高画質な画像を埗 るこずが可胜ずなる。 しかも、 圧瞮郚 1 1の出力デ䞀倕による所定 時間圓たりの笊号量が芏定倀を越えた堎合にのみ、 領域に応じお笊 号量の割り圓おを倉える凊理を行うようにしたので、 笊号量に䜙裕 があるずきに画質を䞍必芁に劣化させるこずがなく、 限られた笊号 量を有効に利甚しお画像デヌタを笊号化できるず共に、 埩号時にで きるだけ利甚者にずっお芖芚的に高画質な画像を埗るこずが可胜ず なる。
たた、 本実斜の圢態に係る画像圧瞮笊号化装眮によれば、 芖点䜍 眮近傍領域のサむズを倉えるこずができるようにしたので、 倚くの 笊号量が割り圓おられる領域を適切な倧きさに蚭定するこずが可胜 ずなり、 この点からも、 限られた笊号量を有効に利甚しお画像デ䞀 倕を笊号化できるず共に、 埩号時にできるだけ利甚者にずっお芖芚 的に高画質な画像を埗るこずが可胜ずなる。
たた、 本実斜の圢態に係る画像圧瞮笊号化装眮によれば、 芖点䜍 眮近傍領域から倖偎に向かっお段階的に笊号量の削枛を行うように したので、 芖点䜍眮近傍領域の境界郚が目立぀こずを避けるこずが できる。
たた、 本実斜の圢態に係る画像圧瞮笊号化装眮によれば、 皮々の ポむン トおよびべク トルの内挿凊理を行うようにしたので、 操䜜者 が画面内の耇数の堎所を順次、 芖点を倉えお繰り返し泚芖した堎合 に、 泚芖した耇数の堎所の近傍にそれぞれ、 時間的に連続しお芖点 䜍眮近傍領域を蚭定するこずができ、 たた、 シヌンの切り替わり前 埌においお芖点䜍眮が安定しおいないずきにおいおも芖点䜍眮近傍 領域を蚭定するこずができ、 その結果、 芖点䜍眮近傍領域が断続的 に蚭定されるこずを防止でき、 埩号時に利甚者にずっお芖芚的に高 画質な画像を埗るこずが可胜ずなる。
なお、 本発明は䞊蚘実斜の圢態に限定されず、 䟋えば、 圧瞮郚 1
1における笊号化の方匏は、 D C T凊理ず双方向予枬笊号化ずを甚 いる方匏に限らず、 他の方匏でも良い。 たた、 笊号量の削滅の方法 は、 D C T凊理埌の係数に割り圓おられるビッ ト数を滅らす方法に 限らず、 䟋えば画玠の削枛等の他の方法でも良い。 この他、 本発明 の芁旚を逞脱しない範囲で皮々の倉曎が可胜である。

Claims

請 求 の 範 囲
1 . 入力画像デ䞀倕を圧瞮しお笊号化する笊号化手段ず、
前蚘入力画像デヌタが出力される画面䞊における芖点䜍眮を怜出 する芖点䜍眮怜出手段ず、
前蚘芖点䜍眮怜出手段によっお怜出される芖点䜍眮の近傍に芖点 䜍眮近傍領域を蚭定する領域蚭定手段ず、
前蚘笊号化手段によっお発生される笊号量が所定量を超えるずき、 前蚘領域蚭定手段によっお蚭定される芖点䜍眮近傍領域以倖の領域 に割り圓おられる笊号量が、 前蚘芖点䜍眮近傍領域に割り圓おられ る笊号量よりも少なくなるよう前蚘笊号化手段によっお発生される 笊号量を制限する笊号量制限手段ず、
を備えたこずを特城ずする画像圧瞮笊号化装眮。
2 . 前蚘笊号量制限手段は、 前蚘芖点䜍眮近傍領域以倖の領域に割 り圓おられる笊号量を、 前蚘芖点䜍眮近傍領域から離れる方向に向 かっお段階的に枛少させるこずを特城ずする請求の範囲第 1項蚘茉 の画像圧瞮笊号化装眮。
3 . 前蚘笊号量制限手段によっお領域に応じお笊号量の割り圓おを 倉えるこずを行うか吊かを遞択する遞択手段をさらに備えたこずを 特城ずする請求の範囲第 1項蚘茉の画像圧瞮笊号化装眮。
4 . 前蚘領域蚭定手段は、 前蚘芖点䜍眮怜出手段によっお芖点䜍眮 が断続的に怜出されたずきは、 各芖点䜍眮の怜出時点間で芖点䜍眮 近傍領域は時間的に連続しお蚭定されるようにするこずを特城ずす る請求の範囲第 1項蚘茉の画像圧瞮笊号化装眮。
5 . 前蚘領域蚭定手段は、 耇数のフ レヌムたたは耇数のフ ィヌル ド からなる画像単䜍内においお前蚘芖点䜍眮怜出手段で最初に芖点䜍 眮が怜出されたずきず、 前蚘画像単䜍が開始されたずきずの間で前 蚘芖点䜍眮近傍が連続しお蚭定されるようにするこずを特城ずする 請求の範囲第 1項蚘茉の画像圧瞮笊号化装眮。
6 . 前蚘領域蚭定手段は、 耇数のフ レヌムたたは耇数のフィヌル ド からなる画像単䜍内においお前蚘芖点䜍眮怜出手段で最埌に芖点䜍 眮が怜出されたずきず、 前蚘画像単䜍が終了されたずきずの間で前 蚘芖点䜍眮近傍領域が連続しお蚭定されるようにするこずを特城ず する請求の範囲第 1項蚘茉の画像圧瞮笊号化装眮。
7 . 入力画像デヌタを圧瞮笊号化する笊号化手段ず、
前蚘入力画像デヌタが出力される画面䞊における芖点䜍眮を怜出 する芖点䜍眮怜出手段ず、
前蚘芖点䜍眮怜出手段で怜出される前蚘芖点䜍眮の近傍に芖点䜍 眮近傍領域を蚭定する領域蚭定手段ず、
前蚘領域蚭定手段で蚭定される芖点䜍眮近傍領域以倖の領域に割 り圓おられる笊号量が、 前蚘芖点䜍眮近傍領域に割り圓おられる笊 号量よりも少なくなるように、 前蚘芖点䜍眮近傍領域に応じお笊号 量の割り圓おを制限する笊号量制限手段ず、
前蚘領域蚭定手段で蚭定される芖点䜍眮近傍領域の倧きさを倉え る領域可倉手段ず
を備えたこずを特城ずする画像圧瞮笊号化装眮。
8 . 前蚘笊号量制限手段は、 前蚘芖点䜍眮近傍領域以倖に割り圓お られる笊号量を、 前蚘芖点䜍眮近傍領域から離れる方向に向けお段 階的に枛少させるこずを特城ずする請求の範囲第 7項蚘茉の画像圧 瞮笊号化装眮。
9 . 前蚘笊号量制限手段によっお前蚘芖点䜍眮近傍領域に応じお笊 号量の割り圓おを倉えるこずを行うか吊かを遞択する遞択手段を備 えたこずを特城ずする請求の範囲第 7項蚘茉の画像圧瞮笊号化装眮 (
10. 前蚘領域蚭定手段は、 前蚘芖点䜍眮怜出手段によっお芖点䜍眮 が断続的に怜出されたずきは、 各芖点䜍眮の怜出時点間で芖点䜍眮 近傍は時間的に連続しお蚭定されるようにするこずを特城ずする請 求の範囲第 7項蚘茉の画像圧瞮笊号化装眮。
11 . 前蚘領域蚭定手段は、 耇数のフ レヌムたたは耇数のフ ィヌル ド からなる画像単䜍内においお前蚘芖点䜍眮怜出手段で最初に前蚘芖 点䜍眮が怜出されたずきず、 前蚘画像単䜍が開始されるずきずの間 で前蚘芖点䜍眮近傍領域が連続しお蚭定されるようにするこずを特 城ずする請求の範囲第 7項蚘茉の画像圧瞮笊号化装眮。
12. 前蚘領域蚭定手段は、 耇数のフ レヌムたたは耇数のフィヌル ド からなる画像単䜍内においお前蚘芖点䜍眮怜出手段で最埌に芖点䜍 眮が怜出されたずきず、 前蚘画像単䜍が終了されるずきずの間で前 蚘芖点䜍眮近傍領域が連続しお蚭定されるようにするこずを特城ず する請求の範囲第 7項蚘茉の画像圧瞮笊号化装眮。
13. 入力画像デ䞀倕を圧瞮しお笊号化する笊号化ステップず、
前蚘入力画像デ䞀倕が出力される画面䞊における芖点䜍眮を怜出 する芖点䜍眮怜出ステップず、
前蚘芖点䜍眮怜出ステツプによっお怜出される芖点䜍眮の近傍に 芖点近傍領域を蚭定する領域蚭定ステップず、
前蚘笊号化ステツプで発生される笊号量が所定量を超えるずき、 前蚘領域蚭定ステツブによっお蚭定される前蚘芖点䜍眮近傍領域以 倖の領域に割り圓おる笊号量が、 前蚘芖点䜍眮近傍領域に割り圓お られる笊号量よ りも少なくなるように前蚘笊号化ステツプで発生さ れる笊号量を制限する笊号量制限ステップず、
を備えたこずを特城ずする画像圧瞮笊号化方法。
14. 前蚘笊号量制限ステップは、 前蚘芖点䜍眮近傍領域以倖の領域 に割り圓おられる笊号量を、 前蚘芖点䜍眮近傍領域から離れる方向 に向かっお段階的に枛少させるこずを特城ずする請求の範囲第 1 3 項蚘茉の画像圧瞮笊号化方法。
15. 前蚘笊号量制限ステツプによっお領域に応じお笊号量の割り圓 おを倉えるこずを行うか吊かを遞択する遞択ステップをさらに備え るこずを特城ずする請求の範囲第 1 3項蚘茉の画像圧瞮笊号化方法。
16. 前蚘領域蚭定ステップは、 前蚘芖点䜍眮怜出ステップによっお 断続的に前蚘芖点䜍眮が怜出されたずき、 前蚘各芖点䜍眮の怜出時 点間で芖点䜍眮近傍領域は時間的に連続しお蚭定されるこずを特城 ずする請求の範囲第 1 3項蚘茉の画像圧瞮笊号化方法。
17. 前蚘領域蚭定ステップは、 耇数のフ レヌムたたは耇数のフ ィヌ ルドからなる画像単䜍内においお前蚘芖点䜍眮怜出ステツプで最初 に前蚘芖点䜍眮が怜出されたずきず、 前蚘画像単䜍が開始されるず きずの間で前蚘芖点䜍眮近傍領域が連続しお蚭定されるようにする こずを特城ずする請求の範囲第 1 3項蚘茉の画像圧瞮笊号化方法。
18. 前蚘領域蚭定ステップは、 耇数のフレヌムたたは耇数のフィヌ ルドからなる画像単䜍内においお前蚘芖点䜍眮怜出ステツプで最埌 に前蚘芖点䜍眮が怜出されたずきず、 前蚘画像単䜍が終了されるず きずの間で前蚘芖点䜍眮近傍領域が連続しお蚭定されるようにする こずを特城ずする請求の範囲第 1 3項蚘茉の画像圧瞮笊号化方法。
1 9 . 入力画像デヌタを圧瞮笊号化する笊号化ステップず、
前蚘入力画像デ䞀倕が出力される画面䞊における芖点䜍眮を怜出 する芖点䜍眮怜出ステツブず、
前蚘芖点䜍眮怜出ステツブで怜出された前蚘芖点䜍眮の近傍に芖 点䜍眮近傍領域を蚭定する領域蚭定ステップず、
前蚘領域蚭定ステツブで蚭定される芖点䜍眮近傍領域以倖の領域 に割り圓おられる笊号量が前蚘芖点䜍眮近傍領域に割り圓おられる 笊号量よりも少なくなるように、 前蚘芖点䜍眮近傍領域に応じお笊 号量の割り圓おを制限する笊号量制限ステツプず、
前蚘領域蚭定ステツプで蚭定される芖点䜍眮近傍領域の倧きさを 倉える領域可倉ステツプずを備えたこず
を特城ずする画像圧瞮笊号化方法。
20. 前蚘笊号量制限ステップは、 前蚘芖点䜍眮近傍領域以倖に割り 圓おられる笊号量を、 前蚘芖点䜍眮近傍領域から離れる方向に向け お段階的に枛少させるこずを特城ずする請求の範囲第 1 9項蚘茉の 画像圧瞮笊号化方法。
21 . 前蚘笊号量制限ステツプによっお領域に応じた笊号量の割り圓 おを倉えるこずを行うか吊かを遞択する遞択ステツブをさらに備え るこずを特城ずする請求の範囲第 1 9項蚘茉の画像圧瞮笊号化方法。
22. 前蚘領域蚭定ステップは、 前蚘芖点䜍眮怜出ステップによっお 芖点䜍眮が断続的に怜出されたずきは、 前蚘各芖点䜍眮の怜出時点 間で前蚘芖点䜍眮近傍領域は時間的に連続しお蚭定されるようにす るこずを特城ずする請求の範囲第 1 9項蚘茉の画像圧瞮笊号化方法。
23. 前蚘領域蚭定ステップは、 耇数のフレヌムたたは耇数のフィヌ ルドからなる画像単䜍内においお前蚘芖点䜍眮怜出ステツブで最初 に前蚘芖点䜍眮が怜出されたずきず、 前蚘画像単䜍が開始されたず きずの間で前蚘芖点䜍眮近傍領域が連続しお蚭定されるようにする こずを特城ずする請求の範囲第 1 9項蚘茉の画像圧瞮笊号化方法。
24. 前蚘領域蚭定ステ ップは、 耇数のフ レヌムたたは耇数のフィ䞀 ルドからなる画像単䜍内においお前蚘芖点䜍眮怜出ステツプで最初 に前蚘芖点䜍眮が怜出されたずきず、 前蚘画像単䜍が終了されたず きずの間で前蚘芖点䜍眮近傍領域が連続しお蚭定されるようにする こずを特城ずする請求の範囲第 1 9項蚘茉の画像圧瞮笊号化方法。
PCT/JP1997/003107 1996-09-04 1997-09-04 Image compression encoder and image compression encoding method WO1998010592A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US09/066,434 US6246799B1 (en) 1996-09-04 1997-09-04 Image compression encoder and image compression encoding method
JP51248198A JP3924794B2 (ja) 1996-09-04 1997-09-04 画像圧瞮笊号化装眮及び画像圧瞮笊号化方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP8/252205 1996-09-04
JP25220596 1996-09-04

Publications (1)

Publication Number Publication Date
WO1998010592A1 true WO1998010592A1 (en) 1998-03-12

Family

ID=17233969

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1997/003107 WO1998010592A1 (en) 1996-09-04 1997-09-04 Image compression encoder and image compression encoding method

Country Status (3)

Country Link
US (1) US6246799B1 (ja)
JP (1) JP3924794B2 (ja)
WO (1) WO1998010592A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2322770C2 (ru) * 2002-04-23 2008-04-20 НПкОа КПрпПрейшМ СпПсПб О устрПйствП Ўля указаМОя параЌетрПв кваМтПвателя в сОстеЌе вОЎеПкПЎОрПваМОя

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3560217B2 (ja) * 1998-04-30 2004-09-02 ゜ニヌ株匏䌚瀟 デヌタ笊号化装眮、デヌタ笊号化方法及びデヌタ䌝送方法
CN1554190A (zh) * 2001-07-11 2004-12-08 D・基尔班克 甚于压猩数据的系统和方法
JP2005524260A (ja) * 2002-04-23 2005-08-11 キルバンク ダニ゚ル 通信においおマむクロレッツを䜿甚するためのシステムおよび方法
US7408486B2 (en) * 2003-04-21 2008-08-05 Qbit Corporation System and method for using a microlet-based modem
EP2081155B1 (en) * 2008-01-21 2011-11-16 Telefonaktiebolaget LM Ericsson (publ) Prediction-based image processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5335313A (en) * 1976-09-13 1978-04-01 Nippon Telegr & Teleph Corp <Ntt> Picture image communication system
JPH02100488A (ja) * 1988-10-06 1990-04-12 Fuji Xerox Co Ltd 画像䌝送装眮
JPH02119464A (ja) * 1988-10-28 1990-05-07 Nippon Telegr & Teleph Corp <Ntt> 地点間画像笊号化方匏

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3933346C1 (ja) * 1989-10-06 1991-04-04 Ant Nachrichtentechnik Gmbh, 7150 Backnang, De
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
EP0625853B1 (en) * 1993-05-21 1999-03-03 Nippon Telegraph And Telephone Corporation Moving image encoder and decoder
JP3169783B2 (ja) * 1995-02-15 2001-05-28 日本電気株匏䌚瀟 動画像の笊号化・埩号システム
KR0171118B1 (ko) * 1995-03-20 1999-03-20 배순훈 비디였신혞 부혞화 장치
KR100249028B1 (ko) * 1995-03-20 2000-03-15 전죌범 정지영상을 가진 영상신혞륌 부혞화/복혞화하Ʞ 위한 부혞화/복혞화시슀템
KR0159370B1 (ko) * 1995-03-20 1999-01-15 배순훈 묌첎의 겜계륌 고렀한 영상 부혞화방법 및 장치
US5881175A (en) * 1996-06-07 1999-03-09 Daewoo Electronics Co., Ltd. Method and apparatus for encoding an image signal by using the contour signal thereof
KR100239307B1 (ko) * 1997-01-10 2000-01-15 전죌범 윀곜선 영상 부혞화Ʞ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5335313A (en) * 1976-09-13 1978-04-01 Nippon Telegr & Teleph Corp <Ntt> Picture image communication system
JPH02100488A (ja) * 1988-10-06 1990-04-12 Fuji Xerox Co Ltd 画像䌝送装眮
JPH02119464A (ja) * 1988-10-28 1990-05-07 Nippon Telegr & Teleph Corp <Ntt> 地点間画像笊号化方匏

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2322770C2 (ru) * 2002-04-23 2008-04-20 НПкОа КПрпПрейшМ СпПсПб О устрПйствП Ўля указаМОя параЌетрПв кваМтПвателя в сОстеЌе вОЎеПкПЎОрПваМОя

Also Published As

Publication number Publication date
US6246799B1 (en) 2001-06-12
JP3924794B2 (ja) 2007-06-06

Similar Documents

Publication Publication Date Title
JP5960693B2 (ja) 䜎いダむナミックレンゞ画像から高いダむナミックレンゞ画像の生成
CN104041043B (zh) 劚囟像解码装眮、劚囟像解码方法、接收装眮及接收方法
US5815601A (en) Image encoder and image decoder
EP0753970A2 (en) Hierarchical video coding device and decoding device
KR101597059B1 (ko) 읎믞지 부혞화 방법, 읎믞지 복혞화 방법, 읎믞지 부혞화 장치 및 읎믞지 복혞화 장치
JPH05219492A (ja) むメヌゞコヌディング方法及び装眮
US7075985B2 (en) Methods and systems for efficient video compression by recording various state signals of video cameras
JPH06319134A (ja) 画像通信システム
US6961082B2 (en) Image display control system reducing image transmission delay
JP2019140575A (ja) 画像笊号化装眮及びその制埡方法及びプログラム
WO1998010592A1 (en) Image compression encoder and image compression encoding method
WO2013011671A1 (ja) 送信装眮および送信方法
JP2006279917A (ja) 動画像笊号化装眮、動画像埩号装眮及び動画像䌝送システム
JP2018082407A (ja) 動画像笊号化装眮、動画像笊号化方法、および動画像笊号化プログラム
JP3665212B2 (ja) 遠隔監芖装眮および遠隔監芖方法
JP5737383B2 (ja) 動画像埩号装眮、動画像埩号方法、及び動画像埩号プログラム、䞊びに、受信装眮、受信方法、及び受信プログラム
US11997428B2 (en) Control system and method
JP2008011079A (ja) 動画像笊号化装眮、動画像埩号化装眮及び動画像䌝送システム
JP2005045666A (ja) トランスコヌダ
JP3956010B2 (ja) 映像䌝送システム及び映像䌝送制埡方法
JPH0955926A (ja) 映像情報提䟛システムおよび笊号化制埡情報生成方法
JP6069929B2 (ja) 画像遞択方法、画像遞択装眮、笊号化装眮、画像遞択システム、画像遞択プログラム、笊号化プログラム、及び画像笊号化遞択プログラム
JP2011176454A (ja) ネットワヌクカメラ装眮、指定装眮
JP4192149B2 (ja) デヌタ凊理装眮およびデヌタ凊理方法
JPH11243540A (ja) 画像通信装眮

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

WWE Wipo information: entry into national phase

Ref document number: 09066434

Country of ref document: US