[go: up one dir, main page]

WO2004014080A1 - 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
WO2004014080A1
WO2004014080A1 PCT/JP2003/009062 JP0309062W WO2004014080A1 WO 2004014080 A1 WO2004014080 A1 WO 2004014080A1 JP 0309062 W JP0309062 W JP 0309062W WO 2004014080 A1 WO2004014080 A1 WO 2004014080A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinates
image
small
screen
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2003/009062
Other languages
English (en)
French (fr)
Inventor
Kiyotake Yachi
Satoshi Deguchi
Tadaharu Koga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP03741438A priority Critical patent/EP1542471A4/en
Priority to US10/523,078 priority patent/US20060165309A1/en
Publication of WO2004014080A1 publication Critical patent/WO2004014080A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect

Definitions

  • Image processing apparatus and method information processing apparatus and method, recording medium, and program
  • the present invention relates to an image processing apparatus and method, an information processing apparatus and method, a recording medium, and a program, and more particularly, to an image processing apparatus and method capable of appropriately dividing and displaying a plurality of images, and an information processing apparatus. And a method, a recording medium, and a program. Background art
  • FIG. 1 shows a configuration example of a conventional image processing system.
  • N video cameras 2-1 to 2-N arranged at predetermined positions with respect to the subject 1 (hereinafter referred to simply as the video camera 2 when it is not necessary to distinguish them individually. The same applies to other cases. ) Supplies the image obtained as a result of the imaging to the image processing device 3.
  • the image processing device 3 generates an image in which the N images supplied from the video camera 2 are divided and displayed on the display 4A of the display device 4, and supplies the image to the display device 4.
  • the display device 4 displays the image from the image processing device 3 on the display 4A.
  • the processing content of the image processing device 3 differs depending on the number of the video cameras 2 and the divided display mode.
  • the processing contents of the image processing device 3 are different between the case where the obtained eight images are divided and displayed as shown in FIG.
  • the number attached to the small screen W shown in FIGS. 3 and 5 indicates the video camera 2 that provides the image displayed thereon, and the number shown after the video camera 2 Is associated with. That is, for example, an image obtained as a result of imaging by the video camera 2-1 is displayed on the small screen W1, and an image obtained as a result of imaging by the video camera 2-2 is displayed on the small screen W2. .
  • the image processing device 3 is a dedicated device corresponding to these conditions. As a result, there has been a problem that conventional image processing systems cannot easily cope with changes in usage conditions. Disclosure of the invention
  • the present invention has been made in view of such a situation, and is intended to easily respond to a change in use conditions.
  • a small image including predetermined coordinates corresponding to predetermined coordinates on a large screen on which a large image composed of a plurality of small images arranged at a predetermined position is displayed is displayed.
  • Detecting means for detecting coordinates on the small screen reading means for reading the pixel value of a pixel of a predetermined small image at a position corresponding to the coordinates on the small screen detected by the detecting means, and reading means
  • Output means for outputting the read pixel value as a pixel value of a pixel of a large image at a position corresponding to predetermined coordinates on a large screen.
  • the coordinates on the large screen, the coordinates on the small screen including the coordinates on the large screen corresponding to the coordinates on the large screen, and the information for identifying the small image displayed on the small screen are respectively supported.
  • a storage means for storing the attached table is further provided, and the detecting means causes the reading means to detect coordinates on the small screen including the predetermined coordinates corresponding to the predetermined coordinates on the large screen from the table. Is a pixel of a pixel located at a position corresponding to the coordinates on the small screen detected by the detecting means of the small image identified by the information for identifying the small image associated with the predetermined coordinates in the table.
  • the value can be read.
  • the small image can be an image corresponding to a captured image obtained as a result of imaging by the imaging device.
  • a small image including predetermined coordinates corresponding to predetermined coordinates on a large screen on which a large image including a plurality of small images arranged at a predetermined position is displayed is displayed.
  • a detection step of detecting coordinates on the small screen a reading step of reading pixel values of pixels of a predetermined small image at a position corresponding to the coordinates on the small screen detected in the processing of the detection step; Outputting a pixel value read in the step process as a pixel value of a pixel of a large image at a position corresponding to predetermined coordinates on a large screen.
  • the program of the first recording medium includes a small image including predetermined coordinates corresponding to predetermined coordinates on a large screen on which a large image composed of a plurality of small images arranged at a predetermined position is displayed.
  • a detection control step for controlling the detection of coordinates on the small screen on which is displayed, and a pixel value of a pixel of a predetermined small image at a position corresponding to the coordinates on the small screen detected in the processing of the detection control step
  • a read control step for controlling the reading of the image, and controlling the output as a pixel value of a pixel of the large image at a position corresponding to a predetermined coordinate on the large screen of the pixel value read in the processing of the reading control step.
  • an output control step for controlling the reading of the image, and controlling the output as a pixel value of a pixel of the large image at a position corresponding to a predetermined coordinate on the large screen of the pixel value read in the processing of the reading control step.
  • a small image including predetermined coordinates corresponding to predetermined coordinates on a large screen on which a large image composed of a plurality of small images arranged at a predetermined position is displayed is displayed.
  • a reading control step of controlling reading of a pixel value of a pixel of a predetermined small image at a position corresponding to the coordinates on the small screen detected in the processing of the step; and a pixel value read in the processing of the reading control step An output control step of controlling an output as a pixel value of a pixel of a large image at a position corresponding to predetermined coordinates on the large screen.
  • predetermined coordinates corresponding to predetermined coordinates on a large screen on which a large image composed of a plurality of small images arranged at a predetermined position is displayed.
  • the coordinates on the small screen on which the included small image is displayed are detected, and the pixel values of the pixels of the predetermined small image at positions corresponding to the detected coordinates on the small screen are read, and the read pixel values are read. Is output as the pixel value of the pixel of the large image at the position corresponding to the predetermined coordinates on the large screen.
  • An information processing apparatus is configured such that first detecting means for detecting coordinates on a small screen, including coordinates on a large screen, corresponding to coordinates on a large screen, is associated with the coordinates on the large screen.
  • Second detection means for detecting information for identifying the small image; coordinates on the large screen; coordinates on the small screen detected by the first detection means; and small coordinates detected by the second detection means.
  • Generating means for storing information for identifying an image in association with each other and generating a first table.
  • the small image is an image corresponding to the captured image obtained as a result of imaging by the imaging device, and the coordinates on the large screen are, for each region corresponding to the imaging range of the imaging device, an image of the imaging device having the corresponding imaging range.
  • the identification information can be associated as information for identifying the small image.
  • the coordinates on the small screen of the captured image for the small screen cut out from the captured image corrected based on the condition of the optical system of the imaging device, and the captured image for the small screen corresponding to the coordinates on the small screen Is further provided with a storage means for storing a second table in which the coordinates on the large screen when are located on the predetermined small screen are associated with each other.
  • the coordinates on the small screen to be detected from the second table Then, the coordinates on the small screen of the captured image before capturing can be detected from the detected coordinates on the small screen.
  • An information processing method includes: a first detection step of detecting coordinates on a small screen including coordinates on a large screen corresponding to coordinates on a large screen; A second detection step for detecting information for identifying a small image that is present, coordinates on the large screen, coordinates on the small screen detected in the processing of the first detection step, and processing in the second detection step And generating information for identifying the small image detected in the step (b) and storing the information in correspondence with each other, and generating a first table.
  • the program of the second recording medium of the present invention comprises: a first detection control step for controlling detection of coordinates on a small screen including coordinates on a large screen, corresponding to coordinates on a large screen; A second detection control step for controlling detection of information for identifying a small image associated with the coordinates, a coordinate on the large screen, and a small screen detected in the processing of the first detection control step. And the generation control step of controlling the generation of the first table by storing the information for identifying the small image detected in the processing of the second detection control step in association with each other. It is characterized by including.
  • a second program includes: a first detection control step of controlling detection of coordinates on a small screen including coordinates on a large screen corresponding to coordinates on a large screen; A second detection control step for controlling detection of information for identifying the associated small image, coordinates on the large screen, coordinates on the small screen detected in the processing of the first detection control step And a generation control step for controlling generation of the first table by storing information for identifying the small image detected in the processing of the second detection control step in association with each other. It is characterized by.
  • FIG. 1 is a block diagram showing a configuration example of a conventional image processing system.
  • FIG. 2 is a diagram showing an example of the arrangement of the video cameras in FIG.
  • FIG. 3 is a diagram showing a display example of an image obtained as a result of imaging by the video camera of FIG.
  • FIG. 4 is a diagram showing another arrangement example of the video camera in FIG.
  • FIG. 5 is a diagram showing another display example of an image obtained as a result of imaging by the video camera in FIG.
  • FIG. 6 is a block diagram illustrating a configuration example of an image processing system to which the present invention has been applied.
  • FIG. 7 is a diagram showing the size of the display of the display device of FIG.
  • FIG. 8 is a block diagram showing a configuration example of the image processing device of FIG.
  • FIG. 9 is a block diagram showing a configuration example of the coordinate conversion table generation device of FIG.
  • FIG. 10 is a diagram showing another display example of an image obtained as a result of imaging by the video camera of FIG.
  • FIG. 11 is a flowchart illustrating image processing of the image processing apparatus in FIG.
  • FIG. 12 is a diagram illustrating an example of the coordinate conversion table.
  • FIG. 13 is a flowchart illustrating the operation of the coordinate conversion table generation device of FIG. 6 when generating the coordinate conversion table.
  • FIG. 14 is a diagram showing an example of a correspondence table between coordinates on the display and a camera number.
  • FIG. 15 is a diagram showing an example of a correspondence table between the coordinates on the display and the coordinates on the small screen of the SD image after correction.
  • FIG. 16 is a flowchart illustrating a process of generating the correspondence table of FIG.
  • FIG. 17A is a diagram illustrating the process of generating the correspondence table of FIG.
  • FIG. 17B is a diagram illustrating the process of generating the correspondence table of FIG.
  • FIG. 17C is a diagram illustrating a process of generating the correspondence table in FIG.
  • FIG. 18 is a diagram showing an example of the arrangement of the video cameras in FIG.
  • FIG. 19 is a diagram illustrating a display example of an image obtained as a result of imaging by the video camera in FIG.
  • FIG. 20 is a diagram illustrating the imaging range of the video camera in FIG.
  • FIG. 21 is another diagram illustrating the imaging range of the video camera in FIG.
  • FIG. 22 is another diagram illustrating the imaging range of the video camera in FIG.
  • FIG. 23 is another diagram illustrating the imaging range of the video camera in FIG.
  • FIG. 24 is another diagram illustrating the imaging range of the video camera in FIG.
  • FIG. 25 is a diagram illustrating another example of the coordinate conversion table.
  • FIG. 26 is a flowchart illustrating another operation of the coordinate conversion table generation device of FIG. 6 when generating the coordinate conversion table.
  • FIG. 27 is a diagram showing another example of the correspondence table between the coordinates on the display and the force camera number.
  • FIG. 28 is a diagram showing an area on the display corresponding to the imaging range of the video camera in FIG.
  • FIG. 29 is another diagram showing an area on the display corresponding to the imaging range of the video camera in FIG.
  • FIG. 30 is another diagram showing an area on the display corresponding to the imaging range of the video camera in FIG.
  • FIG. 31 is a diagram showing another example of a correspondence table between the coordinates on the display and the coordinates on the small screen of the SD image after correction.
  • FIG. 32 is a flowchart illustrating the processing for generating the correspondence table in FIG. 31.
  • Figure 33 is an external view of the omnidirectional camera.
  • FIG. 34 is a flowchart illustrating another operation of the coordinate conversion table generation device of FIG. 6 when generating the coordinate conversion table.
  • FIG. 35 is a flowchart illustrating a process of generating a correspondence table between the coordinates on the display and the coordinates on the small screen of the SD image after correction.
  • FIG. 6 shows a configuration example of an image processing system to which the present invention is applied.
  • parts corresponding to those in FIG. 1 are denoted by the same reference numerals.
  • the N video power cameras 2-1 to 2-N arranged at predetermined positions with respect to the subject 1 convert images obtained as a result of imaging (for example, SD (standard definition) images) into image processing devices. 1 supply to 1.
  • the image processing device 11 is configured to convert the SD images supplied from each of the video cameras 2-1 to 2-N by the coordinate conversion table generation device 13 provided via the memory card 21 by the coordinate conversion table generation device 13. Using the table Ta, an image (HD (high definition inition) image) in which the N SD images are divided and displayed in a predetermined form on the display 12A of the display device 12 is generated. The image processing device 11 supplies the generated HD image to the display device 12.
  • HD high definition inition
  • the display device 12 displays the HD image from the image processing device 11 on the display 12A.
  • the display 12A has a resolution of 1920 ⁇ 1080 pixels, as shown in FIG.
  • the coordinate conversion table generation device 13 generates a coordinate conversion table Ta corresponding to use conditions such as the number and arrangement position of the video cameras 2, lens distortion, and the display form of an SD image. And provide it to the image processing device 11.
  • FIG. 8 shows a configuration example of the image processing device 11.
  • Decoder 3 1 1 1 to 3 1 1 N Decodes the SD image input from the video camera 2 and supplies it to the corresponding field memories 32-1 to 32 -N.
  • the field memory 32 stores the image data supplied from the decoder 31 in field units.
  • the conversion unit 33 appropriately reads the image data stored in the field memories 32-1 to 32 -N, and, based on the read image data, based on the coordinate conversion table Ta stored in the storage unit 36. Then, an HD image in which N images are divided and displayed in a predetermined form on the display 12 A of the display device 12 is generated and supplied to the frame memory 34.
  • the frame memory 34 stores the HD image supplied from the conversion unit 33.
  • the encoder 35 appropriately reads and encodes the image data (image data of the HD image) stored in the frame memory 34, and supplies the resulting image data to the display device 12.
  • the storage unit 36 reads the coordinate conversion table Ta from the memory card 21 mounted on the image processing device 11 via the interface 37, and stores it.
  • FIG. 9 shows a configuration example of the coordinate conversion table generation device 13.
  • An input / output interface 46 is connected to the CPU (Central Processing Unit) 41 via a bus 45, and the CPU 41 is connected to an input including a keyboard, a mouse, and the like via an input / output interface 46.
  • a command is input from the unit 48, for example, a magnetic disk 61, an optical disk 62, or a magneto-optical disk 63 mounted on a ROM (Read Only Memory) 42, a hard disk 44, or a drive 50
  • a program stored on a recording medium such as a semiconductor memory 64 for example, a program for generating a coordinate conversion tape hole Ta
  • a RAM Random Access Memory
  • the CPU 41 outputs the processing result to an output unit 47 such as an LCD (Liquid Crystal Display) via the input / output interface 46 as necessary.
  • the program is stored in the hard disk 44 or the ROM 42 in advance, and is integrated with the coordinate conversion table generator 13.
  • package media such as magnetic disk 61, optical disk 62, magneto-optical disk 63, and semiconductor memory 64, and provided from a satellite or a network via hard disk 44 via communication unit 49. Can be provided.
  • the CPU 41 stores the generated coordinate conversion table Ta in the memory card 21 via the drive 50.
  • the operation of the image processing apparatus 11 in the case where the obtained image is divided and displayed as shown in FIG. 10 (hereinafter, such a use condition is appropriately referred to as a first use condition) is shown in FIG. This will be described with reference to the flowchart of FIG.
  • step S1 the conversion unit 33 of the image processing apparatus 11 reads a coordinate conversion table Ta stored in the storage unit 36 as shown in FIG.
  • the coordinate conversion table Ta includes the coordinates on the display 12A, the coordinates on the small screen W including the coordinates on the display 12A corresponding to the coordinates on the display 12A, and the small screen W
  • the camera numbers assigned to the video cameras 2 that provide the images displayed in are associated with each other.
  • Information indicating that black is to be output (information indicated by “black output” in FIG. 12) is set in the coordinates on the predetermined display 12A. Note that the coordinates on the display 12A to which information indicating that black is output are associated with the coordinates on the small screen W and the camera number are not associated.
  • step S2 the conversion unit 33 selects one coordinate (the coordinate of one pixel forming the HD image) on the display 12A.
  • step S3 the conversion unit 33 determines whether information indicating that black is to be output is associated with the coordinates on the display 12A selected in step S2 in the coordinate conversion table Ta. Then, if it is determined that the information is not associated, the process proceeds to step S4, and the camera number associated with the coordinates on the selected display 12A is stored in the coordinate conversion table Ta. Detect from.
  • step S5 the conversion unit 33 selects the field memory 32 corresponding to the video camera 2 to which the camera number detected in step S4 is assigned.
  • step S6 the conversion unit 33 detects the coordinates on the small screen W associated with the coordinates on the display 12A selected in step S2 from the coordinate conversion table Ta.
  • step S7 the conversion unit 33 converts the SD image stored in the field memory 32 selected in step S5 at a position corresponding to the coordinates on the small screen W detected in step S6.
  • the pixel value of the pixel is read and stored in the frame memory 34 as the pixel value output to the coordinates on the display 12A selected in step S2.
  • step S3 If it is determined in step S3 that information indicating that black is to be output is set, the process proceeds to step S8, where the conversion unit 33 stores the pixel value displayed as black in the frame memory 3 4 Then, it is stored as the pixel value output to the coordinates on the display 12A selected in step S2.
  • step S2 when predetermined coordinates in the small screen W5 in FIG. 10 are selected, in the coordinate conversion table Ta, the selected coordinates include the camera number of the video camera 2-5. Since the information is associated and the information indicating that black is to be output is not associated, the camera number of the video camera 2-5 is detected (step S3, step S4).
  • step S5 the field memory 3 2-5 corresponding to the video camera 2-5 is selected (step S5), and the coordinates on the small screen W associated with the coordinates on the selected display 12A. Is detected from the coordinate conversion table Ta (step S6).
  • step S5 the pixel value of the pixel of the SD image (step S5) from the video camera 2-5 at the position corresponding to the detected coordinates (step S6) on the small screen W is displayed on the selected display 1 2 It is stored as the pixel value output to the coordinates on A (step S7).
  • step S2 when the coordinates of the screens other than the small screens W1 to W9 in FIG. 10 (the shaded portions in the figure) are selected, in the coordinate conversion table Ta, Since information indicating that black is output is set in such coordinates (step S 3), the pixel value displayed as black is changed to the pixel output at the selected coordinates on the display 12 A. It is stored as a value (step S8).
  • step S9 it is determined whether or not the coordinates of are selected, and if it is determined that there are still unselected coordinates, the process returns to step S2 to select the next coordinate on the display 12A.
  • step S9 If it is determined in step S9 that all coordinates have been selected, the processing ends.
  • the image processing device 11 Since the coordinate conversion table Ta shown in FIG. 12 is generated by the coordinate conversion table generation device 13 based on the first use condition and the lens distortion of the video camera 2 as described later, In the present system, the image processing device 11 performs the above-described processing according to the coordinate conversion table Ta, and the nine SD images supplied from the video camera 2 can be converted as shown in FIG. It can be divided and displayed.
  • step S21 the CPU 41 of the coordinate conversion table generation device 13 converts the coordinates (the coordinates of one pixel constituting the HD image) on the display 12A of the display device 12 (FIG. 10). Choose one.
  • step S22 the CPU 41 determines that the coordinates on the display 12A selected in step S21 are within the small screen W (corresponding to the SD image obtained as a result of imaging by the video camera 2).
  • the screen where the image to be displayed is displayed).
  • the camera number of the video camera 2 which is the provider of the image displayed on the coordinates in the small screen W1 to the small screen W9 is displayed.
  • the coordinates in the screens other than the small screen W1 to the small screen W9 are associated with information indicating the fact (hereinafter referred to as information outside the display area).
  • the CPU 1 refers to the table Tbl and stores the video camera 2 in the coordinates on the display 12A selected in step S21. It is determined whether or not these camera numbers are associated.
  • step S22 When it is determined in step S22 that the coordinates on the display 12A selected in step S21 are within the small screen W (in the correspondence table Tbl, the coordinates selected in step S21) If the coordinates are associated with the camera number of the video camera 2), the process proceeds to step S23, where the CPU 41 corresponds to the coordinates on the display 12A selected in step S21. The camera number of the video camera 2 is detected from the correspondence table Tbl.
  • step S24 the CPU 41 compares the coordinates on the display 12A shown in FIG. 15 stored in the hard disk 44 with the lens distortion of the video camera 2 as described later. Selected in step S21 from the correspondence table Tb2 showing the correspondence between the coordinates on the small screen W of the small screen W cut out from the SD image obtained as a result of imaging by the video camera 2 corrected based on The coordinates on the small screen W that are associated with the coordinates on the display 12 A that have been set are detected.
  • step S25 the CPU 41 determines the coordinates on the small screen W of the SD image (original SD image) before capturing from the coordinates on the small screen W detected in step S24 as described later. Is calculated.
  • step S26 the CPU 41 determines the coordinates on the display 12A selected in step S21, the camera number detected in step S23, and the small number calculated in step S25.
  • the coordinates on the screen W are stored in the coordinate conversion table Ta (FIG. 12) in correspondence with each other.
  • step S22 when it is determined that the coordinates on the display 1 2A selected in step S21 are not within the small screen W (in the correspondence table Tbl, the coordinates selected in step S21) When information outside the display area is associated with the coordinates on the display 12A), the process proceeds to step S27.
  • step S27 the CPU 41 associates the coordinates on the display 12A selected in step S21 with information indicating that black is to be output, by associating them with the coordinate conversion table T a (FIG. 1). 2) Save to.
  • step S 26 or step S 27 the process proceeds to step S 28, and the CPU 41 executes all the displays 1 on the display 1 2 A. 2 It is determined whether or not the coordinates on A have been selected, and if it is determined that the coordinates that have not been selected still remain, the process returns to step S21 to select the next coordinate and perform the subsequent processing. Execute.
  • step S28 When it is determined in step S28 that all coordinates have been selected, the process ends.
  • step S41 the CPU 41 of the coordinate conversion table generation device 13 selects one camera number from the camera numbers of the video cameras 2-1 to 2-9.
  • step S42 the CPU 41 generates an SD image having the same size as the SD image obtained as a result of the imaging by the video camera 2 (in this example, an image having the same size as the small screen W).
  • the coordinates (Xa, Ya) of each pixel constituting the SD image on the small screen W are corrected according to the equation (1).
  • calculate the coordinates (Xb, Yb) (coordinates of the corrected SD image on the small screen).
  • Yb Yac + (Ya-Yac) (1 + k) xr 2 + k 2 xr 4 )
  • coordinates (Xac, Yac) are the coordinates of the pixel located at the center of the SD image.
  • k 1 and k 2 are coefficients determined based on the lens distortion of the video camera 2 and the like.
  • r is the distance between the pixel at coordinates (Xa, Ya) and the pixel at the center of the distortion in the SD image.
  • step S43 the CPU 41 determines the range of the SD image obtained as a result of the correction in step S42 corresponding to the size of the small screen W, and in step S44, the determination is made. Select the coordinates (Xb, Yb) on the small screen W of each pixel of the SD image within the specified range. In other words, the coordinates on the small screen W of the captured SD image displayed on the small screen W are selected.
  • the SD image (FIG. 17A) obtained as a result of imaging by the video camera 2 is enlarged and deformed into a wound type as shown by a solid line in FIG. 17B, for example, by the correction according to the equation (1). Therefore, the coordinates within the range determined in step S43 shown by the dotted line in FIG. 17B are selected from among them (FIG. 17C).
  • the coordinates (Xai: Yai) in FIG. 17A indicate arbitrary coordinates (Xa, Ya), and the coordinates (Xbi, Ybi) in FIGS. 17B and 17C correspond to the coordinates (Xai, Yai).
  • Yai) represents the coordinates (Xb, Yb) obtained as a result of the correction.
  • step S45 the CPU 41 selects one coordinate from the coordinates on the small screen W of the captured SD image selected in step S44, and displays it in step S46. 2 Convert to coordinates on A.
  • the coordinates on the small screen W selected in step S45 are obtained by converting the SD image (Fig. 17C) in the range determined in step S43 into the force selected in step S41.
  • the image is mapped to the small screen W on which the image of the video camera 2 having the camera number is displayed, it is converted into the corresponding coordinates on the display 12A.
  • the coordinates on the small screen W selected in step S45 are in the range determined in step S43.
  • the SD image is mapped to the small screen W5
  • it is converted to the corresponding coordinates on the display 12A.
  • step S47 the CPU 41 compares the coordinates on the small screen W of the corrected SD image selected in step S45 with the coordinates on the display 12A obtained in step S46. Correspondence is stored in the correspondence table Tb2 (Fig. 15).
  • step S48 the CPU 41 determines whether or not all of the coordinates selected in step S44 have been selected. If it is determined that unselected coordinates still remain, the CPU 41 determines in step S4. Return to step 5, select the next coordinate, and execute the subsequent processing.
  • step S48 If it is determined in step S48 that all coordinates have been selected, the process proceeds to step S49, in which the CPU 41 determines whether all camera numbers have been selected. If it is determined that there is still a camera, the process returns to step S41 to select the next camera number.
  • step S49 If it is determined in step S49 that all camera numbers have been selected, the process ends.
  • the pixel value output to the predetermined coordinates Ph (not shown) on the display 12A in the small screen W5 is the figure of the SD image obtained as a result of the imaging by the video camera 2-5.
  • the coordinates (Xbi, Ybi) on small screen W detected as corresponding to the coordinates Ph on display 12A (Fig. 17B) (Fig. 1B)
  • the image processing device 11 calculates the coordinates corresponding to the lens distortion of the video camera 2 of the input SD image obtained as a result of the imaging by the video camera 2, and displays the display 12 according to the divided display mode. There is no need to calculate the coordinates on A, and as shown in Fig. 11, the pixel values of the SD image are converted to the HD image according to the coordinate conversion table Ta. By simply setting an image, it is possible to generate an HD image that divides and displays an SD image obtained as a result of imaging using the video camera 2 that has been subjected to distortion correction.
  • step S25 inverse correction is performed by optimization corresponding to the expression, and the coordinates of the SD image before correction on the small screen W are calculated.
  • FIG. 18 nine video cameras 2-1 to 2-9 are arranged so as to form a surface in the vertical direction with respect to the distant subject 1, and the video cameras 2
  • the operation of the image processing apparatus 11 in a case where the image obtained as a result of imaging is displayed in a divided manner as shown in FIG. 19 (hereinafter, such a use condition is appropriately referred to as a second use condition). explain.
  • the video cameras 2 are arranged so that the imaging ranges of the adjacent cameras partially overlap as indicated by the dotted frame in FIG.
  • the imaging range of the video camera 2-1 solid frame in Fig. 21
  • the imaging range of the video camera 2-2 the implementation range of Fig. 22
  • the imaging range of the video camera 2-2 The range indicated by the solid line in Fig. 23
  • the imaging range of the video camera 2-5 the range indicated by the solid line in Fig. 24).
  • the image processing device 11 generates a coordinate conversion table T a as shown in FIG. 25 generated by the coordinate conversion table generation device 13 based on the second use condition, the lens distortion of the video camera 2, and the like.
  • the process shown in the flowchart of FIG. 11 is executed by using the same as in the first usage mode. In other words, the processing of the image processing apparatus 11 changes the values of the coordinates to be handled, but is substantially the same in the case of the first use condition and the case of the second use condition. It can be easily handled.
  • the display form in FIG. 19 displays an HD image on the entire display 12 A of the display device 12, so that the coordinate conversion table T As in the case of the first usage condition (FIG. 12), information indicating that black is output is not set in a. Therefore, in this example, the flow chart of Fig. 11 In the process, since the determination of YES is not made in step S3, the pixel value for outputting black is not stored in the process of step S8. ⁇ ⁇
  • step S61 the CPU 41 of the coordinate conversion table generation device 13 converts the coordinates of the display 12A of the display device 12 (the coordinates of one pixel constituting the HD image) (FIG. 19). One is selected, and in step S62, one camera number is selected.
  • step S63 the CPU 41 stores in the correspondence table Tel indicating the correspondence between the coordinates on the display 12A and the camera number shown in FIG. 27, on the display 12A selected in step S61. It is determined whether or not the coordinates of are associated with the camera number selected in step S62.
  • the coordinates on the display 12 A of the corresponding table T c 1 shown in FIG. 27 are provided for each area shown in FIG. 28 corresponding to the imaging range of the video camera 2 shown in FIG.
  • the camera number of the video camera 2 having the corresponding imaging range is associated.
  • the camera number of the video camera 2-1 is associated with the coordinates in the area Q1 (Fig. 29) on the display 12A corresponding to the imaging range (Fig. 21) of the video camera 2-1.
  • the camera number of the video camera 2-2 is associated with the coordinates in the area Q2 (Fig. 30) corresponding to the imaging range of the video camera 2-2 (Fig. 22). I have.
  • the coordinates on the display 12A belonging to both the area Q1 and the area Q2 are the video force cameras 2-1, 2 and 2. Two camera numbers are associated with each other.
  • step S63 when it is determined in step S63 that the coordinates on the display 12A selected in step S61 are associated with the camera number selected in step S62. Proceed to step S64.
  • step S64 the CPU 41 corrects the video camera 2 corrected based on the coordinates on the display 12A shown in FIG. 31 and the lens distortion of the video camera 2 stored in the hard disk 44.
  • the coordinates on the small screen W of the image of the small screen W cut out from the SD image obtained as a result of the imaging From the correspondence table Tc2 indicating the correspondence relationship, the coordinates on the small screen W associated with the coordinates on the display 12A selected in step S61 and the camera number selected in step S62 are detected. I do.
  • the method of generating the correspondence table Tc2 will be described later.
  • step S65 the CPU 41 calculates the coordinates on the small screen W of the SD image before the capture from the coordinates on the small screen W of the corrected SD image detected in step S64. I do.
  • step S63 When it is determined in step S63 that the coordinates on the display 1 2A selected in step S61 and the camera number selected in step S62 are not associated with each other, or in step S65.
  • step S66 the CPU 41 determines whether or not all the camera numbers have been selected. If it is determined that there is still nothing left, return to step S62 and select the next camera number.
  • step S66 When it is determined in step S66 that all the camera numbers have been selected, the process proceeds to step S67, where the CPU 41 determines that the coordinates on the display 12A selected in step S61 are: In the correspondence table Tel (FIG. 27), it is determined whether or not a plurality of camera numbers are associated. If it is determined that the camera numbers are associated with a plurality of camera numbers, the process proceeds to step S68.
  • step S61 the coordinates (X hi, Yhi) are stored in step S61. If it is selected in step, go to step S68.
  • step S68 the CPU 41 calculates the coordinates on the small screen W of the plurality of uncorrected SD images calculated by performing the processes of steps S62 to S65 a plurality of times.
  • Step S 65 (For example, when the camera number of video camera 2-1 is selected in step S 62 and the camera number of video camera 2-2 are selected, From the calculated values, one coordinate to be set in the coordinate conversion table Ta is determined.
  • step S67 When it is determined in step S67 that the coordinates selected on the display 12A selected in step S61 and the correspondence table Tel do not correspond to a plurality of camera numbers, or in step S68. When the coordinates on one small screen W are determined, the process proceeds to step S69.
  • step S69 the CPU 41 associates the coordinates on the display 12A selected in step S61 and the coordinates on the display 12A selected in step S61 with a plurality of camera numbers.
  • Step S 65 when the coordinates on the small screen W calculated in Step S 65 or the coordinates on the display 12 A selected in Step S 61 are associated with multiple camera numbers 6
  • the coordinates on the small screen W determined in step 8 and the camera number selected in step S62 when the coordinates on the small screen W are calculated correspond to the coordinate conversion table T a ( Save it in Figure 25).
  • step S70 the CPU .41 determines whether all the coordinates on the display 12A have been selected, and if it is determined that there are still unselected coordinates, Returning to step S61, the next coordinate is selected, and the subsequent processing is executed. When it is determined in step S70 that all coordinates have been selected, the process ends.
  • step S81 the CPU 41 of the coordinate conversion table generation device 13 selects one camera number.
  • step S82 the CPU 41 assumes an SD image having the same size as the SD image obtained as a result of imaging by the video camera 2, and displays the image on the small screen W of each pixel constituting the SD image.
  • the coordinates (Xa, Ya) (coordinates on the small screen W of the SD image before correction) are corrected according to the equation (1), and the coordinates (Xb, Yb) (the small image on the small screen of the SD image after correction) Coordinates).
  • step S83 the CPU 41 determines the range of the SD image obtained as a result of the correction in step S82 according to the size of the small screen W, and in step S84, the determination is made. Select the coordinates (Xb, Yb) on the small screen W of each pixel of the SD image within the specified range. That is, the coordinates on the small screen W of the corrected SD image displayed on the small screen W are selected.
  • step S85 the CPU 41 selects one coordinate from the coordinates on the small screen W of the SD image selected in step S84 and after correction, and In S86, the coordinates are converted to coordinates on the display 12A.
  • the coordinates on the small screen W selected in step S85 are obtained by converting the SD image in the range determined in step S83 into a video camera having the camera number selected in step S81.
  • the image is mapped to the small screen W on which the image 2 is displayed, it is converted to the corresponding coordinates on the display 12A.
  • step S81 when the camera number of video camera 2-5 is selected in step S81, the coordinates on the small screen W selected in step S85 are determined in step S83.
  • the SD image in the specified range is mapped to the small screen W5 (Fig. 19), it is converted to the corresponding coordinates on the display 12A.
  • step S87 the CPU 41 determines the camera number selected in step S81, the coordinates on the small screen W of the corrected SD image selected in step S85, and step S87.
  • the coordinates on the display 12A obtained in 86 are stored in the correspondence table Tc2 in correspondence with each other as shown in FIG.
  • step S88 the CPU 41 determines whether or not all of the coordinates selected in step S84 have been selected, and if it is determined that unselected coordinates still remain, Returning to step S85, the next coordinate is selected.
  • step S88 When it is determined in step S88 that all coordinates have been selected, the process proceeds to step S89, in which the CPU 41 determines whether or not all of the camera numbers have been selected. If it is determined that the number still remains, the process returns to step S81 and selects the next camera number.
  • step S89 If it is determined in step S89 that all the camera numbers have been selected, the process ends.
  • the eight video cameras 2 shown in FIG. 4 are actually the omnidirectional cameras 101 as shown in FIG.
  • the video cameras 2 are arranged at predetermined angular intervals so that they coincide near the center, and the viewing directions of the respective video cameras 2 are on one horizontal plane.
  • the plane mirror 110 is arranged in the viewing direction of the video camera 2. That is, when the video camera 2 captures the surrounding landscape reflected by the corresponding plane mirror 110, the omnidirectional camera 101 as a whole can capture a horizontal 360-degree landscape. .
  • the image processing apparatus 11 uses the coordinate conversion table Ta generated by the coordinate conversion table generation apparatus 13 based on the third use condition and the lens distortion of the video camera 2 and the like, The processing shown in the flowchart of FIG. 11 is executed as in the case of the first use condition and the second use condition. As a result, eight images obtained as a result of imaging by the video camera 2 can be divided and displayed as shown in FIG. Next, the operation of the coordinate conversion table generation device 13 when generating the coordinate conversion table Ta used in the case of this example will be described with reference to the flowchart of FIG.
  • steps S101 to S104 the same processes as those in steps S61 to S64 of FIG. 26 are performed, and thus description thereof will be omitted.
  • step S105 the CPU 41 optimizes the coordinates on the small screen W of the corrected SD image detected in step S104, and performs a process reverse to the mirror inversion process (reverse mirror inversion). Process) to calculate the coordinates on the small screen W of the SD image before correction.
  • steps S106 to S110 the same processing as in steps S66 to S70 of FIG. 26 is performed, and a description thereof will be omitted.
  • step S121 the CPU 41 of the coordinate conversion table generator 13 selects one camera number.
  • step S122 the CPU 41 assumes an SD image having the same size as the SD image obtained as a result of imaging by the video camera 2, and sets the coordinates (x a , Ya) are corrected according to equation (1) to calculate coordinates (Xb, Yb) and perform mirror inversion processing.
  • steps S123 to S129 the same processing as in steps S83 to S89 of FIG. 32 is performed, and a description thereof will be omitted.
  • the series of processes described above can be realized by hardware, but can also be realized by software.
  • a program constituting the software is installed in a computer, and the program is executed by the computer, so that the image processing apparatus 11 and the coordinate conversion table generating apparatus described above are used. 13 is functionally realized.
  • the steps for describing the program provided by the recording medium are not limited to the processing performed in chronological order according to the described order, but are not necessarily performed in chronological order. It also includes processes that are executed in parallel or individually.
  • a system refers to an entire device including a plurality of devices.
  • divided display of a small screen can be easily performed.
  • the divided display of the small screen can be easily performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本発明は、利用条件に応じた分割表示を適切に行うことができるようにする画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラムに関する。画像処理装置１１は、座標変換テーブル生成装置１３により、ビデオカメラ２の数や配置位置、分割表示形態、またはビデオカメラ２のレンズ歪み等の利用条件に基づいて生成された、ディスプレイ１２Ａ上の座標、ディスプレイ１２Ａ上の座標に対応する、そのディスプレイ１２Ａ上の座標を含む、ビデオカメラ２による撮像の結果得られる画像が表示される小画面上の座標、およびその小画面に表示される画像を提供するビデオカメラ２のカメラ番号が、それぞれ対応付けられている座標変換テーブルを利用して、ビデオカメラ２による撮像の結果得られた画像の画素値を、所定のHD画像に設定することで、Ｎ個の画像が分割表示されるHD画像を生成することができる。

Description

明細書
画像処理装置および方法、 情報処理装置および方法、 記録媒体、 並びにプログラ ム 技術分野
本発明は、 画像処理装置および方法、 情報処理装置および方法、 記録媒体、 並 びにプログラムに関し、 特に、 複数の画像を適切に分割表示することができるよ うにした画像処理装置および方法、 情報処理装置および方法、 記録媒体、 並びに プログラムに関する。 背景技術
図 1は、 従来の画像処理システムの構成例を示している。
被写体 1に対して所定の位置に配置された N個のビデオカメラ 2— 1乃至 2— N (以下、 個々に区別する必要がない場合、 単に、 ビデオカメラ 2と称する。 他 の場合についても同様である） は、 撮像の結果得られた画像を、 画像処理装置 3 に供給する。
画像処理装置 3は、 ビデオカメラ 2から供給された N個の画像が表示装置 4の ディスプレイ 4 A上で分割表示される画像を生成し、 表示装置 4に供給する。 表 示装置 4は、 画像処理装置 3からの画像を、 ディスプレイ 4 Aに表示する。
ところで、 画像処理装置 3の処理内容は、 ビデオ力メラ 2の数や分割表示形態 によって異なる。
例えば、 図 2に示すように、 9 (N = 9 ) 個のビデオカメラ 2— 1乃至 2— 9 を被写体 1を取り囲むようにして配置するとともに、 ビデオ力メラ 2による撮像 の結果得られた 9個の画像を、 図 3に示すように分割表示する場合と、 図 4に示 すように、 8 ( N = 8 ) 僻のビデオカメラ 2— 1乃至 2— 8を 3 6 0度全方の風 景が被写体 1となるように配置するとともに、 ビデオカメラ 2による撮像の結果 得られた 8個の画像を、 図 5に示すように分割表示する場合とでは、 画像処理装 置 3の処理内容は異なる。
図 3および図 5に示される小画面 Wに付されている数字は、 そこに表示される 画像の提供元であるビデオカメラ 2を表しており、 そのビデオカメラ 2に続けて 示されている数字と対応付けられている。 すなわち、 例えば、 ビデオカメラ 2— 1による撮像の結果得られた画像は、 小画面 W 1に表示され、 ビデオカメラ 2— 2による撮像の結果得られた画像は、 小画面 W 2に表示される。
また、 ビデオカメラ 2による撮像の結果得られた画像のそれぞれを適切に小画 面 Wに表示させるためには、 それらの画像を、 ビデオカメラ 2のレンズ歪み等に 基づいて補正する必要があるが、 レンズ歪み等は、 ビデオカメラ 2のそれぞれで 異なるので、 画像処理装置 3が行う画像処理は、 それによつても異なることにな る。
従って、 画像処理装置 3は、 これらの条件に応じた専用機器とされていた。 そ の結果、 従来の画像処理システムでは、 利用条件の変更に容易に対応することが できない課題があった。 発明の開示
本発明はこのような状況に鑑みてなされたものであり、 利用条件の変更に容易 に対応することができるようにするものである。
本発明の画像処理装置は、 所定の位置に配置された複数の小画像からなる大画 像が表示される大画面上の所定の座標に対応する、 所定の座標を含む小画像が表 示される小画面上の座標を検出する検出手段と、 検出手段により検出された小画 面上の座標に対応する位置にある、 所定の小画像の画素の画素値を読み取る読み 取り手段と、 読み取り手段により読み取られた画素値を、 大画面上の所定の座標 に対応する位置にある大画像の画素の画素値として出力する出力手段とを備える ことを特徴とする。 大画面上の座標、 大画面上の座標に対応する、 大画面上の座標を含む小画面上 の座標、 およぴ小画面に表示される小画像を識別するための情報が、 それぞれ対 応付けられているテーブルを記憶する記憶手段をさらに設け、 検出手段には、 大 画面上の所定の座標に対応する、 所定の座標を含む小画面上の座標をテーブルか ら検出させ、 読み取り手段には、 テーブルに、 所定の座標に対応付けられている 小画像を識別するための情報で識別される小画像の、 検出手段により検出された 小画面上の座標に対応する位置にある画素の画素値を読み取らせることができる。 小画像は、 撮像装置による撮像の結果得られた撮像画像に対応する画像とする ことができる。
本発明の画像処理方法は、 所定の位置に配置された複数の小画像からなる大画 像が表示される大画面上の所定の座標に対応する、 所定の座標を含む小画像が表 示される小画面上の座標を検出する検出ステップと、 検出ステップの処理で検出 された小画面上の座標に対応する位置にある、 所定の小画像の画素の画素値を読 み取る読み取りステップと、 読み取りステップの処理で読み取られた画素値を、 大画面上の所定の座標に.対応する位置にある大画像の画素の画素値として出力す る 力ステップとを含むことを特徴とする。
本発明の第 1の記録媒体のプログラムは、 所定の位置に配置された複数の小画 像からなる大画像が表示される大画面上の所定の座標に対応する、 所定の座標を 含む小画像が表示される小画面上の座標の検出を制御する検出制御ステップと、 検出制御ステップの処理で検出された小画面上の座標に対応する位置にある、 所 定の小画像の画素の画素値の読み取りを制御する読み取り制御ステップと、 読み 取り制御ステップの処理で読み取られた画素値の、 大画面上の所定の座標に対応 する位置にある大画像の画素の画素値としての出力を制御する出力制御ステップ とを含むことを特徴とする。
本発明の第 1のプログラムは、 所定の位置に配置された複数の小画像からなる 大画像が表示される大画面上の所定の座標に対応する、 所定の座標を含む小画像 が表示される小画面上の座標の検出を制御する検出制御ステップと、 検出制御ス テツプの処理で検出された小画面上の座標に対応する位置にある、 所定の小画像 の画素の画素値の読み取りを制御する読み取り制御ステップと、 読み取り制御ス テツプの処理で読み取られた画素値の、 大画面上の所定の座標に対応する位置に ある大画像の画素の画素値としての出力を制御する出力制御ステップとを含む処 理をコンピュータに実行させることを特徴とする。
本発明の画像処理装置および方法、 第 1のプログラムにおいては、 所定の位置 に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に 対応する、 所定の座標を含む小画像が表示される小画面上の座標が検出され、 検 出された小画面上の座標に対応する位置にある、 所定の小画像の画素の画素値が 読み取られ、 読み取られた画素値が、 大画面上の所定の座標に対応する位置にあ る大画像の画素の画素値として出力される。
本発明の情報処理装置は、 大画面上の座標に対応する、 大画面上の座標を含む 小画面上の座標を検出する第 1の検出手段と、 大画面上の座標に対応付けられて いる小画像を識別するための情報を検出する第 2の検出手段と、 大画面上の座標、 第 1の検出手段により検出された小画面上の座標、 および第 2の検出手段により 検出された小画像を識別するための情報を、 それぞれ対応させて保存し、 第 1の テーブルを生成する生成手段とを備えることを特徴とする。
小画像は、 撮像装置による撮像の結果得られる撮像画像に対応する画像とし、 大画面上の座標には、 撮像装置の撮像範囲に対応する領域毎に、 対応する撮像範 囲を有する撮像装置の識別情報が、 小画像を識別するための情報として対応付け られておくことができる。
撮像装置の光学系の条件に基づいて補正された後の撮像画像から切り取られた 小画面分の撮像画像の小画面上の座標と、 小画面上の座標に対応する、 小画面分 の撮像画像が所定の小画面に位置した場合の大画面上の座標とが対応付けられて いる第 2のテーブルを記憶する記憶手段をさらに設け、 第 1の検出手段には、 大 画面上の座標に対応する小画面上の座標を第 2のテーブルから検出させるととも に、 検出した小画面上の座標から、 捕正前の撮像画像の小画面上の座標を検出さ せることができる。
本発明の情報処理方法は、 大画面上の座標に対応する、 大画面上の座標を含む 小画面上の座標を検出する第 1の検出ステップと、 大画面上の座標に対応付けら れている小画像を識別するための情報を検出する第 2の検出ステップと、 大画面 上の座標、 第 1の検出ステップの処理で検出された小画面上の座標、 および第 2 の検出ステップの処理で検出された小画像を識別するための情報を、 それぞれ対 応させて保存し、 第 1のテーブルを生成する生成ステップとを含むことを特徴と する。
本発明の第 2の記録媒体のプログラムは、 大画面上の座標に対応する、 大画面 上の座標を含む小画面上の座標の検出を制御する第 1の検出制御ステツプと、 大 画面上の座標に対応付けられている小画像を識別するための情報の検出を制御す る第 2の検出制御ステップと、 大画面上の座標、 第 1の検出制御ステップの処理 で検出された小画面上の座標、 および第 2の検出制御ステップの処理で検出され た小画像を識別するための情報を、 それぞれ対応させて保存することでの、 第 1 のテーブルの生成を制御する生成制御ステップとを含むことを特徴とする。
本発明の第 2のプログラムは、 大画面上の座標に対応する、 大画面上の座標を 含む小画面上の座標の検出を制御する第 1の検出制御ステップと、 大画面上の座 標に対応付けられている小画像を識別するための情報の検出を制御する第 2の検 出制御ステップと、 大画面上の座標、 第 1の検出制御ステップの処理で検出され た小画面上の座標、 および第 2の検出制御ステップの処理で検出された小画像を 識別するための情報を、 それぞれ対応させて保存することでの、 第 1のテーブル の生成を制御する生成制御ステツプとを含むことを特徴とする。
本発明の情報処理装置および方法、 並びに第 2のプログラムにおいては、 大画 面上の座標に対応する、 大画面上の座標を含む小画面上の座標が検出され、 大画 面上の座標に対応付けられている小画像を識別するための情報が検出され、 大画 面上の座標、 検出された小画面上の座標、 および検出された小画像を識別するた めの情報が、 それぞれ対応させて保存されて、 第 1のテーブルが生成される。 図面の簡単な説明
図 1は、 従来の画像処理システムの構成例を示すブロック図である。
図 2は、 図 1のビデオカメラの配置例を示す図である。
図 3は、 図 2のビデオ力メラによる撮像の結果得られた画像の表示例を示す図 である。
図 4は、 図 1のビデオカメラの他の配置例を示す図である。
図 5は、 図 4のビデオカメラによる撮像の結果得られた画像の他の表示例を示 す図である。
図 6は、 本発明を適用した画像処理システムの構成例を示すプロック図である。 図 7は、 図 6の表示装置のディスプレイの大きさを示す図である。
図 8は、 図 6の画像処理装置の構成例を示すブロック図である。
図 9は、 図 6の座標変換テーブル生成装置の構成例を示すブロック図である。 図 1 0は、 図 2のビデオ力メラによる撮像の結果得られた画像の他の表示例を 示す図である。
図 1 1は、 図 6の画像処理装置の画像処理を説明するフローチャートである。 図 1 2は、 座標変換テーブルの例を示す図である。
図 1 3は、 図 6の座標変換テーブル生成装置の座標変換テーブルを生成する場 合の動作を説明するフローチャートである。
図 1 4は、 ディスプレイ上の座標とカメラ番号の対応テーブルの例を示す図で あ ό。
図 1 5は、 ディスプレイ上の座標と補正後の SD画像の小画面上の座標の対応 テ一ブルの例を示す図である。
図 1 6は、 図 1 5の対応テーブルを生成する処理を説明するフローチヤ一トで ある。 図 1 7 Aは、 図 1 5の対応テーブルを生成する処理を説明する図である。
図 1 7 Bは、 図 1 5の対応テーブルを生成する処理を説明する図である。
図 1 7 Cは、 図 1 5の対応テーブルを生成する処理を説明する図である。
図 1 8は、 図 6のビデオカメラの配置例を示す図である。
図 1 9は、 図 1 8のビデオカメラによる撮像の結果得られた画像の表示例を示 す図である。
図 2 0は、 図 1 8のビデオカメラの撮像範囲を説明する図である。
図 2 1は、 図 1 8のビデオカメラの撮像範囲を説明する他の図である。
図 2 2は、 図 1 8のビデオカメラの撮像範囲を説明する他の図である。
図 2 3は、 図 1 8のビデオカメラの撮像範囲を説明する他の図である。
図 2 4は、 図 1 8のビデオカメラの撮像範囲を説明する他の図である。
図 2 5は、 座標変換テーブルの他の例を示す図である。
図 2 6は、 図 6の座標変換テーブル生成装置の座標変換テーブルを生成する場 合の他の動作を説明するフローチャートである。
図 2 7は、 ディスプレイ上の座標と力メラ番号との対応テーブルの他の例を示 す図である。
図 2 8は、 図 1 8のビデオカメラの撮像範囲に対応するディスプレイ上の領域 を示す図である。
図 2 9は、 図 1 8のビデオカメラの撮像範囲に対応するディスプレイ上の領域 を示す他の図である。
図 3 0は、 図 1 8のビデオカメラの撮像範囲に対応するディスプレイ上の領域 を示す他の図である。
図 3 1は、 ディスプレイ上の座標と補正後の SD画像の小画面上の座標との対 応テーブルの他の例を示す図である。
図 3 2は、 図 3 1の対応テーブルの生成処理を説明するフローチャートである。 図 3 3は、 全方位カメラの外観の図である。 図 3 4は、 図 6の座標変換テーブル生成装置の座標変換テーブルを生成する場 合の他の動作を説明するフローチヤ一トである。
図 3 5は、 ディスプレイ上の座標と補正後の SD画像の小画面上の座標との対 応テーブルを生成する処理を説明するフ口一チヤ一トである。 発明を実施するための最良の形態
図 6は、 本発明を適用した画像処理システムの構成例を示している。 図中、 図 1における場合と対応する部分については、 同一の符号を付してある。
被写体 1に対して所定の位置に配置された N個のビデオ力メラ 2— 1乃至 2— Nは、 撮像の結果得られた画像 (例えば、 SD (standard definit ion) 画像） を、 画像処理装置 1 1に供給する。
画像処理装置 1 1は、 ビデオカメラ 2— 1乃至 2— Nのそれぞれから供給され た SD画像から、 メモリカード 2 1を介して提供される座標変換テーブル生成装 置 1 3により生成された座標変換テーブル T aを利用して、 N個の SD画像が、 表示装置 1 2のディスプレイ 1 2 A上に所定の形態で分割表示される画像 （HD (hi gh def init ion) 画像） を生成する。 画像処理装置 1 1は、 生成した HD画 像を、 表示装置 1 2を供給する。
表示装置 1 2は、 画像処理装置 1 1からの HD画像を、 ディスプレイ 1 2 Aに 表示する。 なおディスプレイ 1 2 Aは、 図 Ίに示すように、 1 9 2 0 X 1 0 8 0 ピクセルの解像度を有している。
座標変換テーブル生成装置 1 3は、 ビデオカメラ 2の数や配置位置、 レンズ歪 み、 および SD画像の表示形態等の利用条件に対応した座標変換テーブル T aを 生成し、 例えば、 メモリカード 2 1に記憶させて、 画像処理装置 1 1に提供する。 図 8は、 画像処理装置 1 1の構成例を示している。
N個のデコーダ 3 1 - 1乃至 3 1— Nのそれぞれには、 対応するビデオカメラ 2— 1乃至 2— Nからの SD画像が入力される。 デコーダ 3 1一 1乃至 3 1一 N は、 ビデオカメラ 2から入力された SD画像をデコードし、 対応するフィールド メモリ 3 2— 1乃至 3 2—Nに供給する。
フィールドメモリ 3 2は、 デコーダ 3 1から供給された画像データを、 フィー ルド単位で記憶する。
変換部 3 3は、 フィールドメモリ 3 2— 1乃至 3 2— Nに記憶されている画像 データを適宜読み出し、 読み出した画像データから、 記憶部 3 6に記憶されてい る座標変換テーブル T aに基づいて、 N個の画像が表示装置 1 2のディスプレイ 1 2 A上に所定の形態で分割表示される HD画像を生成し、 フレームメモリ 3 4 に供給する。 フレームメモリ 3 4は、 変換部 3 3から供給された HD画像を記憶 する。
エンコーダ 3 5は、 フレームメモリ 3 4に記憶された画像データ （HD画像の 画像データ） を適宜読み取ってエンコードし、 その結果得られた画像データを、 表示装置 1 2に供給する。
記憶部 3 6は、 インタフェース 3 7を介して、 画像処理装置 1 1に装着された メモリカード 2 1から座標変換テーブル T aを読み取り、 それを記憶する。
図 9は、 座標変換テーブル生成装置 1 3の構成例を示している。
CPU (Central Processing Uni t) 4 1にはバス 4 5を介して入出力ィンタフ エース 4 6が接続されており、 CPU 4 1は、 入出力インタフェース 4 6を介して、 キーボード、 マウスなどよりなる入力部 4 8から指令が入力されると、 例えば、 ROM (Read On ly Memory) 4 2、 ハードディスク 4 4、 またはドライブ 5 0に装 着される磁気ディスク 6 1、 光ディスク 6 2、 光磁気ディスク 6 3、 若しくは半 導体メモリ 6 4などの記録媒体に格納されているプログラム （例えば、 座標変換 テープノレ T aを生成するためのプログラム） を、 RAM (Random Access Memory) 4 3にロードして実行する。 さらに、 CPU 4 1は、 その処理結果を、 例えば、 入 出力インタフェース 4 6を介して、 LCD (Liquid Crystal Display) などより なる出力部 4 7に必要に応じて出力する。 なお、 プログラムは、 ハードディスク 4 4や ROM 4 2に予め記憶しておき、 座標変換テーブル生成装置 1 3と一体的に ユーザに提供したり、 磁気ディスク 6 1、 光ディスク 6 2、 光磁気ディスク 6 3 、 半導体メモリ 6 4等のパッケージメディアとして提供したり、 衛星、 ネットヮー ク等から通信部 4 9を介してハードディスク 4 4に提供することができる。
CPU 4 1は、 生成した座標変換テーブル T aを、 ドライブ 5 0を介してメモリ カード 2 1に記憶させる。
次に、 図 2に示すように、 9 ( N = 9 ) 個のビデオカメラ 2— 1乃至 2— 9を、 比較的近くの被写体 1を取り囲むようにして配置するとともに、 ビデオカメラ 2 による撮像の結果得られた画像を、 図 1 0に示すように分割表示する場合 （以下、 このような利用条件を、 適宜、 第 1の利用条件と称する） の画像処理装置 1 1の 動作を、 図 1 1のフローチャートを参照して説明する。
ステップ S 1において、 画像処理装置 1 1の変換部 3 3は、 記憶部 3 6に記憶 されている、 図 1 2に示すような座標変換テーブル T aを読み出す。
この座標変換テーブル T aには、 ディスプレイ 1 2 A上の座標、 ディスプレイ 1 2 A上の座標に対応する、 そのディスプレイ 1 2 A上の座標を含む小画面 W上 の座標、 およびその小画面 Wに表示される画像を提供するビデオカメラ 2に割り 当てられたカメラ番号が、 それぞれ対応付けられている。 また所定のディスプレ ィ 1 2 A上の座標には、 黒色を出力する旨を表す情報 （図 1 2中の "黒色出力" で示されている情報） が設定されている。 なお、 黒色を出力する旨を表す情報が 対応付けられているディスプレイ 1 2 A上の座標には、 小画面 W上の座標やカメ ラ番号が対応付けられていない。
次に、 ステップ S 2において、 変換部 3 3は、 ディスプレイ 1 2 A上の 1つの 座標 （HD画像を構成する 1つの画素の座標） を選択する。
ステップ S 3において、 変換部 3 3は、 座標変換テーブル T aにおいて、 ステ ップ S 2で選択したディスプレイ 1 2 A上の座標に、 黒色を出力する旨を表す情 報が対応付けられているか否かを判定し、 その情報が対応付けられていないと判 定した場合、 ステップ S 4に進み、 選択したディスプレイ 1 2 A上の座標と対応 付けられているカメラ番号を、 座標変換テーブル T aから検出する。 次に、 ステップ S 5において、 変換部 3 3は、 ステップ S 4で検出されたカメ ラ番号が割り当てられているビデオカメラ 2に対応するフィールドメモリ 3 2を 選択する。
ステップ S 6において、 変換部 3 3は、 ステップ S 2で選択したディスプレイ 1 2 A上の座標と対応付けられている小画面 W上の座標を、 座標変換テーブル T aから検出する。
次に、 ステップ S 7において、 変換部 3 3は、 ステップ S 6で検出した小画面 W上の座標に対応する位置にある、 ステップ S 5で選択したフィールドメモリ 3 2に記憶されている SD画像の画素の画素値を読み取り、 それを、 フレ ムメモ リ 3 4に、 ステップ S 2で選択したディスプレイ 1 2 A上の座標に出力される画 素値として記憶させる。
ステップ S 3で、 黒色を出力する旨を表す情報が設定されていると判定された 場合、 ステップ S 8に進み、 変換部 3 3は、 黒色として表示される画素値を、 フ レームメモリ 3 4に、 ステップ S 2で選択されたディスプレイ 1 2 A上の座標に 出力される画素値として記憶させる。
例えば、 ステップ S 2で、 図 1 0中、 小画面 W 5内の所定の座標が選択された 場合、 座標変換テーブル T aにおいて、 選択された座標には、 ビデオカメラ 2— 5のカメラ番号が対応付けられており、 黒色を出力する旨の情報は対応付けられ ていないので、 ビデオカメラ 2— 5のカメラ番号が検出される （ステップ S 3 , ステップ S 4 ) 。 次にビデオカメラ 2— 5に対応するフィールドメモリ 3 2— 5 が選択されるとともに （ステップ S 5 ) 、 選択されたディスプレイ 1 2 A上の座 標に対応付けられている小画面 W上の座標が座標変換テーブル T aから検出され る （ステップ S 6 ) 。
そして検出された小画面 W上の座標 （ステップ S 6 ) に対応する位置にある、 ビデオカメラ 2— 5からの SD画像 (ステップ S 5 ) の画素の画素値が、 選択さ れたディスプレイ 1 2 A上の座標に出力される画素値として記憶される （ステツ プ S 7 ) 。 また、 例えば、 ステップ S 2で、 図 1 0中、 小画面 W 1乃至 W 9以外の画面 (図中、 陰が付されている部分） の座標が選択された場合、 座標変換テーブル T aにおいてそのような座標には、 黒色を出力する旨の情報が設定されているので (ステップ S 3 ) 、 黒色として表示される画素値が、 選択されたディスプレイ 1 2 A上の座標に出力される画素値として記憶される （ステップ S 8 ) 。
図 1 1に戻り、 ステップ S 7またはステップ S 8で、 所定の画素値がフレーム メモリ 3 4に記憶されたとき、 ステップ S 9に進み、 変換部 3 3は、 ディスプレ ィ 1 2 A上のすべての座標が選択されたか否かを判定し、 選択されていない座標 がまだ残っていると判定した場合、 ステップ S 2に戻り、 次のディスプレイ 1 2 A上の座標を選択する。
ステップ S 9で、 すべての座標が選択されたと判定された場合、 処理は終了す る。
図 1 2に示した座標変換テーブル T aは、 後述するように、 第 1の利用条件や ビデオカメラ 2のレンズ歪みに基づいて、 座標変換テーブル生成装置 1 3により 生成されたものであるので、 本システムでは、 画像処理装置 1 1が、 その座標変 換テーブル T aに従って上述したような処理を行うことにより、 ビデオカメラ 2 から供給される 9個の SD画像を、 図 1 0に示すように分割表示することができ る。
次に、 ここで利用された座標変換テーブル T aを生成する場合の座標変換テー ブル生成装置 1 3の動作を、 図 1 3のフローチャートを参照して説明する。
ステップ S 2 1において、 座標変換テーブル生成装置 1 3の CPU 4 1は、 表示 装置 1 2のディスプレイ 1 2 A上の座標 （HD画像を構成する 1つの画素の座 標） （図 1 0 ) を 1つ選択する。
ステップ S 2 2において、 CPU 4 1は、 ステップ S 2 1で選択したディスプレ ィ 1 2 A上の座標が、 小画面 W内のもの （ビデオカメラ 2による撮像の結果得ら れた SD画像に対応する画像が表示される画面内のもの） か否かを判定する。 具体的には、 この例の場合、 図 1 4に示すような、 小画面 W 1乃至小画面 W 9 内の座標に、 そこに表示される画像の提供元であるビデオカメラ 2のカメラ番号 が対応付けられ、 小画面 W 1乃至小画面 W 9以外の画面 （図 1 0中、 陰が付され ている部分） 内の座標に、 その旨を表す情報 （以下、 表示領域外情報と称する） が対応付けられている対応テーブル T b lがハードディスク 4 4に記憶されてい るので、 CPU 1は、 それを参照して、 ステップ S 2 1で選択したディスプレイ 1 2 A上の座標に、 ビデオカメラ 2のカメラ番号が対応付けられているか否かを 判定する。
ステップ S 2 2で、 ステップ S 2 1で選択されたディスプレイ 1 2 A上の座標 、 小画面 W内のものであると判定された場合 （対応テーブル T b lにおいて、 ステップ S 2 1で選択された座標に、 ビデオカメラ 2のカメラ番号が対応付けら れている場合） 、 ステップ S 2 3に進み、 CPU 4 1は、 ステップ S 2 1で選択さ れたディスプレイ 1 2 A上の座標に対応するビデオカメラ 2のカメラ番号を、 対 応テーブル T b lから検出する。
次に、 ステップ S 2 4において、 CPU 4 1は、 ハードディスク 4 4に記憶され ている、 図 1 5に示すディスプレイ 1 2 A上の座標と、 後述するようにビデオ力 メラ 2のレンズ歪み等に基づいて補正されたビデオカメラ 2による撮像の結果得 られる SD画像から切り取られた小画面 W分の画像の小画面 W上の座標との対応 関係を示す対応テーブル Tb2から、 ステップ S 2 1で選択したディスプレイ 1 2 A上の座標に対応付けられている小画面 W上の座標を検出する。
ステップ S 2 5において、 CPU 4 1は、 ステップ S 2 4で検出した小画面 W上 の座標から、 後述するようにして捕正前の SD画像 （元の SD画像） の小画面 W 上の座標を算出する。
次に、 ステップ S 2 6において、 CPU 4 1は、 ステップ S 2 1で選択したディ スプレイ 1 2 A上の座標、 ステップ S 2 3で検出したカメラ番号、 およびステツ プ S 2 5で算出した小画面 W上の座標を、 それぞれ対応させて座標変換テーブル T a (図 1 2 ) に保存する。 ステップ S 2 2で、 ステップ S 2 1で選択されたディスプレイ 1 2 A上の座標 ヽ 小画面 W内のものではないと判定された場合 （対応テーブル T b l において、 ステップ S 2 1で選択されたディスプレイ 1 2 A上の座標に、 表示領域外情報が 対応付けられている場合） 、 ステップ S 2 7に進む。
ステップ S 2 7において、 CPU 4 1は、 ステップ S 2 1で選択したディスプレ ィ 1 2 A上の座標と黒色を出力する旨を表す情報を、 それぞれ対応させて座標変 換テーブル T a (図 1 2 ) に保存する。
ステップ S 2 6またはステップ S 2 7で、 所定の情報が座標変換テーブル T a に保存されたとき、 ステップ S 2 8に進み、 CPU 4 1は、 ディスプレイ 1 2 A上 のすベてのディスプレイ 1 2 A上の座標が選択されたか否かを判定し、 選択され ていない座標がまだ残っていると判定した場合、 ステップ S 2 1に戻り、 次の座 標を選択し、 それ以降の処理を実行する。
ステップ S 2 8で、 すべての座標が選択されたと判定されたとき、 処理は終了 する。
次に、 座標変換テーブル T a (図 1 2 ) を生成する際に利用された対応テープ ノレ Tb2 (図 1 5 ) を生成する処理を、 図 1 6のフローチャートを参照して説明 する。 なお、 ここでは座標変換テーブル生成装置 1 3が対応テーブル T b2を生 成するものとする。
ステップ S 4 1において、 座標変換テーブル生成装置 1 3の CPU 4 1は、 ビデオ カメラ 2— 1乃至 2— 9のカメラ番号の中から 1つのカメラ番号を選択する。 次に、 ステップ S 4 2において、 CPU 4 1は、 ビデオカメラ 2による撮像の結 果得られる SD画像と同じ大きさの SD画像 （この例の場合、 小画面 Wと同じ大 きさの画像） を想定し、 その SD画像を構成する各画素の小画面 W上の座標 （X a, Y a) (補正前の SD画像の小画面 W上の座標） を、 式 （ 1 ) に従って捕正し、 座標 （Xb, Y b) (補正後の SD画像の小画面上の座標） を算出する。 なお、 こ のように座標を変換することで、 ビデオカメラ 2のレンズ歪みにより生ずる SD 画像の外周部分のぼやけを鮮明にすることができる。 Xb=Xac+ (Xa-Xac) (1 + x r2+k2 x r4)
Yb=Yac+ (Ya-Yac) (1 +k】 x r2+k2 x r4)
r=( (Xa-Xac) 2+(Ya-Yac)2 ■ ' ' (1)
式中、 座標 （Xac, Yac) は、 SD画像の中心に位置する画素の座標である。 k 1および k 2は、 ビデオカメラ 2のレンズ歪み等に基づいて決定される係数で ある。 rは、 座標 （Xa， Ya) の画素と、 SD画像の歪み中心の画素との距離で ある。
ステップ S 4 3において、 CPU 4 1は、 小画面 Wの大きさに対応した、 ステツ プ S 4 2での補正の結果得られた SD画像の範囲を決定し、 ステップ S 44にお いて、 決定された範囲内の SD画像の各画素の小画面 W上の座標 （Xb, Yb) を 選択する。 すなわち、 小画面 Wに表示される捕正後の SD画像の小画面 W上の座 標が選択される。
ビデオカメラ 2による撮像の結果得られた SD画像 （図 1 7A) は、 式 （1 ) による補正により、 例えば、 図 1 7 Bの実線が示すように、 糸卷き型に拡大して 変形するので、 その中から、 図 1 7 B中の点線で示す、 ステップ S 4 3で決定さ れた範囲内の座標が選択される （図 1 7 C) 。 なお、 図 1 7 A中の座標 （Xai: Yai) は、 任意の座標 (Xa, Ya) を示し、 図 1 7 Bおよび図 1 7 C中の座標 (Xbi, Ybi) は、 座標 （Xai， Yai) が補正された結果得られた座標 （Xb, Yb) を表している。
ステップ S 4 5において、 CPU4 1は、 ステップ S 44で選択された捕正後の SD画像の小画面 W上の座標の中から 1つの座標を選択し、 それを、 ステップ S 46において、 ディスプレイ 1 2 A上の座標に変換する。
具体的には、 ステップ S 4 5で選択された小画面 W上の座標は、 ステップ S 4 3で決定された範囲の SD画像 （図 1 7 C) を、 ステップ S 4 1で選択された力 メラ番号を有するビデオカメラ 2の画像が表示される小画面 Wにマッピングした 場合の、 対応するディスプレイ 1 2 A上の座標に変換される。 例えば、 ステップ S 4 1で、 ビデオカメラ 2— 5のカメラ番号が選択されてい るとき、 ステップ S 4 5で選択された小画面 W上の座標は、 ステップ S 4 3で決 定された範囲の SD画像を小画面 W 5にマツピングした場合の、 対応するデイス プレイ 1 2 A上の座標に変換される。
次に、 ステップ S 4 7において、 CPU4 1は、 ステップ S 4 5で選択した補正 後の SD画像の小画面 W上の座標を、 ステップ S 4 6で得られたディスプレイ 1 2 A上の座標と対応付けて、 対応テーブル Tb2 (図 1 5) に保存する。
ステップ S 48において、 CPU4 1は、 ステップ S 44で選択された座標のす ベてが選択されたか否かを判定し、 選択されていない座標がまだ残っていると判 定した場合、 ステップ S 4 5に戻り、 次の座標を選択し、 それ以降の処理を実行 する。
ステップ S 4 8で、 すべての座標が選択されたと判定された場合、 ステップ S 4 9に進み、 CPU4 1は、 全てのカメラ番号が選択されたか否かを判定し、 選択 されていないカメラ番号がまだ残っていると判定した場合、 ステップ S 4 1に戻 り、 次のカメラ番号を選択する。
ステップ S 4 9で、 すべてのカメラ番号が選択されたと判定された場合、 処理 は終了する。
従って、 例えば、 小画面 W5内の、 ディスプレイ 1 2A上の所定の座標 Ph (図示せず） に出力される画素値は、 ビデオカメラ 2— 5による撮像の結果得ら れた SD画像の、 図 1 6のステップ S 4 2での捕正の結果、 ディスプレイ 1 2 A 上の座標 Phに対応するものとして検出される小画面 W上の座標 （Xbi, Ybi) (図 1 7 B) (図 1 3のステップ S 24) となる小画面 W上の座標 （Xai， Y ai) (図 1 7A) (図 1 3のステップ S 2 5) に位置する画素の画素値となる。 すなわち、 画像処理装置 1 1は、 入力されるビデオカメラ 2による撮像の結果 得られる SD画像の、 ビデオカメラ 2のレンズ歪みに対応した座標を算出したり、 分割 ¾示形態に応じたディスプレイ 1 2 A上の座標を算出したり必要がなく、 図 1 1に示したように、 SD画像の画素値を、 座標変換テーブル Taに応じて HD画 像に設定するだけで、 歪み補正が施されたビデオ力メラ 2による撮像の結果得ら れた SD画像を分割表示する HD画像を生成することができる。
対応テープル T b2 (図 1 5 ) の補正後の SD画像の小画面 W上の座標 （Xb， Yb) は、 上述したように、 式 （1 ) に従って算出されているので、 図 1 3のス テツプ S 2 5では、 その式に対応した最適化により、 逆補正を行って、 補正前の SD画像の小画面 W上の座標が算出される。
次に、 図 1 8に示すように、 9個のビデオカメラ 2— 1乃至 2— 9を、 遠方の 被写体 1に対して垂直方向に面を形成するようにして配置するとともに、 ビデオ カメラ 2による撮像の結果得られた画像を、 図 1 9に示すように分割表示する場 合 （以下、 このような利用条件を、 適宜、 第 2の利用条件と称する） の画像処理 装置 1 1の動作について説明する。
なお、 この例の場合、 ビデオカメラ 2は、 隣接するもの同士の撮像範囲が、 図 2 0の点線の枠が示すように、 一部重複するように配置されている。 例えば、 ビ デォカメラ 2— 1の撮像範囲 （図 2 1の実線の枠） は、 ビデオ力メラ 2— 2の撮 像範囲 （図 2 2の実施の範囲） 、 ビデオ力メラ 2— 4の撮像範囲 （図 2 3の実線 の範囲） 、 およびビデオカメラ 2— 5の撮像範囲 （図 2 4の実線の範囲） と一部 重なっている。
画像処理装置 1 1は、 座標変換テーブル生成装置 1 3により、 このような第 2 の利用条件やビデオカメラ 2のレンズ歪み等に基づいて生成された図 2 5に示す ような座標変換テーブル T aを利用して、 第 1の利用形態の場合と同様に図 1 1 のフローチャートに示す処理を実行する。 すなわち、 画像処理装置 1 1の処理は、 扱う座標等の値が変わるが、 第 1の利用条件の場合と第 2の利用条件の場合とで、 実質に同じであるので、 利用条件の変更に容易に対応することができる。
なお、 図 1 9の表示形態は、 第 1の利用条件 （図 1 0 ) の場合と異なり、 表示 装置 1 2のディスプレイ 1 2 Aの全体に、 HD画像が表示されるので、 座標変換 テーブル T aには、 第 1の利用条件の場合のように （図 1 2 ) 、 黒色を出力する 旨を表す情報は設定されていない。 従って、 この例の場合、 図 1 1のフローチヤ ートにおいて、 ステップ S 3で YESの判定はなされないので、 ステップ S 8の 処理で、 黒色を出力するための画素値が記憶されることはない。 ■ ·
次に、 この例の場合において利用される座標変換テーブル T a (図 2 5 ) を生 成する場合の座標変換テーブル生成装置 1 3の動作を、 図 2 6のフローチャート を参照して説明する。
ステップ S 6 1において、 座標変換テーブル生成装置 1 3の CPU 4 1は、 表示 装置 1 2のディスプレイ 1 2 Aの座標 （HD画像上を構成する 1つの画素の座 標） （図 1 9 ) を 1つ選択し、 ステップ S 6 2において、 カメラ番号を 1つ選択 する。
ステップ S 6 3において、 CPU 4 1は、 図 2 7に示すディスプレイ 1 2 A上の 座標とカメラ番号との対応関係を表す対応テーブル T e lに、 ステップ S 6 1で 選択したディスプレイ 1 2 A上の座標と、 ステップ S 6 2で選択したカメラ番号 とが対応付けているか否かを判定する。
図 2 7に示す対応テ一ブル T c 1のディスプレイ 1 2 A上の座標には、 図 2 0 に示したビデオカメラ 2の撮像範囲に対応する、 図 2 8に示すような領域毎に、 対応する撮像範囲を有するビデオカメラ 2のカメラ番号が対応付けられている。 例えば、 ディスプレイ 1 2 A上の、 ビデオカメラ 2— 1の撮像範囲 （図 2 1 ) に対応する領域 Q 1 (図 2 9 ) 内の座標には、 ビデオカメラ 2— 1のカメラ番号 が対応付けられており、 ビデオ力メラ 2— 2の撮像範囲 （図 2 2 ) に対応する領 域 Q 2 (図 3 0 ) 内の座標には、 ビデオカメラ 2— 2のカメラ番号が対応付けら れている。 なお、 領域 Q 1および領域 Q 2の両方に属するディスプレイ 1 2 A上 の座標 （例えば、 図 2 9および図 3 0の座標 （X hi , Yhi) ) には、 ビデオ力 メラ 2— 1， 2一 2の 2個のカメラ番号が対応付けられている。
図 2 6に戻り、 ステップ S 6 3で、 ステップ S 6 1で選択されたディスプレイ 1 2 A上の座標と、 ステップ S 6 2で選択されたカメラ番号が対応付けられてい ると判定された場合、 ステップ S 6 4に進む。 ステップ S 6 4において、 CPU 4 1は、 ハードディスク 4 4に記憶されている、 図 3 1に示すディスプレイ 1 2 A上の座標、 ビデオカメラ 2のレンズ歪み等に基 づいて補正されたビデオカメラ 2による撮像の結果得られる SD画像から切り取 られた小画面 W分の画像の小画面 W上の座標、 およびディスプレイ 1 2 A上の座 標が対応する撮像範囲を有するビデオカメラ 2のカメラ番号との対応関係を示す 対応テーブル T c2から、 ステップ S 6 1で選択したディスプレイ 1 2 A上の座 標とステップ S 6 2で選択されたカメラ番号に対応付けられている小画面 W上の 座標を検出する。 なお、 対応テーブル T c2の生成方法については後述する。
次に、 ステップ S 6 5において、 CPU 4 1は、 ステップ S 6 4で検出した補正 後の SD画像の小画面 W上の座標から、 捕正前の SD画像の小画面 W上の座標を 算出する。
ステップ S 6 3で、 ステップ S 6 1で選択されたディスプレイ 1 2 A上の座標 と、 ステップ S 6 2で選択したカメラ番号とが対応付けられていないと判定され たとき、 またはステップ S 6 5で、 補正前の SD画像の小画面 W上の座標が算出 されたとき、 ステップ S 6 6に進み、 CPU 4 1は、 すべてのカメラ番号が選択さ れたか否かを判定し、 選択されていないものがまだ残っていると判定した場合、 ステップ S 6 2に戻り、 次のカメラ番号を選択する。
ステップ S 6 6で、 すべてのカメラ番号が選択されたと判定されたとき、 ステ ップ S 6 7に進み、 CPU 4 1は、 ステップ S 6 1で選択されたディスプレイ 1 2 A上の座標が、 対応テーブル T e l (図 2 7 ) において複数のカメラ番号に対応 付けられていたか否かを判定し、 複数のカメラ番号に対応付けられていたと判定 した場合、 ステップ S 6 8に進む。
例えば、 図 2 9および図 3 0に示したディスプレイ 1 2 A上の座標 （Xhi，
Yhi ) は、 対応テーブル T elにおいて、 ビデオカメラ 2— 1のカメラ番号とビ デォカメラ 2— 3のカメラ番号の両方に対応付けられているので、 その座標 （X hi , Yhi) がステップ S 6 1で選択されているとき、 ステップ S 6 8に進む。 ステップ S 6 8において、 CPU 4 1は、 ステップ S 6 2乃至ステップ S 6 5の 処理が複数回行われて算出された複数の補正前の SD画像の小画面 W上の座標
(ステップ S 6 5 ) (例えば、 ステップ S 6 2でビデオカメラ 2— 1のカメラ番 号が選択されているときに算出されたものとビデオカメラ 2— 2のカメラ番号が 選択されているときに算出されたもの） の中から、 座標変換テーブル T aに設定 する 1つの座標を決定する。
例えば、 座標 （X hi , Y hi ) (図 2 9 , 3 0 ) 力 領域 Q 2の中心からより も、 領域 Q 1の中心からの方が近い位置にある場合、 ビデオカメラ 2— 1のカメ ラ番号が選択されているときに算出された捕正前の SD画像の小画面 W上の座標 が選択される。
ステップ S 6 7で、 ステップ S 6 1で選択されたディスプレイ 1 2 A上の座標 、 対応テーブル T e lにおいて複数のカメラ番号に対応付けられていないと判 定されたとき、 またはステップ S 6 8で、 1つの小画面 W上の座標が決定された とき、 ステップ S 6 9に進む。
ステップ S 6 9において、 CPU 4 1は、 ステップ S 6 1で選択したデイスプレ ィ 1 2 A上の座標、 ステップ S 6 1で選択されたディスプレイ 1 2 A上の座標が 複数のカメラ番号に対応付けられていない場合のステップ S 6 5で算出された小 画面 W上の座標またはステップ S 6 1で選択されたデイスプレイ 1 2 A上の座標 が複数のカメラ番号に対応付けられている場合のステップ S 6 8で決定された小 画面 W上の座標、 およびその小画面 W上の座標が算出されたときにステップ S 6 2で選択されていたカメラ番号を、 それぞれ対応させて座標変換テーブル T a (図 2 5 ) に保存する。 - 次に、 ステップ S 7 0において、 CPU .4 1は、 ディスプレイ 1 2 A上の座標が すべて選択されたか否かを判定し、 選択されていない座標がまだ残っていると判 定した場合、 ステップ S 6 1に戻り、 次の座標を選択し、 それ以降の処理を実行 する。 ステップ S 7 0で、 すべての座標が選択されたと判定されたとき、 処理は終了 する。
次に、 第 2の利用条件に対応した座標変換テーブル T a (図 2 5 ) を生成する 際に利用された対応テーブル T c2 (図 3 1 ) を生成する処理を、 図 3 2のフロ 一チャートを参照して説明する。 なお、 ここでは座標変換テーブル生成装置 1 3 が対応テーブル T c2を生成するものとする。
ステップ S 8 1.において、 座標変換テーブル生成装置 1 3の CPU 4 1は、 カメ ラ番号を 1つ選択する。
次に、 ステップ S 8 2において、 CPU 4 1は、 ビデオカメラ 2による撮像の結 果得られる SD画像と同じ大きさの SD画像を想定し、 その SD画像を構成する各 画素の小画面 W上の座標 （X a， Ya) (捕正前の SD画像の小画面 W上の座標） を、 式 （1 ) に従って補正し、 座標 （Xb， Yb) (補正後の SD画像の小画面上 の座標） を算出する。
ステップ S 8 3において、 CPU 4 1は、 小画面 Wの大きさに応じた、 ステップ S 8 2での補正の結果得られた SD画像の範囲を決定し、 ステップ S 8 4におい て、 決定された範囲内の SD画像の各画素の小画面 W上の座標 （Xb， Yb) を選 択する。 すなわち、 小画面 Wに表示される補正後の SD画像の小画面 W上の座標 が選択される。
次に、 ステップ S 8 5において、 CPU 4 1は、 ステップ S 8 4で選択され 補 正後の SD画像の小画面 W上の座標の中から 1つの座標を選択し、 それを、 ステ ップ S 8 6において、 ディスプレイ 1 2 A上の座標に変換する。
具体的には、 ステップ S 8 5で選択された小画面 W上の座標は、 ステップ S 8 3で決定された範囲の SD画像を、 ステップ S 8 1で選択されたカメラ番号を有 するビデオカメラ 2の画像が表示される小画面 Wにマッピングした場合の、 対応 するディスプレイ 1 2 A上の座標に変換される。
例えば、 ステップ S 8 1で、 ビデオカメラ 2— 5のカメラ番号が選択されてい るとき、 ステップ S 8 5で選択された小画面 W上の座標は、 ステップ S 8 3で決 定された範囲の SD画像を小画面 W 5 (図 1 9 ) にマッピングした場合の、 対応 するディスプレイ 1 2 A上の座標に変換される。
次に、 ステップ S 8 7において、 CPU 4 1は、 ステップ S 8 1で選択したカメ ラ番号、 ステップ S 8 5で選択した補正後の SD画像の小画面 W上の座標、 およ びステップ S 8 6で得られたディスプレイ 1 2 A上の座標を、 図 3 1に示すよう に、 それぞれ対応させて対応テーブル T c2に保存する。
ステップ S 8 8において、 CPU 4 1は、 ステップ S 8 4で選択された座標のす ベてが選択されたか否かを判定し、 選択されていない座標がまだ残っていると判 定した場合、 ステップ S 8 5に戻り、 次の座標を選択する。
ステップ S 8 8で、 すべての座標が選択されたと判定されたとき、 ステップ S 8 9に進み、 CPU 4 1は、 カメラ番号のすべてが選択されたか否かを判定し、 選 択されていないカメラ番号がまだ残っていると判定した場合、 ステップ S 8 1に 戻り、 次のカメラ番号を選択する。
ステップ S 8 9で、 すべてのカメラ番号が選択されたと判定されたとき、 処理 は終了する。
次に、 図 4に示すように、 8 ( N = 8 ) 個のビデオカメラ 2— 1乃至 2— 8を 3 6 0度全方の風景が被写体 1となるようにして配置するとともに、 ビデオカメ ラ 2による撮像の結果得られた画像を、 図 5に示すように分割表示する場合 （以 下、 このような利用条件を、 適宜、 第 3の利用条件と称する） の画像処理装置 1 1の動作について説明する。
なお、 図 4に示した 8個のビデオカメラ 2は、 実際には、 図 3 3に示すような 全方向カメラ 1 0 1に、 ビデオ力メラ 2の投影中心が全方位力メラ 1 0 1の中心 付近で一致するように、 かつ、 各ビデオカメラ 2の視線方向が 1つの水平面上と なるように、 所定角度間隔で配列されている。
平面鏡 1 1 0は、 ビデオカメラ 2の視線方向に配置されている。 すなわちビデオカメラ 2が、 対応する平面鏡 1 1 0で反射された周囲の風景を 撮像することにより、 全方位カメラ 1 0 1全体としては、 水平方向 3 6 0度の風 景を撮像することができる。
画像処理装置 1 1は、 座標変換テーブル生成装置 1 3により、 このような第 3 の利用条件やビデオカメラ 2のレンズ歪み等に基づいて生成された座標変換テー ブル T aを利用して、 第 1の利用条件および第 2の利用条件の場合と同様に図 1 1のフローチャートに示す処理を実行する。 その結果、 ビデオカメラ 2による撮 像の結果得られた 8個の画像を、 図 5に示すように分割表示させることができる。 次に、 この例の場合において利用される座標変換テーブル T aを生成する場合 の座標変換テーブル生成装置 1 3の動作を、 図 3 4のフローチャートを参照して 説明する。
ステップ S 1 0 1乃至ステップ S 1 0 4においては、 図 2 6のステップ S 6 1 乃至ステップ S 6 4における場合と同様の処理が行われるので、 その説明を省略 'する。
ステップ S 1 0 5において、 CPU 4 1は、 ステップ S 1 0 4で検出した補正後 の SD画像の小画面 W上の座標を最適化するとともに、 ミラー反転処理の逆の処 理 （逆ミラー反転処理） を行って、 補正前の SD画像の小画面 W上の座標を算出 する。
ステップ S 1 0 6乃至ステップ S 1 1 0においては、 図 2 6のステップ S 6 6 乃至ステップ S 7 0における場合と同様の処理がなされるので、 その説明は省略 する。
次に、 ステップ S 1 0 4で利用されたディスプレイ 1 2 A上の座標と捕正後の SD 画像の小画面 W上の座標との対応関係を示す対応テーブルを生成する処理を、 図 3 5のフローチャートを参照して説明する。 なお、 ここでは座標変換テーブル 生成装置 1 3がその対応テーブルを生成するものとする。
ステップ S 1 2 1において、 座標変換テーブル生成装置 1 3の CPU 4 1は、 力 メラ番号を 1つ選択する。 次に、 ステップ S 1 2 2において、 CPU 4 1は、 ビデオカメラ 2による撮像の 結果得られた SD画像と同じ大きさの SD画像を想定し、 その SD画像を構成する 各画素の座標 （x a , Y a) を、 式 （1 ) に従って補正し、 座標 （X b, Yb) を 算出するするとともに、 ミラー反転処理を施す。
ステップ S 1 2 3乃至ステップ S 1 2 9においては、 図 3 2のステップ S 8 3 乃至ステップ S 8 9における場合と同様の処理が行われるので、 その説明を省略 する。
上述した一連の処理は、 ハードウェアにより実現させることもできるが、 ソフ トウェアにより実現させることもできる。 一連の処理をソフトウェアにより実現 する場合には、 そのソフトウェアを構成するプログラムがコンピュータにインス トールされ、 そのプログラムがコンピュータで実行されることより、 上述した画 像処理装置 1 1および座標変換テーブル生成装置 1 3が機能的に実現される。 なお、 本明細書において、 記録媒体により提供されるプログラムを記述するス テツプは、 記載された順序に沿って時系列的に行われる処理はもちろん、 必ずし も時系列的に処理されなくとも、 並列的あるいは個別に実行される処理をも含む ものである。
また、 本明細書において、 システムとは、 複数の装置により構成される装置全 体を表すものである。 産業上の利用可能性
第 1の本発明によれば、 小画面の分割表示を容易に行うことができる。
第 2の本発明によれば、 利用条件が変更されても、 小画面の分割表示を容易に 行うことができる。

Claims

請求の範囲
1 . 所定の位置に配置された複数の小画像からなる大画像が表示される大画面 上の所定の座標に対応する、 前記所定の座標を含む前記小画像が表示される小画 面上の座標を検出する検出手段と、
前記検出手段により検出された前記小画面上の座標に対応する位置にある、 所 定の前記小画像の画素の画素値を読み取る読み取り手段と、
前記読み取り手段により読み取られた前記画素値を、 前記大画面上の前記所定 の座標に対応する位置にある前記大画像の画素の画素値として出力する出力手段 と
を備えることを特徴とする画像処理装置。
2 . 前記大画面上の座標、 前記大画面上の座標に対応する、 前記大画面上の座 標を含む前記小画面上の座標、 およぴ前記小画面に表示される前記小画像を識別 するための情報が、 それぞれ対応付けられているテーブルを記憶する記憶手段を さらに備え、
前記検出手段は、 前記大画面上の前記所定の座標に対応する、 前記所定の座標 を含む前記小画面上の座標を前記テーブルから検出し、
前記読み取り手段は、 前記テーブルに、 前記所定の座標に対応付けられている 前記小画像を識別するための情報で識別される前記小画像の、 前記検出手段によ り検出された前記小画面上の座標に対応する位置にある画素の画素値を読み取る ことを特徴とする請求の範囲第 1項に記載の情報処理装置。
3 . 前記小画像は、 撮像装置による撮像の結果得られた撮像画像に対応する画 像である
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
4 . 所定の位置に配置された複数の小画像からなる大画像が表示される大画面 上の所定の座標に対応する、 前記所定の座標を含む前記小画像が表示される小画 面上の座標を検出する検出ステップと、 前記検出ステップの処理で検出された前記小画面上の座標に対応する位置にあ る、 所定の前記小画像の画素の画素値を読み取る読み取りステップと、
前記読み取りステップの処理で読み取られた前記画素値を、 前記大画面上の前 記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出 力ステップと
を含むことを特徴とする画像処理方法。
5 . 所定の位置に配置された複数の小画像からなる大画像が表示される大画面 上の所定の座標に対応する、 前記所定の座標を含む前記小画像が表示される小画 面上の座標の検出を制御する検出制御ステップと、
前記検出制御ステップの処理で検出された前記小画面上の座標に対応する位置 にある、 所定の前記小画像の画素の画素値の読み取りを制御する読み取り制御ス 前記読み取り制御ステップの処理で読み取られた前記画素値の、 前記大画面上 の前記所定の座標に対応する位置にある前記大画像の画素の画素値としての出力 を制御する出力制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録され ている記録媒体。
6 . 所定の位置に配置された複数の小画像からなる大画像が表示される大画面 上の所定の座標に対応する、 前記所定の座標を含む前記小画像が表示される小画 面上の座標の検出を制御する検出制御ステップと、
前記検出制御ステップの処理で検出された前記小画面上の座標に対応する位置 にある、 所定の前記小画像の画素の画素値の読み取りを制御する読み取り制御ス テツプと、 .
前記読み取り制御ステップの処理で読み取られた前記画素値の、 前記大画面上 の前記所定の座標に対応する位置にある前記大画像の画素の画素値としての出力 を制御する出力制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
7 . 所定の位置に配置された複数の小画像からなる大画像が表示される大画面 上の所定の座標に対応する、 前記所定の座標を含む前記小画像が表示される小画 面上の座標を、 第 1のテーブルから検出し、
前記第 1のテーブルに、 前記所定の座標に対応付けられている前記小画像を識 別するための情報で識別される前記小画像の、 検出された前記小画面上の座標に 対応する位置にある画素の画素値を読み取り、
読み取られた前記画素値を、 前記大画面上の前記所定の座標に対応する位置に ある前記大画像の画素の画素値として出力する画像処理装置に提供される前記第 1のテーブルを生成する情報処理装置において、
前記大画面上の座標に対応する、 前記大画面上の座標を含む前記小画面上の座 標を検出する第 1の検出手段と、
前記大画面上の座標に対応付けられている前記小画像を識別するための情報を 検出する第 2の検出手段と、
前記大画面上の座標、 前記第 1の検出手段により検出された前記小画面上の座 標、 および前記第 2の検出手段により検出された前記小画像を識別するための情 報を、 それぞれ対応させて保存し、 前記第 1のテーブルを生成する生成手段と を備えることを特徴とする情報処理装置。
8 . 前記小画像は、 撮像装置による撮像の結果得られる撮像画像に対応する画 像であり、
前記大画面上の座標には、 前記撮像装置の撮像範囲に対応する領域毎に、 対応 する撮像範囲を有する前記撮像装置の識別情報が、 前記小画像を識別するための 情報として対応付けられている
ことを特徴とする請求の範囲第 7項に記載の情報処理装置。
9 . 前記撮像装置の光学系の条件に基づいて捕正された後の前記撮像画像から 切り取られた前記小画面分の前記撮像画像の前記小画面上の座標と、 前記小画面 上の座標に対応する、 前記小画面分の前記撮像画像が所定の前記小画面に位置し た場合の前記大画面上の座標とが対応付けられている第 2のテーブルを記憶する 記憶手段をさらに備え、
前記第 1の検出手段は、 前記大画面上の座標に対応する前記小画面上の座標を 前記第 2のテーブルから検出するとともに、 検出した前記小画面上の座標から、 補正前の前記撮像画像の前記小画面上の座標を検出する
ことを特徴とする請求の範囲第 8項に記載の情報処理装置。
1 0 . 所定の位置に配置された複数の小画像からなる大画像が表示される大画 面上の所定の座標に対応する、 前記所定の座標を含む前記小画像が表示される小 画面上の座標を、 第 1のテーブルから検出し、
前記第 1のテーブルに、 前記所定の座標に対応付けられている前記小画像を識 別するための情報で識別される前記小画像の、 検出された前記小画面上の座標に 対応する位置にある画素の画素値を読み取り、
読み取られた前記画素値を、 前記大画面上の前記所定の座標に対応する位置に ある前記大画像の画素の画素値として出力する画像処理装置に提供される前記第 1のテーブルを生成する情報処理装置の情報処理方法において、
前記大画面上の座標に対応する、 前記大画面上の座標を含む前記小画面上の座 標を検出する第 1の検出ステップと、
前記大画面上の座標に対応付けられている前記小画像を識別するための情報を 検出する第 2の検出ステップと、
前記大画面上の座標、 前記第 1の検出ステップの処理で検出された前記小画面 上の座標、 および前記第 2の検出ステップの処理で検出された前記小画像を識別 するための情報を、 それぞれ対応させて保存し、 前記第 1のテーブルを生成する 生成ステップと
を含むことを特徴とする情報処理方法。
1 1 . 所定の位置に配置された複数の小画像からなる大画像が表示される大画 面上の所定の座標に対応する、 前記所定の座標を含む前記小画像が表示される小 画面上の座標を、 第 1のテーブルから検出し、 前記第 1のテーブルに、 前記所定の座標に対応付けられている前記小画像を識 別するための情報で識別される前記小画像の、 検出された前記小画面上の座標に 対応する位置にある画素の画素値を読み取り、
読み取られた前記画素値を、 前記大画面上の'前記所定の座標に対応する位置に ある前記大画像の画素の画素値として出力する画像処理装置に提供される前記第 1のテーブルを生成する情報処理装置のプログラムであって、
前記大画面上の座標に対応する、 前記大画面上の座標を含む前記小画面上の座 標の検出を制御する第 1の検出制御ステップと、
前記大画面上の座標に対応付けられている前記小画像を識別するための情報の 検出を制御する第 2の検出制御ステップと、
前記大画面上の座標、 前記第 1の検出制御ステップの処理で検出された前記小 画面上の座標、 および前記第 2の検出制御ステップの処理で検出された前記小画 像を識別するための情報を、 それぞれ対応させて保存することでの、 前記第 1の テーブルの生成を制御する生成制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録され ている記録媒体。
1 2 . 所定の位置に配置された複数の小画像からなる大画像が表示される大画 面上の所定の座標に対応する、 前記所定の座標を含む前記小画像が表示される小 画面上の座標を、 第 1のテーブルから検出し、
前記第 1のテーブルに、 前記所定の座標に対応付けられている前記小画像を識 別するための情報で識別される前記小画像の、 検出された前記小画面上の座標に 対応する位置にある画素の画素値を読み取り、
読み取られた前記画素値を、 前記大画面上の前記所定の座標に対応する位置に ある前記大画像の画素の画素値として出力する画像処理装置に提供される前記第 1のテーブルを生成する情報処理装置のプログラムであって、
前記大画面上の座標に対応する、 前記大画面上の座標を含む前記小画面上の座 標の検出を制御する第 1の検出制御ステップと、 前記大画面上の座標に対応付けられている前記小画像を識別するための情報の 検出を制御する第 2の検出制御ステップと、
前記大画面上の座標、 前記第 1の検出制御ステップの処理で検出された前記小 画面上の座標、 および前記第 2の検出制御ステップの処理で検出された前記小画 像を識別するための情報を、 それぞれ対応させて保存することでの、 前記第 1の テーブルの生成を制御する生成制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2003/009062 2002-07-31 2003-07-17 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム Ceased WO2004014080A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP03741438A EP1542471A4 (en) 2002-07-31 2003-07-17 IMAGE PROCESSING DEVICE, METHOD, INFORMATION PROCESSING DEVICE, METHOD, RECORDING MEDIUM AND PROGRAM
US10/523,078 US20060165309A1 (en) 2002-07-31 2003-07-17 Image processing apparatus and method, information processing apparatus and method, recording medium, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002224150A JP2004062103A (ja) 2002-07-31 2002-07-31 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
JP2002-224150 2002-07-31

Publications (1)

Publication Number Publication Date
WO2004014080A1 true WO2004014080A1 (ja) 2004-02-12

Family

ID=31492124

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/009062 Ceased WO2004014080A1 (ja) 2002-07-31 2003-07-17 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム

Country Status (4)

Country Link
US (1) US20060165309A1 (ja)
EP (1) EP1542471A4 (ja)
JP (1) JP2004062103A (ja)
WO (1) WO2004014080A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
JP4345829B2 (ja) 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
TW201010429A (en) * 2008-08-20 2010-03-01 Av Tech Corp Image processing system and method thereof
US8754941B1 (en) * 2009-09-22 2014-06-17 Altia Systems, Inc. Multi-imager video camera with frame-by-frame view switching
JP5803184B2 (ja) * 2010-11-19 2015-11-04 株式会社リコー 画像投影装置、メモリアクセス方法
KR101675804B1 (ko) * 2015-05-27 2016-11-15 한화테크윈 주식회사 비디오 월(video wall)이 형성되는 감시 시스템
WO2020042025A1 (zh) * 2018-08-29 2020-03-05 深圳市大疆创新科技有限公司 视频的处理方法、装置、显示系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0777965A (ja) * 1992-12-28 1995-03-20 Sanyo Electric Co Ltd 多分割画面表示装置
JPH09270954A (ja) * 1996-04-03 1997-10-14 Hitachi Ltd 画面合成回路
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4890314A (en) * 1988-08-26 1989-12-26 Bell Communications Research, Inc. Teleconference facility with high resolution video display
US6088005A (en) * 1996-01-11 2000-07-11 Hewlett-Packard Company Design and method for a large, virtual workspace
JP3339284B2 (ja) * 1996-01-29 2002-10-28 三菱電機株式会社 大画面表示方式
JP2962348B2 (ja) * 1996-02-08 1999-10-12 日本電気株式会社 画像符号変換方式
JPH11155142A (ja) * 1997-11-19 1999-06-08 Mitsubishi Electric Corp 医療支援システム
JP2004500731A (ja) * 1998-06-18 2004-01-08 ソニー　エレクトロニクス　インク 複数のディスプレイ装置に亘ってビデオ及び／又はグラフィック画像を分割し、スケーリングし、表示する方法及び装置
US6657637B1 (en) * 1998-07-30 2003-12-02 Matsushita Electric Industrial Co., Ltd. Moving image combining apparatus combining computer graphic image and at least one video sequence composed of a plurality of video frames
US6477314B1 (en) * 1999-07-29 2002-11-05 Geo Vision Inc. Method of recording image data, and computer system capable of recording image data
JP3557168B2 (ja) * 2000-11-27 2004-08-25 三洋電機株式会社 レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
US6912695B2 (en) * 2001-09-13 2005-06-28 Pixia Corp. Data storage and retrieval system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0777965A (ja) * 1992-12-28 1995-03-20 Sanyo Electric Co Ltd 多分割画面表示装置
JPH09270954A (ja) * 1996-04-03 1997-10-14 Hitachi Ltd 画面合成回路
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1542471A4 *

Also Published As

Publication number Publication date
EP1542471A4 (en) 2005-12-07
US20060165309A1 (en) 2006-07-27
JP2004062103A (ja) 2004-02-26
EP1542471A1 (en) 2005-06-15

Similar Documents

Publication Publication Date Title
KR102385360B1 (ko) 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
JP5906028B2 (ja) 画像処理装置、画像処理方法
US8228396B2 (en) Image processing apparatus, image capturing apparatus, and image distortion correction method
US9071751B2 (en) Image processor method and program for correcting distance distortion in panorama images
EP2063646A2 (en) Method and apparatus for predictive coding
CN101518045B (zh) 图像处理装置和图像处理方法
CN110969575B (zh) 自适应图像拼接的方法及图像处理装置
JP5522174B2 (ja) 動画像符号化装置
US8289420B2 (en) Image processing device, camera device, image processing method, and program
US8625007B2 (en) Image pickup apparatus, image combination method, and computer program
US9083882B2 (en) Image capture apparatus and method for controlling the same
EP1892665A2 (en) Entire-view video image process system and method thereof
KR20190087119A (ko) 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
US8976276B2 (en) Image processing apparatus, image capturing apparatus, and image processing method
WO2004014080A1 (ja) 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
EP3619679B1 (en) Chromatic aberration modeling in image compression and enhancement
KR102418852B1 (ko) 이미지 표시를 제어하는 전자 장치 및 방법
JP6336341B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US11206344B2 (en) Image pickup apparatus and storage medium
CN108876717B (zh) 图像视角转换方法及其系统
JP2005277732A (ja) 矩形画像の四隅検出方法及び装置及びプログラム及び矩形画像の四隅検出プログラムを格納した記憶媒体
JP4218278B2 (ja) 情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム
KR20200098806A (ko) 이상 픽셀을 포함하는 센서로부터의 데이터를 처리하기 위한 프로세서
US11182617B2 (en) Device and method for generating heat map
JP6467940B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003741438

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003741438

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006165309

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10523078

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10523078

Country of ref document: US