[go: up one dir, main page]

WO2007010596A1 - 画像判定方法、画像判定装置および画像判定方法をコンピュータに実行させるプログラムを記録した記録媒体 - Google Patents

画像判定方法、画像判定装置および画像判定方法をコンピュータに実行させるプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2007010596A1
WO2007010596A1 PCT/JP2005/013261 JP2005013261W WO2007010596A1 WO 2007010596 A1 WO2007010596 A1 WO 2007010596A1 JP 2005013261 W JP2005013261 W JP 2005013261W WO 2007010596 A1 WO2007010596 A1 WO 2007010596A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
height
feature point
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2005/013261
Other languages
English (en)
French (fr)
Inventor
Asako Kitaura
Seiya Shimizu
Motoo Masui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007525463A priority Critical patent/JP4751886B2/ja
Priority to PCT/JP2005/013261 priority patent/WO2007010596A1/ja
Publication of WO2007010596A1 publication Critical patent/WO2007010596A1/ja
Priority to US12/007,327 priority patent/US8180103B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes

Definitions

  • Image determination method image determination apparatus, and recording medium storing program for causing computer to execute image determination method
  • the present invention relates to an image determination method for determining the appearance of a predetermined subject in video and images taken by a camera, and in particular, there are other buildings between the camera and the subject. Even in such a case, the present invention relates to an image determination method, an image determination apparatus, and a recording medium on which a program for causing a computer to execute the image determination method can be selected. Is. Background art
  • the optimal video and image data are automatically generated based on the camera's shooting space and the position of the subject.
  • the camera angle of view is calculated by calculating the focal length and the like with the position of camera A as the apex and the shooting direction as the center.
  • the space of the expanding elliptical cone or square pyramid is defined as the shooting space, and it is determined that the subject AB in the shooting space is reflected in the corresponding image, and the subject outside the space is determined. It is determined that the subject c appears in the picture.
  • FIG. 4 is a diagram showing an example of a vector map that is vector map information.
  • FIG. 5 is a diagram showing an example of a screen on a display device that prompts a user to input using a vector map in order to acquire subject region position information.
  • FIG. 6 is a diagram (1) illustrating another example of a screen on the display device that prompts the user to input using a vector map in order to acquire subject region position information.
  • FIG. 12 is a diagram showing an example of a display screen when video data (a) is selected in FIG.
  • the image determination method 100 includes a subject shape estimation unit 120 that mainly performs processing related to a determination target subject, and subject characteristics as pre-processing for starting a video condition determination based on a specific other object occlusion in a video and an image.
  • the other object occlusion determination unit 140, the other object occlusion index calculation unit 150 which has a point extraction unit 130 and processes the image quality determination itself in each image frame of the video or image using the result of this preprocessing.
  • the usage data includes subject area position information 110d, which is data related to the subject to which image judgment method 100 is applied, camera data 110e relating to the camera that captured the video and image, preprocessing and main processing of this method. There are 110 information on the ground height map.
  • Buildings ⁇ Surface height map information 110b includes various information such as the height of natural objects (hereinafter referred to as “buildings”) such as man-made structures, and the height of pure ground surfaces excluding buildings. It is information that maps height information together with its measurement position. Specific examples of holding this map information will be described in detail in Embodiment 1 and later, but these various heights may be held separately or added heights may be held. In addition, here, the position information power is also expressed as a map for the purpose of understanding that various heights can be acquired. However, when actually mounted on a device, it can also be stored as a table list. is there.
  • FIG. 2 is a diagram showing an example of the building / surface height map information 110b.
  • the image determination method 100 extracts the feature points of the determination target subject, and how many other feature points are viewed from the camera based on the extracted feature points and the heights of other subjects. Since it is estimated whether it is hidden by the subject and the appearance of the subject to be judged in the image is judged, the user can select from a plurality of videos and image data photographed by a plurality of cameras based on the judgment result. Optimal video and image data can be selected efficiently.
  • the input device 40 is an input device such as a keyboard or a mouse
  • the output device 50 is a display device such as a display.
  • the building / surface height map information 110b is a digital map of the height of the ground surface including the building as an example in the first embodiment. It is composed of lObb, which is a digital map of the height of the ground.
  • Building litter surface height map information l lOba is information that maintains the height of the building when the building is located, and the height of the pure ground when the building is strong, along with the location. This configuration and content is an example, and each element is divided and held, such as a height map of only artifacts in a building, a height map of only a wall of buildings, and a height map of only the ground surface. You can also substitute them, and you can also keep them divided by administrative division.
  • the camera data 110e is a data group in which camera data such as the position and direction of the camera and the angle of view when a video and an image are taken by a plurality of cameras (not shown) are combined.
  • the video data 110c is video and images taken by a plurality of cameras (not shown).
  • the video data 110c and the camera data 110e are held so that they can be correlated.
  • the image determination apparatus 10 of the first embodiment is equipped with an image determination method 100 using related camera data 110e rather than directly determining the video data 110c.
  • the objective is to select from this video data 110c the optimal video data that can influence the subject to be determined specified by the user.
  • the conventional subject presence determination unit 60 is a processing unit that indirectly checks whether the determination target subject is reflected in the corresponding video data 110c using the camera data 110e, as described in the section of the related art.
  • the shooting space of the camera is defined by an elliptical cone or a square pyramid.
  • the camera data 110e is not passed as it is to the image determination method 110, but camera data that does not have the determination target subject within the shooting range of each camera is passed through the conventional subject presence determination unit 60. In the first place, it is intended that the subject to be judged appears in the video, and that the camera data is not input to the image judgment method 110, and the image quality judgment by other object occlusion is not performed.
  • the object shape estimation unit 120 includes the position information of the contour of the determination target object area in the object area position information 110d acquired from the vector map information 110a, and the building ground surface in the building's ground surface height map information 110b.
  • Height map information l By matching lOba and examining the height of the surface of the building litter related to the position of each point of the outline, the approximate shape of the subject to be judged Extract the top surface of. Similarly, the approximate shape of the subject to be judged is checked by matching the surface height map information in lObb in the building / surface height map information 110b and examining the height of the ground surface related to the position of each point of the contour. Extract the lower surface of. In terms of height, the force is roughly between the upper and lower surfaces.
  • FIG. 8 is an explanatory diagram for explaining processing in which the subject shape estimation unit 120 acquires the approximate shape of the subject to be determined.
  • the approximate shape of the subject to be judged is the corresponding vector figure (the figure indicated by a thick line.
  • the vector figure other than the subject to be judged is also indicated by a thin line for easy understanding.
  • the subject shape estimation unit 120 passes the extracted shape information of the determination target subject to the subject feature point extraction unit 130.
  • the method of extracting the approximate shape of the determination target subject is not limited to the above-described method.
  • the contour shape of the subject can be obtained without accurately obtaining the height of each point on the contour of the subject.
  • the center position of the subject may be obtained, and the height at the center position may be used as the height related to the subject.
  • the subject feature point extraction unit 130 acquires the outline shape information of the subject to be determined from the subject shape estimation unit 120, and obtains the height of the building and the height of the ground in the building / ground height map information 110b. The feature points of the determination target subject are extracted while checking appropriately.
  • the processing of the subject feature point extraction unit 130 will be specifically described below.
  • FIG. 9 is an explanatory diagram for explaining processing of the subject feature point extraction unit 130.
  • the subject feature point extraction unit 130 first divides the side surface and the upper surface of the approximate shape of the determination target subject into meshes at arbitrary intervals.
  • a single specified value for example, 5m
  • a plurality of numerical values for example, lm, 5m, 10m, etc.
  • the subject feature point extraction unit 130 is configured to each grid point of the mesh obtained by dividing the rough side surface and the upper surface of the subject to be determined at an arbitrary interval in this way, and a vertex group of the rough shape. Is a feature point group for the division interval.
  • the subject feature point extraction unit 130 passes the extracted feature point group information and subject shape information to the other object occlusion determination unit 140.
  • the method of extracting the feature points by the subject feature point extraction unit 130 is not limited to the above-described method, and the points included in the side surface or the upper surface of the determination target subject are height, latitude, and longitude.
  • a random value may be acquired, and each acquired random value may be used as a feature point.
  • the other object occlusion determination unit 140 includes the shape information and feature point group information of the determination target subject from the subject feature point extraction unit 130, the building / surface height map information 110b, and the camera data 110e. Therefore, there is a subject object that exists between the camera and each feature point of the subject to be judged based on the three pieces of information with the camera data that is judged to have been judged through the conventional subject presence judgment unit 60. This is a processing unit that estimates hiding by other objects by determining whether the subject object is the subject to be judged itself.
  • FIG. 10 is an explanatory diagram for explaining the processing of the other object occlusion determination unit 140.
  • the other object occlusion determination unit 140 connects the camera position and the feature point with a line segment, and determines whether or not there is a subject that exceeds the connected line. Specifically, along the line between the camera position and the feature point, the height of the building is calculated using the lOba. And look for points where the building is higher than the line. Next, whether or not the point is the determination target subject itself is also determined by determining the shape information power of the determination target subject, and if it is not the determination target subject itself, it is determined that it is another object.
  • the other object occlusion determination unit 140 has a point M force higher than the line segment between the feature point and the camera position. If point M is not the point of the determination subject, it is determined that “another object exists between the camera and the feature point of the determination subject”. In such a case, the feature point that forms the line segment with the camera position is defined as a feature point obstructed by another object (hereinafter referred to as feature point (B)).
  • feature point (B) another object
  • the other object occlusion determination unit 140 has a point N force that is higher than the line segment between the feature point and the camera position.
  • the surface height map information of the building litter l lOba If it is found above and point N is a point in the subject, it is judged that “no other object exists between the camera and the feature point of the subject to be judged”.
  • a feature point that forms a line segment with the camera position is a feature point that is blocked by itself (hereinafter referred to as a feature point (C)).
  • the other object occlusion determination unit 140 performs the above-described determination for each feature point group, and counts the number of feature points (A), the number of feature points (B), and the number of feature points (C). , Each feature point (A) ⁇ The information related to the number of (C) is passed to the other object occlusion index calculation unit 150 as the number information.
  • the other object occlusion index calculation unit 150 acquires the number information from the other object occlusion determination unit 140, and based on the acquired number information, determines the ratio of the other object being obstructed by the other object. It is a processing unit that calculates as a shielding index.
  • the other object occlusion index calculation unit 150 of the first embodiment uses the calculated ratio of occlusion by the other object as it is as the other object occlusion index and passes it to the display processing unit 160.
  • the ratio of obstruction by other objects and the method for calculating the final other object occlusion index are not limited to the above-described methods. For example, the difference in importance depending on feature points is considered. However, a weighted calculation may be performed. In other words, in addition to the number information, the position information of each feature point is acquired from the other object occlusion determination unit 140, and in the case of a building that becomes a landmark, the feature point of the characteristic shape portion that serves as a landmark In the area where the building is stood up, the hiding of the lower layer of the building is not important, so the final other object occlusion index It is disregarded by calculating.
  • the display processing unit 160 acquires the other object occlusion index value of the determination target subject from the other object occlusion index calculation unit 150, and the video data corresponding to the determination target camera data l lOe based on the acquired index value.
  • This is a processing unit that searches for 110c and reproduces and displays it on the display device 50.
  • FIG. 11 is a diagram illustrating an example of an interface in which the display processing unit 160 displays video and image data using an object occlusion index.
  • the display processing unit 160 uses the video data (a, b, e) and the image data (c, d, f-k) as other object occlusion indices.
  • the values are arranged in ascending order (in order of increasing force with smaller numerical values. In this example, the smaller the numerical value, the lower the rate of obstruction by other objects).
  • video and image data whose other object occlusion index value is less than a predetermined value are judged. For example, the video and image data shown in FIGS. 11 (a) to 11 (e) are displayed in color.
  • video and image data whose other object occlusion index value is greater than or equal to a predetermined value are regarded as video and image data that are not appropriate for the subject to be judged, and for example, (f) to (k) in FIG.
  • Video and thumbnail images are displayed in black and white.
  • the result is displayed in units of original video and image data.
  • the video data is represented by a portion having a small numerical value of the other object occlusion index, that is, the determination target object.
  • the video and image file names that you want to recommend are listed in the list, the highly recommended ones are displayed in 3D CG that is larger and closer to the screen, and you can use any display method. .
  • FIG. 12 is a diagram showing an example of a display screen when video data (a) is selected in FIG. In FIG. 12, it is an image frame in which a determination subject exists in the shooting area of the camera by the conventional subject presence determination unit 60 in the image frame group of the video, and according to the image determination method 100 which is the present method.
  • the part of the image frame determined that the other object occlusion index is low is displayed in white on the black and white shading bar.
  • the user can play back and view only the video frames recommended by this method, where the judgment subject is shown without being blocked by other objects.
  • the image of the judgment subject obtained from the other object occlusion index may be displayed with a shading bar, or the value of the other object occlusion index may be displayed with a specific number.
  • the video shots reproduced in Fig. 12 are considered to be better reflected throughout the whole, so it is particularly occluded by other objects. Even if you don't display the index value and the image quality, you can do it.
  • FIG. 13 is a flowchart showing a processing procedure of the image determination apparatus 10 shown in the first embodiment.
  • the image determination device 10 is a part (S10
  • Step S101 First, by specifying a region related to the determination target subject in the vector map information 110a displayed on the display device 50 via the input device 40, the subject region position information 1 lOd is obtained from the specified vector shape information. Obtain (Step S101).
  • the subject shape estimation unit 120 identifies the approximate shape of the subject from the subject region position information 110d and the building / surface height map information 110b (step S102), and the subject feature point extraction unit 130 is characterized. A point cloud is extracted (step S103).
  • the conventional subject presence determination unit 60 performs camera data 110e and subject region position information 11
  • the other object occlusion determination unit 140 uses the determined camera data, the feature point group of the object to be determined, the building / surface height map information 110b, and the other object occlusion determination unit 140 at each feature point.
  • a cover determination process is executed (step S105).
  • the other object occlusion index calculation unit 150 calculates an occlusion index value by the other object (step S106), and the display processing unit 160 outputs the video data 110c based on the occlusion index (step S106). Step S 107).
  • FIG. 14 is a flowchart showing the other object occlusion determination process shown in step S 105 of FIG.
  • the other object occlusion determination unit 140 initializes the counts of the feature points (A), (B), and (C) (the number of features acting on each feature point (A) to (B) is 0). (Step S201), it is determined whether or not all feature points have been selected (step S202).
  • step S203 When all the feature points have been selected (step S203, Yes), the number information is passed to the other object occlusion index calculation unit 150 (step S204). On the other hand, if not all feature points have been selected (Step S 203, No), an unselected feature point is selected (Step S 205), the camera position is the start point, and the selected feature point is the end point. Create a line segment (step S206).
  • the other object occlusion determination unit 140 includes a subject that exceeds the height of the created line segment. (Step S207), if there is no subject exceeding the line segment (Step S208, No), add 1 to the feature point (A) count (Step S209) Then, proceed to Step S2 02.
  • step S208 determines whether or not the subject power of the determination target (step S210). If the subject exceeding the height is not the subject to be judged (step S211, No), 1 is added to the count of the feature point (B) (step S212), and the process proceeds to step S202.
  • step S211 when the subject exceeding the height of the line segment is the subject to be judged (step S211, Yes), 1 is added to the count of the feature points (C) (step S213), Move on to step S202.
  • the other object occlusion determination unit 140 creates the number information
  • the other object occlusion index calculation unit 150 calculates the object occlusion index using this number information
  • the display processing unit 160 Since the video data 110c is displayed on the display device 50 based on the object occlusion index, the user can select the optimal video data with efficiency.
  • the subject shape estimation unit 120 is designated based on the subject region position information 110d and the building / surface height map information 110b.
  • the shape of the subject to be judged is extracted, the subject feature point extraction unit 130 extracts feature points based on the shape of the subject to be judged, and the other object occlusion judgment unit 140 has the camera data 110e and the shape of the subject to be judged.
  • the other object occlusion index calculation unit 150 creates the classification number information of feature points related to other object occlusion based on the ground height map information 110b. The other object occlusion index is calculated.
  • the calculated other object occlusion index for each camera data is related to the other object occlusion of the determination subject when the display processing unit 160 displays the related video data 110c on the display device 50 as shown in the first embodiment. Since it can be used as a recommendation level for the image quality, even when there is another object between the camera and the object to be judged, it is possible to select optimal video data.
  • the building / surface height map information 110b related to the first embodiment is not only the surface height map information 110ba of the building litter, but also the surface height map information 11 which is a pure surface height. Obb was included, but the surface height map information l lObb can be substituted only by l lOba.
  • the ground surface height map information l lObb is used by the object shape estimation unit 120 to obtain the height of the lower surface of the object shape, that is, the contact surface with the ground surface.
  • the subject shape estimation unit 120 acquires the lower surface of the subject, that is, the height information of the ground surface at the subject position, based on the subject region position information 110d and the ground height map information 110ba of the building dust. Indicates.
  • the subject shape estimation unit 120 matches the building dust height map information lOba with the subject region position information 110d, and does not include the subject region in the building dust height map information. Large enough area (Since it is rare that buildings are completely touching each other without looking at the ground surface, there is a point where there is no building and the ground surface appears somewhere in this sufficiently large area. To obtain the height of the ground surface of the building debris corresponding to Then, the subject shape estimation unit 120 sets the lowest height among the acquired heights as the height of the ground surface of the entire pseudo corresponding region.
  • the object shape estimation unit 120 obtains the height of the ground surface using the building dust height map information l lOba and the object region position information 11 Od.
  • Height map information 110bb is no longer required to be included in the building and ground surface height map information 110, and there is no need to include information recording capacity, map information acquisition costs, and the updating effort and expenses to keep map information up-to-date. Can be saved.
  • the vector region information 110a can be used to obtain the subject region position information 110d. It can.
  • the judgment subject region position information 10d is acquired using the ground height map information l lOba of the building litter.
  • FIG. 15 is an explanatory diagram for explaining a technique for acquiring subject region position information 110d from the ground height map information l lOba of a building litter.
  • the subject to be judged is specified at one representative position from the input device 40, etc., as in the conventional subject presence judgment. .
  • this representative position is set as a representative point on the building surface height map information 110ba using values such as latitude and longitude.
  • the height of the building ground surface corresponding to each destination point is acquired.
  • the location where the height changes significantly compared to the height of the previous point (or the height of the representative point) (for example, the height of the representative point).
  • Search for a location that is less than 1Z4), and register the location that has changed significantly as the outer edge point of the subject area to be judged (in the example of Fig. 15, P1 and P2 are registered as outer edge points).
  • the outer edge points are searched and registered toward the periphery while shifting the angle clockwise, the outer edge points connected in the order of registration are the determination subject areas of the subject area position information 110d.
  • the object region position information 110d is obtained by using only the building litter surface height map information 110ba in the building / surface height map information 110b.
  • Height map information l If the difference in height is also obtained using lObb, the location where the height changes significantly is because the surface of the ground has undulations.
  • the power of a place where the height has changed (such as a step-shaped condominium on an inclined land) It is possible to more accurately estimate whether the height of the building itself has changed on the ground surface. In this case, it is possible to obtain a more accurate determination target object region by not using the outer edge point in the former case but using only the latter case as the outer edge point.
  • the subject region position information 110d can be automatically acquired from the representative position of the determined subject using the building / ground surface height map information 110b without using the vector diagram information. Therefore, it is possible to eliminate the need to prepare and record the vector map information 110a in advance, save the recording capacity, and automatically apply the subject area position information 110d with the same simple specification method as the conventional technology. Can be acquired.
  • the image determination apparatus clusters the height data group of the building's ground height map 11 Ob according to the first embodiment in a hierarchically divided manner for each map region to which the image belongs, and within the region of the clustering result, Calculate the maximum height and the minimum height.
  • the fixed device efficiently performs other object occlusion determination using the maximum height of each area, and calculates the other object occlusion index.
  • FIG. 16 is a functional block diagram illustrating the configuration of the image determination device 20 according to the second embodiment.
  • the image determination device 20 includes a height clustering unit 210 and another object occlusion determination unit 220 having different internal operations. Since other configurations and operations are the same as those of the image determination device 20 shown in the first embodiment, the same components are denoted by the same reference numerals and description thereof is omitted.
  • the height clustering unit 210 specifies, for each predetermined region, the maximum height and the minimum height among the height groups included on the map based on the building / surface height map information 110b ( Hereinafter, the specified information is referred to as clustering information).
  • FIG. 17 is an explanatory diagram for explaining the clustering information calculated by the height clustering unit 210.
  • the information power of the building / surface height map information 110b is composed of height data for each minimum area unit which is a unit of measurement of height.
  • the height clustering unit 210 creates an integrated region in which four neighboring minimum region units are grouped together, compares the heights of the four minimum region units included in the region, and compares the heights in the integrated region. Specify the maximum height at.
  • the area A21 is created by combining the minimum area unit groups A211 to A21 4 having a height of 2 m to 4 m, and the maximum height is specified as 4 m.
  • A22 which gathers the minimum area unit group A221 to A224 with a height of 5m to 6m
  • A23 which gathers the minimum area unit group A231 to A234 with a height of 9m to 12m, and a height of 13m to 16m.
  • Create the three areas of A24 which is a group of the minimum area units A241 to A244, and specify the maximum height (6m, 12m, 16m) of each.
  • the height clustering unit 210 creates a new area A2 by collecting the four neighboring areas A21 to A24, compares the maximum heights of the areas A21 to A24, and Identify the maximum height (16 m).
  • predetermined areas Al, A3, and A4 are created in the same manner, and their maximum height is specified.
  • the height clustering unit 210 repeatedly performs region integration and maximum height specification until the area of the integrated region is equal to or greater than the specified area, or the integrated layer by clustering is equal to or greater than the specified layer.
  • the height clustering unit 210 calculates the cluster calculated by the other object occlusion determination unit 220. Rastering ⁇ Pass the blueprint.
  • the height clustering unit 210 shows an example in which four neighboring small regions are integrated to create one large region.
  • the number of small regions to be integrated is as follows. It doesn't have to be four, and conversely, it doesn't matter if it is created while dividing a large area. Furthermore, it may be created by changing the number of layers and the number of integrated areas depending on whether it is a regional power with many search applications such as urban areas that are not integrated uniformly or whether it is a place where the difference in elevation is drastic. .
  • the clustering process of the height clustering unit 210 can be performed regardless of the subject to be judged, so the clustered data that does not have to be processed each time is used as the building's ground height map. It can be stored as information 110b and used for ⁇ IJ.
  • the other object occlusion determination unit 220 calculates the number information related to the feature points (A), (B), and (C) based on the feature points extracted by the subject feature point extraction unit 130 and the clustering information. This is a processing unit to be created.
  • FIG. 18 is an explanatory diagram for explaining a process of creating the number information based on the feature points and the clustering information.
  • FIG. 18 illustrates a case where the line segment T from the camera position to the determination target subject extends along the latitude. Further, as shown in FIG. 18, a description will be given of a case where regions A and B subjected to clustering are included between the camera position and the determination target subject.
  • the other object occluding determination unit 220 divides the line segment T into two along regions A and B, and sets the divided line segments as TA and TB, respectively.
  • the other object occlusion determination unit 220 compares the minimum heights TAMin and TBMin of the dividing line segments TA and TB with the maximum heights AMax and BMax in the areas A and B.
  • the other object occlusion determination unit 220 has a feature corresponding to the line segment.
  • the point is determined as the feature point (A). This is because the line segment T is higher than the heights of all subjects existing in the areas A and B.
  • the other The object shielding determination unit 220 uses a corresponding region in region B (any one of B1 to B4).
  • the line segment T is compared with the height of the subject included in the corresponding area.
  • the feature point corresponding to the line segment ⁇ ⁇ ⁇ is determined as the feature point ( ⁇ ) or the feature point (C).
  • the feature point (C) is obtained.
  • the relevant region is not the subject to be judged, the feature point ( ⁇ ) is obtained.
  • the other object occlusion determination unit 220 classifies each feature point group related to the determination target subject into feature points (A), (B), and (C) by the above-described method, and counts the classified information as number information. To the intercepted rate calculation unit 150.
  • the other object occlusion determination unit 220 based on the clustering information, only when necessary, the detailed area unit and the height of the line segment at each measurement point. Therefore, it is possible to reduce the burden on the other object occlusion determination process.
  • the screen determination device 20 uses the height clustering unit 210, the building, the ground surface height map information 110b, and the highest subject in each subject. Clustering information that identifies the height of each specific range is created, and the other object occlusion determination unit 220 uses the clustering information to create number information that can be influenced by the feature point group. Can be selected.
  • the minimum height of each integrated region may be calculated and used simultaneously with the maximum height.
  • the method of calculating the height of the lower surface of the subject, that is, the contact surface with the ground surface, performed at 120 can be more easily performed by using the minimum height of each integrated region by clustering.
  • the building ground surface height pine is within an area sufficiently larger than the determination subject area.
  • FIG. 19 is an explanatory diagram for explaining the concept of the image determination device according to the third embodiment.
  • the subject A was shot using camera A at time T1
  • the subject B was shot using camera B at time T2
  • the subject C was shot using camera C at time T3.
  • the image determination device determines that the image quality is good (other object occlusion index is a predetermined value or less) for any image data, the image data is poorly imaged.
  • the image determination device determines that a shielding object has occurred in the overlapping area of the imaging areas of the cameras A to C, and corrects the building / surface height map information and the like.
  • the image determination apparatus determines that the image data is well imaged. It is determined that the shielding object that has existed in the overlapping area of the shooting area of each camera A to C has disappeared, and the building / surface height map information is corrected.
  • the image determination apparatus corrects the building's surface height map information and the like based on the response from the user related to the other object shielding index. Can be improved. In addition, since it is not necessary to regularly update the building's surface height map information, the cost can be greatly reduced.
  • FIG. 20 is a functional block diagram illustrating the configuration of the image determination device 30 according to the third embodiment.
  • the image determination device 30 includes a height map correction processing unit 330 and height map correction information 310a as related information of the building / surface height map information 110b.
  • Other configurations and operations are the same as those of the image determination apparatus shown in the first embodiment.
  • the same components are denoted by the same reference numerals, and description thereof is omitted.
  • the surface height map information 110b includes height map correction information 31 Oa as related information.
  • the explanation of the building litter surface height map information 110ba and the ground surface height map information lObb, which is an example of the building / surface height map information, is the same as that of the first embodiment, and thus the description thereof is omitted.
  • the height map correction information 310a is part of the building / surface height map information 110b. I ’m too concerned.
  • the height map correction information 310a is related to the height information related to the building in the building / surface height map information 110b, that is, here, the surface height map information l lOba of the building litter. Correction information.
  • FIG. 21 is a diagram showing an example of the data structure of the height map correction information 310a. As shown in the figure, the height map correction information 310a includes a correction area table, a correction area shape table, and a correction area vertex table.
  • the correction area table includes "ID”, “Type”, “Change occurrence estimated time (MIN)”, “Change occurrence estimated time (MAX)”, “Estimated shape ID”, “MBR (MIN) latitude / longitude” , “MBR (MAX) latitude and longitude”, “affiliated 3D mesh ID”.
  • ID identification
  • type is an area of a certain height due to an error that the height of the correction data area is too high. This is information about whether the detection of the disappearance of the (building) or the occurrence of a certain area (building) was detected due to the error of being too low.
  • the “change occurrence time estimation time (MAX)” is information indicating the time when the building changes (disappears or occurs).
  • Estimated shape ID is information for identifying the corresponding information in the correction area shape table
  • MRR (MIN) latitude / longitude” and MR (MAX) latitude / longitude” Indicates the information of the existing area
  • adjiliation 3D mesh ID is information for identifying the belonging 3D mesh code.
  • the correction area shape data is “ID”, “estimated height”.
  • ID is identification information for associating with “estimated shape ID” related to the correction area table, and “estimated height (MAX)” and “estimated height (MIN)” are estimated subjects. Is the height information.
  • the "estimated height (MAX)” stores information on the maximum height in the area when it is determined that the building has disappeared.
  • “” when it is determined that a building has occurred, information on the minimum height in the area is stored.
  • the “number of projected shape vertices” is information indicating the shape of the corresponding region or the number of vertices of the building included in the corresponding region, and the “projected shape vertex ID group” is information for identifying each vertex.
  • the correction area vertex table has latitude / longitude information on the vertices that contribute to the estimated shape of the building, and includes "ID", "latitude”, and "longitude”.
  • the “ID” is information for associating with each ID of the “projection shape vertex ID group”, which is related to the correction area shape table.
  • “Latitude” and “longitude” indicate latitude and longitude information, respectively.
  • the subject shape estimation unit 120 calculates the heights of the upper surface and the lower contact surface of the determination target subject region, and the subject feature point extraction unit 130 extracts feature points when extracting the feature points of the determination target subject.
  • the building / surface height map information 11 Ob building building surface height map information 11 Power to use Oba
  • the height map correction information 310a is matched, and when the information of the predetermined area is corrected by the height map correction information 310a, Prioritize the information contained in the height map correction information 310a
  • the height map correction processing unit 330 receives a response to the other object occlusion index of the video data displayed by the display processing unit 160, and creates and updates the height map correction information 310a according to the received response. Part.
  • the height map correction processing unit 330 acquires information (response) from the input device 40 that the other object occlusion index of the video data displayed by the display processing unit 160 is incorrect. In this case, it is determined that the building / surface height map information 110b relating to the area between the camera position where the video data was captured and the determination target subject has changed.
  • time T1 is registered in “change occurrence estimated time ( ⁇ )”.
  • time ⁇ 3 is registered in “change occurrence estimated time (MAX)” (when Tl ⁇ T2 ⁇ T3).
  • the “type” is set to “annihilation”, and the estimated range is registered in “MBR (MIN) longitude / latitude” and “MBR (MAX) longitude / latitude”.
  • the height map correction processing unit 330 transmits a response related to the other object occlusion index of the video data displayed by the display processing unit 160. If the response received from the input device 40 includes information indicating that the other object occlusion index is incorrect, the height map correction information 310a is created and updated. This eliminates the need for regular maintenance and maintenance, and can greatly reduce costs.
  • Example 3 In the example of Example 3, an example in which a shield is completely new and disappears is shown. However, in reality, a part of an invisible subject can be seen or hidden due to reconstruction of a building or the like. Can also be considered. In this case as well, it is necessary to investigate in detail the power that was determined to be in error, such as which part of each subject feature point group is not visible by superimposing at the shooting space level. It is also possible to estimate the area height change to some extent by finding the area where the line segments of the camera overlap and examining whether it should be higher or lower than the line segment from which the area was calculated.
  • the image determination method, the image determination apparatus, and the recording medium according to the present invention photograph a predetermined subject using a plurality of cameras or the like, and select from the captured video data. This is useful for image determination systems that need to select optimal video data without burdening the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　画像判定装置は、被写体形状推定部１２０が判定被写体領域位置情報１１０ｄ、建造物・地表高さマップ情報１１０ｂを基にして、指定された判定対象被写体の形状を抽出し、被写体特徴点抽出部１３０が、判定対象被写体の形状を基にして特徴点を抽出し、他物体遮蔽判定部１４０が、カメラデータと特徴点と周辺の被写体物体群の高さを基にして個数情報を作成し、他物体遮蔽指標算出部１５０が、個数情報を基にして他物体遮蔽指標を算出し、表示処理部１６０が、他物体遮蔽指標に基づいた映像データを表示装置５０に表示させる。

Description

明 細 書
画像判定方法、画像判定装置および画像判定方法をコンピュータに実行 させるプログラムを記録した記録媒体
技術分野
[0001] 本発明は、カメラにより撮影された映像及び画像における所定の被写体の映り具合 を判定する画像判定方法などに関するものであり、特に、カメラと被写体との間に他 建造物などが存在する場合であっても、当該他建造物を考慮して最適な映像及び画 像データを選択することができる画像判定方法、画像判定装置および画像判定方法 をコンピュータに実行させるプログラムを記録した記録媒体に関するものである。 背景技術
[0002] 従来、所定の被写体に力かる映像データなどを利用するユーザ (以下、単にユー ザと表記する）が、当該被写体の映像データ及び画像を取得する場合には、異なる 位置に設置された複数のカメラを利用して被写体を様々な方向から撮影し、撮影し た映像及び画像群の中力も最適なデータ、つまり、最も被写体の映り具合のよいデ ータをユーザ自身が閲覧選択し、選択した映像及び画像データを利用して 、た。
[0003] しかし、上述した手法では、複数のカメラが撮影する被写体の映像及び画像データ の数が増えると、ユーザが一つ一つ各映像及び画像データを閲覧しながらチェックし 、最適な映像中の画像フレーム及び画像データ（以下、単に画像と表記する）をユー ザ自身が選択する必要があるため、ユーザにかかる負担が大き!/、と 、う問題があった
[0004] そこで、ユーザにかかる負担を軽減させるベぐカメラの撮影位置と方向と、被写体 の位置を使い、カメラの撮影空間と被写体の位置関係に基づいて、最適な映像及び 画像データを自動的に選択可能とする技術が公開されている（例えば、特許文献 1、 特許文献 2参照)。これらの技術によれば、図 22に示すように、カメラ Aが撮影した画 像に対して、カメラ Aの位置を頂点とし、撮影方向を中心として焦点距離などカも算 出したカメラ画角で広がる楕円錐、または四角錘の空間を撮影空間として定義し、そ の撮影空間内にある被写体 ABを該当画像に映っていると判定し、空間外にある被 写体 cは映って 、な 、と判定する。
[0005] また、映像及び画像の映り具合を判定する手法としては、カメラ Aの画像に映って いると判定した被写体 ABに対して、カメラ Aからの距離をそれぞれ求めて、距離が近 V、被写体 Bを映りが良 、と判定し、距離が遠!、被写体 Aにつ 、ては映りが悪 、と判定 する。
[0006] また、他の映像及び画像の映り具合を判定する手法としては、カメラの撮影空間に 存在する被写体 ABの中でも特に、撮影空間の楕円錐または四角錘の中心軸近くに 存在する被写体 Aの映り具合が良いと判定するという手法も存在する。
[0007] 特許文献 1 :特開 2001— 34250号公報
特許文献 2 :特開 2003— 179908号公報
発明の開示
発明が解決しょうとする課題
[0008] しカゝしながら、かかる従来の技術では、必ずしも最適な映像及び画像データを選択 することができな 、と 、う問題があった。
[0009] なぜなら、図 23に示すように、たとえばカメラ Aと被写体 ABとの間に他建造物体群 が存在し、被写体 ABがこれらの他建造物物体群に隠れてしまい、カメラ Aが被写体 ABを適切に撮影できない場合であっても、従来の手法では、被写体 ABに対する最 適な画像データとして、カメラ Aによって撮影された画像を誤選択してしまうからであ る。
[0010] この誤選択は、被写体の映り具合を判定して画像を選択する手法であっても起こり
、従来の技術は、カメラと被写体との間に存在する他建造物を考慮していないため、 最適な画像データを適切に選択することができない。
[0011] すなわち、カメラと被写体との間に他建造物などが存在する場合であっても、当該 他建造物を考慮して最適な画像データを自動で選択可能とすることが極めて重要な 課題となっている。
[0012] この発明は、上述した従来技術による問題点を解消するためになされたものであり 、カメラと被写体との間に他建造物などが存在する場合であっても、当該他建造物を 考慮して最適な画像データを自動で選択することができる画像判定方法、画像判定 装置および画像判定方法をコンピュータに実行させるプログラムを記録した記録媒 体を提供することを目的とする。
課題を解決するための手段
[0013] 上述した課題を解決し、目的を達成するために、本発明は、カメラにより撮影された 画像における所定の被写体の映り具合を判定する画像判定方法、画像判定装置お よび画像判定方法をコンピュータに実行させるプログラムを記録した記録媒体であつ て、被写体の存在領域に関する位置情報を基にして、被写体を特徴づける特徴点を 抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された所定の被写 体の特徴点の位置とカメラの位置と、当該特徴点およびカメラの間の領域の高さ情報 を基にして、当該特徴点およびカメラの間に存在する被写体物体を検知し、その被 写体物体の位置に基づ 、て、当該被写体とは異なる建造物などの被写体物体であ るかを判定し、所定の被写体の映り具合を判定する判定手段と、を備えたことを特徴 とする。
発明の効果
[0014] 本発明によれば、被写体の存在領域に関する情報を基にして、被写体の位置を特 徴づける特徴点を抽出し、抽出した特徴点の位置と、この特徴点およびカメラの間に 存在する被写体物体の位置に基づ!/、て所定の被写体であるかを判定し、所定の被 写体の映り具合を判定するので、カメラと所定の被写体との間に建造物などの他の 被写体物体 (以後、略して他物体と記載)が存在する場合であっても、所定の被写体 の映りが良い最適な画像データを選択することができる。
図面の簡単な説明
[0015] [図 1]図 1は、本発明における画像判定方式の原理を示す原理図である。
[図 2]図 2は、建造物 ·地表高さマップ情報の一例を示す図である。
[図 3]図 3は、本実施例 1における画像判定装置の構成を示す機能ブロック図である
[図 4]図 4は、ベクトル地図情報であるベクトル地図の一例を示す図である。
[図 5]図 5は、被写体領域位置情報を取得するために、ベクトル地図を利用してユー ザに入力を促す表示装置上の画面の一例を示す図である。 [図 6]図 6は、被写体領域位置情報を取得するために、ベクトル地図を利用してユー ザに入力を促す表示装置上の画面のその他の例を示す図（1)である。
[図 7]図 7は、被写体領域位置情報を取得するために、ベクトル地図を利用してユー ザに入力を促す表示装置上の画面のその他の例を示す図（2)である。
[図 8]図 8は、被写体形状推定部が判定対象被写体の概形状を取得する処理を説明 するための説明図である。
圆 9]図 9は、被写体特徴点抽出部の処理を説明するための説明図である。
[図 10]図 10は、他物体遮蔽判定部の処理を説明するための説明図である。
[図 11]図 11は、表示処理部が物体遮蔽指標を利用して映像及び画像データを表示 するインタフェースの一例を示す図である。
[図 12]図 12は、図 11において映像データ (a)が選択された場合の表示画面の一例 を示す図である。
[図 13]図 13は、本実施例 1に示した画像判定装置の処理手順を示すフローチャート である。
[図 14]図 14は、図 13のステップ S105で示した他物体遮蔽判定処理を示すフローチ ヤートである。
[図 15]図 15は、建造物こみの地表高さマップ情報から被写体領域位置情報を取得 する手法を説明するための説明図である。
[図 16]図 16は、本実施例 2における画像判定装置の構成を示す機能ブロック図であ る。
[図 17]図 17は、高さクラスタリング部が算出するクラスタリング情報を説明するための 説明図である。
[図 18]図 18は、特徴点とクラスタリング情報とを基にして、個数情報を作成する処理 を説明するための説明図である。
[図 19]図 19は、本実施例 3における画像判定装置の概念を説明するための説明図 である。
[図 20]図 20は、本実施例 3における画像判定装置の構成を示す機能ブロック図であ る。 [図 21]図 21は、高さマップ補正情報のデータ構造の一例を示す図である。
[図 22]図 22は、従来技術を説明するための説明図である。
[図 23]図 23は、従来技術の問題点を説明するための説明図である。
符号の説明
[0016] 10, 20, 30 画像判定装置
40 入力装置
50 表示装置
60 従来被写体内在判定部
100 画像判定方式
110a ベクトル地図情報
110b 建造物 ·地表高さマップ情報
HOba 建造物こみ地表高さマップ情報
HObb 地表高さマップ情報
110c 映像データ
110d 判定被写体領域位置情報
110e カメラデータ
120, 320 被写体形状推定部
130 被写体特徴点抽出部
140, 220 他物体遮蔽判定部
150 他物体遮蔽指標算出部
160 表示処理部
210 高さクラスタリング部
310a 高さマップ補正情報
330 高さマップ補正処理部
発明を実施するための最良の形態
[0017] 以下に、本発明における画像判定方法、画像判定装置および画像判定方法をコン ピュータに実行させるプログラムを記録した記録媒体の実施例について説明する。 実施例 1 [0018] まず、本発明における画像判定方式の原理について説明する。図 1は、本発明に おける画像判定方式の原理を示す原理図である。同図は、映像および画像内で対 象となる被写体 (以下、判定対象被写体)がどのような他物体遮蔽を受けているかと いう映り具合を、他物体遮蔽指標として算出する画像判定方式 100の構成を示すと 同時に、画像判定方式 100が利用するデータ類を示す。
[0019] 画像判定方式 100は、映像および画像内での具体的な他物体遮蔽による映り具合 判定を開始する前処理として、主に判定対象被写体に関する処理を行う被写体形状 推定部 120と、被写体特徴点抽出部 130を有し、この前処理の結果を用いて映像ま たは画像の各画像フレームにおける映り具合判定そのものを処理する、他物体遮蔽 判定部 140と、他物体遮蔽指標算出部 150とを有する。利用データ類は、画像判定 方式 100を適用する判定対象被写体に関するデータである、被写体領域位置情報 1 10dと、映像及び画像を撮影したカメラに関するカメラデータ 110eと、当方式の前処 理および本処理で利用する建造物 ·地表高さマップ情報 110がある。
[0020] 被写体領域位置情報 110dは、判定対象被写体の存在領域の位置情報である。存 在領域は、一点、楕円、矩形、多角形、など、様々な指定がありうるが、例えば、存在 領域を多角形とする場合には、その形状を構成する各頂点の緯度経度などの位置 座標値、各頂点から多角形を構成するために必要な構造情報（トポロジ)等からなる 。存在領域は、判定対象被写体の各マップ上の占有領域を特定するために用いる。
[0021] 建造物 ·地表高さマップ情報 110bは、人工建造物ゃ榭木等の自然物（以下、建造 物と記載)の高さ、建造物を除いた純粋な地表の高さ、などの各種高さ情報を、その 測定位置と共にマップとした情報である。このマップ情報の具体的な保持例にっ 、て は、実施例 1以降で詳しく述べるが、これらの各種高さは別々に保持しても良いし、 足した高さを保持しても良い。また、ここでは、位置情報力も各種高さを取得できると いう意味で、理解のためマップと表現しているが、実際に装置に実装する場合は、テ 一ブルリストとして保持することも可能である。図 2は、建造物 ·地表高さマップ情報 1 10bの一例を示す図である。
[0022] カメラデータ 110eは、本発明を適用する、映像及び画像の各画像フレームに関係 する撮影カメラの情報であり、カメラ位置、撮影方向、焦点距離などのカメラパラメ一 タ、また、それらから算出できる画角などの情報である。本発明では、映像および画 像の各画像フレームを直接判定に利用するのではなぐそれらに関連するカメラデー タ l lOeを画像判定に用い、判定結果が良いカメラデータ l lOeに対応する映像デー タを、最終的に判定対象被写体に力かわる最適な映像データとして選択する。
[0023] 被写体形状推定部 120は、被写体領域位置情報 l lOdと建造物，地表高さマップ 情報 110bをつき合わせて、判定対象被写体の存在領域の高さを取得することで、 被写体形状を推定する。なお、判定対象被写体の概形状を抽出する方法は、上述し た方法に限られるものではなぐ CAD (computer aided design)データのような詳細 な 3次元データを用いて、判定対象被写体の概形状を抽出してもよい。
[0024] 被写体特徴点抽出部 130は、被写体形状推定部 120で推定した形状を元に、判 定対象被写体を代表する特徴点の位置及び高さを算出する。判定対象被写体の位 置及び形状を代表する特徴点であれば、その算出方法は特に問わな 、ものとする。 例えば、実施例 1で述べるように、形状を任意の幅でメッシュ分割してメッシュ格子点 を利用してもよいし、ランダムに形状内から特徴点を取得してもよいし、形状の重心一 点を特徴点にしてもよい。
[0025] 他物体遮蔽判定部 140は、被写体特徴点抽出部 130で抽出した特徴点と、カメラ データ l lOeである判定対象のカメラ位置とを結ぶ線分上の各ポイントに対して、建 造物 ·地表高さマップ情報 110b内の高さ情報を取得し、その高さと線分の高さを比 較することで、線分を超える被写体物体の存在を検知する。さらに、被写体領域位置 情報 110dの判定対象被写体の存在領域内に被写体物体が存在したポイント位置 力 Sある力否かを判定することで、被写体物体が判定対象被写体であるか否か、すな わち、他物体であるか否かを判定する。なお、調査した線分上のポイント全てで線分 を超える被写体物体が存在しなカゝつた場合は、該当特徴点は、何にも遮られないと 判定する。他物体遮蔽判定部 140は、これらの判定で特徴点を、他物体によって遮 られた、判定対象被写体自身によって遮られた、何にも遮られない、の 3種類に分類 する。
[0026] 他物体遮蔽指標算出部 150は、他物体遮蔽判定部 140で判定した、特徴点ごとの 判定分類結果を用いて、該当カメラの関係する映像及び画像における、判定対象被 写体の他物体遮蔽に関する映り具合を表す指標値を、最終的に算出する。
[0027] このように、画像判定方式 100は判定対象被写体の特徴点を抽出し、抽出した特 徴点および他の被写体の高さなどを基にして、カメラから見た特徴点がどのくらい他 の被写体によって隠れて 、るかを推定し、その画像における判定対象被写体の映り 具合を判定するので、ユーザは判定結果を基にして、複数のカメラによって撮影され た複数の映像及び画像データの中から最適な映像及び画像データを効率よく選択 することができる。
[0028] 次に、本発明における画像判定方式の原理図の具体的な実施例として、画像判定 方式を搭載した装置 (以下、画像判定装置)の構成例である実施例 1を、図面に基づ いて詳細に説明する。図 3は、本実施例 1における画像判定装置の構成を示す機能 ブロック図である。同図に示すように、この画像判定装置 10は、図 1で示した本発明 の原理図に加えて、入力装置 40および表示装置 50、ベクトル地図情報 110a、従来 被写体内在判定部 60、映像データ 110c、表示処理部 160を有する。また、建造物- 地表高さマップ情報 110bの一例として、建造物こみ地表高さマップ情報 lOObaと、 地表高さマップ情報 110bbを有する。
[0029] 入力装置 40は、キーボードやマウスなどの入力装置であり、出力装置 50は、デイス プレイなどの表示装置である。
[0030] ベクトル地図情報 110aは、図 4で示すような、一般的なベクトル地図であり、建造物 などの被写体が存在する地図上の領域を示す。本実施例 1では、ユーザが、このべ タトル地図を利用して判定対象被写体領域の位置を指定し、指定された領域位置に 合致するベクトル図形をそのまま被写体領域位置情報 l lOdとして利用する一例を示 す。
[0031] 図 5は、本実施例 1の画像判定方式を搭載した装置が、画像判定方式の利用開始 に伴い、表示装置 50に表示させるベクトル地図を使った表示の一例を示す図である 。ユーザは、表示装置 50に表示されたベクトル地図を基にして、判定対象被写体を 指定して、ベクトル地図上のベクトル形状を選択し、その形状の各点の緯度経度等の 位置情報、すなわち判定対象被写体領域の輪郭点を、被写体領域位置情報 l lOd とみなす。この際、ユーザは、入力装置 40を利用して表示装置 50に表示されたべク トル地図上に存在する判定対象被写体をなぞって指定し、その位置にあるベクトル 形状を選択する。
[0032] なお、ベクトル地図情報 110aを用いて被写体領域位置情報 110dを取得する方法 は、図 5に示した方法に限定されるものではなぐ例えば、図 6に示すように、判定対 象被写体を円で囲んで近隣のベクトル形状を指定してもよいし、図 7に示すように、 判定対象被写体を多角形で囲んで近隣のベクトル形状を指定してもよい。また、名 前や住所、電話番号などと、ベクトル地図上のベクトル図形をあら力じめ対応付けし たものを用意しておき、名前や住所、電話番号などでベクトル図形を指定してもよい。
[0033] もちろん、本実施例 1のようにベクトル地図情報 110aを使わずに写体領域位置情 報 110dを取得することも可能であり、判定対象となる被写体領域の輪郭を、緯度経 度の数値で直接指定したり、または、図 4のベクトル地図の代わりに、周辺領域を上 空から撮影した写真や描!ヽた絵などを表示し、図 4に類似した入力装置で輪郭を描 画しながら、入力装置内の描画位置を直接緯度経度に変換することで指定してもよ い。
[0034] 建造物 ·地表高さマップ情報 110bは、本実施例 1では一例として、建造物を含む 地表の高さのデジタル地図である、建造物こみ地表高さマップ情報 l lObaと、純粋な 地面の高さのデジタル地図である、地表の高さマップ情報 l lObbから構成する。建 造物こみ地表高さマップ情報 l lObaは、建造物がある位置は建造物の高さ、建造物 力 い場合は純粋な地面の高さを、位置と共に保持した情報である。この構成及び 内容は一例であり、建造物のうち人工物だけの高さマップ、建造物のうち榭木のみの 高さマップ、地表のみの高さマップ、など、各要素をそれぞれを分割保持して代用し てもよ ヽし、さらにこれらを行政区分単位等で分割保持してもよ 、。
[0035] カメラデータ 110eは、図示しない複数のカメラによって映像及び画像を撮影した時 のカメラの位置や方向、画角等のカメラデータを合わせたデータ群である。
[0036] 映像データ 110cは、図示しない複数のカメラによって撮影された映像及び画像そ のものである。映像データ 110cとカメラデータ 110eは、相互関係がとれるように保持 する。本実施例 1の画像判定装置 10は、映像データ 110cを直接判定するのではな ぐ関連するカメラデータ 110eを使った画像判定方式 100を搭載することで、入力装 置 40よりユーザによって指定された判定対象被写体に力かわる最適な映像データを この映像データ 110cから選択することを目的としている。
[0037] 従来被写体内在判定部 60は、従来技術の項で述べた、カメラデータ 110eを使つ て対応する映像データ 110c内に判定対象被写体が映っているかを間接的に調べる 処理部である。まず、カメラデータ 110eのカメラ位置や撮影方向、画角を用いて、力 メラの撮影空間を楕円錘または四角錘などで定義する。次に、被写体領域位置情報 110dの判定対象被写体の存在領域の位置情報を用いて、撮影空間内部に判定対 象被写体が存在するか否かを判定する。具体的には、判定対象被写体のベクトル形 状の各点の位置と撮影空間の位置を比較することで、ベクトル形状の一部または全 部が撮影空間に含まれるか否かを判定する。撮影空間に含まれる場合は、判定対象 被写体が撮影空間内部に存在するとみなし、該当するカメラデータ 110e及び対応 する映像データ 110cを、判定対象被写体が映って 、るデータであると判定する。
[0038] なお、従来技術では、実際には、判定被写体領域の形状 (輪郭の複数点)ではなく 、判定被写体の位置 (一点)を使って、撮影空間内部に存在するか否かを判定するこ とが多い。本実施例は、本手法の被写体領域位置情報 110dを、ベクトル地図情報 1 10aから求めたため、判定対象被写体領域の形状 (複数点）としているが、図 1の本 発明の原理図で示したように、被写体領域位置情報 110dは、特に一点か複数点か を問わないため、従来のような一点として、撮影空間内部力否力の判定を行うことも 可能である。
[0039] 本実施例 1では、画像判定方式 110へカメラデータ 110eをそのまま渡さず、従来 被写体内在判定部 60を通し、判定対象被写体が各カメラの撮影範囲内にないカメラ データは渡さな 、ことで、そもそも映像内に判定対象被写体が映って 、な 、カメラデ ータに関しては画像判定方式 110の入力とせず、他物体遮蔽による映り具合判定を 行わな 、ことを意図して 、る。
[0040] 被写体形状推定部 120は、ベクトル地図情報 110aから取得した被写体領域位置 情報 110dの、判定対象被写体領域の輪郭の位置情報と、建造物'地表高さマップ 情報 110b内の建造物こみ地表高さマップ情報 l lObaを突合せ、輪郭の各ポイント の位置に関わる建造物こみの地表の高さを調べることで、判定対象被写体の概形状 の上面を抽出する。同様にして、建造物 ·地表高さマップ情報 110b内の地表高さマ ップ情報 l lObbと突合せ、輪郭の各ポイントの位置に関わる地表の高さを調べること で、判定対象被写体の概形状の下面を抽出する。高さ的には、この上面と下面の間 力 概形状になる。
[0041] 図 8は、被写体形状推定部 120が判定対象被写体の概形状を取得する処理を説 明するための説明図である。同図に示すように、判定対象被写体の概形状は、対応 するベクトル図形 (太線で示した図形。同図では、分かりやすく解説するため、判定 対象被写体以外のベクトル図形も細 、線で示して 、る）の輪郭上の任意のポイントの 緯度経度値と、当該緯度経度値に対応する建造物こみの地表高さマップ情報 110b a、及び地表高さマップ情報 l lObbの高さをそれぞれ加えることで、判定対象被写体 の概形状とする。被写体形状推定部 120は、抽出した判定対象被写体の形状情報 を被写体特徴点抽出部 130に渡す。
[0042] なお、判定対象被写体の概形状を抽出する方法は、上述した方法に限られるもの ではなぐ被写体の輪郭上の各ポイントの高さをそれぞれ正確に求めずに、例えば、 被写体の輪郭形状の中心位置を求めて、その中心位置での高さを、当該被写体に かかわる高さとして代用してもよい。
[0043] 被写体特徴点抽出部 130は、被写体形状推定部 120から判定対象被写体の概形 状情報を取得し、建造物 ·地表高さマップ情報 110bの建造物の高さ及び地表の高さ を適宜調べながら、判定対象被写体の特徴点を抽出する。以下に、被写体特徴点 抽出部 130の処理について具体的に説明する。図 9は、被写体特徴点抽出部 130 の処理を説明するための説明図である。
[0044] 同図に示すように、被写体特徴点抽出部 130は、まず、判定対象被写体の概形状 にかかる側面および上面を任意の間隔でメッシュ状に分割する。分割する間隔は、 一つの規定値 (例えば、 5mなど）を用いてもよいし、複数の数値 (例えば、 lm、 5m、 10mなど）を用意し、それぞれの数値で分割してもよ 、。
[0045] 次に、被写体特徴点抽出部 130は、分割したメッシュのうち、特に上面の各格子点 の高さを、建造物'地表高さマップ情報 110bの建造物の高さ、すなわち建造物こみ 地表高さマップ情報 l lObaの高さを適宜調べながら、算出する。なお、この高さは、 被写体形状推定部 120の対象被写体の輪郭上の各ポイントの高さと同様、それぞれ 正確に求めるのではなぐ輪郭形状の中心位置などの代表位置の高さを、メッシュの 各格子点の共通の高さとして代用してもよい。
[0046] さらに、被写体特徴点抽出部 130は、分割したメッシュのうち、側面の各格子点の 高さを、建造物上面の高さ（=建造物こみ地表高さマップ情報 l lObaの高さ)及び下 接地面の高さ（=地表の高さマップ情報 l lObbの高さ）を、指定メッシュ間隔で補間 した値とする。
[0047] 本実施例 1の被写体特徴点抽出部 130は、このようにして判定対象被写体の概形 状の側面および上面を任意の間隔で分割したメッシュの各格子点と、概形状の頂点 群を、その分割間隔に対する特徴点群とする。被写体特徴点抽出部 130は、抽出し た特徴点群の情報と被写体の形状情報とを他物体遮蔽判定部 140に渡す。
[0048] なお、被写体特徴点抽出部 130が特徴点を抽出する手法は、上述した手法に限ら れるものではなぐ判定対象被写体側面または上面内に含まれる点として、高さ、緯 度、経度のランダム値を取得し、取得した各ランダム値を特徴点としてもよい。
[0049] また、メッシュ分割ではなく、ストリップ分割によって判定対象被写体を分割し、この ストリップの各格子点と概形状の頂点群とを特徴点群としてもよい。また、概形状の側 面及び上面に限らず、概形状の内部の点を特徴点としても力まわない。更に、被写 体特徴点抽出部 130にかかわる計算量を軽減させるベぐ単一の特徴点を抽出して もよい。この場合は、例えば、判定対象被写体の重心 (全頂点位置群の加算平均位 置)の点を特徴点とする。また、概形状に対してまんべんなく特徴点群を求めずに、よ り目に入りやすい建物の上層部など、任意の場所の特徴点数を増やすように算出し てもよい。
[0050] 他物体遮蔽判定部 140は、被写体特徴点抽出部 130からの判定対象被写体の形 状情報および特徴点群の情報と、建造物 ·地表高さマップ情報 110bと、カメラデータ 110eのうちで従来被写体内在判定部 60を通して判定被写体が映っていると判定さ れたカメラデータとの 3つの情報を基にして、カメラと判定対象被写体の各特徴点と の間に存在する被写体物体があるかを調べ、さらにその被写体物体が判定対象被 写体自身であるかどうかを判定することで、他物体による隠れを推定する処理部であ る。
[0051] 図 10は、他物体遮蔽判定部 140の処理を説明するための説明図である。同図に 示すように、他物体遮蔽判定部 140は、カメラ位置と特徴点とを線分で結び、結んだ 線を越える被写体が存在するか否かを判定する。具体的には、カメラ位置と特徴点と の線分に沿 、ながら、建造物 ·地表高さマップ情報 110bの建造物こみの地表の高さ マップ情報 l lObaを使って、建造物の高さを調べていき、線分よりも建造物の高さの 方が高いポイントがないか探す。次に、そのポイントが判定対象被写体自身であるか どうかを、判定対象被写体の形状情報力も判定し、判定対象被写体自身でない場合 は、他の物体であると判定する。
[0052] 他物体遮蔽判定部 140は、例えば、図 9の（a)に示すように、特徴点とカメラ位置と の線分よりも高いポイント M力 建造物こみの地表高さマップ情報 110ba上で見つか り、かつ、ポイント Mは判定被写体のポイントでなかった場合に、「カメラと判定被写体 の特徴点の間には、他物体が存在する」と判定する。このような場合には、カメラ位置 と当該線分をなす特徴点を、他物体に遮られる特徴点 (以下、特徴点 (B)と表記する )とする。
[0053] また、他物体遮蔽判定部 140は、図 10の（b)に示すように、特徴点とカメラ位置との 線分よりも高いポイントが、建造物こみの地表高さマップ情報 110ba上で見つからな い場合に、「カメラと判定被写体の特徴点の間には、他物体が存在しない」と判定す る。このような場合には、カメラ位置と当該線分をなす特徴点を、他物体に遮られない 特徴点 (以下、特徴点 (A)と表記する）とする。
[0054] また、他物体遮蔽判定部 140は、図 10の（c)に示すように、特徴点とカメラ位置との 線分よりも高いポイント N力 建造物こみの地表高さマップ情報 l lOba上で見つかり、 かつ、ポイント Nが被写体内のポイントであった場合に、「カメラと判定被写体の特徴 点の間には、他物体が存在しない」と判定する。このような場合には、カメラ位置と当 該線分をなす特徴点を、自分自身で遮られる特徴点 (以下、特徴点 (C)と表記する） とする。
[0055] 他物体遮蔽判定部 140は、特徴点群それぞれに対して上述した判定を行い、特徴 点 (A)の個数、特徴点 (B)の個数、特徴点 (C)の個数をカウントし、各特徴点 (A)〜 (C)の個数に力かわる情報を、個数情報として、他物体遮蔽指標算出部 150に渡す
[0056] 他物体遮蔽指標算出部 150は、他物体遮蔽判定部 140から個数情報を取得し、 取得した個数情報を基にして、他物体によって判定対象被写体が遮られて 、る割合 を他物体遮蔽指標として算出する処理部である。他物体によって遮られている割合 を算出する具体的な式の一例は、他物体によって遮られている割合 =特徴点（B)の 個数 ÷ (全特徴点の個数 (A+B + C)—特徴点 (C)の個数）によって表される。本実 施例 1の他物体遮蔽指標算出部 150は、この算出した他物体によって遮られている 割合を、判定対象被写体が他物体遮蔽指標として、そのまま利用し、表示処理部 16 0に渡す。
[0057] なお、他物体によって遮られている割合、及び、最終的な他物体遮蔽指標の算出 方法は、上述した手法に限定されるものではなぐ例えば、特徴点による重要度の違 いを考慮し、重み付けをした計算をしてもよい。すなわち、他物体遮蔽判定部 140か ら個数情報以外に、それぞれの特徴点の位置情報などを取得しておき、ランドマーク となるような建物の場合、目印となる特徴的な形状部分の特徴点を重視したり、建物 が立てこんでいる区域の場合、建物の下層部の隠れは、重要でないとして、上層部 の特徴点を重視することなどの重みを加味し、最終的な他物体遮蔽指標を算出する ことち考免られる。
[0058] 表示処理部 160は、他物体遮蔽指標算出部 150から判定対象被写体の他物体遮 蔽指標値を取得し、取得した指標値に基づいて、判定対象カメラデータ l lOeに対応 する映像データ 110cを探して、表示装置 50で再生表示する処理部である。図 11は 、表示処理部 160が物体遮蔽指標を利用して映像及び画像データを表示するインタ フェースの一例を示す図である。
[0059] 本発明の実施例 1における表示処理部 160は、図 11に示すように、映像データ (a 、 b、 e)及び画像データ (c、 d、 f〜k)を他物体遮蔽指標の値で昇順 (数値が小さいも の力 大きいものへの順。この例では、数値が小さいものほど他物体による遮られる 割合が低いとする）に並べる。さらに、判定対象被写体がより良く映っているものを推 薦する意図のもと、他物体遮蔽指標の値が所定値未満の映像及び画像データを判 定対象被写体に対して最適な映像及び画像データとみなし、例えば該当する図 11 の（a)〜（e)の映像及び画像のサムネイル画像をカラーで表示する。一方で、他物体 遮蔽指標の値が所定値以上の映像及び画像データを判定対象被写体に対して適 切でな ヽ映像及び画像データとみなし、例えば該当する図 11の (f)〜 (k)の映像及 び画像のサムネイル画像を白黒で表示する。
[0060] なお、本実施例 1の図 11では、元の映像及び画像データ単位で結果を表示してい るが、映像データを他物体遮蔽指標の数値の小さい部分、すなわち判定対象被写 体の他物体による映り具合の良い部分だけ抽出することで、複数の映像ショットに分 け、それらを表示してもよい。また、推薦したい映像及び画像のファイル名をリストに 羅列したり、推薦度合いの高いものを大きくより画面に近くなるような 3次元 CGで表 示したり、任意の表示方法を行っても力まわない。
[0061] 本発明の実施例 1における表示処理部 160は、出力装置 50で表示した図 11に対 して、入力装置 40を介してユーザが映像データを選択した場合には、選択映像及び 画像データの閲覧再生などを開始する。図 12は、図 11において映像データ (a)が 選択された場合の表示画面の一例を示す図である。図 12では、映像の画像フレー ム群のうち、従来被写体内在判定部 60によってカメラの撮影領域に判定被写体が存 在する判定された画像フレームであり、かつ本手法である画像判定方式 100によつ て他物体遮蔽指標が低 、 (他物体による遮蔽が少な 、）と判定された画像フレーム の部分を、白黒濃淡バー上に白く表示している。ユーザはこの濃淡バー上で白い部 分のみを選択することで、本手法が推薦する、判定被写体が他の物体に遮られること なく映っている映像フレームのみを再生閲覧することができる。なお、図 12に示すよう に、他物体遮蔽指標から求めた判定被写体の映り具合を濃淡バーで表示してもよ ヽ し、他物体遮蔽指標の値を具体的な数字で表示してもよい。また、図 11の段階で遮 られ率の低い画像フレームのみを集めた映像ショットに分けた場合などには、図 12で 再生する映像ショットは全編を通して映りが良いと考えられるので、特に他物体遮蔽 指標値や映り具合を表示しなくても力まわな 、。
[0062] 次に、本実施例 1における画像判定装置 10の処理手順について説明する。図 13 は、本実施例 1に示した画像判定装置 10の処理手順を示すフローチャートである。 同図に示すように、画像判定装置 10は、画像判定方式 100の処理である部分 (S10
2〜S106)と、画像判定方式 100の前後で利用するデータを揃えると同時に入力及 び出力を制御する部分 (S101、 S104, S107)に分かれる。
[0063] まず、入力装置 40経由で、表示装置 50上に表示されたベクトル地図情報 110a内 の判定対象被写体に関係する領域を指定することで、被写体領域位置情報 1 lOdを 指定ベクトル形状情報から取得する (ステップ S101)。
[0064] そして、被写体形状推定部 120が、被写体領域位置情報 110dと、建造物 ·地表高 さマップ情報 110bから被写体の概形状を特定し (ステップ S102)、被写体特徴点抽 出部 130が特徴点群を抽出する (ステップ S103)。
[0065] 次に、従来被写体内在判定部 60が、カメラデータ 110eと被写体領域位置情報 11
Odを使って、判定対象被写体が映っているカメラデータを振り分ける (ステップ S 104
) o
[0066] 続ヽて、他物体遮蔽判定部 140が、判定済みの各カメラデータと判定被写体の特 徴点群、建造物 ·地表高さマップ情報 110bを用いて、各特徴点における他物体遮 蔽判定処理を実行する (ステップ S 105)。
[0067] 続いて、他物体遮蔽指標算出部 150が、他物体による遮蔽指標値を算出し (ステツ プ S106)、表示処理部 160が、遮蔽指標を基にして映像データ 110cを出力する (ス テツプ S 107)。
[0068] 次に、図 13のステップ S 105で示した他物体遮蔽判定処理について説明する。図 1 4は、図 13のステップ S 105で示した他物体遮蔽判定処理を示すフローチャートであ る。同図に示すように、他物体遮蔽判定部 140は、特徴点 (A)、（B)、（C)のカウント を初期化 (各特徴点 (A)〜（B)に力かる個数を 0に設定)し (ステップ S201)、全ての 特徴点を選択したか否かを判定する (ステップ S 202)。
[0069] 全ての特徴点を選択した場合には (ステップ S203, Yes)、個数情報を他物体遮蔽 指標算出部 150に渡す (ステップ S 204)。一方、全ての特徴点を選択していない場 合には (ステップ S 203, No)、未選択の特徴点を選択し (ステップ S 205)、カメラ位 置を始点、選択した特徴点を終点とした線分を作成する (ステップ S 206)。
[0070] そして、他物体遮蔽判定部 140は、作成した線分の高さを上回る被写体が存在す る力否かを判定し (ステップ S 207)、線分を上回る被写体が存在しない場合には (ス テツプ S208, No)、特徴点（A)のカウントに 1を力卩算し (ステップ S209)、ステップ S2 02に移行する。
[0071] 一方、線分を上回る被写体が存在する場合には (ステップ S208, Yes)、線分の高 さを上回った被写体は、判定対象被写体力否かを判定し (ステップ S210)、線分の 高さを上回った被写体が判定対象被写体で無い場合には (ステップ S211, No)、特 徴点（B)のカウントに 1を加算し (ステップ S 212)、ステップ S 202に移行する。
[0072] 一方、線分の高さを上回った被写体が判定対象被写体である場合には (ステップ S 211, Yes)、特徴点（C)のカウントに 1を力卩算し (ステップ S213)、ステップ S202に 移行する。
[0073] このように、他物体遮蔽判定部 140が、個数情報を作成し、他物体遮蔽指標算出 部 150がこの個数情報を利用してた物体遮蔽指標を算出し、表示処理部 160が他 物体遮蔽指標を基にして映像データ 110cを表示装置 50に表示させるので、ユーザ は効率よぐ最適な映像データを選択することができる。
[0074] 上述してきたように、本実施例 1の画像判定装置 10は、被写体形状推定部 120が 被写体領域位置情報 110d、建造物 ·地表高さマップ情報 110bを基にして、指定さ れた判定対象被写体の形状を抽出し、被写体特徴点抽出部 130が、判定対象被写 体の形状を基にして特徴点を抽出し、他物体遮蔽判定部 140が、カメラデータ 110e 、判定対象被写体形状、特徴点と建造物 ·地表高さマップ情報 110bを基にして他物 体遮蔽に関する特徴点の分類個数情報を作成し、他物体遮蔽指標算出部 150が、 個数情報を基にしてカメラデータごとの他物体遮蔽指標を算出する。算出した各カメ ラデータ毎の他物体遮蔽指標は、本実施例 1で示すように表示処理部 160が、関連 する映像データ 110cを表示装置 50に表示する際の、判定被写体の他物体遮蔽に 関する映り具合に対する推薦度として利用することができるため、カメラと、判定対象 被写体との間に他物体が存在する場合にでも、最適な映像データを選択することが できる。
[0075] なお、本実施例 1にかかわる建造物 ·地表高さマップ情報 110bは、建造物こみの 地表高さマップ情報 110ba以外に、純粋な地表の高さである地表高さマップ情報 11 Obbを含んでいたが、建造物こみの地表高さマップ情報 l lObaのみで地表高さマツ プ情報 l lObbを代用することができる。本実施例 1で、地表高さマップ情報 l lObbは 、被写体形状推定部 120が、被写体形状の下面、すなわち地表との接地面の高さを 求めるために利用している。そこで、被写体形状推定部 120が、被写体領域位置情 報 110dと建造物こみの地表高さマップ情報 110baを基にして、被写体の下接地面、 すなわち被写体位置における地表の高さ情報を取得する一例を示す。
[0076] 被写体形状推定部 120は、建造物こみの高さマップ情報 l lObaと被写体領域位置 情報 110dとをつき合わせ、建造物こみの高さマップ情報内で被写体領域に含まず、 かつ被写体領域よりも十分大きな領域 (建造物同士が地表をみせずに完全に接して 存在することは稀なので、この十分大きな領域のどこかに、建造物が無く地表が現れ て 、るポイントが存在する可能性が高 、）に対応する建造物こみの地表の高さを取得 する。そして、被写体形状推定部 120は、取得した高さのうち、最も低い高さを擬似 的な該当領域全体の地表面の高さとする。なお、高さを取得する領域が広すぎて、 擬似的な地表面の高さとみなしたポイントが、被写体の存在する領域力 離れると、 被写体の存在する領域の地表面との誤差が大きくなるので、単純に最も低 、高さを 採用するのではなぐ被写体力もの距離を使って重み付けをして採用してもよい。
[0077] このように、被写体形状推定部 120が、建造物こみの高さマップ情報 l lObaと被写 体領域位置情報 11 Odとを利用して、地表面の高さを取得するので、地表の高さマツ プ情報 110bbを建造物 ·地表高さマップ情報 110に含める必要性が無くなり、情報 記録容量やマップ情報の取得経費、及びマップ情報を最新に保っための更新の手 間および経費を節約することができる。
[0078] また、建造物 ·地表高さマップ情報 110bの建造物こみの地表高さマップ情報 110b aを利用して、ベクトル地図情報 110aを代用して、被写体領域位置情報 110dを取得 することができる。ここで、建造物こみの地表高さマップ情報 l lObaを利用して、判定 被写体領域位置情報 10dを取得する一例を示す。
[0079] 図 15は、建造物こみの地表高さマップ情報 l lObaから被写体領域位置情報 110d を取得する手法を説明するための説明図である。同図に示すように、従来の被写体 内在判定と同様、判定対象被写体を代表位置一点で入力装置 40などから指定する 。まず、この代表位置一点を、その緯度経度などの値を使い、建造物こみ地表高さマ ップ情報 110ba上の代表点として設定する。
[0080] そして、代表点から周辺に向かって、円状に、所定間隔及び角度ごとに移動しなが ら、移動先の各ポイントに対応する建造物こみ地表の高さを取得する。各ポイントの 高さを取得する際に、一つ前に取得したポイントの高さ（または、代表点の高さ）と比 較し、高さが大幅に変化する場所 (例えば、代表点の高さの 1Z4以下となる場所)を 探し、大幅に変化した場所を判定対象被写体領域の外縁点として登録する（図 15の 例では、 P1と P2が外縁点として登録される）。時計周りに角度をずらしながら、周辺 に向けて外縁点を探して登録して ヽつた場合には、登録順に外縁点をつなぎ合わせ たものが、被写体領域位置情報 110dの判定被写体領域である。
[0081] なお、ここでは、建造物 ·地表高さマップ情報 110bのうち、建造物こみ地表高さマツ プ情報 110baのみを使って、被写体領域位置情報 110dを取得する例を示したが、 地表高さマップ情報 l lObbも用いて高さの差分を求めれば、高さが大幅に変化する 場所が、地表に起伏があるために、建造物の高さはそのままでも、建造物こみの地表 の高さが変わった場所 (傾斜地の段々形のマンションなど)なの力 地表に起伏がな ぐ建造物自体の高さが変わった場所なのかをより正確に推定することが可能でる。 この場合、前者の場合は外縁点とはせず、後者の場合のみを外縁点とすることで、よ り正確な判定対象被写体領域を取得することができる。
[0082] このように、ベクトル図情報を使わず、判定被写体の代表位置一点から、建造物 · 地表高さマップ情報 110bを利用して、自動的に被写体領域位置情報 110dを取得 することができるので、予めベクトル地図情報 110aを用意、記録させる必要性を無く すことができ記録容量を節約することができとともに、従来技術と同程度の簡単な指 定方法で、被写体領域位置情報 110dを自動取得することができる。
実施例 2
[0083] 次に、本実施例 2における画像判定方式を搭載した装置 (画像判定装置）につ!/ヽて 説明する。本実施例 2における画像判定装置は、実施例 1の建造物'地表高さマップ 11 Obの高さデータ群を、属するマップ領域毎に階層的に区切ってクラスタリングし、 クラスタリング結果の領域内で、最高の高さ、最低の高さを算出する。そして、画像判 定装置は、領域ごとの最高の高さを利用して、効率よく他物体遮蔽判定を行い、他物 体遮蔽指標を算出する。
[0084] 図 16は、本実施例 2における画像判定装置 20の構成を示す機能ブロック図である 。同図に示すように、この画像判定装置 20は、高さクラスタリング部 210および内部 動作が異なる他物体遮蔽判定部 220を有する。その他の構成および動作は、実施 例 1に示した画像判定装置 20と同様であるので、同一の構成要素には同一の符号 を付して説明を省略する。
[0085] 高さクラスタリング部 210は、建造物 ·地表高さマップ情報 110bを基にして、マップ 上に含まれる高さ群のうち、最高高さおよび最低高さを所定領域ごとに特定する（以 下、特定した情報をクラスタリング情報と表記する）処理部である。図 17は、高さクラス タリング部 210が算出するクラスタリング情報を説明するための説明図である。
[0086] 同図に示すように、建造物 ·地表高さマップ情報 110bの情報力 高さの測定単位 である最小領域単位毎の高さデータで構成されて 、る場合を考える。高さクラスタリ ング部 210は、まず、近隣の最小領域単位を 4つずつ纏めた統合領域を作成し、そ の領域内に含まれる 4つの最小領域単位の高さを比較して、統合領域内での最高高 さを特定する。図 17の例では、 2m〜4mの高さをもつ最小領域単位群 A211〜A21 4を纏めて A21という領域を作成し、最高の高さは 4mとして特定する。同様に 5m〜 6mの高さの最小領域単位群 A221〜A224を纏めた A22と、 9m〜12mの高さの最 小領域単位群 A231〜A234を纏めた A23と、 13m〜16mの高さの最小領域単位 群 A241〜A244を纏めた A24、の 3つの領域を作成し、それぞれの最高高さ（6m、 12m、 16m)を特定する。
[0087] 次に、高さクラスタリング部 210は、近隣領域 A21〜A24の四つを纏めて新たな領 域 A2を作成し、各領域 A21〜A24の最高高さを比較して、領域 A2の最高高さ（16 m)を特定する。図 17の例では、同様にして所定領域 Al、 A3、 A4を作成し、その最 高高さを特定する。
[0088] 高さクラスタリング部 210は、纏めた統合領域の面積が規定面積以上、または、クラ スタリングによる統合階層が規定階層以上になるまで、領域統合および最高高さ特 定を繰り返し行う。高さクラスタリング部 210は、他物体遮蔽判定部 220に算出したク ラスタリング†青報を渡す。
[0089] なお、本実施例 2では、高さクラスタリング部 210は、近隣の 4つの小領域を統合し て 1つの大領域を作成する例を示して 、るが、統合する小領域の数は 4つでなくても 良いし、逆に大領域を分割しながら作成しても力まわない。さらに、一律に統合する のではなぐ市街地等の検索用途の多い地域力否かや、高低差の変化の激しい場 所か否か、等で階層数や統合領域数を変えて作成してもよい。また、高さクラスタリン グ部 210のクラスタリング処理は、判定対象被写体とは無関係に実施することができ るため、毎回処理を行うのではなぐクラスタリングしたデータを、建造物'地表高さマ ップ情報 110bとして保持し、禾 IJ用することもできる。
[0090] 他物体遮蔽判定部 220は、被写体特徴点抽出部 130によって抽出された特徴点と クラスタリング情報とを基にして、特徴点 (A)、（B)、（C)にかかわる個数情報を作成 する処理部である。
[0091] 図 18は、特徴点とクラスタリング情報とを基にして、個数情報を作成する処理を説 明するための説明図である。なお、図 18では、カメラ位置から判定対象被写体への 線分 Tが、緯度に沿って伸びている場合について説明する。また、図 18に示すように 、カメラ位置と判定対象被写体との間には、クラスタリングを行った領域 A、 Bが含まれ て 、る場合にっ 、て説明する。
[0092] まず、他物体遮蔽判定部 220は、線分 Tを、領域 A、 Bに沿って 2分割し、分割線分 をそれぞれ TA、 TBとする。そして、他物体遮蔽判定部 220は、各分割線分 TA、 TB の最小の高さ TAMin、 TBMinと、領域 A、 B内で最大の高さ AMax、 BMaxとを比 較する。
[0093] 線分の高さ力 領域 A、 Bの高さよりも高い場合、つまり、 TAMin>AMaxかつ TB Min>BMaxの場合には、他物体遮蔽判定部 220は、当該線分に対応する特徴点 を特徴点 (A)と判定する。これは、領域 A、 B内に存在する全ての被写体の高さよりも 線分 Tのほうが高いことを意味するからである。
[0094] 一方、線分の高さ力 領域 Aまたは Bの高さ以下の場合、つまり、 TAMin≤AMax または TBMin≤BMaxの場合には（図 17の例では、 TBMin≤ BMaxである）、他物 体遮蔽判定部 220は、領域 B内の対応する領域 (B1〜B4のいづれかの領域)を利 用して、線分 Tと、対応する領域に含まれる被写体の高さとを比較する。
[0095] 例えば、線分 Τが、領域 Bl、 Β2に対応する場合 (線分 Τが、領域 Bl、 Β2上を通過 する場合等）は、上述した手法を利用して、線分 Τよりも高い被写体高さが存在する か否かを判定する。ここで、仮に、 Bl、 Β2が最小領域単位である場合について説明 すると、線分 Τよりも高い被写体高さが領域 Bl、 Β2に存在しない場合には、線分丁に 対応する特徴点を特徴点 (Α)と判定する。
[0096] 一方、線分 Τよりも高い被写体高さが領域 B1または Β2に存在する場合には、線分 Τに対応する特徴点を特徴点 (Β)または特徴点 (C)と判定する。該当領域が判定対 象被写体の場合には、特徴点 (C)となり、該当領域が判定対象被写体でない場合に は、特徴点（Β)となる。
[0097] 他物体遮蔽判定部 220は、上述した手法により、判定対象被写体にかかわる特徴 点群それぞれを、特徴点 (A)、（B)、（C)に分類し、分類した情報を個数情報として 遮られ率算出部 150に渡す。
[0098] このように、他物体遮蔽判定部 220は、クラスタリング情報を基にして、必要なときに だけ、下位部の細かな領域単位および各測定ポイント毎の詳細な高さと線分の高さ とを比較するので、他物体遮蔽判定処理にかかわる負担を軽減させることができる。
[0099] 上述してきたように、本実施例 2における画面判定装置 20は、高さクラスタリング部 210力 建造物.地表高さマップ情報 110bを基にして、各被写体の中で最も高い被 写体の高さを所定範囲ごとに特定したクラスタリング情報を作成し、他物体遮蔽判定 部 220が、クラスタリング情報を利用して、特徴点群に力かわる個数情報を作成する ので、効率よく最適な映像データを選択することができる。
[0100] なお、高さクラスタリング部 210で統合領域を作成する際に、最高高さと同時に、各 統合領域の最低高さを算出して利用してもよい。本発明の実施例 1で述べた、建造 物 ·地表高さマップ情報 110bの建造物こみ地表高さマップ情報 1 lObaのみで、地表 高さマップ情報 l lObbを代用する手法で、被写体形状推定部 120で行う、被写体の 下面、すなわち地表との接地面の高さを算出する手法を、クラスタリングによる各統合 領域の最低高さを利用することで、より簡単に行うことができる。すなわち、本発明の 実施例 1では、判定被写体領域より十分大きな領域内で、建造物こみ地表高さマツ プ情報 l lObaを調べて、最低の高さを算出して擬似的な該当領域全体の地表の高 さとみなす手法を述べたが、該当領域の位置から、該当領域を含むクラスタリング統 合領域群を求め、それらの最低高さを比較することで、効率よく該当領域の最低高さ を算出することができる。
実施例 3
[0101] 次に、実施例 3における画像判定方式を搭載した装置 (画像判定装置）につ!/ヽて説 明する。図 19は、本実施例 3における画像判定装置の概念を説明するための説明 図である。図 19の左側に示すように、時期 T1にカメラ Aを利用して被写体 Aを撮影し 、時期 T2にカメラ Bを利用して被写体 Bを撮影し、時期 T3にカメラ Cを利用して被写 体 Cを撮影し、画像判定装置が、いずれの映像データに対しても、映り具合がよい（ 他物体遮蔽指標が所定値以下）と判定したにもかかわらず、映像データの映り具合 が悪いとユーザに判断された場合に、画像判定装置は、各カメラ A〜Cの撮影領域 の重複部分に、遮蔽物が発生したと判定し、建造物 ·地表高さマップ情報などを修正 する。
[0102] また、図 19の右側に示すように、時期 T4に被写体 Aを撮影し、時期 T5に被写体 B を撮影し、時期 T6に被写体 Cを撮影し、画像判定装置が、いずれの映像データに対 しても、映り具合が悪い (他物体遮蔽指標が所定値より上）と判定したにもかかわらず 、映像データの映り具合がよいとユーザに判断された場合に、画像判定装置は、各 カメラ A〜Cの撮影領域の重複部分に存在して 、た遮蔽物が消滅したと判定し、建 造物 ·地表高さマップ情報などを修正する。
[0103] このように、実施例 3における画像判定装置は、他物体遮蔽指標にかかわるユーザ からの応答によって、建造物'地表高さマップ情報などを修正するので、他物体遮蔽 指標に力かわる信頼性を向上させることができる。また、建造物'地表高さマップ情報 を定期的に更新する必要がなくなるので、コストを大幅に削減することができる。
[0104] 図 20は、本実施例 3における画像判定装置 30の構成を示す機能ブロック図である 。同図に示すように、この画像判定装置 30は、高さマップ補正処理部 330と、建造物 •地表高さマップ情報 110bの関連情報として高さマップ補正情報 310aとを有する。 その他の構成および動作は、実施例 1に示した画像判定装置と同様であるので、同 一の構成要素には同一の符号を付して説明を省略する。
[0105] 建造物 ·地表高さマップ情報 110bは、関連する情報として高さマップ補正情報 31 Oaを有する。なお、建造物 ·地表高さマップ情報の一例である、建造物こみ地表高さ マップ情報 110ba、地表高さマップ情報 l lObbに関する説明は、実施例 1と同様で あるため説明を省略する。ここで、本実施例 3では、一例として高さマップ補正情報 3 10aを、建造物 ·地表高さマップ情報 110bの一部とした力 相互に対応がとれれば、 別の情報として独立保持しても力まわな 、。
[0106] 高さマップ補正情報 310aは、建造物 ·地表高さマップ情報 110bのうち、特に建造 物に関連した高さ情報、すなわちここでは、建造物こみの地表高さマップ情報 l lOba にかかわる修正情報である。図 21は、高さマップ補正情報 310aのデータ構造の一 例を示す図である。同図に示すように、この高さマップ補正情報 310aは、補正エリア テーブルと、補正エリア形状テーブルと、補正エリア頂点テーブルとを有する。
[0107] 補正エリアテーブルは、「ID」、「種別」、「変化発生推定時期 (MIN)」、「変化発生 推定時期 (MAX)」、「推定形状 ID」、「MBR (MIN)緯度経度」、「MBR (MAX)緯 度経度」、「所属 3次元メッシュ ID」を有する。
[0108] ここで、「ID (identification)」は、補正データ領域を識別するための情報であり、「種 別」は、補正データ領域の高さが高すぎるという誤りから、ある高さの領域 (建造物）の 消滅を察知したのか、低すぎるという誤りから、ある高さの領域 (建造物）の発生を察 知したか、の情報であり、「変化発生推定時期（MIN)」および「変化発生時期推定時 期（MAX)」は、建造物が変化 (消滅または発生)した時期を示す情報である。
[0109] 「推定形状 ID」は、補正エリア形状テーブルの対応する情報を特定するための情報 であり、「MBR(MIN)緯度経度」および「MBR(MAX)緯度経度」は、建造物が存 在する領域の情報を示し、「所属 3次元メッシュ ID」は、所属 3次元メッシュコードを識 別するための情報である。
[0110] 補正エリア形状データの説明に移ると、補正エリア形状データは、「ID」、「推定高さ
(MAX)」、「推定高さ (MIN)」、「射影形状頂点数」、「射影形状頂点 ID群」とを有す る。「ID」は、補正エリアテーブルにかかわる「推定形状 ID」と対応づけするための識 別情報であり、「推定高さ（MAX)」および「推定高さ (MIN)」は、推定される被写体 の高さの情報である。
[0111] なお、「推定高さ（MAX)」には、建造物が消滅したと判定された場合に、当該領域 内での最大高さにかかる情報が格納され、「推定高さ（MIN)」には、建造物が発生し たと判定された場合に、当該領域内での最小高さにかかる情報が格納される。「射影 形状頂点数」は、該当領域形状または該当領域に含まれる建造物の頂点数を示す 情報であり、「射影形状頂点 ID群」は各頂点を識別するための情報である。
[0112] 補正エリア頂点テーブルは、建造物の推定形状に力かわる頂点の緯度経度情報を 有し、「ID」、「緯度」、「経度」からなる。ここで、「ID」は、補正エリア形状テーブルに 力かわる「射影形状頂点 ID群」の各 IDと対応づけするための情報である。「緯度」、「 経度」はそれぞれ、緯度および経度の情報を示す。
[0113] 被写体形状推定部 120が、判定対象被写体領域の上面および下接触面の高さを 算出したり、被写体特徴点抽出部 130が、判定対象被写体の特徴点を抽出する際 に特徴点の高さを算出したり、他物体遮蔽判定部 140がカメラと特徴点を結ぶ線分 に沿って線分より高さの高いポイントを探索したりする際に、建造物 ·地表高さマップ 情報 11 Obの建造物こみ地表高さマップ情報 11 Obaを利用する力 その時に高さマ ップ補正情報 310aを突合せ、高さマップ補正情報 310aによって所定領域の情報が 、修正されている場合には、高さマップ補正情報 310aに含まれる情報を優先させる
[0114] 高さマップ補正処理部 330は、表示処理部 160が表示した映像データの他物体遮 蔽指標に対する応答を受付け、受付けた応答に応じて高さマップ補正情報 310aを 作成 ·更新する処理部である。
[0115] 具体的に、この高さマップ補正処理部 330は、表示処理部 160が表示した映像デ ータの他物体遮蔽指標が間違って 、る旨の情報 (応答)を入力装置 40から取得した 場合には、当該映像データを撮影したカメラ位置と判定対象被写体との間の領域に かかわる建造物 ·地表高さマップ情報 110bが変化したと判定する。
[0116] そして、高さマップ補正処理部 330、例えば、図 19の左側で説明したように、遮蔽 物体発生が疑われるエリアをある程度特定できた場合には、当該エリアに関する情 報を高さマップ補正情報 310aに書き込む。この場合は、「種別」を「発生」に設定し、 推測される範囲を「MBR (MIN)経度緯度」および「MBR (MAX)経度緯度」に登録 する。
[0117] また、変化が予測される時期に関しては、例えば、図 19の左側の例では、時期 T1 〜T3に変化したと推定できるため、時期 T1を「変化発生推定時期 (ΜΙΝ)」に登録し 、時期 Τ3を「変化発生推定時期 (MAX)」に登録する (Tl < T2 < T3の場合)。
[0118] また、図 19の右側で説明したように、遮蔽物体消滅が疑われるエリアをある程度特 定できた場合には、当該エリアに関する情報を高さマップ補正情報 310aに書き込む 。この場合は、「種別」を「消滅」に設定し、推測される範囲を「MBR(MIN)経度緯度 」および「MBR (MAX)経度緯度」に登録する。
[0119] 続いて、変化が予期される時期に関しては、例えば、図 19の右側の例では、時期 T 4〜T6に変化したと推定できるため、時期 Τ4を「変化発生推定時期 (ΜΙΝ)」に登録 し、時期 Τ6を「変化発生推定時期 (MAX)」に登録する (T4く T5<T6の場合)。
[0120] 上述してきたように、本実施例 3における画像判定装置 30は、高さマップ補正処理 部 330が、表示処理部 160によって表示された映像データの他物体遮蔽指標にか 力わる応答を入力装置 40から受付け、この応答に、他物体遮蔽指標が間違っている 旨の情報が含まれている場合に、高さマップ補正情報 310aを作成'更新するので、 建造物 ·地表高さマップ情報を定期的に更新保守する必要がなくなり、コストを大幅 に削減することができる。
[0121] なお、実施例 3の例では、遮蔽物が完全に新規発生および消滅する例を示したが 、実際には建造物の改築等で、見えな力つた被写体の一部が見えたり隠れたりする ことも考えられる。この場合にも、撮影空間レベルでの重ね合わせではなぐそれぞ れの被写体特徴点群のどの部分が見えな 、と判定したものが誤りだったの力、などを 詳細に調べて、特徴点とカメラの線分同士の重なるエリアを求め、そのエリア算出の 元となった線分の高さより高いまたは、低いべきかを精査することで、エリアの高さ変 化をある程度推測することもできる。
産業上の利用可能性
[0122] 以上のように、本発明における画像判定方法、画像判定装置及び記録媒体は、複 数台のカメラ等を利用して所定の被写体を撮影し、撮影した各映像データの中から 最適な映像データを、ユーザに負担をかけることなく選択する必要のある画像判定シ ステムなどに対して有用である。

Claims

請求の範囲
[1] カメラにより撮影された画像における所定の被写体の映り具合を判定する画像判定 方法であって、
被写体の存在領域に力かわる情報を基にして、被写体の位置を特徴づける特徴点 を抽出する特徴点抽出工程と、
前記特徴点抽出工程によって抽出された所定の被写体に力かわる特徴点の位置 と、当該特徴点およびカメラの間に存在する被写体の位置に基づいて、所定の被写 体であるか否かを判定し、当該所定の被写体の映り具合を判定する判定工程と、 を含んだことを特徴とする画像判定方法。
[2] 前記被写体の存在領域に力かわる情報を基にして、最も高 、被写体の高さを所定 範囲ごとに算出する高さ算出工程を更に含み、前記判定工程は、前記高さ算出工程 によって算出された所定範囲ごとの高さと、前記所定の被写体に力かわる特徴点の 高さとを基にして、所定の被写体の映り具合を判定することを特徴とする請求項 1に 記載の画像判定方法。
[3] 前記判定工程は、前記所定の被写体にかかわる特徴点の高さよりも、前記所定範 囲に含まれる最も高い被写体の高さのほうが高い場合に、当該所定範囲を更に分割 し、分割した各範囲に含まれる最も高い被写体の高さと、前記所定の被写体の特徴 点の高さとを基にして、当該所定の被写体の映り具合を判定することを特徴とする請 求項 2に記載の画像判定方法。
[4] 前記特徴点抽出工程は、前記被写体の位置情報および高さ情報を基にして、地表 の高さを特定し、当該被写体の位置情報および高さ情報と地表の高さとを基にして、 所定の被写体にかかわる特徴点を抽出することを特徴とする請求項 1、 2または 3に 記載の画像判定方法。
[5] 前記特徴点抽出工程は、各地点の高さ情報を基にして、被写体の位置を特定し、 各地点の高さ情報と被写体の位置とを基にして所定の被写体に力かわる特徴点を抽 出することを特徴とする請求項 1、 2または 3に記載の画像判定方法。
[6] 前記判定工程の判定結果にかかわる応答を受付け、当該応答に、前記判定結果 が誤って 、る旨の情報が含まれて 、る場合に、前記地図情報を修正する地図情報 修正工程を更に含んだことを特徴とする請求項 1、 2または 3に記載の画像判定方法
[7] カメラにより撮影された画像における所定の被写体の映り具合を判定する画像判定 装置であって、
被写体の存在領域に力かわる情報を基にして、被写体の位置を特徴づける特徴点 を抽出する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された所定の被写体に力かわる特徴点の位置 と、当該特徴点およびカメラの間に存在する被写体の位置に基づいて、所定の被写 体であるか否かを判定し、当該所定の被写体の映り具合を判定する判定手段と、 を備えたことを特徴とする画像判定装置。
[8] 前記被写体の存在領域に力かわる情報を基にして、最も高 、被写体の高さを所定 範囲ごとに算出する高さ算出手段を更に備え、前記判定手段は、前記高さ算出手段 によって算出された所定範囲ごとの高さと、前記所定の被写体に力かわる特徴点の 高さとを基にして、所定の被写体の映り具合を判定することを特徴とする請求項 7に 記載の画像判定装置。
[9] カメラにより撮影された画像における所定の被写体の映り具合を判定する画像判定 方法をコンピュータに実行させるプログラムを記録した記録媒体において、
被写体の存在領域に力かわる情報を基にして、被写体の位置を特徴づける特徴点 を抽出する特徴点抽出手順と、
前記特徴点抽出手順によって抽出された所定の被写体に力かわる特徴点の位置 と、当該特徴点およびカメラの間に存在する被写体の位置に基づいて、所定の被写 体であるか否かを判定し、当該所定の被写体の映り具合を判定する判定手順と、 を実行させるためのプログラムを記録したことを特徴とする記録媒体。
[10] 前記被写体の存在領域に力かわる情報を基にして、最も高 、被写体の高さを所定 範囲ごとに算出する高さ算出手順を更にコンピュータに実行させ、前記判定手順は、 前記高さ算出手順によって算出された所定範囲ごとの高さと、前記所定の被写体に 力かわる特徴点の高さとを基にして、所定の被写体の映り具合を判定することを特徴 とする請求項 9に記載の記録媒体。
PCT/JP2005/013261 2005-07-19 2005-07-19 画像判定方法、画像判定装置および画像判定方法をコンピュータに実行させるプログラムを記録した記録媒体 Ceased WO2007010596A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007525463A JP4751886B2 (ja) 2005-07-19 2005-07-19 画像判定方法
PCT/JP2005/013261 WO2007010596A1 (ja) 2005-07-19 2005-07-19 画像判定方法、画像判定装置および画像判定方法をコンピュータに実行させるプログラムを記録した記録媒体
US12/007,327 US8180103B2 (en) 2005-07-19 2008-01-09 Image determining method, image determining apparatus, and recording medium having recorded therein program for causing computer to execute image determining method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/013261 WO2007010596A1 (ja) 2005-07-19 2005-07-19 画像判定方法、画像判定装置および画像判定方法をコンピュータに実行させるプログラムを記録した記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/007,327 Continuation US8180103B2 (en) 2005-07-19 2008-01-09 Image determining method, image determining apparatus, and recording medium having recorded therein program for causing computer to execute image determining method

Publications (1)

Publication Number Publication Date
WO2007010596A1 true WO2007010596A1 (ja) 2007-01-25

Family

ID=37668485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/013261 Ceased WO2007010596A1 (ja) 2005-07-19 2005-07-19 画像判定方法、画像判定装置および画像判定方法をコンピュータに実行させるプログラムを記録した記録媒体

Country Status (3)

Country Link
US (1) US8180103B2 (ja)
JP (1) JP4751886B2 (ja)
WO (1) WO2007010596A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017166866A (ja) * 2016-03-14 2017-09-21 オムロン株式会社 路面形状測定装置、測定方法、及び、プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101042910B1 (ko) * 2008-11-13 2011-06-21 엔에이치엔(주) 전자 지도를 이용하여 서비스를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN102789642B (zh) * 2011-05-16 2017-08-25 索尼公司 消失方向确定方法和装置、摄像机自标定方法和装置
US10573045B2 (en) 2012-12-19 2020-02-25 Shutterfly, Llc Generating an assembled group image from subject images
US9025906B2 (en) * 2012-12-19 2015-05-05 Lifetouch Inc. Generating an assembled group image from subject images
JP6676294B2 (ja) * 2015-06-30 2020-04-08 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166350A (ja) * 1997-08-12 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> 検索型景観ラベリング装置およびシステム
JP2000348217A (ja) * 1995-08-10 2000-12-15 Sega Enterp Ltd 仮想画像生成装置及びその方法
JP2002358522A (ja) * 2001-05-31 2002-12-13 Olympus Optical Co Ltd 画像選出支援装置および画像選出支援方法ならびに画像選出支援プログラム
JP2003087442A (ja) * 2001-09-14 2003-03-20 Fuji Photo Film Co Ltd 画像評価方法および装置並びにプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01133907A (ja) 1987-11-19 1989-05-26 Furukawa Electric Co Ltd:The 金属酸化物の製造方法
JPH06348815A (ja) * 1993-06-04 1994-12-22 Hitachi Ltd Ｃｇシステムにおける建物の景観の３次元モデルの設定方法
JP3622094B2 (ja) * 1995-10-05 2005-02-23 株式会社日立製作所 地図更新支援装置および地図情報の編集方法
TW346611B (en) * 1996-03-28 1998-12-01 Sega Enterprises Kk An image processor, a game machine using the image processor, a method of image processing and a medium
JP3383563B2 (ja) * 1997-12-18 2003-03-04 富士通株式会社 物体移動シミュレーション装置
JPH11272721A (ja) * 1998-03-19 1999-10-08 Fujitsu Ltd 干渉チェック結果表示方法および干渉チェック結果表示装置ならびに干渉チェック結果表示プログラムが記録されたコンピュータ読取可能な記録媒体
JP3791186B2 (ja) * 1998-05-22 2006-06-28 三菱電機株式会社 景観モデリング装置
JP2000101905A (ja) 1998-09-28 2000-04-07 Mitsubishi Precision Co Ltd 設置位置検出機能付き画像撮像装置、画像撮像装置の設置位置検出方法及び画像撮像装置の設置位置を検出するプログラムを記録した媒体。
JP2000113209A (ja) 1998-10-01 2000-04-21 Dainippon Screen Mfg Co Ltd 多視点画像生成表示方法、多視点画像生成表示装置、および多視点画像生成表示プログラムを記録した記録媒体
JP4167777B2 (ja) 1999-07-19 2008-10-22 三菱電機株式会社 映像表示装置、映像表示方法および映像を表示するためのプログラムを記録した記録媒体
JP2001290820A (ja) 2000-01-31 2001-10-19 Mitsubishi Electric Corp 映像収集装置、映像検索装置および映像収集検索システム
JP3910794B2 (ja) 2000-11-14 2007-04-25 株式会社エヌ・ティ・ティ・ドコモ 映像検索ファイル作成方法およびホームページ更新方法
JP4185333B2 (ja) 2001-09-07 2008-11-26 松下電器産業株式会社 映像配信装置および映像受信装置
US7444354B2 (en) 2001-09-14 2008-10-28 Fujifilm Corporation Method and apparatus for storing images, method and apparatus for instructing image filing, image storing system, method and apparatus for image evaluation, and programs therefor
US7426292B2 (en) * 2003-08-07 2008-09-16 Mitsubishi Electric Research Laboratories, Inc. Method for determining optimal viewpoints for 3D face modeling and face recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348217A (ja) * 1995-08-10 2000-12-15 Sega Enterp Ltd 仮想画像生成装置及びその方法
JPH1166350A (ja) * 1997-08-12 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> 検索型景観ラベリング装置およびシステム
JP2002358522A (ja) * 2001-05-31 2002-12-13 Olympus Optical Co Ltd 画像選出支援装置および画像選出支援方法ならびに画像選出支援プログラム
JP2003087442A (ja) * 2001-09-14 2003-03-20 Fuji Photo Film Co Ltd 画像評価方法および装置並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017166866A (ja) * 2016-03-14 2017-09-21 オムロン株式会社 路面形状測定装置、測定方法、及び、プログラム
WO2017158952A1 (ja) * 2016-03-14 2017-09-21 オムロン株式会社 路面形状測定装置、測定方法、及び、プログラム
US10508912B2 (en) 2016-03-14 2019-12-17 Omron Corporation Road surface shape measuring device, measuring method, and non-transitory computer-readable medium

Also Published As

Publication number Publication date
JP4751886B2 (ja) 2011-08-17
US20080112646A1 (en) 2008-05-15
JPWO2007010596A1 (ja) 2009-01-29
US8180103B2 (en) 2012-05-15

Similar Documents

Publication Publication Date Title
US8254667B2 (en) Method, medium, and system implementing 3D model generation based on 2D photographic images
JP4488233B2 (ja) 映像オブジェクト認識装置、映像オブジェクト認識方法、および映像オブジェクト認識プログラム
Saxena et al. Make3d: Learning 3d scene structure from a single still image
JP4972095B2 (ja) 映像概要を生成する方法およびシステム
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
JP2009003415A (ja) 地図データ更新方法および装置
Nyaruhuma et al. Verification of 2D building outlines using oblique airborne images
JP2009516257A5 (ja)
KR101965878B1 (ko) 시각적 피처들을 이용한 이미지들의 자동 연결
WO2019028393A1 (en) METHODS AND SYSTEMS FOR DETECTING AND ANALYZING A REGION OF INTEREST FROM MULTIPLE VIEWPOINTS
US10019821B2 (en) Apparatus and method for constructing indoor map using cloud point
CN110503679A (zh) 一种红外基准图制备与评价方法
US8180103B2 (en) Image determining method, image determining apparatus, and recording medium having recorded therein program for causing computer to execute image determining method
KR101868740B1 (ko) 파노라마 이미지 생성 방법 및 장치
EP3438875A1 (en) Image processing apparatus and control method therefor
CN118511053A (zh) 计算方法及计算装置
WO2012056610A1 (ja) コンテンツシーン判定装置
JP5495998B2 (ja) 画像処理装置及びプログラム
KR20160120955A (ko) 수변구조물 피해탐지를 위한 대용량 다차원 영상정보 가시화 모듈 개발
CN107808160B (zh) 三维建筑物提取方法和装置
CN116309211A (zh) 一种聚焦于多模态图像固有特性的红外与可见光图像融合方法
CN120355866B (zh) 物体单体化方法、电子设备和三维扫描重建设备
KR102859644B1 (ko) 주요 객체 정보를 활용한 영상 구도 분석 및 개선을 위한 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
RU2701985C1 (ru) Система и способ поиска объектов по траекториям движения на плане местности
WO2024241739A1 (ja) 物体規模推定装置、物体規模推定方法、および物体規模推定システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007525463

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12007327

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 12007327

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 05762057

Country of ref document: EP

Kind code of ref document: A1