[go: up one dir, main page]

WO2020138120A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2020138120A1
WO2020138120A1 PCT/JP2019/050709 JP2019050709W WO2020138120A1 WO 2020138120 A1 WO2020138120 A1 WO 2020138120A1 JP 2019050709 W JP2019050709 W JP 2019050709W WO 2020138120 A1 WO2020138120 A1 WO 2020138120A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
captured images
captured
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/050709
Other languages
English (en)
French (fr)
Inventor
純一 福田
中村　良介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US17/417,919 priority Critical patent/US12051266B2/en
Priority to CN201980092581.7A priority patent/CN113454978B/zh
Priority to JP2020563327A priority patent/JP7248039B2/ja
Priority to EP19902155.1A priority patent/EP3905657A4/en
Publication of WO2020138120A1 publication Critical patent/WO2020138120A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks

Definitions

  • the present invention relates to an information processing device, an information processing method, and a recording medium.
  • Patent Document 1 discloses an image processing apparatus that corrects a defective portion due to reflection of light or shadow by combining a plurality of captured images of a subject after performing image processing on each image. .. Patent Document 1 further discloses that processing such as deformation and enlargement/reduction is performed before combining a plurality of captured images.
  • the accuracy of the combined image may decrease if the correction process performed when combining a plurality of captured images is not appropriate.
  • an object of the present invention to provide an information processing device, an information processing method, and a recording medium that can combine a plurality of images with high accuracy.
  • a reference member having a known shape an acquisition unit that acquires a plurality of captured images each including a subject, and a shape of the reference member included in each of the plurality of captured images.
  • an information processing apparatus including a combining unit that generates one combined image from the plurality of captured images is provided.
  • a step of acquiring a plurality of captured images each of which includes a reference member having a known shape and a subject in a computer, and determining the shape of the reference member in the captured image Based on the above, there is provided a recording medium in which a program for executing the step of generating one combined image from the plurality of captured images is recorded.
  • an information processing device an information processing method and a recording medium capable of synthesizing a plurality of images with high accuracy are provided.
  • FIG. 1 is a block diagram showing an example of the overall configuration of an image management system 1 according to this embodiment.
  • the image management system 1 is an information processing system including a management server 10 and a user terminal 20.
  • the management server 10 and the user terminal 20 are connected to a network 30 such as a LAN (Local Area Network) or the Internet.
  • the user terminal 20 wirelessly communicates with the base station 40 and is connected to the network 30 via the base station 40.
  • the management server 10 is an information processing device that registers and manages the image of the skin pattern transmitted from the user terminal 20.
  • the skin pattern is a general term for fingerprints, palm prints, foot prints, and the like. Since the skin pattern differs depending on the person, it is widely used for person identification and authentication. Note that the phrase “skin pattern” in the present embodiment means a fingerprint image of a person, but the configuration of the present embodiment can be similarly applied to images of other skin patterns.
  • the user terminal 20 is a portable terminal device having a photographing function and a wireless communication function.
  • the user terminal 20 is, for example, a smartphone, a tablet terminal, a camera-equipped mobile phone, or the like.
  • the user terminal 20 of the present embodiment is a smartphone and is used to simultaneously capture an image of the fingerprint 50 and the reference member 60 surrounding the fingerprint 50.
  • the reference member 60 is a scale member having a known shape (for example, a square having a side of 5 cm), and the material is not limited.
  • FIG. 2 is a block diagram showing the functions of the image management system 1 in this embodiment.
  • the management server 10 includes a storage unit 11, an image acquisition unit 12, and an image composition unit 13.
  • the storage unit 11 stores captured images collected from the user terminal 20, a composite image composed of a plurality of captured images, and image attribute information.
  • FIG. 3 is a diagram showing an example of fingerprint image information stored in the storage unit 11 in the present embodiment.
  • the data items of the fingerprint image information the image ID, the shooting date, the shooting location, and the fingerprint image are listed.
  • the data items are not limited to these, and may further include the name of the registrant associated with the fingerprint image, the ID of the photographer, the fingerprint feature amount, the file names of the plurality of photographed images used in the combining process, and the like.
  • the image acquisition unit 12 acquires, from the user terminal 20 via the network 30, a plurality of captured images each including the reference member 60 having a known shape and the subject (fingerprint 50).
  • the image acquisition unit 12 stores the acquired plurality of captured images in the storage unit 11.
  • the image compositing unit 13 generates one composite image from the plurality of captured images based on the shape of the reference member 60 included in each of the plurality of captured images.
  • the plurality of photographed images are, for example, images photographed from mutually different photographing positions (photographing angle, photographing distance).
  • the image composition unit 13 transforms each of the plurality of captured images so that the shape of the reference member 60 in the captured image matches the shape of the reference member 60 viewed from the front (just above), and then the plurality of captured images are converted.
  • a synthetic image is generated by synthesizing the captured images of.
  • the image composition unit 13 generates a composite image by selecting, from a plurality of captured images, captured images that satisfy a predetermined capturing condition and combining them.
  • the shooting condition includes at least one of a shooting position and a reflection region of illumination light. Specific examples of the shooting conditions are: (A) When shooting a plurality of times, only a part of the shot images whose shooting angles are close to each other is selected; (B) A large amount of white cast occurs due to the influence of illumination light. Excluding the existing images, only the images with high image quality are selected, and (C) only the image images necessary for complementing the defective region of the one image image are selected.
  • the image composition unit 13 complements the defective area in one captured image with the pixel value of the corresponding area in another captured image when each of the plurality of captured images includes a different defective area. Next, a method of generating a fingerprint image and a method of complementing a defective area will be described.
  • FIG. 4A to 4D are diagrams illustrating a method of generating a fingerprint image according to this embodiment.
  • FIG. 4A shows that the fingerprint 50 and the reference member 60 are photographed from different photographing positions while the fingerprint 50 is surrounded by the reference member 60.
  • FIG. 4B shows photographed images IMG_01 to IMG_05 photographed at the five types of photographing positions A to E shown in FIG. 4A, respectively.
  • the area surrounded by the broken line in the figure shows a defective area in which a white cast has occurred due to the reflection of illumination light.
  • the defective region R1 is included in the upper left of the fingerprint 50 and the defective region R2 is included in the lower right.
  • the defective region R3 is included below the fingerprint 50.
  • the loss region R4 is included above the fingerprint 50.
  • the defective region R5 is included on the left side of the fingerprint 50.
  • the defective region R6 is included on the right side of the fingerprint 50.
  • the defective area is included in all of the five types of images, and a complete fingerprint image is not obtained.
  • FIG. 4C shows corrected images IMG_11 to IMG_15 obtained by performing deformation processing on the captured images IMG_01 to IMG_05 shown in FIG. 4B.
  • Each of the captured images IMG_01 to IMG_05 is deformed with the display shape (including size) indicated by the reference member 60 as a reference value when the reference member 60 is photographed from a position right above the front.
  • the corrected image IMG_11 is an image obtained by transforming the captured image IMG_01 based on the reference value, and the fingerprint 50, the reference member 60, and the defective regions R1 and R2 in the corrected image IMG_11 are enlarged at a constant ratio. That is, the loss regions R11 and R12 in the corrected image IMG_11 correspond to the loss regions R1 and R2 in the captured image IMG_01, respectively.
  • the corrected image IMG_12 is an image obtained by deforming the captured image IMG_02 based on the reference value, and the fingerprint 50, the reference member 60, and the loss region R3 in the corrected image IMG_12 mainly expand in the left-right direction at a constant ratio. That is, the loss area R13 in the corrected image IMG_12 corresponds to the loss area R3 in the captured image IMG_02.
  • the corrected image IMG_13 is an image obtained by transforming the captured image IMG_03 based on the reference value, and the fingerprint 50, the reference member 60, and the loss region R4 in the corrected image IMG_13 mainly expand in the left-right direction at a constant ratio. That is, the loss area R14 in the corrected image IMG_13 corresponds to the loss area R4 in the captured image IMG_03. Since the lateral length of the reference member 60 in the captured image IMG_03 is shorter than the length of the reference member 60 in the captured image IMG_02, the enlargement ratio is larger in the captured image IMG_03.
  • the corrected image IMG_14 is an image obtained by transforming the captured image IMG_04 based on the reference value, and the fingerprint 50, the reference member 60, and the loss region R5 in the corrected image IMG_14 mainly expand in the vertical direction at a constant ratio. That is, the loss area R15 in the corrected image IMG_14 corresponds to the loss area R5 in the captured image IMG_04.
  • the corrected image IMG_15 is an image obtained by transforming the captured image IMG_05 based on the reference value, and the fingerprint 50, the reference member 60, and the loss region R6 in the corrected image IMG_15 are mainly enlarged in the vertical direction at a constant ratio.
  • the loss area R16 in the corrected image IMG_15 corresponds to the loss area R6 in the captured image IMG_05. Since the vertical length of the reference member 60 in the captured image IMG_04 is substantially the same as the length of the reference member 60 in the captured image IMG_02, the enlargement ratio is substantially the same between the images.
  • FIG. 4D shows a composite image IMG_20 that is composed by transforming and superimposing a plurality of captured images IMG_01 to IMG_05. As shown in the composite image IMG_20, the composite image can be generated with high accuracy even when the photographed images IMG_01 to IMG_05 include a defective area.
  • the user terminal 20 includes a storage unit 21, a photographing unit 22, an image transmission unit 23, and a notification unit 24.
  • the storage unit 21 stores programs and files necessary for the operation of the user terminal 20, processing data in the user terminal 20, and the like.
  • the photographing unit 22 is a photographing application that controls driving of a photographing device 259 described later and performs photographing processing of a still image or a moving image of a subject.
  • the image sending unit 23 sends the shot image to the management server 10 when the shooting process in the shooting unit 22 is completed.
  • the image transmission unit 23 collectively transmits a plurality of photographed images photographed from different photographing positions for one fingerprint, but may sequentially transmit each photographed image.
  • the transmission data of the shooting image includes an ID for identifying the shooting target in order to determine the relationship between the plurality of shooting images on the management server 10 side.
  • the notification unit 24 outputs guide information regarding shooting at the time of shooting to a display device 256 described later.
  • Specific examples of the guidance information include a message for instructing the user about a predetermined shooting position and the number of times of shooting.
  • FIG. 5 is a block diagram showing a hardware configuration example of the management server 10 and the user terminal 20 in this embodiment.
  • the management server 10 includes a CPU (Central Processing Unit) 151, a RAM (Random Access Memory) 152, a ROM (Read Only Memory) 153, and an HDD (Hard Disk Drive) 154 as a computer that performs calculation, control, and storage.
  • the management server 10 also includes a communication I/F (interface) 155, a display device 156, and an input device 157.
  • the CPU 151, RAM 152, ROM 153, HDD 154, communication I/F 155, display device 156, and input device 157 are mutually connected via a bus 158.
  • the display device 156 and the input device 157 may be connected to the bus 158 via a driving device (not shown) for driving these devices.
  • the CPU 151 is a processor having a function of performing a predetermined operation according to a program stored in the ROM 153, the HDD 154, etc. and controlling each part of the management server 10.
  • the RAM 152 is composed of a volatile storage medium and provides a temporary memory area necessary for the operation of the CPU 151.
  • the ROM 153 is composed of a non-volatile storage medium and stores necessary information such as a program used for the operation of the management server 10.
  • the HDD 154 is a storage device including a non-volatile storage medium and storing data necessary for processing, an operation program of the management server 10, and the like.
  • the communication I/F 155 is a communication interface based on standards such as Ethernet (registered trademark), Wi-Fi (registered trademark), and 4G, and is a module for performing communication with other devices.
  • the display device 156 is a liquid crystal display, an OLED display, or the like, and is used for displaying images, characters, interfaces, and the like.
  • the input device 157 is a keyboard, a pointing device, or the like, and is used by the user to operate the management server 10. Examples of pointing devices include a mouse, a trackball, a touch panel, and a pen tablet.
  • the display device 156 and the input device 157 may be integrally formed as a touch panel.
  • the CPU 151 loads a program stored in the ROM 153, the HDD 154, etc. into the RAM 152 and executes it. As a result, the CPU 151 realizes the functions of the image acquisition unit 12 and the image composition unit 13 described above. Further, the CPU 151 realizes the function of the storage unit 11 by controlling the HDD 154.
  • the user terminal 20 also includes a CPU 251, a RAM 252, a ROM 253, a communication I/F 255, a display device 256, and an input device 257 as a computer that performs calculation, control, and storage. Since these devices are the same as the CPU 151, the RAM 152, the ROM 153, the communication I/F 155, the display device 156, and the input device 157 of the management server 10, detailed description thereof will be omitted. Further, since the user terminal 20 of the present embodiment is a smartphone, the user terminal 20 includes a flash memory 254 as a large-capacity storage area instead of the HDD 154.
  • the user terminal 20 further includes a photographing device 259 such as a digital camera capable of photographing a still image and a moving image.
  • the CPU 251, the RAM 252, the ROM 253, the communication I/F 255, the display device 256, the input device 257, the flash memory 254, and the photographing device 259 are connected to each other via the bus 258.
  • the CPU 251 loads the program stored in the ROM 253 or the like into the RAM 252 and executes it. As a result, the CPU 251 realizes the functions of the photographing unit 22, the image transmission unit 23, the notification unit 24, and the like described above. Further, the CPU 251 realizes the function of the storage unit 21 by controlling the flash memory 254.
  • the hardware configuration shown in FIG. 5 is an example, and devices other than these may be added, or some devices may not be provided. Further, some devices may be replaced with another device having the same function. Furthermore, some of the functions of this embodiment may be provided by another device via the network 30, or the functions of this embodiment may be realized by being distributed to a plurality of devices.
  • the HDD 154 may be replaced with an SSD (Solid State Drive) using a semiconductor memory, or may be replaced with a cloud storage.
  • FIG. 6 is a sequence diagram showing an example of processing of the image management system 1 in this embodiment.
  • imaging application a fingerprint image capturing application
  • FIG. 7 is a diagram showing an example of the operation guidance screen displayed on the user terminal 20 in the present embodiment.
  • an installation example of the reference member 60 for the fingerprint 50 that is the subject and a guidance message regarding the start of shooting ("Start shooting the fingerprint. Please install the scale member so that it surrounds the fingerprint you want to shoot. When you are done, press the Finish button.”) is displayed.
  • a guidance message that guides the shooting position and the number of times of shooting of the shot image necessary for generating the composite image for example, "Next, shoot from a position diagonally above and left to the scale member. , Etc.
  • the user terminal 20 photographs the fingerprint 50 and the reference member 60 together from different photographing positions while the reference member 60 is placed so as to surround the fingerprint 50 (step S103). Get a picture of.
  • the user terminal 20 (image transmission unit 23) associates a plurality of captured images with a common image ID and collectively transmits them to the management server 10 (step S104). Note that the user terminal 20 may transmit the captured images one by one to the management server 10.
  • the management server 10 (image acquisition unit 12) saves the plurality of captured images received from the user terminal 20 in the HDD 154 (storage unit 11) (step S105).
  • the management server 10 analyzes the positional relationship between the reference member 60 and the fingerprint 50 included in the plurality of captured images, and selects only images that satisfy a predetermined capturing condition (step S106). In the following description, a plurality of images satisfy the condition and are selected. If there is no image satisfying the shooting condition, the error information may be output to the user terminal 20.
  • the management server 10 processes each of the plurality of captured images so that the shape of the reference member 60 in the captured image matches the shape of the reference member 60 viewed from the front (just above).
  • a composite image is generated by superimposing a plurality of deformed corrected images (step S108).
  • the management server 10 (image combining unit 13) stores the generated combined image in the HDD 154 (storage unit 11) in association with the image ID (step S109).
  • the fingerprint image (composite image) stored in the HDD 154 is used for collation processing and the like.
  • the management server 10 collects a plurality of captured images acquired from the user terminal 20, and based on the positional relationship between the fingerprint 50 and the reference member 60 in the captured images.
  • the photographed image is transformed and a combining process is performed. That is, a plurality of captured images can be deformed with high accuracy based on the shape of the reference member 60 having a known shape, and as a result, a composite image can be generated with high accuracy.
  • the plurality of captured images in this embodiment are images captured from mutually different capturing positions. As a result, even if the quality of the captured image at a certain shooting position is low, if the quality of the captured image at another shooting position is high, a composite image can be generated with high accuracy.
  • the management server 10 (image combining unit 13) of the present exemplary embodiment uses the plurality of captured images so that the shape of the reference member 60 in the captured image matches the shape of the reference member 60 viewed from the front (just above). After transforming each of them, a composite image is generated by combining a plurality of captured images. Since the shape of the reference member 60, which is the reference for the deformation process, is defined in advance, the process can be executed with high accuracy and high speed.
  • the management server 10 image combining unit 13 of the present embodiment generates a combined image by selecting and combining the taken images that satisfy a predetermined shooting condition from the plurality of taken images. As a result, a photographed image unnecessary for the combining process can be excluded, so that the combined image can be generated with high accuracy and high speed.
  • the management server 10 when each of the plurality of captured images includes a different defective region, replaces a lost region in one captured image with a corresponding region in another captured image. Complement by pixel value. With this, even when a part of the captured image includes a defective region, the defective region can be complemented by another captured image to generate a composite image with high accuracy.
  • the subject is the fingerprint 50
  • other skin prints of a person may be used.
  • the feature points of the original subject can be obtained by acquiring multiple missing images in which some of the feature points used for fingerprint matching are missing due to the effect of white cast.
  • the fingerprint image is required to have high accuracy in the identification and authentication of the human skin pattern, it is particularly preferable to use the image management system 1 in the present embodiment for image registration of the skin pattern.
  • the configuration of the image management system 1 according to this embodiment can be applied to image registration of an arbitrary object.
  • the management server 10 side executes image correction and composition processing.
  • the present embodiment is different from the first embodiment in that the composite image is transmitted to the management server 10 after the image correction and the composite processing are executed on the user terminal 20 side.
  • FIG. 8 is a block diagram showing functions of the image management system 2 in this embodiment. As shown in FIG. 8, the image combining unit 13 of FIG. 2 is removed from the management server 10. Instead, the user terminal 20 further includes an image composition unit 25. The function of the image synthesizing unit 25 is the same as the function of the image synthesizing unit 13 in the first embodiment, and thus detailed description will be omitted.
  • FIG. 9 is a sequence diagram showing an example of processing of the image management system 2 in this embodiment.
  • step S201 when the user terminal 20 (imaging unit 22) activates the fingerprint image capturing application based on a user operation (step S201), an operation guide screen (see FIG. 7) is displayed on the display device 256 (step S202).
  • the user terminal 20 (imaging unit 22) photographs the fingerprint 50 and the reference member 60 together from different photographing positions in a state where the reference member 60 is placed so as to surround the fingerprint 50 (step S203). Get a picture of.
  • the user terminal 20 analyzes the positional relationship between the reference member 60 and the fingerprint 50 included in the plurality of captured images, and selects only images that satisfy a predetermined capturing condition (step S204).
  • a predetermined capturing condition In the following description, a plurality of images satisfy the condition and are selected. If there is no image satisfying the shooting condition, error information may be output to the display device 256, for example.
  • the user terminal 20 processes each of the plurality of captured images so that the shape of the reference member 60 in the captured image matches the shape of the reference member 60 viewed from the front (just above).
  • a composite image is generated by superimposing a plurality of deformed corrected images (step S206).
  • the user terminal 20 analyzes the image of the combined image and determines whether or not a missing area is included in the combined image (step S207).
  • the process proceeds to step S208.
  • step S207 determines that the loss area is not included in the combined image.
  • step S208 the user terminal 20 (notification unit 24) displays the error information on the operation guidance screen of the display device 256.
  • FIG. 10 is a diagram showing an example of the operation guidance screen displayed on the user terminal 20 in the present embodiment.
  • a message containing instruction information corresponding to the fact that the composite image could not be generated on the screen and the error (“The composite image generated from the captured image contains a missing area. When re-imaging is performed, , Please shoot from the shooting position below.)) is displayed together with an explanatory diagram of the shooting position.
  • step S205 when the user terminal 20 (imaging unit 22) executes reimaging of the fingerprint 50 and the reference member 60 according to the user's operation referring to the error information on the operation guidance screen (step S209), the process is step S205. Return to.
  • step S210 the user terminal 20 (image transmission unit 23) associates the common image ID with the composite image and the plurality of captured images used in the composition processing, and collectively transmits the composite image to the management server 10. Then, the management server 10 (image acquisition unit 12) stores the combined image and the plurality of captured images received from the user terminal 20 in the HDD 154 (storage unit 11) (step S211).
  • step S207 even if the defective region is included, if the area of the defective region is within a certain threshold, the process may proceed to step S210. Further, the user may be allowed to select the image other than the process of comparing the area of the defective region with the threshold value.
  • the user terminal 20 side performs the transformation and combination processing of the captured images, and therefore, the same effect as the first embodiment is obtained. If an appropriate composite image cannot be generated from a plurality of captured images at the shooting site, error information can be displayed on the user terminal 20 on the screen. For this reason, it is possible to prompt execution of re-imaging at the imaging site, and it is possible to promptly respond even if the user fails in imaging.
  • FIG. 11 is a block diagram showing the functions of the information processing apparatus 100 according to this embodiment.
  • the information processing apparatus 100 according to the present embodiment includes a reference member having a known shape, an acquisition unit 110 that acquires a plurality of captured images each including a subject, and a shape of the reference member included in each of the plurality of captured images. And a synthesizing unit 120 for generating one synthetic image from a plurality of captured images based on the above. According to this embodiment, a plurality of images can be combined with high accuracy.
  • the image composition unit 13 deforms each of the plurality of captured images so that the shape of the reference member 60 in the captured image matches the shape of the reference member 60 viewed from the front. After that, a composite image is generated by combining a plurality of captured images. However, the image composition unit 13 modifies each of the plurality of captured images so that the shape of the reference member 60 in the captured image matches each of the plurality of captured images, and then combines the plurality of captured images. A synthetic image may be generated. In this case, the image can be deformed without using the shape of the reference member 60 as viewed from the front as a reference.
  • the captured image is a still image
  • it may be a moving image.
  • by selecting a frame image satisfying a predetermined shooting condition from the frame images included in the moving image it is possible to similarly generate an optimum combined image.
  • the description has been made on the assumption that the fingerprint 50 and the reference member 60 are photographed together with the reference member 60 placed so as to surround the fingerprint 50, but the reference member 60 is electronically displayed on the screen. May be given to.
  • a function such as a gyro sensor or a distance measurement application in the user terminal 20
  • the shape of the electronic scale corresponding to the reference member 60 is deformed on the screen according to the shooting angle and the shooting distance, and the electronic scale and the fingerprint 50.
  • a photographed image including “” may be generated.
  • the user terminal 20 attaches a common image ID to a plurality of captured images of the same subject and transmits the captured images.
  • the user terminal 20 is unique to the terminal.
  • a different ID for example, MAC address
  • the terminal ID can be used as a signature.
  • the management server 10 by referring to the terminal ID attached to the captured image, only the captured image from the same terminal can be used for the image combining process.
  • the flag indicating that the captured image transmitted to the management server 10 is the captured image used for combination. May be attached. This allows the management server 10 side to easily understand the relationship between the captured image and the composite image.
  • the user terminal 20 may be provided with a secure module, and an electronic signature may be attached to the image (captured image and composite image) transmitted to the management server 10 in the module and the data transmitted at the same time as the image.
  • an electronic signature By attaching an electronic signature, it is possible to prevent falsification of the image itself and falsification of image management information such as a shooting time and a shooting location.
  • a configuration for managing the relationship between the image data may be further provided so that it is possible to trace which captured image each image region in the composite image is based on.
  • the original captured image can be traced from the composite image using a block chain.
  • a processing method of recording a program for operating the configuration of the embodiment so as to realize the functions of the above-described embodiment in a recording medium, reading the program recorded in the recording medium as a code, and executing the read program in a computer is also the embodiment. It is included in the category of. That is, a computer-readable recording medium is also included in the scope of each embodiment. In addition to the recording medium in which the above program is recorded, the program itself is included in each embodiment.
  • the recording medium for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a non-volatile memory card, etc.
  • the embodiment is not limited to the one executing the process by the program recorded in the recording medium, and the one executing the process by operating on the OS in cooperation with other software and the function of the expansion board. It is included in the category of.
  • Appendix 1 A reference member having a known shape, and an acquisition unit for acquiring a plurality of captured images each including a subject, A combining unit that generates one combined image from the plurality of captured images based on the shape of the reference member included in each of the plurality of captured images; An information processing apparatus including.
  • appendix 3 The subject is a human skin pattern, The information processing device according to appendix 1 or 2.
  • the combining unit deforms each of the plurality of captured images so that the shape of the reference member in the captured image matches each of the plurality of captured images, and then combines the plurality of captured images. Generate the composite image by 4.
  • the information processing device according to any one of appendices 1 to 3.
  • the combining unit transforms each of the plurality of captured images so that the shape of the reference member in the captured image matches the shape of the reference member viewed from the front, and then the plurality of captured images is acquired. Generate the composite image by combining, 5.
  • the information processing device according to any one of appendices 1 to 4.
  • the synthesizing unit generates the synthetic image by selecting and synthesizing the photographic images satisfying a predetermined photographic condition from the plurality of photographic images. 6.
  • the information processing device according to any one of appendices 1 to 5.
  • the shooting condition includes at least one of a shooting position and a reflection region of illumination light,
  • composition unit complements the defective region in one captured image with a pixel value of a corresponding region in another one captured image.
  • the information processing apparatus according to any one of appendices 1 to 7.
  • Appendix 9 A photographing device for photographing the plurality of photographed images; An information processing apparatus according to any one of appendices 1 to 8, A terminal device including.
  • Appendix 10 A notification unit that outputs a guidance message regarding shooting conditions when shooting the shot image, The terminal device according to appendix 9, further comprising:
  • Appendix 11 A terminal device according to appendix 8 or 9; A management server that collects the composite image acquired by the terminal device; Equipped with The terminal device, A transmission unit that transmits the composite image to the management server, An information processing system further comprising:
  • Appendix 12 A terminal device, A management server including the information processing apparatus according to any one of appendices 1 to 8; Equipped with The terminal device, A photographing device for photographing the plurality of photographed images; A transmission unit that transmits the plurality of captured images to the management server, Information processing system having.
  • An information processing method comprising:
  • Image management system 10 ... Management server 11... Storage unit 12... Image acquisition unit 13... Image combining unit 20... User terminal 21... Storage unit 22... Shooting Part 23... Image sending part 24... Notification part 25... Image combining part 30... Network 40... Base station 50... Fingerprint 60... Reference member 100... Information processing device 110... Acquisition unit 120... Synthesis unit 151, 251... CPU 152, 252... RAM 153, 253...ROM 154... HDD 155, 255...communication I/F 156, 256... Display device 157, 257... Input device 158, 258... Bus 254... Flash memory 259... Imaging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)

Abstract

本発明における情報処理装置は、既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得する取得部と、複数の撮影画像のそれぞれに含まれる基準部材の形状に基づいて、複数の撮影画像から１つの合成画像を生成する合成部と、を備える。

Description

情報処理装置、情報処理方法及び記録媒体
　本発明は、情報処理装置、情報処理方法及び記録媒体に関する。
　特許文献１には、被写体を撮影した複数の撮影画像を、各画像に画像処理を施してから合成することにより、光の映り込みや影による欠陥部分を補正する画像処理装置が開示されている。特許文献１には、さらに、複数の撮影画像を合成する前に変形、拡大・縮小等の処理を行うことが開示されている。
特開２０１０－７２８１３号公報
　しかし、特許文献１に記載の技術において、複数の撮影画像を合成する際に行われる補正処理が適切なものでない場合には合成画像の精度が低下する可能性がある。
　そこで、本発明は、上述の問題に鑑み、高精度に複数の画像を合成することができる情報処理装置、情報処理方法及び記録媒体を提供することを目的とする。
　本発明の一観点によれば、既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得する取得部と、前記複数の撮影画像のそれぞれに含まれる前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成する合成部と、を備える情報処理装置が提供される。
　本発明の他の観点によれば、既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得するステップと、前記撮影画像内における前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成するステップと、を備える情報処理方法が提供される。
　本発明のさらに他の観点によれば、コンピュータに、既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得するステップと、前記撮影画像内における前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成するステップと、を実行させるプログラムが記録された記録媒体が提供される。
　本発明によれば、高精度に複数の画像を合成することができる情報処理装置、情報処理方法及び記録媒体が提供される。
第１実施形態における画像管理システムの全体構成例を示すブロック図である。 第１実施形態における画像管理システムの機能を示すブロック図である。 第１実施形態における記憶部が記憶する指紋画像情報の一例を示す図である。 第１実施形態における指紋画像の生成方法を説明する図である。 第１実施形態における指紋画像の生成方法を説明する図である。 第１実施形態における指紋画像の生成方法を説明する図である。 第１実施形態における指紋画像の生成方法を説明する図である。 第１実施形態における管理サーバ及びユーザ端末のハードウェア構成例を示すブロック図である。 第１実施形態における画像管理システムの処理の一例を示すシーケンス図である。 第１実施形態におけるユーザ端末に表示される操作案内画面の一例を示す図である。 第２実施形態における画像管理システムの機能を示すブロック図である。 第２実施形態における画像管理システムの処理の一例を示すシーケンス図である。 第２実施形態におけるユーザ端末に表示される操作案内画面の一例を示す図である。 第３実施形態における情報処理装置の機能を示すブロック図である。
　以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
［第１実施形態］
　先ず、本実施形態における画像管理システム１の構成について、図１乃至図５を参照しながら説明する。図１は、本実施形態における画像管理システム１の全体構成例を示すブロック図である。画像管理システム１は、管理サーバ１０及びユーザ端末２０を含む情報処理システムである。管理サーバ１０及びユーザ端末２０は、ＬＡＮ（Local　Area　Network）やインターネット等のネットワーク３０に接続されている。図１の例では、ユーザ端末２０は、基地局４０と無線通信を行い、基地局４０を介してネットワーク３０に接続されている。
　管理サーバ１０は、ユーザ端末２０から送信された皮膚紋理の画像を登録・管理する情報処理装置である。皮膚紋理とは、指紋、掌紋及び足紋などの総称である。皮膚紋理は、人物によって異なるため、人物の鑑定や認証などに広く用いられている。なお、本実施形態における“皮膚紋理”の語句は、人物の指紋画像を意味するものとするが、本実施形態の構成は他の皮膚紋理の画像に対しても同様に適用できる。
　ユーザ端末２０は、撮影機能及び無線通信機能を有する携帯型の端末装置である。ユーザ端末２０としては、例えば、スマートフォン、タブレット端末、カメラ付き携帯電話などが該当する。本実施形態のユーザ端末２０は、スマートフォンであり、指紋５０と、指紋５０を囲む基準部材６０とを同時に撮影するために用いられる。基準部材６０は、既知の形状（例えば、１辺５ｃｍの正方形）を有するスケール部材であり、材質は限定されない。
　図２は、本実施形態における画像管理システム１の機能を示すブロック図である。ここでは、管理サーバ１０は、記憶部１１と、画像取得部１２と、画像合成部１３とを備える。
　記憶部１１は、ユーザ端末２０から収集した撮影画像、複数の撮影画像から合成された合成画像、及び画像の属性情報などを記憶する。図３は、本実施形態における記憶部１１が記憶する指紋画像情報の一例を示す図である。ここでは、指紋画像情報のデータ項目として、画像ＩＤ、撮影日、撮影場所、指紋画像が挙げられている。ただし、データ項目はこれらに限られず、指紋画像に関連付けられた登録者の氏名、撮影者のＩＤ、指紋の特徴量、合成処理に用いた複数の撮影画像のファイル名などをさらに含んでもよい。
　画像取得部１２は、既知の形状を有する基準部材６０と、被写体（指紋５０）とをそれぞれが含む複数の撮影画像を、ユーザ端末２０からネットワーク３０を介して取得する。画像取得部１２は、取得した複数の撮影画像を記憶部１１に保存する。
　画像合成部１３は、複数の撮影画像のそれぞれに含まれる基準部材６０の形状に基づいて、複数の撮影画像から１つの合成画像を生成する。複数の撮影画像は、例えば、互いに異なる撮影位置（撮影角度、撮影距離）から撮影された画像である。
　また、画像合成部１３は、撮影画像内における基準部材６０の形状が、基準部材６０を正面（真上）から見た形状に一致するように複数の撮影画像のそれぞれを変形してから、複数の撮影画像を合成することにより合成画像を生成する。
　また、画像合成部１３は、複数の撮影画像のうち、所定の撮影条件を満たす撮影画像を選択して合成することにより合成画像を生成する。撮影条件は、撮影位置及び照明光の反射領域のうちの少なくとも１つを含む。撮影条件の具体例としては、（Ａ）複数回撮影したときに、撮影角度が近い撮影画像については一部の画像のみを選択する、（Ｂ）照明光の影響で白かぶりが多く発生している画像を除外して、撮影品質が高い画像のみを選択する、（Ｃ）一の撮影画像の欠損領域を補完するために必要な撮影画像のみを選択する、などが挙げられる。
　画像合成部１３は、複数の撮影画像のそれぞれが異なる欠損領域を含む場合に、１つの撮影画像における欠損領域を他の１つの撮影画像における対応領域の画素値によって補完する。続いて、指紋画像の生成方法及び欠損領域の補完方法について説明する。
　図４Ａ乃至図４Ｄは、本実施形態における指紋画像の生成方法を説明する図である。図４Ａは、指紋５０を基準部材６０で囲んだ状態で、指紋５０及び基準部材６０を異なる撮影位置から撮影することを示している。ここでは、撮影位置は、正面（真上）の位置Ａ、左斜め上方の位置Ｂ、右斜め上方の位置Ｃ、前方斜め上方の位置Ｄ、後方斜め上方の位置Ｅの５種類としている。
　図４Ｂは、図４Ａの５種類の撮影位置Ａ～Ｅで撮影された撮影画像ＩＭＧ＿０１～ＩＭＧ＿０５をそれぞれ示している。また、図中で破線により囲まれた領域は、照明光の反射によって白かぶりが発生した欠損領域を示している。
　正面の位置Ａで指紋５０及び基準部材６０を撮影した撮影画像ＩＭＧ＿０１では、欠損領域Ｒ１が指紋５０の左上に含まれ、欠損領域Ｒ２が右下に含まれている。同様に、左斜め上方の位置Ｂにおける撮影画像ＩＭＧ＿０２では、欠損領域Ｒ３が指紋５０の下側に含まれている。右斜め上方の位置Ｃにおける撮影画像ＩＭＧ＿０３では、欠損領域Ｒ４が指紋５０の上側に含まれている。前方斜め上方の位置Ｄにおける撮影画像ＩＭＧ＿０４では、欠損領域Ｒ５が指紋５０の左側に含まれている。そして、後方斜め上方の位置Ｅにおける撮影画像ＩＭＧ＿０５では、欠損領域Ｒ６が指紋５０の右側に含まれている。このように、５種類の画像のいずれにも、欠損領域が含まれており、完全な指紋画像は得られていない。
　図４Ｃは、図４Ｂに示す撮影画像ＩＭＧ＿０１～ＩＭＧ＿０５に対して変形処理を施した補正画像ＩＭＧ＿１１～ＩＭＧ＿１５を示している。各撮影画像ＩＭＧ＿０１～ＩＭＧ＿０５は、基準部材６０を正面真上の位置から撮影したときに、基準部材６０が示す表示形状（大きさを含む）を基準値として変形される。
　補正画像ＩＭＧ＿１１は、基準値に基づいて撮影画像ＩＭＧ＿０１を変形した画像であり、補正画像ＩＭＧ＿１１における指紋５０、基準部材６０、欠損領域Ｒ１及びＲ２は一定比率で拡大している。すなわち、補正画像ＩＭＧ＿１１における欠損領域Ｒ１１及びＲ１２は、撮影画像ＩＭＧ＿０１における欠損領域Ｒ１及びＲ２にそれぞれ対応している。同様に、補正画像ＩＭＧ＿１２は、基準値に基づいて撮影画像ＩＭＧ＿０２を変形した画像であり、補正画像ＩＭＧ＿１２における指紋５０、基準部材６０及び欠損領域Ｒ３は主として左右方向に一定比率で拡大している。すなわち、補正画像ＩＭＧ＿１２における欠損領域Ｒ１３は、撮影画像ＩＭＧ＿０２における欠損領域Ｒ３に対応している。
　補正画像ＩＭＧ＿１３は、基準値に基づいて撮影画像ＩＭＧ＿０３を変形した画像であり、補正画像ＩＭＧ＿１３における指紋５０、基準部材６０及び欠損領域Ｒ４は主として左右方向に一定比率で拡大している。すなわち、補正画像ＩＭＧ＿１３における欠損領域Ｒ１４は、撮影画像ＩＭＧ＿０３における欠損領域Ｒ４に対応している。撮影画像ＩＭＧ＿０３内における基準部材６０の横の長さは、撮影画像ＩＭＧ＿０２内における基準部材６０の長さよりも短いため、拡大比率は撮影画像ＩＭＧ＿０３の方が大きくなる。
　補正画像ＩＭＧ＿１４は、基準値に基づいて撮影画像ＩＭＧ＿０４を変形した画像であり、補正画像ＩＭＧ＿１４における指紋５０、基準部材６０及び欠損領域Ｒ５は主として上下方向に一定比率で拡大している。すなわち、補正画像ＩＭＧ＿１４における欠損領域Ｒ１５は、撮影画像ＩＭＧ＿０４における欠損領域Ｒ５に対応している。同様に、補正画像ＩＭＧ＿１５は、基準値に基づいて撮影画像ＩＭＧ＿０５を変形した画像であり、補正画像ＩＭＧ＿１５における指紋５０、基準部材６０及び欠損領域Ｒ６は主として上下方向に一定比率で拡大している。すなわち、補正画像ＩＭＧ＿１５における欠損領域Ｒ１６は、撮影画像ＩＭＧ＿０５における欠損領域Ｒ６に対応している。撮影画像ＩＭＧ＿０４内における基準部材６０の縦の長さは、撮影画像ＩＭＧ＿０２内における基準部材６０の長さと略同一であるため、拡大比率は画像間で略同一になる。
　補正画像ＩＭＧ＿１１～ＩＭＧ＿１５における欠損領域Ｒ１１～Ｒ１６は、互いに相違しており、画像を重畳すると欠損領域を無くすことができる。すなわち、補正画像ＩＭＧ＿１１～ＩＭＧ＿１５を合成する際、一の画像の欠損領域は他の画像の対応領域における画素値によって補完できる。図４Ｄは、複数の撮影画像ＩＭＧ＿０１～ＩＭＧ＿０５の変形及び重畳により合成された合成画像ＩＭＧ＿２０を示している。合成画像ＩＭＧ＿２０に示すように、撮影画像ＩＭＧ＿０１～ＩＭＧ＿０５に欠損領域が含まれているような場合でも高精度で合成画像を生成できる。
　また、図２に示すように、ユーザ端末２０は、記憶部２１と、撮影部２２と、画像送信部２３と、通知部２４とを備えている。
　記憶部２１は、ユーザ端末２０の動作に必要なプログラムやファイル、ユーザ端末２０における処理データなどを記憶する。撮影部２２は、後述する撮影装置２５９の駆動を制御し、被写体の静止画像や動画像の撮影処理を行う撮影用アプリケーションである。
　画像送信部２３は、撮影部２２における撮影処理が完了したとき、撮影画像を管理サーバ１０へ送信する。本実施形態では、画像送信部２３は、１つの指紋に対して異なる撮影位置から撮影された複数の撮影画像を纏めて送信するものとするが、撮影画像ごとに逐次送信してもよい。いずれの場合でも、撮影対象が共通である場合には、管理サーバ１０側において複数の撮影画像の関係を判定するために、撮影対象を識別するＩＤを撮影画像の送信データに含むものとする。
　通知部２４は、撮影時において、撮影に関する案内情報を後述する表示装置２５６へ出力する。案内情報の具体例としては、ユーザに対して所定の撮影位置や撮影回数などを指定するメッセージが挙げられる。
　図５は、本実施形態における管理サーバ１０及びユーザ端末２０のハードウェア構成例を示すブロック図である。管理サーバ１０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central　Processing　Unit）１５１、ＲＡＭ（Random　Access　Memory）１５２、ＲＯＭ（Read　Only　Memory）１５３及びＨＤＤ（Hard　Disk　Drive）１５４を備える。また、管理サーバ１０は、通信Ｉ／Ｆ（インターフェース）１５５、表示装置１５６及び入力装置１５７を備える。ＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、ＨＤＤ１５４、通信Ｉ／Ｆ１５５、表示装置１５６及び入力装置１５７は、バス１５８を介して相互に接続される。なお、表示装置１５６及び入力装置１５７は、これらの装置を駆動するための不図示の駆動装置を介してバス１５８に接続されてもよい。
　ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムに従って所定の動作を行うとともに、管理サーバ１０の各部を制御する機能を有するプロセッサである。ＲＡＭ１５２は、揮発性記憶媒体から構成され、ＣＰＵ１５１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１５３は、不揮発性記憶媒体から構成され、管理サーバ１０の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１５４は、不揮発性記憶媒体から構成され、処理に必要なデータ、管理サーバ１０の動作用プログラム等の記憶を行う記憶装置である。
　通信Ｉ／Ｆ１５５は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１５６は、液晶ディスプレイ、ＯＬＥＤディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置１５７は、キーボード、ポインティングデバイス等であって、ユーザが管理サーバ１０を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置１５６及び入力装置１５７は、タッチパネルとして一体に形成されていてもよい。
　ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムをＲＡＭ１５２にロードして実行する。これにより、ＣＰＵ１５１は、上述した画像取得部１２及び画像合成部１３などの機能を実現する。さらに、ＣＰＵ１５１は、ＨＤＤ１５４を制御することにより記憶部１１の機能を実現する。
　また、ユーザ端末２０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ２５１、ＲＡＭ２５２、ＲＯＭ２５３、通信Ｉ／Ｆ２５５、表示装置２５６及び入力装置２５７を備える。これらの装置は、管理サーバ１０のＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、通信Ｉ／Ｆ１５５、表示装置１５６及び入力装置１５７と同様であるため、詳細な説明は省略する。また、本実施形態のユーザ端末２０は、スマートフォンであるため、ＨＤＤ１５４の代わりに、大容量の記憶領域としてフラッシュメモリ２５４を備える。また、ユーザ端末２０は、静止画像及び動画像を撮影できるデジタルカメラなどの撮影装置２５９をさらに備える。ＣＰＵ２５１、ＲＡＭ２５２、ＲＯＭ２５３、通信Ｉ／Ｆ２５５、表示装置２５６、入力装置２５７、フラッシュメモリ２５４及び撮影装置２５９は、バス２５８を介して相互に接続される。
　ＣＰＵ２５１は、ＲＯＭ２５３等に記憶されたプログラムをＲＡＭ２５２にロードして実行する。これにより、ＣＰＵ２５１は、上述した撮影部２２及び画像送信部２３及び通知部２４などの機能を実現する。さらに、ＣＰＵ２５１は、フラッシュメモリ２５４を制御することにより記憶部２１の機能を実現する。
　なお、図５に示すハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。さらに、本実施形態の一部の機能がネットワーク３０を介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１５４は、半導体メモリを用いたＳＳＤ（Solid　State　Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。
　続いて、上述のように構成された画像管理システム１における画像登録処理について説明する。図６は、本実施形態における画像管理システム１の処理の一例を示すシーケンス図である。
　先ず、ユーザ端末２０（撮影部２２）は、ユーザ操作に基づいて指紋画像の撮影用アプリケーション（以下、「撮影アプリ」という。）を起動すると（ステップＳ１０１）、表示装置２５６に操作案内画面を表示する（ステップＳ１０２）。
　図７は、本実施形態におけるユーザ端末２０に表示される操作案内画面の一例を示す図である。ここでは、被写体となる指紋５０に対する基準部材６０の設置例と、撮影開始に関する案内メッセージ（「指紋の撮影を開始します。撮影したい指紋を囲むようにスケール部材を設置してください。撮影準備が整いましたら、完了ボタンを押してください。」）が表示されている。なお、完了ボタンを押下したとき、合成画像の生成に必要な撮影画像の撮影位置や撮影回数を案内する案内メッセージ（例えば、「次は、スケール部材に対して左斜め上方の位置から撮影してください。」など）が撮影状況に応じて表示されると、ユーザの撮影効率が向上するため好適である。
　次に、ユーザ端末２０（撮影部２２）は、指紋５０を囲むように基準部材６０が置かれた状態で、異なる撮影位置から指紋５０と基準部材６０を一緒に撮影し（ステップＳ１０３）、複数の撮影画像を得る。
　次に、ユーザ端末２０（画像送信部２３）は、共通の画像ＩＤに複数の撮影画像を関連付けて管理サーバ１０に一括送信する（ステップＳ１０４）。なお、ユーザ端末２０は、撮影画像を一枚ずつ管理サーバ１０に送信してもよい。管理サーバ１０（画像取得部１２）は、ユーザ端末２０から受信した複数の撮影画像をＨＤＤ１５４（記憶部１１）に保存する（ステップＳ１０５）。
　次に、管理サーバ１０（画像合成部１３）は、複数の撮影画像に含まれる基準部材６０及び指紋５０の位置関係を解析し、所定の撮影条件を満たす画像のみを選択する（ステップＳ１０６）。なお、以下では複数の画像が条件を満たし、選択されたものとして説明する。撮影条件を満たす画像がない場合には、エラー情報をユーザ端末２０へ出力すればよい。
　次に、管理サーバ１０（画像合成部１３）は、撮影画像内における基準部材６０の形状が、基準部材６０を正面（真上）から見た形状に一致するように複数の撮影画像のそれぞれを変形すると（ステップＳ１０７）、変形された複数の補正画像を重畳することによって合成画像を生成する（ステップＳ１０８）。
　そして、管理サーバ１０（画像合成部１３）は、生成した合成画像を画像ＩＤに関連付けてＨＤＤ１５４（記憶部１１）に保存する（ステップＳ１０９）。ＨＤＤ１５４内に保存された指紋画像（合成画像）は、照合処理などに用いられる。
　以上のように、本実施形態における画像管理システム１では、管理サーバ１０がユーザ端末２０から取得した複数の撮影画像を収集し、撮影画像内における指紋５０と基準部材６０との位置関係に基づいて撮影画像を変形し、合成処理を行う。すなわち、既知の形状を有する基準部材６０の形状に基づいて複数の撮影画像をそれぞれ高精度で変形できるため、その結果、高精度で合成画像を生成できる。
　また、本実施形態における複数の撮影画像は、互いに異なる撮影位置から撮影された画像である。これにより、ある撮影位置での撮影画像の品質が低いような場合であっても、他の撮影位置での撮影画像の品質が高ければ、高精度で合成画像を生成できる。
　また、本実施形態の管理サーバ１０（画像合成部１３）は、撮影画像内における基準部材６０の形状が、基準部材６０を正面（真上）から見た形状に一致するように複数の撮影画像のそれぞれを変形してから、複数の撮影画像を合成することにより合成画像を生成する。変形処理の基準とする基準部材６０の形状が予め定義されているため、高精度かつ高速度で処理を実行できる。
　また、本実施形態の管理サーバ１０（画像合成部１３）は、複数の撮影画像のうち、所定の撮影条件を満たす撮影画像を選択して合成することにより合成画像を生成する。これにより、合成処理に不要な撮影画像を除外できるため、高精度かつ高速度で合成画像を生成できる。
　また、本実施形態の管理サーバ１０（画像合成部１３）は、複数の撮影画像のそれぞれが異なる欠損領域を含む場合に、１つの撮影画像における欠損領域を他の１つの撮影画像における対応領域の画素値によって補完する。これにより、一部の撮影画像に欠損領域が含まれている場合でも、他の撮影画像によって欠損領域を補完し、高精度で合成画像を生成できる。
　さらに、本実施形態においては、被写体が指紋５０である場合について説明したが、人物の他の皮膚紋理でもよい。被写体を皮膚紋理（皮膚紋様）にした場合、指紋照合に用いる特徴点の一部が白かぶり等の影響で欠落した欠損画像を複数取得することで、本来の被写体が有する特徴点を取得できる効果がある。また、人物の皮膚紋理の鑑定及び認証においては、指紋画像が高精度であることが要求されるため、本実施形態における画像管理システム１を皮膚紋理の画像登録に使用すると特に好適である。なお、本実施形態における画像管理システム１の構成は、任意の物体の画像登録においても適用できる。
［第２実施形態］
　以下、第２実施形態における画像管理システム２について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。第１実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。
　上述した第１実施形態においては、管理サーバ１０側で画像の補正及び合成処理を実行していた。これに対し、本実施形態においては、ユーザ端末２０側で画像の補正及び合成処理を実行したのちに合成画像を管理サーバ１０に送信する点で第１実施形態と異なる。
　図８は、本実施形態における画像管理システム２の機能を示すブロック図である。図８に示すように、管理サーバ１０からは、図２の画像合成部１３が除かれている。その代わりとして、ユーザ端末２０は、画像合成部２５をさらに備えている。画像合成部２５の機能は、第１実施形態における画像合成部１３の機能と同一であるため、詳細な説明は省略する。
　続いて、上述のように構成された画像管理システム２における画像登録処理について説明する。図９は、本実施形態における画像管理システム２の処理の一例を示すシーケンス図である。
　先ず、ユーザ端末２０（撮影部２２）は、ユーザ操作に基づいて指紋画像の撮影アプリを起動すると（ステップＳ２０１）、表示装置２５６に操作案内画面（図７参照）を表示する（ステップＳ２０２）。
　次に、ユーザ端末２０（撮影部２２）は、指紋５０を囲むように基準部材６０が置かれた状態で、異なる撮影位置から指紋５０と基準部材６０を一緒に撮影し（ステップＳ２０３）、複数の撮影画像を得る。
　次に、ユーザ端末２０（画像合成部２５）は、複数の撮影画像に含まれる基準部材６０及び指紋５０の位置関係を解析し、所定の撮影条件を満たす画像のみを選択する（ステップＳ２０４）。なお、以下では複数の画像が条件を満たし、選択されたものとして説明する。撮影条件を満たす画像がない場合には、例えばエラー情報を表示装置２５６へ出力すればよい。
　次に、ユーザ端末２０（画像合成部２５）は、撮影画像内における基準部材６０の形状が、基準部材６０を正面（真上）から見た形状に一致するように複数の撮影画像のそれぞれを変形すると（ステップＳ２０５）、変形された複数の補正画像を重畳することによって合成画像を生成する（ステップＳ２０６）。
　次に、ユーザ端末２０（画像合成部２５）は、合成画像を画像解析し、合成画像内に欠損領域が含まれているか否かを判定する（ステップＳ２０７）。ここで、ユーザ端末２０（画像合成部２５）が、合成画像内に欠損領域が含まれていると判定した場合（ステップＳ２０７：ＹＥＳ）には、処理はステップＳ２０８に移行する。
　一方、ユーザ端末２０（画像合成部２５）が、合成画像内に欠損領域が含まれていないと判定した場合（ステップＳ２０７：ＮＯ）には、処理はステップＳ２１０に移行する。
　ステップＳ２０８において、ユーザ端末２０（通知部２４）は、エラー情報を表示装置２５６の操作案内画面に表示する。図１０は、本実施形態におけるユーザ端末２０に表示される操作案内画面の一例を示す図である。ここでは、画面内に合成画像を生成できなかったこと及びエラーに対応する指示情報を含むメッセージ（「撮影画像から生成した合成画像内に欠損領域が含まれています。再撮影を行う場合には、下記の撮影位置から撮影してください。」）が撮影位置の説明図とともに表示されることが示されている。
　次に、ユーザ端末２０（撮影部２２）が、操作案内画面のエラー情報を参照したユーザの操作に応じて、指紋５０及び基準部材６０の再撮影を実行すると（ステップＳ２０９）、処理はステップＳ２０５に戻る。
　ステップＳ２１０において、ユーザ端末２０（画像送信部２３）は、共通の画像ＩＤに合成画像及び合成処理に用いた複数の撮影画像を関連付けて管理サーバ１０に一括送信する。そして、管理サーバ１０（画像取得部１２）は、ユーザ端末２０から受信した合成画像及び複数の撮影画像をＨＤＤ１５４（記憶部１１）に保存する（ステップＳ２１１）。
　なお、上述した処理は、あくまで一例であり、処理の順序や処理方法の一部を変更してもよい。例えば、ステップＳ２０７において、欠損領域を含む場合であっても、欠損領域の面積が一定の閾値以内である場合には、ステップＳ２１０に移行してもよい。また、欠損領域の面積と閾値との比較処理以外で、ユーザに画像を選択させてもよい。
　以上のように、本実施形態における画像管理システム２では、ユーザ端末２０側において撮影画像の変形及び合成処理を行うため、第１実施形態と同様の効果を奏する。また、撮影現場において複数の撮影画像から適切な合成画像を生成できなかった場合には、エラー情報をユーザ端末２０に画面表示できる。このため、撮影現場における再撮影の実行を促すことができ、ユーザが撮影を失敗した場合でも迅速に対応させることが可能となる。
［第３実施形態］
　図１１は、本実施形態における情報処理装置１００の機能を示すブロック図である。本実施形態における情報処理装置１００は、既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得する取得部１１０と、複数の撮影画像のそれぞれに含まれる基準部材の形状に基づいて、複数の撮影画像から１つの合成画像を生成する合成部１２０と、を備える。本実施形態によれば、高精度に複数の画像を合成することができる。
［変形実施形態］
　以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形をできる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。
　例えば、上述の第１実施形態では、画像合成部１３は、撮影画像内における基準部材６０の形状が、基準部材６０を正面から見た形状に一致するように複数の撮影画像のそれぞれを変形してから、複数の撮影画像を合成することにより合成画像を生成していた。しかし、画像合成部１３は、撮影画像内における基準部材６０の形状が複数の撮影画像のそれぞれについて一致するように複数の撮影画像のそれぞれを変形してから、複数の撮影画像を合成することにより合成画像を生成してもよい。この場合、基準部材６０を正面から見たときの形状を基準としなくても、画像変形を行うことができる。
　また、上述の実施形態では、撮影画像が静止画像の場合について説明したが、動画像でもよい。この場合、動画像に含まれるフレーム画像から、所定の撮影条件を満たすフレーム画像を選択することで、同様に最適な合成画像を生成することが可能である。
　また、上述の実施形態では、指紋５０を囲むように基準部材６０を置いた状態で指紋５０と基準部材６０を一緒に撮影することを前提として説明したが、基準部材６０を画面上で電子的に付与してもよい。例えば、ユーザ端末２０においてジャイロセンサや距離測定アプリケーションなどの機能を用いることで、撮影角度及び撮影距離に応じて画面上で基準部材６０に相当する電子スケールの形状を変形させ、電子スケールと指紋５０を含む撮影画像が生成されてもよい。
　また、上述の実施形態では、ユーザ端末２０が、同一の被写体を撮影した複数の撮影画像に対して、共通の画像ＩＤを付して送信する場合を説明したが、ユーザ端末２０は端末に固有なＩＤ（例えばＭＡＣアドレス）を付して送信してもよい。端末ＩＤと撮影画像とを紐付けることで、端末ＩＤを署名として用いることができる。また、管理サーバ１０側では、撮影画像に付された端末ＩＤを参照することで、同一端末による撮影画像のみを画像合成処理に使用可能となる。
　また、上述の第２実施形態では、ユーザ端末２０側で撮影画像を合成する場合について説明したが、管理サーバ１０に送信する撮影画像に対して、合成に用いた撮影画像であることを示すフラグを付してもよい。これにより、管理サーバ１０側では、撮影画像と合成画像との関係を容易に把握可能となる。
　また、ユーザ端末２０は、セキュアモジュールを備え、同モジュールにおいて管理サーバ１０に送信する画像（撮影画像及び合成画像）や画像と同時に送信するデータに電子署名を付す構成としてもよい。電子署名を付すことにより、画像自体の改竄や、撮影時間及び撮影場所などの画像管理情報の改竄を防止できる。
　また、合成画像における各画像領域が、どの撮影画像に基づくものであるのかを辿れるように、画像データ間の関係を管理する構成をさらに備えてもよい。例えば、ブロックチェーンを使用して合成画像から元の撮影画像を辿ることができる。１つの合成画像の生成に用いた全ての撮影画像を追跡可能とすることで、例えば指紋の鑑定などに合成画像を使用する場合に、画像の証拠能力の向上を図ることができる。
　上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
　該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカードなどを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得する取得部と、
　前記複数の撮影画像のそれぞれに含まれる前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成する合成部と、
　を備える情報処理装置。
（付記２）
　前記複数の撮影画像は、互いに異なる撮影位置から撮影された画像である、
　付記１に記載の情報処理装置。
（付記３）
　前記被写体は人物の皮膚紋理である、
　付記１又は２に記載の情報処理装置。
（付記４）
　前記合成部は、前記撮影画像内における前記基準部材の形状が前記複数の撮影画像のそれぞれについて一致するように前記複数の撮影画像のそれぞれを変形してから、前記複数の撮影画像を合成することにより前記合成画像を生成する、
　付記１乃至３のいずれかに記載の情報処理装置。
（付記５）
　前記合成部は、前記撮影画像内における前記基準部材の形状が、前記基準部材を正面から見た形状に一致するように前記複数の撮影画像のそれぞれを変形してから、前記複数の撮影画像を合成することにより前記合成画像を生成する、
　付記１乃至４のいずれかに記載の情報処理装置。
（付記６）
　前記合成部は、前記複数の撮影画像のうち、所定の撮影条件を満たす前記撮影画像を選択して合成することにより前記合成画像を生成する、
　付記１乃至５のいずれかに記載の情報処理装置。
（付記７）
　前記撮影条件は、撮影位置及び照明光の反射領域のうちの少なくとも１つを含む、
　付記６に記載の情報処理装置。
（付記８）
　前記合成部は、前記複数の撮影画像のそれぞれが異なる欠損領域を含む場合に、１つの前記撮影画像における前記欠損領域を他の１つの前記撮影画像における対応領域の画素値によって補完する、
　付記１乃至７のいずれかに記載の情報処理装置。
（付記９）
　前記複数の撮影画像を撮影する撮影装置と、
　付記１乃至８のいずれかに記載の情報処理装置と、
　を備える端末装置。
（付記１０）
　前記撮影画像の撮影時において、撮影条件に関する案内メッセージを出力する通知部、
　をさらに備える付記９に記載の端末装置。
（付記１１）
　付記８又は９に記載の端末装置と、
　前記端末装置により取得された前記合成画像を収集する管理サーバと、
　を備え、
　前記端末装置は、
　前記合成画像を前記管理サーバへ送信する送信部、
　をさらに有する情報処理システム。
（付記１２）
　端末装置と、
　付記１乃至８のいずれかに記載の情報処理装置を備える管理サーバと、
　を備え、
　前記端末装置は、
　前記複数の撮影画像を撮影する撮影装置と、
　前記複数の撮影画像を前記管理サーバへ送信する送信部と、
　を有する情報処理システム。
（付記１３）
　既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得するステップと、
　前記撮影画像内における前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成するステップと、
　を備える情報処理方法。
（付記１４）
　コンピュータに、
　既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得するステップと、
　前記撮影画像内における前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成するステップと、
　を実行させるプログラムが記録された記録媒体。
　この出願は、２０１８年１２月２６日に出願された日本出願特願２０１８－２４２０２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１・・・画像管理システム
１０・・・管理サーバ
１１・・・記憶部
１２・・・画像取得部
１３・・・画像合成部
２０・・・ユーザ端末
２１・・・記憶部
２２・・・撮影部
２３・・・画像送信部
２４・・・通知部
２５・・・画像合成部
３０・・・ネットワーク
４０・・・基地局
５０・・・指紋
６０・・・基準部材
１００・・・情報処理装置
１１０・・・取得部
１２０・・・合成部
１５１，２５１・・・ＣＰＵ
１５２，２５２・・・ＲＡＭ
１５３，２５３・・・ＲＯＭ
１５４・・・ＨＤＤ
１５５，２５５・・・通信Ｉ／Ｆ
１５６，２５６・・・表示装置
１５７，２５７・・・入力装置
１５８，２５８・・・バス
２５４・・・フラッシュメモリ
２５９・・・撮影装置

Claims (14)

  1. 　既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得する取得部と、
    　前記複数の撮影画像のそれぞれに含まれる前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成する合成部と、
    　を備える情報処理装置。
  2. 　前記複数の撮影画像は、互いに異なる撮影位置から撮影された画像である、
    　請求項１に記載の情報処理装置。
  3. 　前記被写体は人物の皮膚紋理である、
    　請求項１又は２に記載の情報処理装置。
  4. 　前記合成部は、前記撮影画像内における前記基準部材の形状が前記複数の撮影画像のそれぞれについて一致するように前記複数の撮影画像のそれぞれを変形してから、前記複数の撮影画像を合成することにより前記合成画像を生成する、
    　請求項１乃至３のいずれか１項に記載の情報処理装置。
  5. 　前記合成部は、前記撮影画像内における前記基準部材の形状が、前記基準部材を正面から見た形状に一致するように前記複数の撮影画像のそれぞれを変形してから、前記複数の撮影画像を合成することにより前記合成画像を生成する、
    　請求項１乃至４のいずれか１項に記載の情報処理装置。
  6. 　前記合成部は、前記複数の撮影画像のうち、所定の撮影条件を満たす前記撮影画像を選択して合成することにより前記合成画像を生成する、
    　請求項１乃至５のいずれか１項に記載の情報処理装置。
  7. 　前記撮影条件は、撮影位置及び照明光の反射領域のうちの少なくとも１つを含む、
    　請求項６に記載の情報処理装置。
  8. 　前記合成部は、前記複数の撮影画像のそれぞれが異なる欠損領域を含む場合に、１つの前記撮影画像における前記欠損領域を他の１つの前記撮影画像における対応領域の画素値によって補完する、
    　請求項１乃至７のいずれか１項に記載の情報処理装置。
  9. 　前記複数の撮影画像を撮影する撮影装置と、
    　請求項１乃至８のいずれか１項に記載の情報処理装置と、
    　を備える端末装置。
  10. 　前記撮影画像の撮影時において、撮影条件に関する案内メッセージを出力する通知部、
    　をさらに備える請求項９に記載の端末装置。
  11. 　請求項８又は９に記載の端末装置と、
    　前記端末装置により取得された前記合成画像を収集する管理サーバと、
    　を備え、
    　前記端末装置は、
    　前記合成画像を前記管理サーバへ送信する送信部、
    　をさらに有する情報処理システム。
  12. 　端末装置と、
    　請求項１乃至８のいずれか１項に記載の情報処理装置を備える管理サーバと、
    　を備え、
    　前記端末装置は、
    　前記複数の撮影画像を撮影する撮影装置と、
    　前記複数の撮影画像を前記管理サーバへ送信する送信部と、
    　を有する情報処理システム。
  13. 　既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得するステップと、
    　前記撮影画像内における前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成するステップと、
    　を備える情報処理方法。
  14. 　コンピュータに、
    　既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得するステップと、
    　前記撮影画像内における前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成するステップと、
    　を実行させるプログラムが記録された記録媒体。
PCT/JP2019/050709 2018-12-26 2019-12-24 情報処理装置、情報処理方法及び記録媒体 Ceased WO2020138120A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/417,919 US12051266B2 (en) 2018-12-26 2019-12-24 Information processing apparatus, information processing method, and storage medium
CN201980092581.7A CN113454978B (zh) 2018-12-26 2019-12-24 信息处理设备、信息处理方法和存储介质
JP2020563327A JP7248039B2 (ja) 2018-12-26 2019-12-24 情報処理装置、情報処理方法及びプログラム
EP19902155.1A EP3905657A4 (en) 2018-12-26 2019-12-24 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND RECORDING MEDIA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-242029 2018-12-26
JP2018242029 2018-12-26

Publications (1)

Publication Number Publication Date
WO2020138120A1 true WO2020138120A1 (ja) 2020-07-02

Family

ID=71126447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050709 Ceased WO2020138120A1 (ja) 2018-12-26 2019-12-24 情報処理装置、情報処理方法及び記録媒体

Country Status (5)

Country Link
US (1) US12051266B2 (ja)
EP (1) EP3905657A4 (ja)
JP (1) JP7248039B2 (ja)
CN (1) CN113454978B (ja)
WO (1) WO2020138120A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114925B (zh) * 2020-09-25 2021-09-21 北京字跳网络技术有限公司 用于用户引导的方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072813A (ja) 2008-09-17 2010-04-02 Fujitsu Ltd 画像処理装置および画像処理プログラム
JP2010258897A (ja) * 2009-04-27 2010-11-11 Fujitsu Ltd 判定プログラムおよびキャリブレーション装置
JP2011070579A (ja) * 2009-09-28 2011-04-07 Dainippon Printing Co Ltd 撮影画像表示装置
JP2013084130A (ja) * 2011-10-11 2013-05-09 Fujitsu Ltd 画像認識システムおよび画像認識方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3250461B2 (ja) 1996-06-14 2002-01-28 日本電気株式会社 押捺指紋画像入力装置およびその入力方法
JPH10170227A (ja) * 1996-12-12 1998-06-26 Canon Inc 表示装置
JP2000067208A (ja) 1998-08-17 2000-03-03 Hitachi Eng Co Ltd 回転指紋検出装置及び方法
JP2000268162A (ja) 1999-03-18 2000-09-29 Hitachi Eng Co Ltd 指紋画像入力システム
JP4578109B2 (ja) 2004-01-16 2010-11-10 三菱電機株式会社 指紋読取装置及び指紋照合装置
JP2006018731A (ja) * 2004-07-05 2006-01-19 Nec Corp 指紋画像合成装置及び方法並びに指紋画像合成プログラム
US20060023921A1 (en) * 2004-07-27 2006-02-02 Sanyo Electric Co., Ltd. Authentication apparatus, verification method and verification apparatus
JP2006197981A (ja) 2005-01-18 2006-08-03 Mitsubishi Electric Corp 指紋照合装置
US7899216B2 (en) * 2005-03-18 2011-03-01 Sanyo Electric Co., Ltd. Biometric information processing apparatus and biometric information processing method
JP4232800B2 (ja) 2006-08-03 2009-03-04 日本電気株式会社 ラインノイズ除去装置、ラインノイズ除去方法、ラインノイズ除去プログラム
GB2465792A (en) * 2008-11-28 2010-06-02 Sony Corp Illumination Direction Estimation using Reference Object
JP5699845B2 (ja) * 2011-07-29 2015-04-15 富士通株式会社 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
KR101939097B1 (ko) * 2012-01-17 2019-01-16 엘지이노텍 주식회사 지문 인식 장치 및 방법
JPWO2014136369A1 (ja) 2013-03-06 2017-02-09 日本電気株式会社 指紋画像変換装置、指紋画像変換システム、指紋画像変換方法および指紋画像変換プログラム
US9684815B2 (en) * 2014-09-18 2017-06-20 Sciometrics Llc Mobility empowered biometric appliance a tool for real-time verification of identity through fingerprints
JP6468484B2 (ja) * 2015-02-19 2019-02-13 大日本印刷株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10043051B2 (en) * 2016-03-07 2018-08-07 Microsoft Technology Licensing, Llc Triggered image sensing with a display
KR101698529B1 (ko) * 2016-04-14 2017-02-01 에스투원 주식회사 휴대용 과학 수사 장치 및 그의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072813A (ja) 2008-09-17 2010-04-02 Fujitsu Ltd 画像処理装置および画像処理プログラム
JP2010258897A (ja) * 2009-04-27 2010-11-11 Fujitsu Ltd 判定プログラムおよびキャリブレーション装置
JP2011070579A (ja) * 2009-09-28 2011-04-07 Dainippon Printing Co Ltd 撮影画像表示装置
JP2013084130A (ja) * 2011-10-11 2013-05-09 Fujitsu Ltd 画像認識システムおよび画像認識方法

Also Published As

Publication number Publication date
JP7248039B2 (ja) 2023-03-29
JPWO2020138120A1 (ja) 2021-10-28
US12051266B2 (en) 2024-07-30
EP3905657A4 (en) 2022-01-26
EP3905657A1 (en) 2021-11-03
CN113454978B (zh) 2023-08-18
CN113454978A (zh) 2021-09-28
US20220075982A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
JP4218348B2 (ja) 撮影装置
JP3832895B2 (ja) 画像合成装置及び画像合成システム
JP2004318823A (ja) 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
CN109740487B (zh) 点云标注方法、装置、计算机设备和存储介质
US20060021027A1 (en) Personal information management apparatus, personal information file creation method, and personal information file search method
JP3982132B2 (ja) 情報出力制御方法及び情報表示装置
JP2018046337A (ja) 情報処理装置、プログラム及び制御方法
JP7248039B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019012360A (ja) 情報処理装置、プログラム及び情報処理方法
US10489652B2 (en) Image capturing system
JP2018128927A (ja) 画像情報合成システム
CN112532884A (zh) 识别方法、装置及电子设备
JP2000259823A (ja) 画像処理装置、画像処理方法及び記憶媒体
US20100254576A1 (en) Digital photographing apparatus, method of controlling the same, and recording medium storing program to implement the method
JP2018014572A (ja) 情報処理装置、画像処理システム、プログラム
CN103037154A (zh) 图像摄影装置
CN114881060A (zh) 扫码方法、装置、电子设备及可读存储介质
CN108827157B (zh) 激光测量的校验方法、装置、系统、设备和存储介质
JP2009259254A (ja) コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム
JP7256512B2 (ja) 個人識別システム、個人識別方法及びプログラム
JP6712861B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112702524A (zh) 图像生成方法、装置及电子设备
JP2016042661A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JPWO2021084661A5 (ja) 照合支援装置、照合支援方法、及びプログラム
JP2021087081A (ja) 撮影支援装置、撮影支援方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19902155

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020563327

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019902155

Country of ref document: EP

Effective date: 20210726