[go: up one dir, main page]

WO2012017620A1 - 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 - Google Patents

画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 Download PDF

Info

Publication number
WO2012017620A1
WO2012017620A1 PCT/JP2011/004251 JP2011004251W WO2012017620A1 WO 2012017620 A1 WO2012017620 A1 WO 2012017620A1 JP 2011004251 W JP2011004251 W JP 2011004251W WO 2012017620 A1 WO2012017620 A1 WO 2012017620A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
evaluation value
unit
image group
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/004251
Other languages
English (en)
French (fr)
Inventor
晃一郎 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to CN201180004116.7A priority Critical patent/CN102549579B/zh
Priority to JP2012527581A priority patent/JP5739428B2/ja
Priority to US13/395,761 priority patent/US9058342B2/en
Publication of WO2012017620A1 publication Critical patent/WO2012017620A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Definitions

  • the present invention relates to an image classification device for classifying images.
  • Digital image capturing devices such as digital still cameras and mobile phones with camera functions have become widespread, and recording media such as hard disks for recording captured images have been provided at low cost.
  • a user of a digital image capturing device stores each captured image in a recording medium such as a large-capacity hard disk.
  • each image is classified into several categories for the purpose of facilitating the user's search for images. There are things to do.
  • the image has different features from other images belonging to the image group including the image.
  • the classification destination of the image may be a different category from the classification destination of other images belonging to the image group.
  • a scene playing on the banks of the river was shot in an image group consisting of images taken when going to the picnic.
  • an image only an image of a scene playing on the bank of the river is classified into a river fishing category, and other images are classified into a picnic category.
  • An object of the present invention is to provide an image classification device capable of classifying images based on the above.
  • the image classification device specifies an image in which an object having a predetermined feature is captured from an image group composed of a plurality of images sequentially captured in association with one event. Based on the distribution of time information reflecting the shooting time of each image specified by the image specifying unit in a set of time information reflecting the shooting time of each image included in the image group An evaluation value calculation unit for calculating an evaluation value of the object having the predetermined feature; and an image group classification unit for classifying the event related to the image group based on the evaluation value calculated by the evaluation value calculation unit; It is characterized by providing.
  • the image classification device having the above-described configuration can classify images so that images belonging to an image group taken in a certain event are not classified into different categories.
  • Hardware block diagram showing hardware configuration of image classification apparatus 100 Functional block diagram showing a functional configuration of the image classification device 100
  • Directory structure diagram showing directory structure of image storage unit 231 Data structure diagram of image feature information stored in image feature information storage unit 232
  • Data structure diagram of face correspondence table stored in face correspondence table storage unit 235 Data structure diagram of main role information stored in main role information storage unit 233
  • Data structure diagram of event feature information stored in event feature information storage unit 234 Flow chart of image group classification processing Flow chart of face correspondence table generation processing
  • Diversity calculation processing flowchart Flow chart of leading role information generation processing An example of images taken at an event where family members participate An example of images taken at an event where family members participate Flowchart of first deformation diversity calculation process Flow chart of second deformation diversity calculation process Flow chart of scene division processing
  • a leading character which is an index indicating the importance of a person appearing in an image group in an image group unit composed of a plurality of images taken in association with one event.
  • a description will be given of an image classification device that calculates degrees and classifies an image into one of different classification destination events for each image group based on the calculated main role.
  • the image group is a set of images made up of a plurality of images designated by the user. For example, a set of images taken at an event of a trip to Mt. Rokko in early summer 2009, for example, a set of images taken at an event called a birthday party held on the birthday of a child in 2010.
  • FIG. 1 is a hardware block diagram illustrating a main hardware configuration of the image classification apparatus 100.
  • the image classification device 100 includes a system LSI (Large Scale Integrated Circuit) 110, a hard disk device 130, an external recording medium reading / writing device 140, a USB control device 150, an output device 160, an input device 170, and a communication device. 180, and has a function of storing an image that is a digital photograph as data encoded by a JPEG (JointoPhotographic Experts Group) system and classifying the stored image.
  • JPEG Joint Photographic Experts Group
  • the image classification device 100 is connected to a device that records images, such as a digital still camera 192, via a detachable USB cable 195, and a display 193 and a monitor cable 196 for displaying images.
  • a device that records images such as a digital still camera 192
  • a detachable USB cable 195 and a display 193 and a monitor cable 196 for displaying images.
  • the system LSI 110 includes a CPU 101, a ROM 102, a RAM 103, a hard disk device interface 104, an external recording medium read / write device interface 105, a USB (Universal Serial Bus) control device interface 106, an output device interface 107, and an input device.
  • the CPU 101 is connected to the bus line 120 and executes a program stored in the ROM 102 or the RAM 103, thereby executing the ROM 102, the RAM 103, the hard disk device 130, the external recording medium reading / writing device 140, the USB control device 150, and the output device 160. , Controlling the input device 170, the communication device 180, and the decoder 111, various functions such as a function of reading and decoding the encoded image data from the hard disk device 130, and outputting the decoded image data to the display 193. Is realized.
  • the ROM 102 is connected to the bus line 120 and stores a program for defining the operation of the CPU 101 and data used by the CPU.
  • the RAM 103 is connected to the bus line 120, temporarily stores data generated when the CPU 101 executes the program, and reads and writes data read from the hard disk device 130 and the external recording medium reading / writing device 140. Data, data received by the communication device 180, data to be transmitted, and the like are temporarily stored.
  • the decoder 111 is a DSP (Digital Signal Processor) having a function of decoding encoded image data, is connected to the bus line 120, is controlled by the CPU 101, and has a JPEG decoding function.
  • DSP Digital Signal Processor
  • the hard disk device interface 104, the external recording medium read / write device interface 105, the USB control device interface 106, the output device interface 107, the input device interface 108, and the communication device interface 109 are a hard disk device 130 and an external recording medium read / write device, respectively. 140, an interface that mediates exchange of signals between the USB control device 150, the output device 160, the input device 170, the communication device 180, and the bus line 120.
  • the hard disk device 130 is connected to the hard disk device interface 104 and is controlled by the CPU 101 to have a function of writing data to the built-in hard disk and a function of reading data written to the built-in hard disk.
  • the external recording medium reading / writing device 140 is connected to the external recording medium reading / writing device interface 105 and controlled by the CPU 101 to write data to the external recording medium and to read data written to the external recording medium. And have.
  • the external recording medium is a DVD (Digital Versatile Disc), DVD-R, DVD-RAM, BD (Blu-ray Disc), BD-R, BD-RE, SD memory card 191, etc.
  • the recording medium reading / writing device 140 can read data from DVDs, BDs, etc., and write and read data to DVD-Rs, BD-Rs, BD-REs, SD memory cards, etc. it can.
  • the USB control device 150 is connected to the USB control device interface 106 and controlled by the CPU 101, and has a function of writing data to an external device via a detachable USB cable 195, and a function of reading data written to the external device.
  • the external device is a device that stores images such as a digital still camera 192, a personal computer, a mobile phone with a camera function, and the like, and the USB control device 150 is connected to these external devices via the USB cable 195. Data can be written and read.
  • the output device 160 is connected to the output device interface 107 and the monitor cable 196, is controlled by the CPU 101, and has a function of outputting data to be displayed on the display 193 via the monitor cable 196.
  • the input device 170 is connected to the input device interface 108, is controlled by the CPU 101, and has a function of receiving an operation command from a user wirelessly transmitted from the remote controller 197 and transmitting the received operation command to the CPU 101.
  • the communication device 180 is connected to the communication device interface 109 and the network 194, is controlled by the CPU 101, and has a function of transmitting / receiving data to / from an external communication device via the network 194.
  • the network 194 is realized by an optical communication line, a telephone line, a wireless line, or the like, and is connected to an external communication device, the Internet, or the like.
  • the external communication device is a device such as an external hard disk device that stores images, programs that define the operation of the CPU 101, and the like.
  • the communication device 180 receives data from these external communication devices via the network 194. Can read.
  • the CPU 101 executes a program stored in the ROM 102 or the RAM 103, and the ROM 102, RAM 103, hard disk device 130, external recording medium reading / writing device 140, USB Various functions are realized by controlling the control device 150, the output device 160, the input device 170, the communication device 180, and the decoder 111.
  • FIG. 2 is a functional block diagram showing a configuration of main functional blocks of the image classification device 100.
  • the image classification device 100 includes an image group data receiving unit 201, an image writing / reading unit 202, an image feature information writing / reading unit 203, a main role information writing / reading unit 204, an image feature amount extracting unit 205, and a main role information calculating unit.
  • An image storage unit 231, an image feature information storage unit 232, a main role information storage unit 233, an event feature information storage unit 234, and a face correspondence table storage unit 235 are configured.
  • the image group data accepting unit 201 is connected to the image writing / reading unit 202 and accepts designation of an image of an image group 241 composed of two or more images, and the designated image group is included in one image group. It has a function to read as a group.
  • the image group data receiving unit 201 When the image group data receiving unit 201 receives an image, the image group data receiving unit 201 receives an image from an external recording medium via the external recording medium reading / writing device 140, a case where an image is received from an external device via the USB control device 150, a communication An image may be received from an external communication device via the device 180.
  • the image group data receiving unit 201 has a function of assigning an image ID for specifying the image when receiving the image.
  • the image storage unit 231 is a storage area for storing a digital photograph as an image as image data encoded by the JPEG method, and is implemented as a partial area of the hard disk built in the hard disk device 130. ing.
  • Each image data is associated with metadata including the date and time when the image was taken, and the image storage unit 231 stores the corresponding metadata together with the image data.
  • Each data stored in the image storage unit 231 is logically managed by a directory structure under the file system.
  • FIG. 3 is a directory structure diagram showing the directory structure of the image storage unit 231.
  • the directory structure of the image storage unit 231 is composed of a total of three hierarchies including a highest hierarchy 310, a first directory hierarchy 320, and a second directory hierarchy 330.
  • the first directory hierarchy 320 includes a plurality of classification destination event directories such as a birthday party directory 321, a travel directory 322, and an athletic meet directory 323, and an actual data storage directory 324.
  • the classification destination directory is a directory having the same name as the classification destination event that is the classification destination of the image group, and there is only one directory having the same name.
  • the actual data storage directory 324 is a directory that stores image data and metadata in association with each other, and image data and metadata are stored only in the actual data storage directory 324.
  • the second directory hierarchy 330 there are a plurality of event directories such as the April 10, 2010 directory 331, the April 10, 2009 directory 332, and the Rokkosan 2009 early summer directory.
  • the event directory is a directory corresponding to an image group including the image group received by the image group data receiving unit 201, and among the data held in the actual data storage directory 324, all the images belonging to the image group are stored. This is a directory in which data indicating the address of the data is held and the image data is linked.
  • Each event directory exists under the classification destination event directory corresponding to the classification destination event into which the corresponding image group is classified.
  • the image writing / reading unit 202 is connected to the image group data receiving unit 201, the image feature amount extraction unit 205, the main role information calculation unit 206, and the image group classification unit 208, and is stored in the image storage unit 231.
  • a function of reading out existing images and metadata, a function of writing images and metadata into the image storage unit 231, a function of changing the directory structure of the image storage unit 231, and a function of changing the link of image data is connected to the image group data receiving unit 201, the image feature amount extraction unit 205, the main role information calculation unit 206, and the image group classification unit 208, and is stored in the image storage unit 231.
  • the image feature amount extraction unit 205 is connected to the image writing / reading unit 202 and the image feature information writing / reading unit 203 and has the following three functions.
  • Function 1 A predetermined face model indicating the characteristics of a person's face is held, the face model included in one image is tried by referring to the held face model, and the recognized face area A function of calculating the area, the position of the recognized face, and the direction of the recognized face, and sequentially assigning a face ID for identifying the recognized face to each recognized face.
  • the face model is, for example, information on luminance of parts forming the face such as eyes, nose, mouth, information on relative positional relationship, and the like.
  • Function 2 For each pixel included in the image, the color of the pixel is determined from the luminance of each of the color components constituting the pixel, for example, Red, Green, Blue, for example, black, blue, green, white, etc. A function that specifies which color is used, and a function that calculates, for each specified color, the ratio of the total number of pixels included in the image to the number of pixels specified for that color as a color feature amount .
  • a certain pixel is, for example, black, for example, when the luminance of Red, the luminance of Green, and the luminance of Blue are all less than 10%
  • a method of specifying a pixel as black There is a method of specifying a pixel as black.
  • Function 3 A function for generating image feature information (described later) from the area of the recognized face region, the position of the recognized face region, the position of the recognized face, the direction of the recognized face, the extracted color feature amount, and the like.
  • the image feature information storage unit 232 is a storage area for storing image feature information, and is implemented as a partial area of the hard disk built in the hard disk device 130.
  • FIG. 4 is a diagram illustrating a data structure of image feature information stored in the image feature information storage unit 232.
  • the image feature information includes an image ID 401 for specifying the corresponding image and a face recognized by the image feature amount extraction unit 205 included in the corresponding image (hereinafter, recognized face). )), A color feature amount 403 indicating the color feature of the corresponding image, and a shooting time 404 indicating the time when the corresponding image was shot.
  • the face feature amount 402 further includes a face ID 411 for specifying the recognized face, a face area 412 indicating the ratio of the area of the image to the area of the recognized face, and the degree of displacement of the position of the recognized face with respect to the center of the image.
  • the face area 412 is a ratio of the area of the recognized face to the area of the image, and is normalized so as to be 1 when the recognized face is shown on the entire screen.
  • the face position 413 is a value indicating the position of the recognized face, and is normalized so that it is 1 when the position of the recognized face is the center of the image and 0 when the position of the recognized face is the edge of the image. ing.
  • the length of the line segment is X
  • a face position can be obtained by dividing a value obtained by subtracting X from Y as Y, by Y.
  • the face direction 414 is a value indicating the angle at which the recognized face is facing with respect to the front direction of the image.
  • the face direction 414 is 1 when the angle at which the recognized face is facing is perpendicular to the image plane, and the face is facing. Normalization is performed so that the angle is 0 when the angle is horizontal to the image plane.
  • the face orientation can be obtained by dividing the value obtained by subtracting X from 180 by setting the angle of the recognized face to the front direction of the image to be X degrees and subtracting X from 180.
  • the coordinates 415 are a set of the coordinates of the upper left vertex and the lower right vertex of the rectangle having the smallest area among the rectangles surrounding the recognition face region.
  • the color feature amount 403 is composed of the ratio of the number of pixels of each color calculated by the image feature amount extraction unit 205, and indicates the feature of the color included in the image.
  • the color feature amount 403 of the image feature information corresponding to the image having the image ID 401 of 00001 is an image in which red 421 is 10%, blue 422 is 20%, green 423 is 60%, and white 424 is 10%. Is shown.
  • the image feature information writing / reading unit 203 is connected to the image feature amount extracting unit 205 and the main role information calculating unit 206 and has a function of reading and writing image feature information to the image feature information storage unit 232. Have.
  • the event name information reception unit 211 is connected to the main role information calculation unit 206 and has a function of receiving an event name that is the name of an image group input by a user using the image classification device 100.
  • the sample image receiving unit 213 is connected to the sample image writing unit 214 and has a function of receiving an image showing a face of a specific person and a name for specifying the person.
  • the sample image receiving unit 213 When the sample image receiving unit 213 receives an image, the sample image receiving unit 213 receives an image from an external recording medium via the external recording medium reading / writing device 140, receives an image from an external device via the USB control device 150, and a communication device. An image may be received from an external communication device via 180.
  • the sample image storage unit 236 is a storage area for storing a digital photograph as an image as image data encoded by the JPEG method, and is implemented as a partial area of the hard disk built in the hard disk device 130. Has been.
  • Each image data is associated with a name that identifies a person appearing in the image.
  • the sample image writing unit 214 is connected to the sample image receiving unit 213, and has a function of writing the image received by the sample image receiving unit 213 and a name for identifying a person in the sample image storage unit 236.
  • the main role information calculation unit 206 is connected to the image writing / reading unit 202, the image feature information writing / reading unit 203, the main role information writing / reading unit 204, and the event name information receiving unit 211. Has one function.
  • Function 1 Facial features are extracted for recognized faces that appear in images belonging to an image group, and the recognized faces that are determined to be the same person based on the extracted facial features become the same set. And a function of classifying the recognized faces and assigning a label for identifying the set to the set of each recognized face group.
  • the facial features are, for example, the relative positional relationship of parts forming the face such as eyes, nose and mouth, and the area ratio of these parts.
  • Function 2 A function of generating a face correspondence table (described later) indicating the correspondence between a label and a recognized face belonging to the set specified by the label, and writing it in the face correspondence table storage unit 235.
  • Function 3 Function for calculating the leading role (described later) for each person who is given a label.
  • Function 4 A function for calculating the degree of privateness (described later) based on the protagonist of a person who is given a label that appears in the image of the image group.
  • Function 5 A function for generating main role information (described later) from the calculated main role, calculated private level, event name received by the event name information receiving unit 211, and the like.
  • the face correspondence table storage unit 235 is a storage area for storing the face correspondence table, and is mounted as a partial area of the hard disk built in the hard disk device 130.
  • FIG. 5 is a diagram showing the data structure of the face correspondence table stored in the face correspondence table storage unit 235.
  • the face correspondence table includes a label 501 for identifying a group of recognized faces classified as being the same person, and a recognized face belonging to the group of recognized faces classified as being the same person.
  • the face ID 502 to the face ID 504 indicating the IDs of these are associated with each other.
  • a group of recognized faces classified as label 501 being a son indicates that a recognized face indicated by face ID 0001, face ID 0003, face ID 0101, and the like belongs.
  • the main role information storage unit 233 is a storage area for storing the main role information, and is mounted as a partial area of the hard disk built in the hard disk device 130.
  • FIG. 6 is a diagram showing a data structure of the main role information stored in the main role information storage unit 233.
  • the main role information includes an image group ID 601 for specifying an image group, a label 602 for specifying a group of classified recognition faces included in the image group, and a label 602.
  • Diversity 603 indicates the shooting time of each image in which a person with a corresponding label 602 appears in a set of shooting times of images included in the image group specified by the corresponding image group ID 601. This is information indicating the degree of order dispersion, and takes a value of 0 to 1. The value increases as the degree of dispersion increases.
  • the main role 604 is information indicating the importance of the person who is assigned the corresponding label 602 in the image group specified by the corresponding image group ID 601, and takes a value of 0 or more. The higher the value, the larger the value.
  • the method for calculating the main character 604 will be described in detail later in ⁇ Main character information generation processing>.
  • the private degree 606 is an index indicating the importance of a family member relative to the importance of a person other than the family in the image group specified by the corresponding image group ID 601, and is “very high”, “high”, “normal” The value is one of “low” and “low”.
  • the main role information writing / reading unit 204 is connected to the main role information calculating unit 206 and the image group classification unit 208, and has a function of reading the main role information stored in the main role information storage unit 233, and a main role information storage unit 233 has a function of writing main role information.
  • the event feature information storage unit 234 is a storage region for storing event feature information, and is implemented as a partial region of the hard disk built in the hard disk device 130.
  • FIG. 7 is a diagram showing a data configuration of event feature information stored in the event feature information storage unit 234.
  • the event feature information includes (1) private degree 701 for each of the classification destination events such as “birthday party”, “athletic meeting”, “excursion”, “wedding”, and “travel”. Any one of extremely high 711, high 712, normal 713, and low 714 that are four values to be obtained, and (2) four values that make up an important person, son 721, mother 722, and father 723 And all the family members 824 are associated with each other.
  • the important person is a person whose main role value is, for example, 3 or more in the image group, and the important person is the whole family, the son's main role value and the mother's main role value. It shows that all values with the father's main role value are 3 or more, for example.
  • the classification destination event “birthday party” is a classification destination event in which the private degree 701 is very high 711 and the important person 702 is associated with the son 721, and the private degree is extremely high and the important person is the son.
  • the classification destination event “travel” is associated with 711 having a very high degree of privateness 701 and an important person 702 associated with the whole family 724, and has a very high degree of privateness and the important person is the whole family. It turns out that it is an event.
  • the event feature information writing / reading unit 209 is connected to the image group classification unit 208 and the event feature information receiving unit 212, and has a function of reading event information stored in the event feature information storage unit 234, and an event feature information storage unit 234 has a function of writing event feature information.
  • the event feature information accepting unit 212 is connected to the event feature information writing / reading unit 209 and has a function of accepting event feature information input by a user using the image classification device 100.
  • the image group classification unit 208 is connected to the image writing / reading unit 202, the main role information writing / reading unit 204, the event feature information writing / reading unit 209, and the classification result output unit 210.
  • the main role information is read from the main role information storage unit 233 via the reading unit 204, and the read main role information is based on the read main role information and the event feature information stored in the event feature information storage unit 234. It has a function of classifying an image group corresponding to information as a classification destination event.
  • the classification result output unit 210 is connected to the image group classification unit 208 and has a function of displaying the classification result on the display 193 when the image group classification unit classifies the image group.
  • a characteristic operation performed by the image classification apparatus 100 is an image group classification process in which an image belonging to an image group is input and the input image group is classified as an event.
  • the image group classification process further includes a face correspondence table generation process for generating a face correspondence table, a diversity calculation process for calculating diversity, and a main role information generation process for generating main role information.
  • FIG. 8 is a flowchart of image group classification processing performed by the image classification device 100.
  • the image classification device 100 starts the image group classification process.
  • the image group data receiving unit 201 starts reading an image of one image group, and the event name information receiving unit 211 detects an event in which an image belonging to the image group is captured. Acceptance of the event name is started (step S800).
  • the image group data reception unit 201 is connected to the external recording medium reading / writing device 140 from an external recording medium, from an external device via the USB cable 195 connected to the USB control device 150, or to the network 194. Images can be read from the connected communication device 180.
  • the image group data reception unit 201 reads a set of an image recorded on the SD memory card 191 and metadata including the date and time when the image was taken one by one, and sequentially reads the image with respect to the read image. An ID is assigned, and the image data, metadata, and image ID are associated with each other, and are written into the actual data storage directory 324 of the image storage unit 231 by using the image writing / reading unit 202.
  • the event name information accepting unit 211 accepts the event name of an event in which an image belonging to an image group is photographed by an operation of the remote controller 197 from the user.
  • the image feature amount extraction unit 205 is received by the image group data reception unit 201 from the image storage unit 231 using the image writing / reading unit 202. Images belonging to the image group are read out one by one (step S810).
  • the image feature amount extraction unit 205 tries to recognize a face included in one image by referring to a face model held for one image read out by the image feature calculation control unit 221 and recognizes it. For each face, a face feature amount is calculated, and a face ID for specifying the recognized face is sequentially assigned to each recognized face (step S820).
  • the image feature amount extraction unit 205 specifies the color of the pixel from each luminance of the color component of the pixel for each pixel included in the image, and for each of the specified colors Then, the ratio of the number of pixels of the specified color to the total number of pixels included in the image is calculated as the color feature amount 403 (step S830).
  • the image feature amount extraction unit 205 includes the calculated face area, face position, face orientation, coordinates, color feature amount, and shooting time included in the metadata associated with the target image.
  • the image feature information is generated from this information and written into the image feature information storage unit 232 using the image feature information writing / reading unit 203 (step S840).
  • step S850 If the image feature information extraction unit 205 has not finished generating the image feature information for all the images of one image group received by the image group data receiving unit 201 (step S850: No), it is still For the image for which the calculation of the image feature information has not been completed, the processes after step S810 are performed again.
  • the image feature amount extraction unit 205 when generation of image feature information has been completed for all images of one image group received by the image group data reception unit 201 (step S850: Yes),
  • the degree information calculation unit 206 stores all the image feature information stored in the image feature information storage unit 232 and corresponding to the images belonging to the image group read by the image group data receiving unit 201, as an image feature information writing / reading unit. Read using 203.
  • the main role information calculation unit 206 When the main role information calculation unit 206 reads all the image feature information corresponding to the images belonging to the image group, the main role information calculation unit 206 performs a face correspondence table generation process to generate a face correspondence table (step S860).
  • FIG. 9 is a flowchart of the face correspondence table generation process performed by the main role information calculation unit 206.
  • the protagonist information calculation unit 206 starts with the face ID of the recognized face, the coordinates of the face area specified by the face ID, and the face ID from all the read image feature information.
  • the image ID corresponding to the image feature information including is extracted (step S900).
  • the main role information calculation unit 206 reads the image specified by the image ID included in the image feature information including the face ID from the image storage unit 231 using the image writing / reading unit 202, and sets the extracted face ID as the extracted face ID. Facial features are extracted from all the face areas specified by the coordinates of the corresponding face area (step S910).
  • the protagonist information calculation unit 206 determines that a group of faces having the same facial features among the extracted facial features are the faces of the same person, and the recognized faces that are determined to be the same person are the same set. Then, the recognized faces are classified, and a label for specifying the set is assigned to the set of each recognized face group to generate a face correspondence table (step 920).
  • step S920 the protagonist information calculation unit 206 selects one label in the image group (step S930), and stores an image stored in the sample image storage unit 236 (hereinafter referred to as a sample image). ) Is checked whether there is a person having a face that matches the feature of the recognized face classified into the set specified by the label (step S940).
  • the sample image storage unit 236 stores, as sample images, an image of a son who is a member of a family, an image of a mother of a family member, and an image of a father of a family member. It is assumed that the names identifying the persons shown in the sample image are son, mother, and father, respectively.
  • step S940 when there is a matching person (step S940: Yes), the leading role information calculation unit 206 matches the name of the selected label stored in the sample image storage unit 236. The name is changed to a name that identifies a person shown in the sample image (step S950).
  • step S940 when there is no matching person (step S940: No), or when the process of step S950 ends, the main role information calculation unit 206 determines whether there is an unselected label. (Step S960).
  • step S960 when there is an unselected label (step S960: No), the main role information calculation unit 206 selects one of the unselected labels (step S970), and again, step S940. Returning to the process, the processes after step S940 are continued.
  • step S960 When there is no unselected label in the process of step S960 (step S960: Yes), the main role information calculation unit 206 writes the generated face correspondence table in the face correspondence table storage unit 235 (step S980). Then, the face correspondence table generation process is terminated.
  • the protagonist information calculation unit 206 Upon completion of the face correspondence generation process, that is, the process of step S860, the protagonist information calculation unit 206 performs a diversity calculation process for calculating diversity for each label in the image group (step S870).
  • FIG. 10 is a flowchart of diversity calculation processing performed by the main role information calculation unit 206.
  • the protagonist information calculation unit 206 sets the initial value of diversity to 0 for each label in the image group (step S1000), and stores it in the image storage unit 231 in association with the image.
  • the order in which the images belonging to the image group are arranged in order of photographing time is associated (step S1005).
  • step S1005 the protagonist information calculation unit 206 selects one label in the image group (step S1010), and sets the number of images in which the person with the selected label is captured as the number of appearances (step S1015). .
  • the main role information calculation unit 206 calculates a value obtained by dividing the number obtained by adding 2 to the number of images included in the image group by the number obtained by adding 1 to the number of appearances. The calculated value is rounded off to the first decimal place and calculated as the reference value (step S1020).
  • the protagonist information calculation unit 206 determines that the images before the first image (that is, 0th) and the last image (that is, the number of images is n) when images are arranged in order of shooting time. If there is an image, it is set that there is an image in which the person with the selected label is present (n + 1) (step S1025).
  • step S1025 the protagonist information calculation unit 206 sets each set of two images that are consecutive in order of shooting time as a continuous image set in the image group in which the person with the selected label is captured (step S1030). ).
  • the main role information calculation unit 206 selects one continuous image set (step S1035), and determines the difference between the orders associated with the two images of the selected continuous image set as a difference value. (Step S1040), and the calculated difference value is compared with the reference value (step S1045).
  • step S1045 when the difference value is equal to or larger than the reference value (step S1045: Yes), the protagonist information calculation unit 206 reciprocal of the number of appearances plus 1 for the diversity of the selected label. Are added to obtain new diversity (step S1050).
  • step S1050 When the process of step S1050 is completed, or when the difference value is not equal to or greater than the reference value in the process of step S1045 (step S1045: No), the main role information calculation unit 206 has a series of unselected images. It is checked whether or not there is (step S1055).
  • step S1055 when there is an unselected continuous image set (step S1055: No), the leading role information calculation unit 206 selects one continuous image set from the unselected continuous image sets (step S1055). (S1060), the process returns to step S1040 again, and the processes after step S1040 are continued.
  • step S1055 when there is no unselected continuous image set (step S1055: Yes), the leading role information calculation unit 206 checks whether there is a label that has not been selected (step S1065).
  • step S1065 when there is an unselected label (step S1065: No), the main role information calculation unit 206 selects one of the unselected labels (step S1070), and again in step S1015. Returning to the processing, the processing after step S1015 is continued.
  • step S1065 when there is no unselected label (step S1065: Yes), the leading role information calculation unit 206 ends the diversity calculation process.
  • the main role information calculation unit 206 performs a main role information generation process for generating and storing the main role information of the image group (step S880).
  • FIG. 11 is a flowchart of the main role information generation process performed by the main role information calculation unit 206.
  • the main role information calculation unit 206 selects one label in the image group (step S1100), and for each face ID belonging to the selected label, the face area, the face position, and the face direction. And the added value is calculated as the sub-main role of the face ID (step S1105).
  • the main role information calculation unit 206 calculates the sum of the calculated sub main roles, calculates the calculated value as the main role (step S1110), and whether there is an unselected label yet. Whether or not is checked (step S1115).
  • step S1115 when there is an unselected label (step S1115: No), the protagonist information calculation unit 206 selects one of the unselected labels (step S1120), and again in step S1105. Returning to the processing, the processing after step S1105 is continued.
  • step S1115 when there is no unselected label (step S1115: Yes), the main role information calculation unit 206 has the main role corresponding to the label of the name of the family (here, son, mother, father). The largest main role is calculated as the family main role, the sum of the main roles corresponding to labels other than the family name label is calculated as the other main role (step S1125), and the other main role is 10 as the family main role. It is checked whether or not% or less (step S1130).
  • step S1130 when the other person's main role is 10% or less of the family main role (step S1130: Yes), the main role information calculation unit 206 sets the private level to “very high” (step S1135).
  • step S1130 when the other person's main role is not 10% or less of the family main role (step S1130: No), the main role information calculating unit 206 determines whether or not the other person's main role is 80% or less of the family main role. It investigates (step S1140).
  • step S1140 when the other person's main role is 80% or less of the family main role (step S1140: Yes), the main role information calculation unit 206 sets the private level to “high” (step S1145).
  • step S1140 when the other person's main role is not 80% or less of the family main role (step S1140: No), the main role information calculating unit 206 determines whether the other person's main role is 120% or less of the family main role. It investigates (step S1150).
  • step S1150 when the person main role is 120% or less of the family main role (step S1150: Yes), the main role information calculation unit 206 sets the private level to “normal” (step S1155).
  • step S1150 when the other person's main role is not 120% or less of the family main role (step S1160: No), the main role information calculation unit 206 sets the private level to “low”.
  • the main role information calculation unit 206 calculates the calculated label. Generating the main role information from the calculated diversity corresponding to the label, the calculated main role corresponding to the label, the event name received by the event name information receiving unit 211, and the calculated private level, Using the main role information writing / reading unit 204, the generated main role information is written in the main role information storage unit 233 (step S1165), and the main role information generation process is terminated.
  • the image group classification unit 208 uses the main role information write / read unit 204 to read the previously written main role information and write the event feature information. Using the reading unit 209, the event feature information recorded in the event feature information storage unit 234 is read.
  • the image group classification unit 208 compares the read main role information and the event feature information, and among the classification destination events included in the event feature information, the main role and the private level included in the main role information. When a classification destination event that matches the combination of and is found, it is assumed that the classification destination event to which the image group corresponding to the read main role information should be classified is the found classification destination event.
  • the classification destination event to which the image group corresponding to the read main role information should be classified is a classification destination event called other event.
  • the image grouping / reading unit 202 uses the image writing / reading unit 202 to store the image under the event directory corresponding to the classification destination event to be classified in the image storage unit 231. Create an event directory with the same name as the event name associated with the group, and store information indicating the addresses of all image data belonging to the image group under the event directory.
  • the image group is classified by setting the data of all the images belonging to the group to be linked (step S890).
  • the classification result output unit 210 causes the display 193 to display the classification destination event name of the classification destination event to be classified, calculated by the image group classification unit 208, together with the event name associated with the image group.
  • the classification device 100 ends the image group classification process.
  • FIG. 12 is an example of a group of images taken at an event in which family members participate.
  • the image group 1200 is an image group made up of images taken at an event “Mt. Fuji Hiking in 2009” in which the sons of the family participated.
  • the image group 1200 includes images 1201 to 1210.
  • the images 1201 to 1210 are images taken in this order, and the people 1221 to 1224 are sons (labels: sons) of the family, and the people 1231 to 1234 are the same other people (labels: others). A).
  • the total number is 10.
  • FIG. 13 is an example of a group of images taken at an event in which family members participate.
  • the image group 1300 is an image group made up of images 1301 to 1304 taken at an event (event name: Hokkaido 2010 spring), for example, where a family travels to Hokkaido.
  • the image group 1320 is an event called “relative wedding” (event name: A child's wedding, for example) ) Is an image group composed of images 1321 to 1324.
  • the persons 1351 to 1354 are the sons of the family
  • the person 1361 is the mother of the family
  • the person 1371 is the father of the family
  • the person 1390 is the other person.
  • the private level of the image group 1300 is “very high”, and the important person is “the whole family”.
  • the classification destination event in which the private degree is “very high” and the important person is “the whole family” is “travel”. Therefore, the image group 1300 consisting of images taken at the event named “Hokkaido 2010 Spring” is classified as the classification destination event “travel”.
  • a person 1355 to a person 1358 are sons of a family
  • a person 1391, a person 1392, a person 1393, and a person 1394 are others
  • the person 1341 and the person 1342 are the same others.
  • the other person's main role is higher than that in the image group 1300.
  • the son's main role (that is, the family main role) is higher than the other person's main role.
  • the private level of the image group 1310 is “high”, and the important person is “son”.
  • the classification destination event having the high degree of privateness and the important person being the “son” is “athletic meet”, so the event name “2009”
  • the image group 1310 composed of images taken at the event “Year Sports Day” is classified as the classification destination event “Sports Day”.
  • a person 1362 to a person 1364 are family mothers, a person 1395, a person 1396, a person 1397, a person 1398, a person 1399 are others, a person 1381 to a person 1384 are others of the same person, and a person 1386.
  • the person 1388 is the same other person.
  • the other person's main role is higher than that in the image group 1310.
  • the mother is shown in three photos, it is relatively small, and the mother's main role (that is, the family main role) is lower than the other person's main role. .
  • the private level of the image group 1320 is “low”, and the important person is “mother”.
  • the event feature information stored in the event feature information storage unit 2344 since the classification destination event whose private degree is “low” and the important person is “mother” is “wedding”, the event name “ The image group 1320 composed of images taken at the event “A child's wedding” is classified as the classification destination event “wedding”.
  • the first modified image classification device has the same hardware configuration as the image classification device 100.
  • the first modified image classifying device is a part of a program that defines the operation of the CPU 105 stored in the ROM 102 in the first modified image classifying device and the operation of the CPU 105 stored in the ROM 102 in the image classifying device 100. Since some of the prescribed programs are different from each other, the main role information calculation unit 206 in the image classification device 100 is transformed into the first modified main role information calculation unit, and the diversity calculation processing in the image classification device 100 is the first. It is transformed into 1 deformation diversity calculation processing.
  • FIG. 14 is a flowchart of a first deformation diversity calculation process performed by the first deformation main role information calculation unit.
  • the initial value of diversity is set to 1 for each label in the image group (step S1400), and the process of step S1405 and step S1410 are performed. Process.
  • step S1405 and the processing in step S1410 are the same as the processing in step S1005 and the processing in step S1010 in the diversity calculation processing (see FIG. 10) in the first embodiment, respectively, and thus description thereof is omitted here. .
  • step S1410 When the process of step S1410 is completed, the first modified leading role information calculation unit performs the processes of step S1425 to step S1440.
  • Step S1425 to Step S1440 are the same as the processing from Step S1025 to Step S1040 of the diversity calculation processing in the first embodiment, description thereof is omitted here.
  • the first modified leading role information calculation unit calculates the value obtained by dividing the square value of the difference value by the square value of the number obtained by adding 1 to the total number.
  • the new diversity is obtained by subtracting from (step S1450).
  • step S1450 When the process of step S1450 is completed, the first modified leading role information calculation unit performs the processes of step S1455 to step S1470.
  • Step S1455 to Step S1470 are the same as the processing from Step S1055 to Step S1070 of the diversity calculation processing in Embodiment 1, description thereof is omitted here.
  • step S1465 when there is no unselected label (step S1465: Yes), the first modified protagonist information calculation unit ends the first modified diversity calculation process.
  • the second modified image classification device has the same hardware configuration as the image classification device 100.
  • the second modified image classifying device is configured to execute a part of a program that defines the operation of the CPU 105 stored in the ROM 102 in the second modified image classifying device and the operation of the CPU 105 stored in the ROM 102 in the image classifying device 100. Since some of the prescribed programs are different from each other, the main role information calculation unit 206 in the image classification device 100 is transformed into a second modified main role information calculation unit, and the diversity calculation processing in the image classification device 100 is the first. It is transformed into 2 deformation diversity calculation processing.
  • the second deformation diversity calculation process includes a scene division process that is an operation of dividing an image belonging to an image group for each shot scene.
  • FIG. 15 is a flowchart of the second deformation diversity calculation process performed by the second deformation main role information calculation unit.
  • the initial value of diversity is set to 0 for each label in the image group (step S1500), and images belonging to the image group are captured.
  • a scene division process for dividing each scene is performed (step S1510).
  • FIG. 16 is a flowchart of the scene division process performed by the second modified main role information calculation unit.
  • This scene division process is a process of dividing each image into scenes based on the maximum color feature amount based on the assumption that images taken in the same scene have the same maximum color feature amount. is there.
  • the second modified leading role information calculation unit selects the first image in order of shooting time (step S1600), generates the first scene, and generates the selected first image.
  • the scene is divided into first scenes (step S1610), and it is checked whether or not there is a next image in order of photographing time (step S1620).
  • step S1620 when the next image exists (step S1620: Yes), the second modified leading role information calculation unit refers to the image feature information stored in the image feature information storage unit 232, and The maximum color in the color feature amount of the currently selected image is temporarily stored (step S1630).
  • the second modified leading role information calculation unit newly selects the next image in the shooting time order, refers to the image feature information stored in the image feature information storage unit 232, and It is examined whether or not the maximum color in the color feature amount of the newly selected image matches the maximum color in the color feature amount of the previously selected image that is temporarily stored (step S1650).
  • step S1650 when the maximum color in the color feature amount matches (step S1650: Yes), the second deformed protagonist information calculation unit determines that the currently selected image is the same scene as the previously selected image. (Step S1660).
  • step S1650 when the maximum color in the color feature amount does not match (step S1650: No), the second modified leading role information calculation unit generates a new scene and generates an image being selected. The scene is divided into new scenes (step S1670).
  • step S1620 when the next image does not exist (step S1620: No), the second modified leading role information calculation unit ends the scene division process.
  • the second modified leading role information calculation unit selects one label in the image group (step S1520).
  • step S1520 When the process of step S1520 is completed, the second modified leading role information calculation unit selects one scene (step S1530), and the person with the selected label appears in the image divided into the selected scenes. It is checked whether or not (step S1540).
  • step S1540 when the person of the selected label is captured (step S1540: Yes), the second modified leading role information calculation unit adds the inverse of the number of scenes to the diversity to create a new diversity. (Step S1550).
  • step S1640 When the process of step S1640 is performed, or when the person of the selected label is not shown in the process of step S1540 (step S1540: No), the second modified main character information calculation unit has not yet selected the scene. Is checked (step S1560).
  • step S1560 when an unselected scene exists (step S1560: No), the second modified leading role information calculation unit 2 selects one of the unselected scenes (step S1570), Returning to the process of step S1530 again, the processes after step S1530 are continued.
  • step S1560 when there is no unselected scene (step S1560: Yes), the second modified leading role information calculation unit checks whether there is an unselected label (step S1580). .
  • step S1580 when there is an unselected label (step S1580: No), the second modified leading role information calculation unit selects one of the unselected labels (step S1590), and again Returning to the process of step S1520, the processes after step S1520 are continued.
  • step S1580 when an unselected label does not exist (step S1580: Yes), the second modified protagonist information calculation unit ends the second modified diversity calculation process.
  • images 1201 to 1205 are images divided into first scenes
  • images 1206 to 1208 are images divided into second scenes
  • images 1209 and 1210 are Suppose that the image is divided into third scenes.
  • the image classification apparatus according to the first embodiment, the second embodiment, and the third embodiment has been described as an embodiment of the image classification apparatus according to the present invention. Needless to say, the present invention is not limited to the image classification apparatus as shown in the above-described embodiment.
  • the image stored in the image classification apparatus 100 is the data encoded by the JPEG method, but any image other than the JPEG method can be used as long as it can store a digital photograph as data. It may be encoded by an encoding method, for example, a PNG (Portable Network Graphics) method, a GIF (Graphics Interchange Format) method, or the like, or may be unencoded bitmap data.
  • a PNG Portable Network Graphics
  • GIF Graphics Interchange Format
  • a digital photograph is shown as an example of content. However, as long as it is an image that can be stored as digital data, it may be data of a picture read by a scanner, for example.
  • the interface 108, the communication device interface 109, the decoder 111, and the bus line 120 are integrated in the system LSI 110.
  • the interface 108, the communication device interface 109, the decoder 111, and the bus line 120 are not necessarily integrated into one LSI. However, it may be realized by a plurality of integrated circuits or the like.
  • the decoder 111 is a DSP. However, the decoder 111 is not necessarily a DSP as long as it has a function of decoding encoded data. It may be a CPU different from the CPU 101, or may be a dedicated circuit composed of an ASIC or the like.
  • the input device 170 has a function of accepting an operation command from a user wirelessly transmitted from the remote controller 197.
  • the input device 170 has a function of accepting an operation command from the user
  • a configuration including a keyboard and a mouse and a function of receiving an operation command from a user via the keyboard and the mouse is not necessarily configured to receive an operation command transmitted wirelessly from the remote controller 197.
  • a configuration including a button group and a function of receiving an operation command from the user via the button group may be used.
  • the image group data receiving unit 201 receives designation of two or more images, and designates the designated image group as an image group included in one image group.
  • the image group data receiving unit 201 receives the image data and the list of images belonging to the image group, and based on the received list, the image and the image group are combined.
  • the image group data receiving unit 201 may include image data, information on the shooting time when the image data was shot, and information on the correspondence between the shooting time information and the image group.
  • the image may be associated with the image group based on the received shooting time information.
  • the image group data receiving unit 201 sequentially assigns an image ID to the read image. However, if the image group data accepting unit 201 can assign the image ID while avoiding duplication, the image ID is not necessarily sequential. You do not need to give.
  • the image feature amount extraction unit 205 tries to recognize a human face and assigns a face ID to each recognized recognition face, but the target to be recognized is specified as the target object.
  • the face model is, for example, the brightness of the parts forming the face such as the eyes, nose, mouth, and information on the relative positional relationship.
  • the information may indicate facial features such as eye color, mole position, skin color, etc., or may be a combination of multiple facial features. It does not matter.
  • the color specified by the image feature quantity extraction unit 205 is black, blue, green, or white.
  • the color is not limited to these colors, and may be red, yellow, or the like. It doesn't matter.
  • the level of privateness is assumed to be one of the four levels of “very high”, “high”, “normal”, and “low”. As long as it is an index indicating the importance of a family person with respect to the degree, it is not necessarily limited to one of four stages, for example, one of ten stages It does not matter if it can be expressed seamlessly by numerical values.
  • the case of the private degree is determined according to the ratio of the family main role to the other person's main role. For example, when the absolute value of the other person's protagonist is 0, the private degree is classified according to the absolute value of the other person's protagonist, such as determining the private degree as “very high”. It does not matter if you do.
  • the case of the private degree may be performed by a method that uses a learning model such as a logistic regression analysis method or an SVM (Support Vector Machine) method.
  • the image group classification unit 208 classifies the image group into the classification destination event based on the private level and the important person, but classifies the image group based on the index reflecting the leading role. If it can be classified into the destination event, it is not always necessary to classify based on the private level and the important person. For example, the image group may be classified into the classification destination event based only on the leading role of a specific person. .
  • FIG. 17 illustrates the data structure of event feature information used by the image group classification unit 208 in an example in which the image group classification unit 208 classifies image groups into classification events based only on the value of the main role of the image device user. It is shown.
  • this event feature information associates a main role 1701 that is a user's main role with a classification destination event 1702. For example, an image group having a main role less than 1 is classified. This indicates that the event should be classified as “landscape” as a previous event.
  • image group classification may be performed by a method using a learning model such as a logistic regression analysis method or an SVM method, or may be performed by a clustering method such as a K-means method.
  • the reference value is calculated by calculating a value obtained by dividing the number of images included in the image group by 2 and dividing the number by the number of appearances plus 1. Is calculated by rounding off to the first decimal place, but it is obtained by dividing the number of images included in the image group by 2 by the number of appearances plus 1. If it is based on the value obtained, it is not necessarily calculated by rounding off to the first decimal place. For example, it may be calculated as a reference value without rounding off, You may calculate by rounding down.
  • the family main role is the maximum main role among the main roles corresponding to the labels of the family names (son, mother, father). Is not necessarily the maximum main character among the main characters corresponding to the label of the family name. For example, the sum of the main characters of the family members may be used.
  • the other person's main role is the sum of the main roles corresponding to labels other than the family name label, but if it reflects the main role of a person other than the family, it is not necessarily a label other than the family name. It is not necessary to be the sum of the main roles corresponding to the labels of, for example, it may be the maximum main role among the main roles of persons other than the family, and other than the family whose face is reflected in multiple images It may be the sum of the main roles of a person, or it may be the largest main character in a person other than the family whose face is shown in multiple images. It may be the sum of the main roles of persons whose main roles are higher than those of family members.
  • the sub leading role is the sum of the face area, face position, face orientation, and diversity. As long as at least one of them is reflected, it is not always necessary to add all of them.
  • the face area and the diversity may be added. It may be obtained by weighted addition of orientation and diversity, or a value obtained by adding face area, face position, face orientation and diversity of the recognized face included in the image. The value obtained by adding the face area, face position, face orientation, and diversity is divided by the number of recognized faces other than the family included in the image. It does not matter.
  • the image feature quantity extraction unit 205 sequentially assigns a face ID for specifying the recognized face to each recognized face, but it can be given avoiding duplication.
  • the color feature amount indicates the feature of the entire image. However, if the color feature amount indicates the color feature of the image, for example, the upper half of the image It may be for a portion, or it may be for a plurality of portions, such as the left 10% portion of the image and the right 10% portion of the image.
  • whether or not the person shown in the image is a family is determined by comparing with the person shown in the sample image. If possible, it is not always necessary to make a determination by comparing with a person shown in the sample image. For example, a person appearing in a plurality of image groups may be determined as a family.
  • Embodiment 1 when the image group classification unit 208 determines a classification destination event to be classified, the image group classification unit 208 associates it with an image group under the event directory corresponding to the classification destination event to be classified. Create an event directory with the same name as the event name, and link the data of all the images belonging to the image group under the event directory. Are associated with the same classification destination event, it is not always necessary to classify the image group by establishing a link. For example, a tag for specifying the classification destination event is added to an image belonging to the image group. It doesn't matter. (19) In the first embodiment, the diversity calculated by the main role information calculation unit 206 is calculated by performing the above-described diversity calculation processing.
  • the above-described diversity calculation is obtained by multiplying the diversity calculated by performing the process by the number obtained by dividing the number obtained by adding 1 to the number of appearances by the number of appearances.
  • it is not necessarily limited to the diversity itself calculated by performing the diversity calculation process described above.
  • a control program including program codes for causing the CPU of the image classification apparatus and various circuits connected to the CPU to perform the image group classification operation and the like described in the first to third embodiments is recorded on a recording medium. It can also be recorded or distributed through various communication channels.
  • Such recording media include IC cards, hard disks, optical disks, flexible disks, ROMs, and the like.
  • the distributed and distributed control program is used by being stored in a memory or the like that can be read by the CPU, and the CPU executes the control program to realize various functions as shown in each embodiment. Will come to be.
  • a part of the control program is transmitted to a program executable device (CPU) separate from the image classification device via various communication paths and the like, and the part of the control program is executed in the separate program executable device. May be executed.
  • An image classification device specifies an image in which an object having a predetermined feature is captured from an image group composed of a plurality of images sequentially photographed in association with one event. Based on the distribution of time information reflecting the shooting time of each image specified by the image specifying unit in a set of time information reflecting the shooting time of each image included in the image group An evaluation value calculation unit for calculating an evaluation value of the object having the predetermined feature; and an image group classification unit for classifying the event related to the image group based on the evaluation value calculated by the evaluation value calculation unit; It is characterized by providing.
  • an object having a predetermined characteristic is, for example, a specific individual face, a specific pet face, a specific vehicle model, a specific building, or the like.
  • the image classification device having the above-described configuration classifies images in units of image groups including a plurality of images taken in association with one event.
  • FIG. 18 is a functional block diagram showing a functional configuration of the image classification device in the modified example.
  • the image classification apparatus includes an image specifying unit 1801, an evaluation value calculation unit 1802, and an image group classification unit 1803.
  • the image specifying unit 1801 has a function of specifying an image in which an object having a predetermined feature is captured from an image group composed of a plurality of images sequentially photographed in association with one event.
  • the evaluation value calculation unit 1802 is based on the distribution of time information that reflects the shooting time of each image specified by the image specifying unit 1801 in the set of time information that reflects the shooting time of each image included in the image group. It has a function of calculating an evaluation value of an object having a predetermined characteristic.
  • a part of main role information writing / reading unit 204 and main role information calculating unit 206 portion realizing function 3, function 4, and function 5), event name information receiving unit 211, and the like in the first embodiment.
  • the main role information storage unit 233 is realized.
  • the image group classification unit 1803 has a function of classifying events related to an image group based on the evaluation value calculated by the evaluation value calculation unit 1802.
  • the image group classification unit 208, the event feature information write / read unit 209, the classification result output unit 210, the event feature information reception unit 212, and the event feature information storage unit 234 according to the first embodiment are realized.
  • the image classifying device receives the predetermined information from information received by the information receiving unit and information receiving unit that receives information on the predetermined feature from a user who uses the image classification device.
  • a storage unit configured to generate and store the image, wherein the image specifying unit specifies the image using a predetermined feature stored in the storage unit, and the time information is included in the image group
  • the evaluation value calculation unit calculates the evaluation value in the set of shooting times of images included in the image group. It may be performed based on the distribution of the order of the photographing times of the images specified by.
  • a user who uses the image classification device can input information for generating predetermined information, and thus the predetermined information reflects the user's preference. To be able to do things.
  • the image classification device divides the number obtained by adding 2 to the number of images included in the image group by the number obtained by adding 1 to the number of images specified by the image specifying unit.
  • a reference value calculation unit that calculates a reference value to be obtained, and a continuous image set that is a set of two images that are consecutive in order of shooting time among images specified by the image specifying unit.
  • a difference value calculation unit that calculates a difference value that is a difference in order of shooting times in images included in the image group, and the evaluation value calculation unit calculates each continuous image set by the reference value calculation unit The difference value calculated by the difference value calculation unit is compared with the reference value calculated by the reference value calculation unit. Big Based on the number of consecutive image pairs have, it may perform the calculation of the evaluation value.
  • the evaluation value can be calculated using a combination of the four arithmetic operations and the magnitude comparison operation. Therefore, the evaluation value calculation performed by the evaluation value calculation unit can be performed using a combination of known methods. become able to.
  • the image classification device may include, for each of the continuous image sets that are sets of two images that are consecutive in order of shooting time in the image specified by the image specifying unit, A difference square value calculation unit that calculates a difference square value obtained by squaring a difference in order of shooting times in images included in an image group, wherein the evaluation value calculation unit is calculated by the image specifying unit; The evaluation value may be calculated based on the sum of the squared difference values and the number of images included in the image group.
  • the image classification device subdivides an image group constituting an image group into a plurality of sub image groups in order of shooting time so that images taken in the same scene are in the same sub image group.
  • a group classification unit may be provided, and the evaluation value calculation unit may calculate the evaluation value based on the number of sub-image groups to which an image including the object specified by the image specifying unit belongs.
  • the evaluation value can be calculated based on the number of scenes including an image of an object having a predetermined feature. Therefore, the evaluation value is calculated by the evaluation value calculation unit.
  • the evaluation value calculation unit can be realized by a combination of known methods.
  • the time information is a shooting time
  • the evaluation value calculation unit calculates the evaluation value in a set of shooting times of the images included in the image group. It may be performed based on the distribution of the photographing times of each image specified by the image specifying unit.
  • the image classification device includes a comparison image specifying unit that specifies an image in which an object having a feature different from the predetermined feature is included in the image group; Based on the distribution of time information reflecting the shooting time of each image specified by the comparison image specifying unit in a set of time information reflecting the shooting time of each image included in the image group, the predetermined A comparison evaluation value calculation unit that calculates a comparison evaluation value of an object having a feature different from the feature, and the image group classification unit further calculates the classification of the event and the comparison evaluation value calculation unit. It may be performed based on the calculated value for comparison.
  • the image classification device further includes an area calculation unit that calculates an area of the object having the predetermined feature for each of the images specified by the image specifying unit, and the evaluation value calculation unit includes the evaluation value The value may be calculated based on the area of the object having the predetermined characteristic calculated by the area calculation unit.
  • the evaluation value can be calculated according to the area of the object having the predetermined feature, such that the evaluation value is increased as the area of the object having the predetermined feature is larger. become able to.
  • the image classification apparatus further includes a position calculating unit that calculates a difference between the center of the image and the position of the object having the predetermined feature for each of the images specified by the image specifying unit.
  • the calculation unit may further calculate the evaluation value based on the difference calculated by the position calculation unit.
  • the evaluation value is increased according to the position of the object having the predetermined feature such that the evaluation value is increased as the position of the object having the predetermined feature is closer to the center of the image. It will be possible to calculate.
  • the object having the predetermined feature is a human face having the predetermined feature
  • the predetermined feature is obtained for each of the images specified by the image specifying unit.
  • a face angle calculation unit that calculates an angle of a person's face based on a front direction reference, wherein the evaluation value calculation unit further calculates the evaluation value, and the predetermined feature calculated by the face angle calculation unit It may be performed based on the angle of the face of the person who has
  • the evaluation value is increased as the direction of the face of a person having a predetermined characteristic is facing the front, so that the evaluation value is increased according to the direction of the face of the person having the predetermined characteristic.
  • the evaluation value can be calculated.
  • the image classification device can be widely applied to devices having a function of storing a plurality of digital images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

　１枚の画像からその画像の特徴を抽出し、抽出された特徴を用いてその画像を分類する従来の画像分類装置では、その画像が、その画像を含む画像グループに属する他の画像と異なる特徴を有している場合に、その画像の分類先が、その画像グループに属する他の画像の分類先と異なるカテゴリとなってしまうことがある。　この問題を解決するために、本願発明に係る画像分類装置は、一つのイベントに関連して撮影された複数枚の画像からなる画像グループ単位でその画像グループに写る人物の重要度を示す指標である主役度を算出し、算出した主役度に基づいて、画像グループ単位で画像を互いに異なる分類先イベントのうちのいずれかの分類先イベントに分類する。

Description

画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
　本発明は、画像を分類する画像分類装置に関する。
　デジタルスチルカメラやカメラ機能付き携帯電話機等のデジタル画像撮影機器が普及し、撮影された画像を記録するためのハードディスク等の記録媒体が安価に提供されている。
　一般に、デジタル画像撮影機器等のユーザ（以下、単にユーザという。）は、撮影した各画像を、大容量のハードディスク等の記録媒体に蓄積している。
　蓄積している画像が大量になると、蓄積している画像の中から目的の画像を探すのが難しくなるため、ユーザによる画像の検索を容易にする目的で、各画像をいくつかのカテゴリに分類することがある。
　画像を分類する技術として、例えば、特許文献１、特許文献２に記載されているように、蓄積されているそれぞれの画像からその画像の特徴を抽出し、抽出された特徴を用いてそれぞれの画像をそれぞれの分類先に分類する技術が知られている。
特許第４２３２７７４号公報 特許第４３１５３４４号公報
　一方、ユーザが画像を撮影する機会は、例えば、ピクニックや川釣りといった行事である場合が多く、また、ユーザが画像を鑑賞する場合には、ある行事で撮影された画像群を単位として画像を鑑賞する場合が多い。
　従って、ある行事において撮影された画像の集合からなる画像グループに属する画像は、同一のカテゴリに分類されることが望まれる。
　しかしながら、１枚の画像からその画像の特徴を抽出し、抽出された特徴を用いてその画像を分類する技術では、その画像が、その画像を含む画像グループに属する他の画像と異なる特徴を有している場合に、その画像の分類先が、その画像グループに属する他の画像の分類先と異なるカテゴリとなってしまうことがある。
　例えば、分類先のカテゴリに、ピクニックというカテゴリと川釣りというカテゴリとがある場合において、ピクニックにいった時に撮影された画像からなる画像グループの中に川のほとりで遊んでいるシーンが撮影された画像があるときに、その川のほとりで遊んでいるシーンの画像だけが川釣りというカテゴリに分類され、その他の画像がピクニックというカテゴリに分類されてしまうこと等である。
　そこで、本発明は係る問題に鑑みてなされたものであり、ある行事において撮影された画像グループに属する画像が、互いに異なるカテゴリに分類されてしまうことがないように、ある程度妥当性のある基準に基づいて画像を分類することができる画像分類装置を提供することを目的とする。
　上記課題を解決するために本発明に係る画像分類装置は、一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部と、前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定部と、前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類部とを備えることを特徴とする。
　上述の構成を備える本発明に係る画像分類装置は、ある行事において撮影された画像グループに属する画像が、互いに異なるカテゴリに分類されてしまうことがないように画像を分類することができる。
画像分類装置１００のハードウエア構成を示すハードウエアブロック図 画像分類装置１００の機能構成を示す機能ブロック図 画像記憶部２３１のディレクトリ構造を示すディレクトリ構造図 画像特徴情報記憶部２３２に記憶されている画像特徴情報のデータ構造図 顔対応表記憶部２３５に記憶されている顔対応表のデータ構造図 主役度情報記憶部２３３に記憶されている主役度情報のデータ構造図 イベント特徴情報記憶部２３４に記憶されているイベント特徴情報のデータ構成図 画像グループ分類処理のフローチャート 顔対応表生成処理のフローチャート 多様性算出処理のフローチャート 主役度情報生成処理のフローチャート 家族のメンバーが参加するイベントで撮影された画像群の一例 家族のメンバーが参加するイベントで撮影された画像群の一例 第１変形多様性算出処理のフローチャート 第２変形多様性算出処理のフローチャート シーン分割処理のフローチャート 補足の変形例におけるイベント特徴情報のデータ構成図 変形例における画像分類装置の機能構成を示す機能ブロック図
＜実施の形態１＞
　以下、本発明に係る画像分類装置の一実施形態として、一つのイベントに関連して撮影された複数枚の画像からなる画像グループ単位でその画像グループに写る人物の重要度を示す指標である主役度を算出し、算出した主役度に基づいて、画像グループ単位で画像を互いに異なる分類先イベントのうちのいずれかの分類先イベントに分類する画像分類装置について説明する。
　ここで画像グループとは、ユーザによって指定された複数の画像からなる画像の集合のことであって、例えば、２００９年初夏の六甲山への旅行というイベントにて撮影された画像の集合や、例えば、２０１０年の子供の誕生日に行われた誕生会というイベントにて撮影された画像の集合等である。
　＜構成＞
　　＜画像分類装置１００のハードウエア構成＞
　図１は、画像分類装置１００の主要なハードウエア構成を示すハードウエアブロック図である。
　画像分類装置１００は、システムＬＳＩ（Large Scale Integrated circuit）１１０と、ハードディスク装置１３０と、外部記録媒体読取書込装置１４０と、ＵＳＢ制御装置１５０と、出力装置１６０と、入力装置１７０と、通信装置１８０とから構成され、デジタル写真である画像を、ＪＰＥＧ（Joint Photographic Experts Group）方式で符号化されたデータとして記憶し、記憶する画像を分類する機能を有する。
　また、画像分類装置１００は、デジタルスチルカメラ１９２に代表される、画像を記録している機器と着脱可能なＵＳＢケーブル１９５を介して接続し、画像を表示するためのディスプレイ１９３とモニタケーブル１９６を介して接続し、ネットワーク１９４と接続し、ユーザからの操作コマンドを受け付けるリモコン１９７と無線通信を行い、ＳＤメモリカード１９１等で代表される外部記録媒体に対して、データの読み出しと書き込みとを行う機能を有する。
　システムＬＳＩ１１０は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ハードディスク装置インターフェース１０４と、外部記録媒体読取書込装置インターフェース１０５と、ＵＳＢ（Universal Serial Bus）制御装置インターフェース１０６と、出力装置インターフェース１０７と、入力装置インターフェース１０８と、通信装置インターフェース１０９と、デコーダ１１１と、バスライン１２０とを１つの集積回路に集積したＬＳＩであって、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０と接続する。
　ＣＰＵ１０１は、バスライン１２０と接続し、ＲＯＭ１０２又はＲＡＭ１０３に記憶されているプログラムを実行することで、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０、デコーダ１１１を制御して、様々な機能、例えば、ハードディスク装置１３０から符号化された画像データを読み出して復号し、復号した画像データをディスプレイ１９３に出力する機能等を実現する。
　ＲＯＭ１０２はバスライン１２０と接続し、ＣＰＵ１０１の動作を規定するプログラムと、ＣＰＵが利用するデータとを記憶する。
　ＲＡＭ１０３は、バスライン１２０と接続し、ＣＰＵ１０１がプログラムを実行することに伴って発生するデータを一時的に記憶し、また、ハードディスク装置１３０、外部記録媒体読取書込装置１４０から読み取ったデータや書き込むデータ、通信装置１８０が受信したデータや送信するデータ等を一時的に記憶する。
　デコーダ１１１は、符号化された画像データを復号する機能を有するＤＳＰ（Digital Signal Processor）であって、バスライン１２０と接続し、ＣＰＵ１０１によって制御され、ＪＰＥＧデコード機能を有する。
　ハードディスク装置インターフェース１０４、外部記録媒体読取書込装置インターフェース１０５、ＵＳＢ制御装置インターフェース１０６、出力装置インターフェース１０７、入力装置インターフェース１０８、通信装置インターフェース１０９は、それぞれ、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０と、バスライン１２０との信号のやり取りを仲介するインターフェースである。
　ハードディスク装置１３０は、ハードディスク装置インターフェース１０４と接続し、ＣＰＵ１０１によって制御され、内蔵するハードディスクにデータを書き込む機能と、内蔵するハードディスクに書き込まれているデータを読み取る機能を有する。
　外部記録媒体読取書込装置１４０は、外部記録媒体読取書込装置インターフェース１０５と接続し、ＣＰＵ１０１によって制御され、外部記録媒体にデータを書き込む機能と、外部記録媒体に書き込まれているデータを読み取る機能とを有する。
　ここで、外部記録媒体とは、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－Ｒ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray Disc）、ＢＤ－Ｒ、ＢＤ－ＲＥ、ＳＤメモリカード１９１等であって、外部記録媒体読取書込装置１４０は、これら、ＤＶＤ、ＢＤ等からのデータの読み取りや、ＤＶＤ－Ｒ、ＢＤ－Ｒ、ＢＤ－ＲＥ、ＳＤメモリカード等へのデータの書き込みと読み取りとをすることができる。
　ＵＳＢ制御装置１５０は、ＵＳＢ制御装置インターフェース１０６と接続し、ＣＰＵ１０１によって制御され、着脱可能なＵＳＢケーブル１９５を介して外部機器にデータを書き込む機能と、外部機器に書き込まれているデータを読み取る機能とを有する。
　ここで、外部機器とは、デジタルスチルカメラ１９２、パーソナルコンピュータ、カメラ機能付け携帯電話機等の、画像を記憶する機器であって、ＵＳＢ制御装置１５０は、ＵＳＢケーブル１９５を介してこれら外部機器へのデータの書き込みと読み取りとをすることができる。
　出力装置１６０は、出力装置インターフェース１０７と、モニタケーブル１９６とに接続し、ＣＰＵ１０１によって制御され、モニタケーブル１９６を介してディスプレイ１９３に表示させるデータを出力する機能を有する。
　入力装置１７０は、入力装置インターフェース１０８と接続し、ＣＰＵ１０１によって制御され、リモコン１９７から無線で送信されるユーザからの操作コマンドを受け付け、受け付けた操作コマンドをＣＰＵ１０１に送信する機能を有する。
　通信装置１８０は、通信装置インターフェース１０９と、ネットワーク１９４とに接続し、ＣＰＵ１０１によって制御され、ネットワーク１９４を介して、外部通信機器とデータの送受信を行う機能を有する。
　ここで、ネットワーク１９４とは、光通信回線、電話回線、無線回線等によって実現されており、外部通信機器や、インターネット等と接続している。
　また、外部通信機器とは、外部ハードディスク装置等といった、画像や、ＣＰＵ１０１の動作を規定するプログラム等を記憶する機器であって、通信装置１８０は、ネットワーク１９４を介してこれら外部通信機器からデータの読み取りをすることができる。
　以上のようなハードウエアで実現される画像分類装置１００は、ＣＰＵ１０１が、ＲＯＭ１０２又はＲＡＭ１０３に記憶されているプログラムを実行し、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０、デコーダ１１１を制御することで様々な機能を実現する。
　以下、図面を用いて、画像分類装置１００の機能構成を説明する。
　　＜画像分類装置１００の機能構成＞
　図２は、画像分類装置１００の主要な機能ブロックの構成を示す機能ブロック図である。
　画像分類装置１００は、画像グループデータ受付部２０１、画像書込読出部２０２、画像特徴情報書込読出部２０３、主役度情報書込読出部２０４、画像特徴量抽出部２０５、主役度情報算出部２０６、画像グループ分類部２０８、イベント特徴情報書込読出部２０９、分類結果出力部２１０、イベント名情報受付部２１１、イベント特徴情報受付部２１２、サンプル画像受付部２１３、サンプル画像書込部２１４、画像記憶部２３１、画像特徴情報記憶部２３２、主役度情報記憶部２３３、イベント特徴情報記憶部２３４、顔対応表記憶部２３５とから構成される。
　画像グループデータ受付部２０１は、画像書込読出部２０２と接続し、２枚以上の画像からなる画像グループ２４１の画像の指定を受け付け、指定された画像群を、１つの画像グループに含まれる画像群として読み込む機能を有する。
　画像グループデータ受付部２０１が画像を受け付ける場合には、外部記録媒体読取書込装置１４０経由で外部記録媒体から画像を受け付ける場合と、ＵＳＢ制御装置１５０経由で外部機器から画像を受け付ける場合と、通信装置１８０経由で外部通信機器から画像を受け付ける場合とがある。
　また、画像グループデータ受付部２０１は、画像を受け付ける際に、その画像を特定するための画像ＩＤを付与する機能を有する。
　画像記憶部２３１は、画像としてのデジタル写真を、ＪＰＥＧ方式で符号化された画像データとして記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
　各画像データは、その画像が撮影された日時を含むメタデータと対応付けられており、画像記憶部２３１は、画像データとともに対応するメタデータを対応付けて記憶する。
　画像記憶部２３１に記憶される各データは、ファイルシステム配下において、論理的にディレクトリ構造により管理されている。
　図３は画像記憶部２３１のディレクトリ構造を示すディレクトリ構造図である。
　同図に示されているように、画像記憶部２３１のディレクトリ構造は、最上位階層３１０と、第１ディレクトリ階層３２０と、第２ディレクトリ階層３３０との合計３階層からなっている。
　第１ディレクトリ階層３２０には、誕生会ディレクトリ３２１、旅行ディレクトリ３２２、運動会ディレクトリ３２３等の複数の分類先イベントディレクトリと、実データ保管ディレクトリ３２４とが存在する。
　ここで、分類先ディレクトリとは、画像グループの分類先である分類先イベントと同じ名前を持つディレクトリであって、同じ名前のディレクトリは１つしか存在しない。
　実データ保管ディレクトリ３２４は、画像データとメタデータとを対応付けて保持するディレクトリであって、画像のデータとメタデータとはこの実データ保管ディレクトリ３２４のみに保持される。
　第２ディレクトリ階層３３０には、２０１０年４月１０日ディレクトリ３３１、２００９年４月１０日ディレクトリ３３２、六甲山２００９初夏ディレクトリ等の複数のイベントディレクトリが存在する。
　イベントディレクトリは、画像グループデータ受付部２０１が受け付けた画像群からなる画像グループに対応するディレクトリであって、実データ保管ディレクトリ３２４に保持されているデータのうち、その画像グループに属する全ての画像のデータのアドレスを示す情報が保持されることによって、その画像のデータがリンクされている状態となっているディレクトリである。
　各イベントディレクトリは、対応する画像グループが分類されている分類先イベントに対応する分類先イベントディレクトリの下に存在している。
　もし、複数の分類先イベントに分類されている画像グループが存在する場合には、分類されているイベントの数だけ、同一名称で同一の画像がリンクされているディレクトリが存在する。
　再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。
　画像書込読出部２０２は、画像グループデータ受付部２０１と、画像特徴量抽出部２０５と、主役度情報算出部２０６と、画像グループ分類部２０８とに接続し、画像記憶部２３１に記憶されている画像とメタデータとを読み出す機能と、画像記憶部２３１に画像とメタデータとを書き込む機能と、画像記憶部２３１のディレクトリ構造を変更する機能と、画像データのリンクを変更する機能とを有する。
　画像特徴量抽出部２０５は、画像書込読出部２０２と画像特徴情報書込読出部２０３と接続し、以下の３つの機能を有する。
　機能１：人の顔の特徴を示す予め定められた顔のモデルを保持し、保持する顔のモデルを参照することで、１枚の画像に含まれる顔の認識を試み、認識した顔の領域の面積と、認識した顔の位置と、認識した顔の向きとを算出し、認識した認識顔それぞれに、その認識顔を特定するための顔ＩＤを、シーケンシャルに付与する機能。
　ここで、顔のモデルとは、例えば、目、鼻、口等の顔を形成するパーツの輝度や、相対的な位置関係に関する情報等である。
　機能２：画像に含まれる各画素について、その画素を構成する色成分、例えば、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの各輝度から、その画素の色が、例えば、黒、青、緑、白等のうちのいずれの色であるかを特定する機能と、特定された色のそれぞれに対して、その色に特定された画素数に対する画像に含まれる全画素数の比率とを、色特徴量として算出する機能。
　ここで、ある画素が、例えば、黒であると特定する方法としては、例えば、その画素のＲｅｄの輝度と、Ｇｒｅｅｎの輝度と、Ｂｌｕｅの輝度とが、全て１０％未満である場合に、その画素を黒であると特定するといった方法がある。
　機能３：認識した顔の領域の面積、認識した顔の領域の位置、認識した顔の位置、認識した顔の向き、抽出した色特徴量等から、画像特徴情報（後述）を生成する機能。
　画像特徴情報記憶部２３２は、画像特徴情報を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
　図４は、画像特徴情報記憶部２３２に記憶されている画像特徴情報のデータ構造を示す図である。
　同図に示されているように、画像特徴情報は、対応する画像を特定するための画像ＩＤ４０１と、対応する画像に含まれる、画像特徴量抽出部２０５によって認識された顔（以下、認識顔という。）の特徴を示す顔特徴量４０２と、対応する画像の色の特徴を示す色特徴量４０３と、対応する画像が撮影された時刻を示す撮影時刻４０４とから構成される。
　顔特徴量４０２は、さらに、認識顔を特定するための顔ＩＤ４１１と、画像の面積と認識顔の面積との比率を示す顔面積４１２と、画像の中心に対する認識顔の位置のずれの度合いを示す顔位置４１３と、認識顔の向きを示す顔向き４１４と、認識顔の領域の座標を示す座標４１５とから構成されている。
　顔面積４１２は、画像の面積に対する認識顔の面積の比率であって、認識顔が画面全体に写っている場合に１となるように正規化されている。
　顔位置４１３は、認識顔の位置を示す値であって、認識顔の位置が画像の中心のときに１となり、認識顔の位置が、画像の端のときに０となるように正規化されている。
　例えば、顔の中心と画像の中心を線分で結び、その線分の長さをＸとし、その線分を画像の中心から顔の中心に向かって画像の端まで伸ばしたときの長さをＹとして、ＹからＸを減算することで得られる値をＹで除算することで、顔位置を求めることができる。
　顔向き４１４は、画像の正面方向に対する認識顔の向いている角度を示す値であって、認識顔の向いている角度が画像平面に対して垂直のときに１となり、認識顔の向いている角度が画像平面に対して水平のときに０となるように正規化されている。
　例えば、画像の正面方向に対する認識顔の向いている角度をＸ度とし、１８０からＸを減算することで得られる値を１８０で除算することで、顔向きを求めることができる。
　座標４１５は、認識顔の領域を取り囲む長方形のうち、最小面積の長方形の左上の頂点の座標と右下の頂点の座標との組からなる。
　色特徴量４０３は、画像特徴量抽出部２０５によって算出された各色の画素数比率からなり、その画像に含まれる色の特徴を示すものである。
　例えば、画像ＩＤ４０１が００００１である画像に対応する画像特徴情報の色特徴量４０３は、赤４２１が１０％、青４２２が２０％、緑４２３が６０％、白４２４が１０％の画像であることを示している。
　再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。
　画像特徴情報書込読出部２０３は、画像特徴量抽出部２０５と、主役度情報算出部２０６とに接続し、画像特徴情報記憶部２３２に対して、画像特徴情報の読み出し、書き込みを行う機能を有する。
　イベント名情報受付部２１１は、主役度情報算出部２０６と接続し、画像分類装置１００を利用するユーザによって入力される、画像グループの名称であるイベント名を受け付ける機能を有する。
　サンプル画像受付部２１３は、サンプル画像書込部２１４と接続し、特定の人物の顔が写っている画像とその人物を特定する名称とを受け付ける機能を有する。
　サンプル画像受付部２１３が画像を受け付ける場合には、外部記録媒体読取書込装置１４０経由で外部記録媒体から画像を受け付ける場合と、ＵＳＢ制御装置１５０経由で外部機器から画像を受け付ける場合と、通信装置１８０経由で外部通信機器から画像を受け付ける場合とがある。
　サンプル画像記憶部２３６は、画像としてのデジタル写真を、ＪＰＥＧ方式で符号化された画像データとして記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
　各画像データは、その画像に写る人物を特定する名称と対応付けられている。
　サンプル画像書込部２１４は、サンプル画像受付部２１３と接続し、サンプル画像受付部２１３によって受け付けられた画像と人物を特定する名称とを、サンプル画像記憶部２３６に書き込む機能を有する。
　主役度情報算出部２０６は、画像書込読出部２０２と、画像特徴情報書込読出部２０３と、主役度情報書込読出部２０４と、イベント名情報受付部２１１とに接続し、以下の５つの機能を有する。
　機能１：画像グループに属する画像に写る認識顔に対して、顔の特徴を抽出し、抽出された顔の特徴に基づいて、同一人物であると判断される認識顔が同一の集合になるように、認識顔を区分し、区分された各認識顔群の集合に、その集合を特定するためのラベルを付与する機能。
　ここで、顔の特徴とは、例えば、目、鼻、口等の顔を形成するパーツの相対的な位置関係や、これらパーツの面積比率等のことである。
　機能２：ラベルと、そのラベルによって特定される集合に属する認識顔との対応関係を示す顔対応表（後述）を生成して顔対応表記憶部２３５に書き込む機能。
　機能３：ラベルを付与された人物毎に、その主役度（後述）を算定する機能。
　機能４：画像グループに対して、その画像グループの画像に写るラベルを付与された人物の主役度に基づいて、プライベート度（後述）を算定する機能。
　機能５：算定された主役度、算定されたプライベート度、イベント名情報受付部２１１によって受け付けられたイベント名等から主役度情報（後述）を生成する機能。
　顔対応表記憶部２３５は、顔対応表を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
　図５は、顔対応表記憶部２３５に記憶されている顔対応表のデータ構造を示す図である。
　同図に示されるように、顔対応表は、同一人物であるとして区分された認識顔の集団を特定するためのラベル５０１と、同一人物であるとして区分された認識顔の集団に属する認識顔のＩＤを示す顔ＩＤ５０２～顔ＩＤ５０４等とが対応付けられているものである。
　例えば、ラベル５０１が息子であるとして区分されている認識顔の集団は、顔ＩＤ０００１、顔ＩＤ０００３、顔ＩＤ０１０１等によって示される認識顔が属するものであることを示している。
　再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。
　主役度情報記憶部２３３は、主役度情報を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
　図６は、主役度情報記憶部２３３に記憶されている主役度情報のデータ構造を示す図である。
　同図に示されるように、主役度情報は、画像グループを特定するための画像グループＩＤ６０１と、その画像グループに含まれる区分された認識顔の集団を特定するためのラベル６０２と、ラベル６０２に対応する多様性６０３と、ラベル６０２に対応する主役度６０４と、画像グループに対応するイベント名６０５と、画像グループに対応するプライベート度６０６とから構成される。
　多様性６０３は、対応する画像グループＩＤ６０１によって特定される画像グループに含まれる画像それぞれの撮影時間の順番からなる集合における、対応するラベル６０２を付与された人物の写っている画像それぞれの撮影時刻の順番の分散度合いを示す情報であって、０～１の値を取り、分散度合いが大きいほど、値が大きくなる。
　多様性６０３の算出方法については、後程＜多様性算出処理＞で詳細に説明する。
　主役度６０４は、対応する画像グループＩＤ６０１によって特定される画像グループにおいて、対応するラベル６０２を付与された人物の重要度を示す情報であって、０以上の値を取り、その人物の重要度が高いほど、値が大きくなる
　主役度６０４の算出方法については、後程＜主役度情報生成処理＞で詳細に説明する。
　プライベート度６０６は、対応する画像グループＩＤ６０１によって特定される画像グループにおいて、家族以外の人物の重要度に対する家族の人物の重要度を示す指標であって、“極めて高い”、“高い”、“普通”、“低い”のうちのいずれか１つの値となる。
　プライベート度６０６の算出方法については、後程＜プライベート度処理＞で詳細に説明する。
　再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。
　主役度情報書込読出部２０４は、主役度情報算出部２０６と画像グループ分類部２０８と接続し、主役度情報記憶部２３３に記憶されている主役度情報を読み出す機能と、主役度情報記憶部２３３に主役度情報を書き込む機能とを有する。
　イベント特徴情報記憶部２３４は、イベント特徴情報を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
　図７は、イベント特徴情報記憶部２３４に記憶されているイベント特徴情報のデータ構成を示す図である。
　同図に示されるように、イベント特徴情報は、“誕生会”、“運動会”、“遠足”、“結婚式”、“旅行”といった分類先イベントのそれぞれを、（１）プライベート度７０１として取り得る４つの値である、極めて高い７１１と高い７１２と普通７１３と低い７１４とのうちのいずれか１つと、（２）重要人物を構成する４つの値である、息子７２１と母７２２と父７２３と家族全員８２４とのうちのいずれか１つとに対応付けているものである。
　ここで、重要人物とは、画像グループにおいて、主役度の値が例えば３以上である人物のことであり、重要人物が家族全員とは、息子の主役度の値と母の主役度の値と父の主役度の値との全ての値が例えば３以上であることを示している。
　例えば、分類先イベント“誕生会”は、プライベート度７０１が極めて高い７１１と重要人物７０２が息子７２１とに対応付けられており、プライベート度が極めて高く、重要人物が息子である分類先イベントであることがわかり、分類先イベント“旅行”は、プライベート度７０１が極めて高い７１１と重要人物７０２が家族全員７２４とに対応付けられており、プライベート度が極めて高く、重要人物が家族全員である分類先イベントであることがわかる。
　再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。
　イベント特徴情報書込読出部２０９は、画像グループ分類部２０８とイベント特徴情報受付部２１２とに接続し、イベント特徴情報記憶部２３４に記憶されているイベント情報を読み出す機能と、イベント特徴情報記憶部２３４にイベント特徴情報を書き込む機能とを有する。
　イベント特徴情報受付部２１２は、イベント特徴情報書込読出部２０９と接続し、画像分類装置１００を利用するユーザによって入力される、イベント特徴情報を受け付ける機能を有する。
　画像グループ分類部２０８は、画像書込読出部２０２と、主役度情報書込読出部２０４と、イベント特徴情報書込読出部２０９と、分類結果出力部２１０とに接続し、主役度情報書込読出部２０４を介して、主役度情報記憶部２３３から主役度情報を読み出し、読み出した主役度情報と、イベント特徴情報記憶部２３４に記憶されているイベント特徴情報とに基づいて、読み出した主役度情報に対応する画像グループを、分類先イベントに分類する機能を有する。
　分類結果出力部２１０は、画像グループ分類部２０８と接続し、画像グループ分類部が画像グループを分類した場合に、分類結果をディスプレイ１９３に表示させる機能を有する。
　以上のように構成される画像分類装置１００の行う動作について、以下、図面を用いて説明する。
　＜動作＞
　画像分類装置１００の行う特徴的な動作に、画像グループに属する画像を入力され、入力された画像グループをイベントに分類する画像グループ分類処理がある。
　また、画像グループ分類処理はさらに、顔対応表を生成する顔対応表生成処理と、多様性を算出する多様性算出処理と、主役度情報を生成する主役度情報生成処理とを含んでいる。
　以下、それぞれの処理について、図面を用いて説明する。
　　＜画像グループ分類処理＞
　図８は、画像分類装置１００の行う画像グループ分類処理のフローチャートである。
　リモコン１９７が、ユーザから画像グループ分類処理を開始する旨の操作を受け付けることで、画像分類装置１００は画像グループ分類処理の処理を開始する。
　画像グループ分類処理が開始されると、画像グループデータ受付部２０１は、１つの画像グループの画像の読み込みを開始し、イベント名情報受付部２１１は、その画像グループに属する画像が撮影されたイベントのイベント名の受け付けを開始する（ステップＳ８００）。
　画像グループデータ受付部２０１は、外部記録媒体読取書込装置１４０に装着された外部記録媒体から、又は、ＵＳＢ制御装置１５０に接続されたＵＳＢケーブル１９５を介して外部機器から、もしくは、ネットワーク１９４に接続された通信装置１８０から、画像を読み込むことができる。
　ここでは、例えば、外部記憶媒体としてのＳＤメモリカード１９１に記録されている画像グループの画像を、外部記録媒体読取書込装置１４０から読み込むものとする。
　画像グループデータ受付部２０１は、ＳＤメモリカード１９１に記録されている画像とその画像が撮影された日時を含むメタデータとの組を１組ずつ読み込んで、読み込んだ画像に対して、シーケンシャルに画像ＩＤを付与し、画像データとメタデータと画像ＩＤとを対応付けて、画像書込読出部２０２を用いて、画像記憶部２３１の実データ保管ディレクトリ３２４に書き込む。
　イベント名情報受付部２１１は、ユーザからのリモコン１９７の操作によって、画像グループに属する画像が撮影されたイベントのイベント名を受け付ける。
　画像グループに属する画像が全て画像記憶部２３１に書き込まれると、画像特徴量抽出部２０５は、画像書込読出部２０２を用いて、画像記憶部２３１から、画像グループデータ受付部２０１によって受け付けられた画像グループに属する画像を１枚ずつ読み出していく（ステップＳ８１０）。
　画像特徴量抽出部２０５は、画像特徴算出制御部２２１によって読み出された１枚の画像について、保持する顔のモデルを参照することで、１枚の画像に含まれる顔の認識を試み、認識顔のそれぞれについて、顔特徴量を算出し、認識顔を特定するための顔ＩＤを、各認識顔にシーケンシャルに付与する（ステップＳ８２０）。
　ステップＳ８２０の処理が終わると、画像特徴量抽出部２０５は、画像に含まれる各画素について、その画素の色成分の各輝度から、その画素の色を特定し、特定された色のそれぞれに対して、画像に含まれる全画素数に対するその特定された色の画素数の比率を色特徴量４０３として算出する（ステップＳ８３０）。
　ステップＳ８３０の処理が終わると、画像特徴量抽出部２０５は、算定した顔面積と顔位置と顔向きと座標と色特徴量と対象としている画像に対応付けられているメタデータに含まれる撮影時刻の情報とから、画像特徴情報を生成し、画像特徴情報書込読出部２０３を用いて画像特徴情報記憶部２３２に書き込む（ステップＳ８４０）。
　画像特徴量抽出部２０５は、画像グループデータ受付部２０１が受け付けた１つの画像グループの全ての画像に対して、画像特徴情報の生成を終了していない場合（ステップＳ８５０：Ｎｏ）には、まだ画像特徴情報の算出を終了していない画像に対して、再びステップＳ８１０以降の処理を行う。
　画像特徴量抽出部２０５は、画像グループデータ受付部２０１が受け付けた１つの画像グループの全ての画像に対して、画像特徴情報の生成を終了している場合（ステップＳ８５０：Ｙｅｓ）には、主役度情報算出部２０６は、画像特徴情報記憶部２３２が記憶している、画像グループデータ受付部２０１が読み込んだ画像グループに属する画像に対応する全ての画像特徴情報を、画像特徴情報書込読出部２０３を用いて読み出す。
　主役度情報算出部２０６は、画像グループに属する画像に対応する全ての画像特徴情報を読み出すと、顔対応表を生成する顔対応表生成処理を行う（ステップＳ８６０）。
　以下、主役度情報算出部２０６が行う、顔対応表生成処理について、図面を用いて説明する。
　　＜顔対応表生成処理＞
　図９は、主役度情報算出部２０６が行う、顔対応表生成処理のフローチャートである。
　主役度情報算出部２０６は、顔対応表生成処理を開始すると、読み出した全ての画像特徴情報から、認識顔の顔ＩＤと、その顔ＩＤによって特定される顔の領域の座標と、その顔ＩＤを含む画像特徴情報に対応する画像ＩＤとを抽出する（ステップＳ９００）。
　主役度情報算出部２０６は、画像書込読出部２０２を用いて画像記憶部２３１から、顔ＩＤを含む画像特徴情報に含まれる画像ＩＤによって特定される画像を読み出して、抽出された顔ＩＤに対応する顔の領域の座標によって特定される顔の領域の全てに対して、顔の特徴を抽出する（ステップＳ９１０）。
　主役度情報算出部２０６は、抽出した顔の特徴のうち、同じ顔の特徴を持つ顔の集団を同一人物の顔であると判断し、同一人物であると判断される認識顔が同一の集合になるように、認識顔を区分し、区分された各認識顔群の集合に、その集合を特定するためのラベルを付与して、顔対応表を生成する（ステップ９２０）。
　ステップＳ９２０の処理が終わると、主役度情報算出部２０６は、画像グループ内の１つのラベルを選択し（ステップＳ９３０）、サンプル画像記憶部２３６に記憶されている画像（以下、サンプル画像と呼ぶ。）に写る人物の中に、そのラベルで特定される集合に区分された認識顔の特徴と一致する顔を有する人物がいるか否かを調べる（ステップＳ９４０）。
　ここでは、例えば、サンプル画像記憶部２３６には、家族の一員である息子が写る画像と、家族の一員である母親が写る画像と、家族の一員である父親が写る画像とがサンプル画像として記憶されており、サンプル画像に写る人物を特定する名称として、それぞれ、息子、母、父であるとする。
　ステップＳ９４０の処理において、一致する人物がいる場合に（ステップＳ９４０：Ｙｅｓ）、主役度情報算出部２０６は、選択しているラベルの名称を、サンプル画像記憶部２３６に記憶されている、一致するサンプル画像に写る人物を特定する名称に変更する（ステップＳ９５０）。
　ステップＳ９４０の処理において、一致する人物がいない場合（ステップＳ９４０：Ｎｏ）、又は、ステップＳ９５０の処理が終了した場合に、主役度情報算出部２０６は、未だ選択していないラベルがあるか否かを調べる（ステップＳ９６０）。
　ステップＳ９６０の処理において、未選択のラベルが存在する場合に（ステップＳ９６０：Ｎｏ）、主役度情報算出部２０６は、未選択ラベルのうちの１つのラベルを選択し（ステップＳ９７０）、再びステップＳ９４０の処理に戻って、ステップＳ９４０以降の処理を続ける。
　ステップＳ９６０の処理において、未選択のラベルが存在しない場合に（ステップＳ９６０：Ｙｅｓ）、主役度情報算出部２０６は、生成した顔対応表を、顔対応表記憶部２３５に書き込んで（ステップＳ９８０）、顔対応表生成処理を終了する。
　再び図８に戻って、画像グループ分類処理の説明を続ける。
　顔対応生成処理、すなわち、ステップＳ８６０の処理が終了すると、主役度情報算出部２０６は、画像グループ内の各ラベルについての多様性を算出する多様性算出処理を行う（ステップＳ８７０）。
　以下、主役度情報算出部２０６が行う、多様性算出処理について、図面を用いて説明する。
　　＜多様性算出処理＞
　図１０は、主役度情報算出部２０６が行う、多様性算出処理のフローチャートである。
　主役度情報算出部２０６は、多様性算出処理を開始すると、画像グループ内の各ラベルについて、多様性の初期値を０とし（ステップＳ１０００）、画像と対応付けられて画像記憶部２３１に記憶されているメタデータを参照して、画像グループに属する各画像に対して、撮影時刻順に並べる場合における順番を対応付ける（ステップＳ１００５）。
　ステップＳ１００５の処理が終了すると、主役度情報算出部２０６は、画像グループ内の１つのラベルを選択し（ステップＳ１０１０）、選択したラベルの人物が写る画像の枚数を出現枚数とする（ステップＳ１０１５）。
　ステップＳ１０１５の処理が終了すると、主役度情報算出部２０６は、画像グループに含まれる画像の枚数に２を加えた数を、出現枚数に１を加えた数で除算することで得られる値を算出し、算出した値を小数点第１位の位で四捨五入して基準値と算定する（ステップＳ１０２０）。
　ステップＳ１０２０の処理が終了すると、主役度情報算出部２０６は、画像を撮影時刻順に並べる場合における最初の画像の前（すなわち、０番目）と、最後の画像の後ろ（すなわち、画像の枚数がｎ枚であれば、ｎ＋１番目）とに、選択したラベルの人物の写った画像があると設定する（ステップＳ１０２５）。
　ステップＳ１０２５の処理が終了すると、主役度情報算出部２０６は、選択したラベルの人物が写る画像群において、撮影時刻順に連続する２枚の画像からなる組のそれぞれを連続画像組とする（ステップＳ１０３０）。
　ステップＳ１０３０の処理が終了すると、主役度情報算出部２０６は、１つの連続画像組を選択し（ステップＳ１０３５）、選択した連続画像組の２枚の画像に対応付けられた順番の差を差分値として算定し（ステップＳ１０４０）、算定した差分値と基準値とを比較する（ステップＳ１０４５）。
　ステップＳ１０４５の処理において、差分値が基準値以上の場合に（ステップＳ１０４５：Ｙｅｓ）、主役度情報算出部２０６は、選択しているラベルの多様性に、出現枚数に１を加えた数の逆数を加算して新たな多様性とする（ステップＳ１０５０）。
　ステップＳ１０５０の処理が終了した場合、又は、ステップＳ１０４５の処理において、差分値が基準値以上でない場合に（ステップＳ１０４５：Ｎｏ）、主役度情報算出部２０６は、未だ選択していない連続画像組があるか否かを調べる（ステップＳ１０５５）。
　ステップＳ１０５５の処理において、未選択の連続画像組が存在する場合に（ステップＳ１０５５：Ｎｏ）、主役度情報算出部２０６は、未選択連続画像組のうちの１つの連続画像組を選択し（ステップＳ１０６０）、再びステップＳ１０４０の処理に戻って、ステップＳ１０４０以降の処理を続ける。
　ステップＳ１０５５の処理において、未選択の連続画像組が存在しない場合に（ステップＳ１０５５：Ｙｅｓ）、主役度情報算出部２０６は、未だ選択していないラベルがあるか否かを調べる（ステップＳ１０６５）。
　ステップＳ１０６５の処理において、未選択ラベルが存在する場合に（ステップＳ１０６５：Ｎｏ）、主役度情報算出部２０６は、未選択ラベルのうちの１つのラベルを選択し（ステップＳ１０７０）、再びステップＳ１０１５の処理に戻って、ステップＳ１０１５以降の処理を続ける。
　ステップＳ１０６５の処理において、未選択ラベルが存在しない場合に（ステップＳ１０６５：Ｙｅｓ）、主役度情報算出部２０６は、多様性算出処理を終了する。
　再び図８に戻って、画像グループ分類処理の説明を続ける。
　多様性算出処理、すなわち、ステップＳ８７０の処理が終了すると、主役度情報算出部２０６は、画像グループの主役度情報を生成して記憶する主役度情報生成処理を行う（ステップＳ８８０）。
　以下、主役度情報算出部２０６が行う、主役度情報生成処理について、図面を用いて説明する。
　　＜主役度情報生成処理＞
　図１１は、主役度情報算出部２０６が行う、主役度情報生成処理のフローチャートである。
　主役度情報算出部２０６は、主役度情報生成処理を開始すると、画像グループ内の１つのラベルを選択し（ステップＳ１１００）、選択したラベルに属する顔ＩＤ毎に、顔面積と顔位置と顔向きと多様性を加算し、加算した値をその顔ＩＤのサブ主役度として算出する（ステップＳ１１０５）。
　ステップＳ１１０５の処理が終了すると、主役度情報算出部２０６は、算出したサブ主役度の総和を計算し、計算した値を主役度として算出し（ステップＳ１１１０）、未だ選択していないラベルがあるか否かを調べる（ステップＳ１１１５）。
　ステップＳ１１１５の処理において、未選択ラベルが存在する場合に（ステップＳ１１１５：Ｎｏ）、主役度情報算出部２０６は、未選択ラベルのうちの１つのラベルを選択し（ステップＳ１１２０）、再びステップＳ１１０５の処理に戻って、ステップＳ１１０５以降の処理を続ける。
　ステップＳ１１１５の処理において、未選択ラベルが存在しない場合に（ステップＳ１１１５：Ｙｅｓ）、主役度情報算出部２０６は、家族（ここでは、息子、母、父）の名称のラベルに対応する主役度の中の最大の主役度を家族主役度と算定し、家族の名称のラベル以外のラベルに対応する主役度の総和を他人主役度と算定し（ステップＳ１１２５）、他人主役度が家族主役度の１０％以下か否かを調べる（ステップＳ１１３０）。
　ステップＳ１１３０の処理において、他人主役度が家族主役度の１０％以下の場合に（ステップＳ１１３０：Ｙｅｓ）、主役度情報算出部２０６は、プライベート度を“極めて高い”とする（ステップＳ１１３５）。
　ステップＳ１１３０の処理において、他人主役度が家族主役度の１０％以下でない場合に（ステップＳ１１３０：Ｎｏ）、主役度情報算出部２０６は、他人主役度が家族主役度の８０％以下か否かを調べる（ステップＳ１１４０）。
　ステップＳ１１４０の処理において、他人主役度が家族主役度の８０％以下の場合に（ステップＳ１１４０：Ｙｅｓ）、主役度情報算出部２０６は、プライベート度を“高い”とする（ステップＳ１１４５）。
　ステップＳ１１４０の処理において、他人主役度が家族主役度の８０％以下でない場合に（ステップＳ１１４０：Ｎｏ）、主役度情報算出部２０６は、他人主役度が家族主役度の１２０％以下か否かを調べる（ステップＳ１１５０）。
　ステップＳ１１５０の処理において、人主役度が家族主役度の１２０％以下の場合に（ステップＳ１１５０：Ｙｅｓ）、主役度情報算出部２０６は、プライベート度を“普通”とする（ステップＳ１１５５）。
　ステップＳ１１５０の処理において、他人主役度が家族主役度の１２０％以下でない場合に（ステップＳ１１６０：Ｎｏ）、主役度情報算出部２０６は、プライベート度を“低い”とする。
　ステップＳ１１３５の処理が終了した場合、ステップＳ１１４５の処理が終了した場合、ステップＳ１１５５の処理が終了した場合、又は、ステップＳ１１６０の処理が終了した場合に、主役度情報算出部２０６は、算出したラベルと、ラベルに対応する算出した多様性と、ラベルに対応する算出した主役度と、イベント名情報受付部２１１によって受け付けられたイベント名と、算出したプライベート度とから、主役度情報を生成し、主役度情報書込読出部２０４を用いて、生成した主役度情報を、主役度情報記憶部２３３に書き込み（ステップＳ１１６５）、主役度情報生成処理を終了する。
　再び図８に戻って、画像グループ分類処理の説明を続ける。
　主役度情報生成処理、すなわち、ステップＳ８８０の処理が終了すると、画像グループ分類部２０８は、主役度情報書込読出部２０４を用いて、先ほど書き込まれた主役度情報を読み出し、イベント特徴情報書込読出部２０９を用いて、イベント特徴情報記憶部２３４に記録されているイベント特徴情報を読み出す。
　さらに、画像グループ分類部２０８は、読み出された主役度情報とイベント特徴情報とを比較して、イベント特徴情報に含まれる分類先イベントの中に、主役度情報に含まれる主役度とプライベート度との組み合わせと一致する分類先イベントを見つける場合には、その読み出された主役度情報に対応する画像グループが分類されるべき分類先イベントは、その見つけた分類先イベントであるとする。
　画像グループ分類部２０８は、該当する分類先イベントを見つけなかった場合には、その読み出された主役度情報に対応する画像グループが分類されるべき分類先イベントは、その他のイベントという分類先イベントであるとする。
　画像グループ分類部２０８は、分類されるべき分類先イベントを決定すると、画像書込読出部２０２を用いて、画像記憶部２３１の分類されるべき分類先イベントに対応するイベントディレクトリの下に、画像グループに対応付けられているイベント名と同一名称のイベントディレクトリを作成して、そのイベントディレクトリの下に、画像グループに属する全ての画像のデータのアドレスを示す情報を保持させることで、その画像グループに属する全ての画像のデータがリンクされている状態とすることで、画像グループを分類する（ステップＳ８９０）。
　その後、分類結果出力部２１０は、画像グループ分類部２０８によって算出された分類されるべき分類先イベントの分類先イベント名を、画像グループに対応付けられたイベント名と共にディスプレイ１９３に表示させて、画像分類装置１００は、その画像グループ分類処理を終了する。
　＜具体例＞
　以下、具体例を用いて説明を補足する。
　図１２は、家族のメンバーが参加するイベントで撮影された画像群の一例である。
　ここでは、図１２を用いて、多様性算出処理の動作についての補足説明を行う。
　画像グループ１２００は、例えば、家族の息子が参加した“２００９年富士山ハイキング”というイベントで撮影された画像群からなる画像グループであって、画像１２０１～画像１２１０によって構成されている。
　また、画像１２０１～画像１２１０は、この順番に撮影された画像であって、人物１２２１～人物１２２４は家族の息子（ラベル：息子）であり、人物１２３１～人物１２３４は同一の他人（ラベル：他人Ａ）である。
　画像グループ１２００において、総枚数は１０枚である。
　息子は４枚の画像に写っているため、息子の出現枚数は４枚となり、息子の基準値は（１０＋２）÷（４＋１）＝２．４を小数点第１位の位で四捨五入した値である２となる。
　息子の差分値は、順に、１、５、２、１、２となるため、息子の多様性は、｛１÷（４＋１）｝×３＝０．６となる。
　他人Ａも４枚の画像に写っているため、息子の場合と同様に、他人Ａの出現枚数は４枚となり、他人Ａの基準値は（１０＋２）÷（４＋１）＝２．４を小数点第１位の位で四捨五入した値である２となる。
　他人Ａの差分値は、順に、２、１、１、１、６となるため、他人の多様性は｛１÷（４＋１）｝×２＝０．４となる。
　このように、写っている写真の分布がばらついている息子の方が、写っている写真の分布が偏っている他人Ａよりも多様性は高くなる。
　図１３は、家族のメンバーが参加するイベントで撮影された画像群の一例である。
　ここでは、図１３を用いて、画像グループ分類部２０８の行う画像グループの分類処理についての補足説明を行う。
　画像グループ１３００は、例えば、家族で北海道に旅行にいくというイベント（イベント名：北海道２０１０春）で撮影された画像１３０１～画像１３０４からなる画像グループであって、画像グループ１３１０は、例えば、息子の運動会というイベント（イベント名：２００９年運動会）で撮影された画像１３１１～画像１３１４からなる画像グループであって、画像グループ１３２０は、例えば、親戚の結婚式というイベント（イベント名：Ａ子さん結婚式）で撮影された画像１３２１～画像１３２４からなる画像グループである。
　画像グループ１３００において、人物１３５１～人物１３５４は家族の息子であり、人物１３６１は家族の母親であり、人物１３７１は家族の父親であり、人物１３９０は他人である。
　画像グループ１３００では、他人は１枚しか写っておらず、かつ、小さく端の方に写っているため、他人主役度は小さくなる。
　一方、息子、母親、父親は、比較的大きく中央付近に写っているため、それぞれの主役度は大きくなる。特に息子は全ての画像に写っているため、家族の主役度は大きくなる。
　従って、画像グループ１３００のプライベート度は“極めて高い”となり、重要人物は“家族全員”となる。
　イベント特徴情報記憶部２３４に記憶されているイベント特徴情報（図７参照）によれば、プライベート度が“極めて高い”で重要人物が“家族全員”となる分類先イベントは“旅行”となっているため、イベント名“北海道２０１０春”というイベントで撮影された画像からなる画像グループ１３００は、分類先イベント“旅行”に分類される。
　画像グループ１３１０において、人物１３５５～人物１３５８は家族の息子であり、人物１３９１、人物１３９２、人物１３９３、人物１３９４は他人であり、人物１３４１と人物１３４２とは同一の他人である。
　画像グループ１３１０では、他人が多数写っているため、他人主役度は画像グループ１３００の場合に比べて高い値となる。
　一方、息子は、全画像で比較的大きく写っているため、息子の主役度（すなわち、家族主役度）は、他人主役度よりも高い値となる。
　従って、画像グループ１３１０のプライベート度は“高い”となり、重要人物は“息子”となる。
　イベント特徴情報記憶部２３４に記憶されているイベント特徴情報によれば、プライベート度が“高い”で重要人物が“息子”となる分類先イベントは“運動会”となっているため、イベント名“２００９年運動会”というイベントで撮影された画像からなる画像グループ１３１０は、分類先イベント“運動会”に分類される。
　画像グループ１３２０において、人物１３６２～人物１３６４は家族の母親であり、人物１３９５、人物１３９６、人物１３９７、人物１３９８、人物１３９９は他人であり、人物１３８１～人物１３８４は同一の他人であり、人物１３８６～人物１３８８は同一の他人である。
　画像グループ１３２０では、他人が中央付近に多数写っているため、他人主役度は画像グループ１３１０の場合に比べてさらに高い値となる。
　一方、母親は、３枚の写真に写ってはいるが、比較的小さく端の方に写っているため、母の主役度（すなわち、家族主役度）は、他人主役度よりも低い値となる。
　従って、画像グループ１３２０のプライベート度は“低い”となり、重要人物は“母”となる。
　イベント特徴情報記憶部２３４に記憶されているイベント特徴情報によれば、プライベート度が“低い”で重要人物が“母”となる分類先イベントは“結婚式”となっているため、イベント名“Ａ子さん結婚式”というイベントで撮影された画像からなる画像グループ１３２０は、分類先イベント“結婚式”に分類される。
　＜まとめ＞
　上述の画像分類装置１００によれば、一つのイベントで撮影された画像群からなる画像グループを画像グループ単位で分類先イベントへ分類するため、一つのイベントで撮影された画像が、互いに異なる分類先イベントに分類されてしまうことがない。
＜実施の形態２＞
　以下、本発明に係る画像分類装置の一実施形態として、実施の形態１で説明した画像分類装置１００の一部を変形し、多様性算出処理のアルゴリズムが、画像分類装置１００の行う多様性算出処理のアルゴリズムと異なるものとなっている、第１変形画像分類装置について説明する。
　第１変形画像分類装置は、ハードウエア構成が画像分類装置１００と同じである。
　しかしながら、第１変形画像分類装置は、第１変形画像分類装置におけるＲＯＭ１０２に記憶されているＣＰＵ１０５の動作を規定するプログラムの一部と、画像分類装置１００におけるＲＯＭ１０２に記憶されているＣＰＵ１０５の動作を規定するプログラムの一部とが互いに異なっているため、画像分類装置１００における主役度情報算出部２０６が第１変形主役度情報算出部に変形され、画像分類装置１００における多様性算出処理が、第１変形多様性算出処理に変形されたものとなっている。
　以下、実施の形態２に係る第１変形画像分類装置について、画像分類装置１００との相違点である第１変形多様性算出処理を中心に、図面を用いて説明する。
　＜第１変形多様性算出処理＞
　図１４は、第１変形主役度情報算出部が行う、第１変形多様性算出処理のフローチャートである。
　第１変形主役度情報算出部は、第１変形多様性算出処理を開始すると、画像グループ内の各ラベルについて、多様性の初期値を１とし（ステップＳ１４００）、ステップＳ１４０５の処理とステップＳ１４１０の処理とを行う。
　ステップＳ１４０５の処理とステップＳ１４１０の処理とは、それぞれ、実施の形態１における多様性算出処理（図１０参照）のステップＳ１００５の処理とステップＳ１０１０の処理と同様の処理なので、ここでは説明を省略する。
　ステップＳ１４１０の処理が終わると、第１変形主役度情報算出部は、ステップＳ１４２５の処理～ステップＳ１４４０の処理を行う。
　ステップＳ１４２５の処理～ステップＳ１４４０の処理は、それぞれ、実施の形態１における多様性算出処理のステップＳ１０２５の処理～ステップＳ１０４０の処理と同様の処理なので、ここでは説明を省略する。
　ステップＳ１４４０の処理が終わると、第１変形主役度情報算出部は、差分値の２乗の値を総数に１を加えた数の２乗の値で除算することで得られる値を、多様性から減算して新たな多様性とする（ステップＳ１４５０）。
　ステップＳ１４５０の処理が終わると、第１変形主役度情報算出部は、ステップＳ１４５５の処理～ステップＳ１４７０の処理を行う。
　ステップＳ１４５５の処理～ステップＳ１４７０の処理は、それぞれ、実施の形態１における多様性算出処理のステップＳ１０５５の処理～ステップＳ１０７０の処理と同様の処理なので、ここでは説明を省略する。
　ステップＳ１４６５の処理において、未選択ラベルが存在しない場合に（ステップＳ１４６５：Ｙｅｓ）、第１変形主役度情報算出部は、第１変形多様性算出処理を終了する。
　＜具体例＞
　以下、具体例を用いて説明を補足する。
　ここでは、図１２を用いて、第１変形多様性算出処理の動作についての補足説明を行う。
　息子の差分値は、順に、１、５、２、１、２となるため、息子の多様性は、１－（１÷１０）×（１÷１０）－（５÷１０）×（５÷１０）－（２÷１０）×（２÷１０）－（１÷１０）×（１÷１０）－（２÷１０）×（２÷１０）＝０．６５となる。
　他人Ａの差分値は、順に、２、１、１、１、６となるため、他人の多様性は、１－（２÷１０）×（２÷１０）－（１÷１０）×（１÷１０）－（１÷１０）×（１÷１０）－（１÷１０）×（１÷１０）－（６÷１０）×（６÷１０）＝０．５９となる。
　このように、写っている写真の分布がばらついている息子の方が、写っている写真の分布が偏っている他人Ａよりも多様性は高くなる。
　＜まとめ＞
　上述の第１変形画像分類装置によれば、画像分類装置１００と同様に、一つのイベントで撮影された画像群からなる画像グループを画像グループ単位で分類先イベントへ分類するため、一つのイベントで撮影された画像が、互いに異なる分類先イベントに分類されてしまうことがない。
＜実施の形態３＞
　以下、本発明に係る画像分類装置の一実施形態として、実施の形態１で説明した画像分類装置１００の一部を変形し、多様性算出処理のアルゴリズムが、画像分類装置１００の行う多様性算出処理のアルゴリズムと異なるものとなっている、第２変形画像分類装置について説明する。
　第２変形画像分類装置は、ハードウエア構成が画像分類装置１００と同じである。
　しかしながら、第２変形画像分類装置は、第２変形画像分類装置におけるＲＯＭ１０２に記憶されているＣＰＵ１０５の動作を規定するプログラムの一部と、画像分類装置１００におけるＲＯＭ１０２に記憶されているＣＰＵ１０５の動作を規定するプログラムの一部とが互いに異なっているため、画像分類装置１００における主役度情報算出部２０６が第２変形主役度情報算出部に変形され、画像分類装置１００における多様性算出処理が、第２変形多様性算出処理に変形されたものとなっている。
　この第２変形多様性算出処理には、画像グループに属する画像を、撮影されたシーン毎に区分する動作であるシーン分割処理が含まれている。
　以下、実施の形態３に係る第２変形画像分類装置について、画像分類装置１００との相違点である第２変形多様性算出処理を中心に、図面を用いて説明する。
　＜第２変形多様性算出処理＞
　図１５は、第２変形主役度情報算出部が行う、第２変形多様性算出処理のフローチャートである。
　第２変形主役度情報算出部は、第２変形多様性算出処理を開始すると、画像グループ内の各ラベルについて、多様性の初期値を０とし（ステップＳ１５００）、画像グループに属する画像を、撮影されたシーン毎に区分するシーン分割処理を行う（ステップＳ１５１０）。
　以下、第２変形主役度情報算出部が行う、シーン分割処理について、図面を用いて説明する。
　　＜シーン分割処理＞
　図１６は、第２変形主役度情報算出部が行う、シーン分割処理のフローチャートである。
　このシーン分割処理は、同じシーンで撮影された画像は、最大の色特徴量が同じであるとの仮定に基づいて、各画像をその最大の色特徴量に基づいてシーンに区分するという処理である。
　第２変形主役度情報算出部は、シーン分割処理を開始すると、撮影時刻順における１番目の画像を選択し（ステップＳ１６００）、第１シーンを生成して、選択した１番目の画像を生成した第１シーンに区分し（ステップＳ１６１０）、撮影時刻順における次の画像が存在するか否かを調べる（ステップＳ１６２０）。
　ステップＳ１６２０の処理において、次の画像が存在する場合に（ステップＳ１６２０：Ｙｅｓ）、第２変形主役度情報算出部は、画像特徴情報記憶部２３２に記憶されている画像特徴情報を参照して、選択中の画像の色特徴量における最大の色を一時的に記憶する（ステップＳ１６３０）。
　ステップＳ１６２０の処理が終わると、第２変形主役度情報算出部は、撮影時刻順における次の画像を新たに選択し、画像特徴情報記憶部２３２に記憶されている画像特徴情報を参照して、新たに選択した画像の色特徴量における最大の色が、一時的に記憶している前回選択していた画像の色特徴量における最大の色と一致するか否かを調べる（ステップＳ１６５０）。
　ステップＳ１６５０の処理において、色特徴量における最大の色が一致する場合に（ステップＳ１６５０：Ｙｅｓ）、第２変形主役度情報算出部は、選択中の画像を、前回選択していた画像と同じシーンに区分する（ステップＳ１６６０）。
　ステップＳ１６５０の処理において、色特徴量における最大の色が一致しない場合に（ステップＳ１６５０：Ｎｏ）、第２変形主役度情報算出部は、新たなシーンを生成して、選択中の画像を生成し新たなシーンに区分する（ステップＳ１６７０）。
　ステップＳ１６２０の処理において、次の画像が存在しない場合に（ステップＳ１６２０：Ｎｏ）、第２変形主役度情報算出部は、そのシーン分割処理を終了する。
　再び図１５に戻って、第２変形多様性算出処理の説明を続ける。
　シーン分割処理、すなわち、ステップＳ１５１０の処理が終了すると、第２変形主役度情報算出部は、画像グループ内の１つのラベルを選択する（ステップＳ１５２０）。
　ステップＳ１５２０の処理が終了すると、第２変形主役度情報算出部は、１つのシーンを選択し（ステップＳ１５３０）、選択したシーンに区分されている画像の中に、選択したラベルの人物が写っているか否かを調べる（ステップＳ１５４０）。
　ステップＳ１５４０の処理において、選択したラベルの人物が写っている場合に（ステップＳ１５４０：Ｙｅｓ）、第２変形主役度情報算出部は、シーンの数の逆数を多様性に加算して新たな多様性とする（ステップＳ１５５０）。
　ステップＳ１６４０の処理がした場合、又は、ステップＳ１５４０の処理において、選択したラベルの人物が写っていない場合に（ステップＳ１５４０：Ｎｏ）、第２変形主役度情報算出部は、未だ選択していないシーンが存在するか否かを調べる（ステップＳ１５６０）。
　ステップＳ１５６０の処理において、未選択のシーンが存在する場合に（ステップＳ１５６０：Ｎｏ）、第２変形主役度情報算出部２は、未選択シーンのうちの１つのシーンを選択し（ステップＳ１５７０）、再びステップＳ１５３０の処理に戻って、ステップＳ１５３０以降の処理を続ける。
　ステップＳ１５６０の処理において、未選択のシーンが存在しない場合に（ステップＳ１５６０：Ｙｅｓ）、第２変形主役度情報算出部は、未だ選択していないラベルが存在するか否かを調べる（ステップＳ１５８０）。
　ステップＳ１５８０の処理において、未選択のラベルが存在する場合に（ステップＳ１５８０：Ｎｏ）、第２変形主役度情報算出部は、未選択ラベルのうちの１つのラベルを選択し（ステップＳ１５９０）、再びステップＳ１５２０の処理に戻って、ステップＳ１５２０以降の処理を続ける。
　ステップＳ１５８０の処理において、未選択のラベルが存在しない場合に（ステップＳ１５８０：Ｙｅｓ）、第２変形主役度情報算出部は、その第２変形多様性算出処理を終了する。
　＜具体例＞
　以下、具体例を用いて説明を補足する。
　ここでは、図１２を用いて、第２変形多様性算出処理の動作についての補足説明を行う。
　画像グループ１２００において、画像１２０１～画像１２０５は、第１シーンに区分されている画像であり、画像１２０６～画像１２０８は、第２シーンに区分されている画像であり、画像１２０９と画像１２１０とは、第３シーンに区分されている画像であるとする。
　息子は、第１シーンと第２シーンと第３シーンとに写っているため、息子の多様性は、（１÷３）×３＝１となる。
　他人Ａは、第１シーンにだけ写っているため、他人Ａの多様性は、（１÷３）×１＝０．３３となる。
　このように、写っている写真の分布がばらついている息子の方が、写っている写真の分布が偏っている他人Ａよりも多様性は高くなる。
　＜まとめ＞
　上述の第２変形画像分類装置によれば、画像分類装置１００と同様に、一つのイベントで撮影された画像群からなる画像グループを画像グループ単位で分類先イベントへ分類するため、一つのイベントで撮影された画像が、互いに異なる分類先イベントに分類されてしまうことがない。
＜発明の効果＞
　以上、本発明に係る画像分類装置の一実施形態として、実施の形態１、実施の形態２、
実施の形態３においてイベントを分類することができることを示したが、イベントの分類結果を用いることにより、ユーザに対して分類先が同一となるイベント群を提示、選択および再生可能としたり、分類先ごとに同一のアイコンを割当てることで、画像鑑賞におけるユーザ・ナビゲーションを容易とすることができる。また、画像グループをもとにユーザが電子アルバムを作成するアプリケーションにおいて、イベント分類の結果を用いることで、イベントの分類先ごとに、分類先に応じて、例えば、結婚式や運動会の分類先ごとに用意されたアルバムの背景画像、画像の配置情報、デコレーション用の画像やその配置を記述したテンプレートを自動選択し、ユーザに提示することが可能となる。
＜補足＞
　以上、本発明に係る画像分類装置の一実施形態として、実施の形態１、実施の形態２、実施の形態３において、画像グループ分類処理を行う画像分類装置の例について説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの画像分類装置に限られないことはもちろんである。
（１）実施の形態１において、画像分類装置１００が記憶する画像として、ＪＰＥＧ方式で符号化されたデータとしたが、デジタル写真をデータとして記憶することができるものであれば、ＪＰＥＧ方式以外の符号化方式、例えばＰＮＧ（Portable Network Graphics）方式やＧＩＦ（Graphics Interchange Format）方式等で符号化されたものであっても構わないし、符号化されないビットマップ方式のデータであっても構わない。
　また、コンテンツとしてデジタル写真を例として示したが、デジタルデータとして記憶することができる画像であれば、例えば、スキャナで読み取った絵画のデータ等であっても構わない。
（２）実施の形態１において、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ハードディスク装置インターフェース１０４と、外部記録媒体読取書込装置インターフェース１０５と、ＵＳＢ制御装置インターフェース１０６と、出力装置インターフェース１０７と、入力装置インターフェース１０８と、通信装置インターフェース１０９と、デコーダ１１１と、バスライン１２０とが、システムＬＳＩ１１０に集積されているとしたが、システムＬＳＩ１１０と同じ機能を実現することができれば、必ずしも１つのＬＳＩに統合されている必要はなく、複数の集積回路等で実現されていても構わない。
（３）実施の形態１において、デコーダ１１１は、ＤＳＰであるとしたが、符号化されたデータを復号する機能があれば、必ずしもＤＳＰである必要はなく、例えば、ＣＰＵ１０１が兼用する構成であっても構わないし、ＣＰＵ１０１とは異なるＣＰＵであっても構わないし、ＡＳＩＣ等で構成される専用回路であっても構わない。
（４）実施の形態１において、入力装置１７０は、リモコン１９７から無線で送信されるユーザからの操作コマンドを受け付ける機能を有する構成であるとしたが、ユーザからの操作コマンドを受け付ける機能があれば、必ずしもリモコン１９７から無線で送信される操作コマンドを受け付ける機能を有する構成でなくても、例えば、キーボードとマウスとを備え、キーボードとマウスとを介してユーザからの操作コマンドを受け付ける機能を有する構成であっても構わないし、ボタン群を備え、ボタン群を介してユーザからの操作コマンドを受け付ける機能を有する構成等であっても構わない。
（５）実施の形態１において、画像グループデータ受付部２０１が、２枚以上の画像の指定を受け付け、指定された画像群を、１つの画像グループに含まれる画像群とするとしたが、画像と画像グループとの対応付けを取ることができれば、例えば、画像グループデータ受付部２０１は、画像データと、画像グループに属する画像のリストとを受け取り、受け取ったリストに基づいて、画像と画像グループとを対応付けるといった構成であっても構わないし、例えば、画像グループデータ受付部２０１は、画像データと、その画像データが撮影された撮影時刻の情報と、撮影時刻の情報と画像グループとの対応関係の情報とを受け取り、受け取った撮影時刻の情報に基づいて、画像と画像グループとを対応付けるといった構成であっても構わない。
　また、画像と画像グループとの対応付けを取ることができれば、必ずしもユーザによって指定されることによって対応付けを取る必要はなく、既存の技術を利用して、自動で画像と画像グループとの対応付けを行う構成としても構わない。
（６）実施の形態１において、画像グループデータ受付部２０１は、読み込んだ画像に対して、シーケンシャルに画像ＩＤを付与するとしたが、重複を避けて付与することができれば、必ずしもシーケンシャルに画像ＩＤを付与しなくても構わない。
（７）実施の形態１において、画像特徴量抽出部２０５は、人の顔の認識を試み、認識した認識顔のそれぞれに顔ＩＤを付与するとしたが、認識を試みる対象は、対象物として特定することができる特徴を有するものであれば、必ずしも人の顔に限られる必要はなく、例えば、犬や猫といったペットの顔、特定の車種の車、特定の建築物等であっても構わない。
（８）実施の形態１において、顔のモデルは、例えば、目、鼻、口等の顔を形成するパーツの輝度や、相対的な位置関係に関する情報等であるとしたが、顔を認識することができる情報であれば、これら以外、例えば、目の色や、ほくろの位置、肌の色等といった顔の特徴を示すものであっても構わないし、複数の顔の特徴を表すものの組み合わせであっても構わない。
（９）実施の形態１において、画像特徴量抽出部２０５が特定する色として、黒、青、緑、白としたが、これらの色に限られる必要はなく、例えば、赤、黄等であっても構わない。
（１０）実施の形態１において、プライベート度は“極めて高い”、“高い”、“普通”、“低い”の４段階のうちの１つの段階となるものとしているが、家族以外の人物の重要度に対する家族の人物の重要度を示す指標となるものであれば、必ずしも４段階のうちの１つの段階となるものに限られる必要はなく、例えば、１０段階のうちの１つの段階となるものであっても構わないし、シームレスに数値で表現されるものであっても構わない。
　また、プライベート度の場合分けを、他人主役度に対する家族主役度の比率に応じて行うとしたが、プライベート度の場合分けを一意に行うことができれば、必ずしも他人主役度に対する家族主役度の比率に応じて行う必要はなく、例えば、他人主役度の絶対値が０である場合に、プライベート度を“極めて高い”と決定するといったように、他人主役度の絶対値に応じてプライベート度の場合分けを行うとしても構わない。
　さらには、プライベート度の場合分けを、例えば、ロジスティック回帰分析法、ＳＶＭ（Support Vector Machine）法等の学習モデルを用いて行う手法によって行うとしても構わない。
（１１）実施の形態１において、画像グループ分類部２０８は、プライベート度と重要人物とに基づいて画像グループを分類先イベントへ分類するとしたが、主役度を反映した指標に基づいて画像グループを分類先イベントへ分類することができれば、必ずしもプライベート度と重要人物とに基づいて分類する必要はなく、例えば、ある特定人物の主役度のみに基づいて画像グループを分類先イベントへ分類するとしても構わない。
　図１７は、画像グループ分類部２０８が、画像装置ユーザの主役度の値のみに基づいて、画像グループを分類イベントへ分類する例において、画像グループ分類部２０８が利用するイベント特徴情報のデータ構成を示すものである。
　同図に示されるように、このイベント特徴情報は、ユーザの主役度である主役度１７０１と分類先イベント１７０２とを対応付けるものであって、例えば、主役度が１未満である画像グループは、分類先イベントとして“風景”に分類されるべきであることを示している。
　また、画像グループの分類を、例えば、ロジスティック回帰分析法、ＳＶＭ法等の学習モデルを用いて行う手法によって行うとしても構わないし、Ｋ－ｍｅａｎｓ法等のクラスタリング手法によって行うとしても構わない。
（１２）実施の形態１において、基準値は、画像グループに含まれる画像の枚数に２を加えた数を、出現枚数に１を加えた数で除算することで得られる値を算出し、算出した値を小数点第１位の位で四捨五入して算定されるとしたが、画像グループに含まれる画像の枚数に２を加えた数を、出現枚数に１を加えた数で除算することで得られる値に基づくものであれば、必ずしも小数点第１位の位で四捨五入して算定される必要はなく、例えば、四捨五入せずに基準値として算定しても構わないし、小数点第２位以下の位を切り捨てることで算定するとしても構わない。
（１３）実施の形態１において、家族主役度は、家族の名称（息子、母、父）のラベルに対応する主役度の中の最大の主役度であるとしたが、家族のメンバーの主役度を反映したものであれば、必ずしも家族の名称のラベルに対応する主役度の中の最大の主役度である必要はなく、例えば、家族のメンバーの主役度の総和であっても構わない。
　また、他人主役度は、家族の名称のラベル以外のラベルに対応する主役度の総和であるとしたが、家族以外の人物の主役度を反映したものであれば、必ずしも家族の名称のラベル以外のラベルに対応する主役度の総和である必要はなく、例えば、家族以外の人物の主役度の中の最大の主役度であるとしても構わないし、複数の画像に顔が写っている家族以外の人物の主役度の総和であっても構わないし、複数の画像に顔が写っている家族以外の人物の人物の中の最大の主役度であるとしても構わないし、家族以外の主役度のうち、家族のメンバーの主役度よりも高い主役度である人物の主役度の総和であっても構わない。
（１４）実施の形態１において、サブ主役度は、顔面積と顔位置と顔向きと多様性を加算したものであるとしたが、顔面積と顔位置と顔向きと多様性とのうちの少なくとも１つを反映したものであれば、必ずしもこれら全てを加算したものである必要はなく、例えば、顔面積と多様性とを加算したものであっても構わないし、顔面積と顔位置と顔向きと多様性とを重み付け加算することで得られるものであっても構わないし、顔面積と顔位置と顔向きと多様性とを加算して得られた値をその画像に含まれる認識顔の数で除算したものであっても構わないし、顔面積と顔位置と顔向きと多様性とを加算して得られた値をその画像に含まれる家族以外の認識顔の数で除算したものであっても構わない。
（１５）実施の形態１において、画像特徴量抽出部２０５は、認識した顔それぞれに、その認識顔を特定するための顔ＩＤを、シーケンシャルに付与するとしたが、重複を避けて付与することができれば、必ずしもシーケンシャルに付与しなくても構わない。
（１６）実施の形態１において、色特徴量は、画像全体に対して特徴を示すものであるとしたが、画像の色の特徴を示すものであれば、例えば、画像の上半分といったような一部分に対すものであっても構わないし、画像の左１０％の部分と画像の右１０％の部分といったように複数の一部分に対するものであっても構わない。
（１７）実施の形態１において、画像に写っている人物が家族であるか否かを、サンプル画像に写っている人物と比較することで決定するとしているが、特定の人物として識別することができれば、必ずしもサンプル画像に写っている人物と比較することで決定する必要はなく、例えば、複数の画像グループに登場する人物を家族として決定するとしても構わない。
（１８）実施の形態１において、画像グループ分類部２０８は、分類されるべき分類先イベントを決定すると、分類されるべき分類先イベントに対応するイベントディレクトリの下に、画像グループに対応付けられているイベント名と同一名称のイベントディレクトリを作成して、そのイベントディレクトリの下に、画像グループに属する全ての画像のデータのリンクを張ることで、画像グループを分類するとしたが、画像グループに属する画像が同じ分類先イベントに対応付けられていれば、必ずしもリンクを張ることで画像グループを分類するとする必要はなく、例えば、画像グループに属する画像に、分類先イベントを特定するためのタグを付与するとしても構わない。
（１９）実施の形態１において、主役度情報算出部２０６によって算出される多様性は、前述の多様性算出処理を行うことで算出されるものであるとしたが、例えば、前述の多様性算出処理を行うことで算出される多様性に対して、出現枚数に１を加えた数を出現枚数で除算することで得られる数を乗算することで得られる値であるというように、前述の多様性算出処理を行うことで算出される多様性を利用して算出されるものであれば、必ずしも前述の多様性算出処理を行うことで算出される多様性そのものに限られる必要はない。
　ここで例示した、前述の多様性算出処理を行うことで算出される多様性に対して、出現枚数に１を加えた数を出現枚数で除算することで得られる数を乗算することで得られる値は、取り得る最大値が１となるように正規化されたものとなっている。
（２０）実施の形態１乃至３で示した、画像グループ分類動作等を画像分類装置のＣＰＵ、及びそのＣＰＵに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等がある。流通、頒布された制御プログラムはＣＰＵに読み出され得るメモリ等に格納されることにより利用に供され、そのＣＰＵがその制御プログラムを実行することにより各実施形態で示したような各種機能が実現されるようになる。なお、制御プログラムの一部を画像分類装置とは別個のプログラム実行可能な装置（ＣＰＵ）に各種通信路等を介して送信して、その別個のプログラム実行可能な装置においてその制御プログラムの一部を実行させることとしてもよい。
（２１）以下、さらに本発明の一実施形態に係る画像分類装置の構成及びその変形例と各効果について説明する。
　（ａ）本発明の一実施形態に係る画像分類装置は、一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部と、前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定部と、前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類部とを備えることを特徴とする。
　ここで、所定の特徴を有するオブジェクトとは、例えば、特定の個人の顔、特定のペットの顔、特定の車種の車、特定の建築物等のことである。
　上述の構成を備える画像分類装置は、画像を、一イベントに関連して撮影された複数の画像からなる画像グループ単位で分類する。
　従って、あるイベントに関連して撮影された複数の画像が、互いに異なるカテゴリに分類されてしまうことがないように、画像を分類することができるようになる。
　図１８は、上記変形例における画像分類装置の機能構成を示す機能ブロック図である。
　同図に示されるように、この画像分類装置は、画像特定部１８０１と評価値算定部１８０２と画像グループ分類部１８０３とから構成される。
　画像特定部１８０１は、一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する機能を有する。一例として、実施の形態１（図２参照）における、画像グループデータ受付部２０１と画像書込読出部２０２と画像特徴情報書込読出部２０３と画像特徴量抽出部２０５と主役度情報算出部２０６の一部（機能１と機能２とを実現する部分）とサンプル画像受付部２１３とサンプル画像書込部２１４と画像記憶部２３１と画像特徴情報記憶部２３２と顔対応表記憶部２３５とサンプル画像記憶部２３６として実現される。
　評価値算定部１８０２は、画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、画像特定部１８０１によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、所定の特徴を有するオブジェクトの評価値を算定する機能を有する。一例として、実施の形態１における、主役度情報書込読出部２０４と主役度情報算出部２０６の一部（機能３と機能４と機能５とを実現する部分）とイベント名情報受付部２１１と主役度情報記憶部２３３として実現される。
　画像グループ分類部１８０３は、評価値算定部１８０２によって算定された評価値に基づいて、画像グループに関連するイベントを分類する機能を有する。一例として、実施の形態１における、画像グループ分類部２０８とイベント特徴情報書込読出部２０９と分類結果出力部２１０とイベント特徴情報受付部２１２とイベント特徴情報記憶部２３４として実現される。
　（ｂ）また、前記画像部類装置は、前記画像分類装置を利用するユーザから、前記所定の特徴に係る情報を受け付ける情報受付手段と、前記情報受付手段によって受け付けられた情報から前記所定の情報を生成して記憶する記憶手段を備え、前記画像特定部は、前記画像の特定を、前記記憶手段に記憶されている所定の特徴を利用して行い、前記時間情報は、前記画像グループに含まれる各画像を撮影時刻順に並べる場合における順番であって、前記評価値算定部は、前記評価値の算定を、前記画像グループに含まれる画像それぞれの撮影時刻の順番からなる集合における、前記画像特定部によって特定された画像それぞれの撮影時刻の順番の分布に基づいて行うとしてもよい。
　このような構成にすることによって、画像分類装置を利用するユーザは、所定の情報を生成するための情報を入力することができることができるようになるため、所定の情報をユーザの嗜好を反映したものとすることができるようになる。
　さらには、各画像の撮影順さえわかっていれば、各画像の撮影時刻が正確にわかっていなくても、イベントを分類することができるようになる。
　（ｃ）また、前記画像分類装置は、前記画像グループに含まれる画像の枚数に２を加えた数を、前記画像特定部によって特定された画像の数に１を加えた数で除算することで得られる基準値を算定する基準値算定部と、前記画像特定部によって特定された画像の中で撮影時刻順に連続する２枚の画像の組である連続画像組のそれぞれについて、２枚の画像の、前記画像グループに含まれる画像における撮影時刻の順番の差である差分値を算定する差分値算定部とを備え、前記評価値算定部は、それぞれの連続画像組について前記基準値算定部によって算定された基準値と前記差分値算定部によって算定された差分値との比較を行い、前記基準値算定部によって算定された基準値よりも、前記差分値算定部によって算定された差分値の方が大きい連続画像組の数に基づいて、前記評価値の算定を行うとしてもよい。
　このような構成にすることによって、四則演算と大小比較演算の組み合わせで評価値を算定することができるようになるので、評価値算定部の行う評価値の算定を、既知の手法の組み合わせで実現できるようになる。
　（ｄ）また、前記画像分類装置は、前記画像特定部によって特定された画像の中で撮影時刻順に連続する２枚の画像の組である連続画像組のそれぞれについて、２枚の画像の、前記画像グループに含まれる画像における撮影時刻の順番の差を２乗して得られる差分２乗値を算定する差分２乗値算定部を備え、前記評価値算定部は、前記画像特定部によって算定された差分２乗値の総和と、前記画像グループに含まれる画像の数とに基づいて、前記評価値の算定を行うとしてもよい。
　このような構成にすることによって、四則演算の組み合わせで評価値を算定することができるようになるので、評価値算定部の行う評価値の算定を、既知の手法の組み合わせで実現できるようになる。
　（ｅ）また、前記画像分類装置は、同一シーンにおいて撮影された画像が同一のサブ画像グループとなるように、画像グループを構成する画像群を撮影時刻順に複数のサブ画像グループに区分するサブ画像グループ区分部を備え、前記評価値算定部は、前記評価値の算定を、前記画像特定部によって特定されたオブジェクトが写っている画像が属するサブ画像グループの数に基づいて行うとしてもよい。
　このような構成にすることによって、所定の特徴を有するオブジェクトの写っている画像が含まれるシーンの数で評価値を算定することができるようになるので、評価値算定部の行う評価値の算定を、既知の手法の組み合わせで実現できるようになる。
　（ｆ）また、前記画像分類装置は、前記時間情報は撮影時刻であって、前記評価値算定部は、前記評価値の算定を、前記画像グループに含まれる画像それぞれの撮影時刻の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻の分布に基づいて行うとしてもよい。
　このような構成にすることによって、画像グループに属する各画像が、予め撮影時刻の情報を含むＥｘｉｆ（Exchangeable Image File Format）ファイルに対応付けられているような場合には、新たに時間情報を生成しなくても、既に存在しているＥｘｉｆファイルに含まれる撮影時刻の情報をそのまま利用することができるようになる。
　（ｇ）また、前記画像分類装置は、前記画像グループの中から、前記所定の特徴とは別の特徴を有するオブジェクトが写っている画像を特定する比較用画像特定部と、
　前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報からなる集合における、前記比較用画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴とは別の特徴を有するオブジェクトの比較用評価値を算定する比較用評価値算定部と、前記画像グループ分類部は、前記イベントの分類を、さらに、前記比較用評価値算定部によって算定された比較用算定値に基づいて行うとしてもよい。
　このような構成にすることによって、所定の特徴を有するオブジェクトが１つである場合における評価値に基づいて行うイベントの分類よりも、よりきめ細かなイベントの分類ができるようになる。
　（ｈ）また、前記画像分類装置は、前記画像特定部によって特定された画像それぞれについて、前記所定の特徴を有するオブジェクトの面積を算定する面積算定部を備え、前記評価値算定部は、前記評価値の算定を、さらに、前記面積算定部によって算定された前記所定の特徴を有するオブジェクトの面積に基づいて行うとしてもよい。
　このような構成にすることによって、例えば、所定の特徴を有するオブジェクトの面積が大きい程、評価値を大きくするというように、所定の特徴を有するオブジェクトの面積に応じて評価値を算定することができるようになる。
　（ｉ）また、前記画像分類装置は、前記画像特定部によって特定された画像それぞれについて、画像の中心と前記所定の特徴を有するオブジェクトの位置との差を算定する位置算定部を備え前記評価値算定部は、前記評価値の算定を、さらに、前記位置算定部によって算定された前記差に基づいて行うとしてもよい。
　このような構成にすることによって、例えば、所定の特徴を有するオブジェクトの位置が画像の中心に近い程、評価値を大きくするというように、所定の特徴を有するオブジェクトの位置に応じて評価値を算定することができるようになる。
　（ｊ）また、前記画像分類装置は、前記所定の特徴を有するオブジェクトとは、所定の特徴を有する人の顔であって、前記画像特定部によって特定された画像それぞれについて、前記所定の特徴を有する人の顔の正面向き基準での角度を算定する顔角度算定部を備え、前記評価値算定部は、前記評価値の算定を、さらに、前記顔角度算定部によって算定された前記所定の特徴を有する人の顔の前記角度に基づいて行うとしてもよい。
　このような構成にすることによって、例えば、所定の特徴を有する人の顔の向きが正面を向いている程、評価値を大きくするというように、所定の特徴を有する人の顔の向きに応じて評価値を算定することができるようになる。
　本発明に係る画像分類装置は、複数のデジタル画像を記憶する機能を有する機器に広く適用することができる。
１００　画像分類装置
２０１　画像グループデータ受付部
２０２　画像書込読出部
２０３　画像特徴情報書込読出部
２０４　主役度情報書込読出部
２０５　画像特徴量抽出部
２０６　主役度情報算出部
２０８　画像グループ分類部
２０９　イベント特徴情報書込読出部
２１０　分類結果出力部
２１１　イベント名情報受付部
２１２　イベント特徴情報受付部
２１３　サンプル画像受付部
２１４　サンプル画像書込部
２３１　画像記憶部
２３２　画像特徴情報記憶部
２３３　主役度情報記憶部
２３４　イベント特徴情報記憶部
２３５　顔対応表記憶部
２３６　サンプル画像記憶部

Claims (14)

  1. 　一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部と、
    　前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定部と、
    　前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類部とを備える
    　ことを特徴とする画像分類装置。
  2. 　前記画像分類装置を利用するユーザから、前記所定の特徴に係る情報を受け付ける情報受付手段と、
    　前記情報受付手段によって受け付けられた情報から前記所定の情報を生成して記憶する記憶手段を備え、
    　前記画像特定部は、前記画像の特定を、前記記憶手段に記憶されている所定の特徴を利用して行い、
    　前記時間情報は、前記画像グループに含まれる各画像を撮影時刻順に並べる場合における順番であって、
    　前記評価値算定部は、前記評価値の算定を、前記画像グループに含まれる画像それぞれの撮影時刻の順番からなる集合における、前記画像特定部によって特定された画像それぞれの撮影時刻の順番の分布に基づいて行う
    　ことを特徴とする請求項１記載の画像分類装置。
  3. 　前記画像グループに含まれる画像の枚数に２を加えた数を、前記画像特定部によって特定された画像の数に１を加えた数で除算することで得られる基準値を算定する基準値算定部と、
    　前記画像特定部によって特定された画像の中で撮影時刻順に連続する２枚の画像の組である連続画像組のそれぞれについて、２枚の画像の、前記画像グループに含まれる画像における撮影時刻の順番の差である差分値を算定する差分値算定部とを備え、
    　前記評価値算定部は、それぞれの連続画像組について前記基準値算定部によって算定された基準値と前記差分値算定部によって算定された差分値との比較を行い、前記基準値算定部によって算定された基準値よりも、前記差分値算定部によって算定された差分値の方が大きい連続画像組の数に基づいて、前記評価値の算定を行う
    　ことを特徴とする請求項２記載の画像分類装置。
  4. 　前記画像特定部によって特定された画像の中で撮影時刻順に連続する２枚の画像の組である連続画像組のそれぞれについて、２枚の画像の、前記画像グループに含まれる画像における撮影時刻の順番の差を２乗して得られる差分２乗値を算定する差分２乗値算定部を備え、
    　前記評価値算定部は、前記画像特定部によって算定された差分２乗値の総和と、前記画像グループに含まれる画像の数とに基づいて、前記評価値の算定を行う
    　ことを特徴とする請求項２記載の画像分類装置。
  5. 　同一シーンにおいて撮影された画像が同一のサブ画像グループとなるように、画像グループを構成する画像群を撮影時刻順に複数のサブ画像グループに区分するサブ画像グループ区分部を備え、
    　前記評価値算定部は、前記評価値の算定を、前記画像特定部によって特定されたオブジェクトが写っている画像が属するサブ画像グループの数に基づいて行う
    　ことを特徴とする請求項１記載の画像分類装置。
  6. 　前記時間情報は撮影時刻であって、
    　前記評価値算定部は、前記評価値の算定を、前記画像グループに含まれる画像それぞれの撮影時刻の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻の分布に基づいて行う
    　ことを特徴とする請求項１記載の画像分類装置。
  7. 　前記画像グループの中から、前記所定の特徴とは別の特徴を有するオブジェクトが写っている画像を特定する比較用画像特定部と、
    　前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報からなる集合における、前記比較用画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴とは別の特徴を有するオブジェクトの比較用評価値を算定する比較用評価値算定部と、
    　前記画像グループ分類部は、前記イベントの分類を、さらに、前記比較用評価値算定部によって算定された比較用算定値に基づいて行う
    　ことを特徴とする請求項１記載の画像分類装置。
  8. 　前記画像特定部によって特定された画像それぞれについて、前記所定の特徴を有するオブジェクトの面積を算定する面積算定部を備え、
    　前記評価値算定部は、前記評価値の算定を、さらに、前記面積算定部によって算定された前記所定の特徴を有するオブジェクトの面積に基づいて行う
    　ことを特徴とする請求項１記載の画像分類装置。
  9. 　前記画像特定部によって特定された画像それぞれについて、画像の中心と前記所定の特徴を有するオブジェクトの位置との差を算定する位置算定部を備え
    　前記評価値算定部は、前記評価値の算定を、さらに、前記位置算定部によって算定された前記差に基づいて行う
    　ことを特徴とする請求項１記載の画像分類装置。
  10. 　前記所定の特徴を有するオブジェクトとは、所定の特徴を有する人の顔であって、
    　前記画像特定部によって特定された画像それぞれについて、前記所定の特徴を有する人の顔の正面向き基準での角度を算定する顔角度算定部を備え、
    　前記評価値算定部は、前記評価値の算定を、さらに、前記顔角度算定部によって算定された前記所定の特徴を有する人の顔の前記角度に基づいて行う
    　ことを特徴とする請求項１記載の画像分類装置。
  11. 　一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部ステップ、
    　前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定ステップと、
    　前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類ステップとを含む
    　ことを特徴とする画像分類方法。
  12. 　画像の分類をするための画像分類処理をコンピュータに実行させるための画像分類プログラムであって、
    　前記画像分類処理は、
    　一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部ステップ、
    　前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定ステップと、
    　前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類ステップとを含む
    　ことを特徴とする画像分類プログラム。
  13. 　画像の分類をするための画像分類処理をコンピュータに実行させるための画像分類プログラムを記録した記録媒体であって、
    　前記画像分類処理は、
    　一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部ステップ、
    　前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定ステップと、
    　前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類ステップとを含む
    　ことを特徴とする記録媒体。
  14. 　一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部と、
    　前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定部と、
    　前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類部とを備える
    　ことを特徴とする集積回路。
PCT/JP2011/004251 2010-08-04 2011-07-27 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 Ceased WO2012017620A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180004116.7A CN102549579B (zh) 2010-08-04 2011-07-27 图像分类装置、方法以及集成电路
JP2012527581A JP5739428B2 (ja) 2010-08-04 2011-07-27 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
US13/395,761 US9058342B2 (en) 2010-08-04 2011-07-27 Image classification device, method, program, recording media with program thereon, and integrated circuit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-175068 2010-08-04
JP2010175068 2010-08-04

Publications (1)

Publication Number Publication Date
WO2012017620A1 true WO2012017620A1 (ja) 2012-02-09

Family

ID=45559143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004251 Ceased WO2012017620A1 (ja) 2010-08-04 2011-07-27 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路

Country Status (4)

Country Link
US (1) US9058342B2 (ja)
JP (1) JP5739428B2 (ja)
CN (1) CN102549579B (ja)
WO (1) WO2012017620A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140034585A (ko) * 2012-09-12 2014-03-20 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
JP2017037417A (ja) * 2015-08-07 2017-02-16 キヤノン株式会社 画像処理装置および方法およびプログラム
JP2017068331A (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712168B2 (en) * 2010-01-25 2014-04-29 Panasonic Corporation Image sorting device, method, program, and integrated circuit and storage medium storing said program
KR20120085476A (ko) * 2011-01-24 2012-08-01 삼성전자주식회사 영상 재생 방법, 영상 재생 장치, 및 컴퓨터 판독가능 저장매체
WO2012102015A1 (ja) * 2011-01-28 2012-08-02 パナソニック株式会社 画像データ処理装置、方法、プログラム及び集積回路
CN103870798B (zh) * 2012-12-18 2017-05-24 佳能株式会社 对象检测方法、对象检测设备以及图像拾取设备
US9390076B2 (en) * 2013-06-06 2016-07-12 Microsoft Technology Licensing, Llc Multi-part and single response image protocol
JP5775124B2 (ja) * 2013-08-29 2015-09-09 ヤフー株式会社 サーバ、分布情報作成方法、およびプログラム
JP6018029B2 (ja) * 2013-09-26 2016-11-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
JP6660119B2 (ja) * 2015-08-07 2020-03-04 キヤノン株式会社 情報処理装置、情報処理方法、並びにプログラム
JP6667224B2 (ja) * 2015-08-07 2020-03-18 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
TWI603227B (zh) * 2016-12-23 2017-10-21 李雨暹 移動物件的虛擬訊息遠距管理方法與應用系統
US10984054B2 (en) * 2017-07-27 2021-04-20 Robert Bosch Gmbh Visual analytics system for convolutional neural network based classifiers
CN108235765B (zh) 2017-12-05 2021-10-15 华为技术有限公司 一种故事相册的显示方法及装置
US11093839B2 (en) * 2018-04-13 2021-08-17 Fujifilm Business Innovation Corp. Media object grouping and classification for predictive enhancement
JP7086818B2 (ja) * 2018-10-29 2022-06-20 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006345492A (ja) * 2005-05-12 2006-12-21 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、及びプログラム
JP2007122110A (ja) * 2005-10-25 2007-05-17 Fujifilm Corp 画像分類装置および方法並びにプログラム
JP2008250855A (ja) * 2007-03-30 2008-10-16 Sony Corp 情報処理装置および方法、並びにプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04232774A (ja) 1990-12-28 1992-08-21 Mitsubishi Paper Mills Ltd 改ざん防止用感圧記録シート
JPH04315344A (ja) 1991-04-15 1992-11-06 Nippon Telegr & Teleph Corp <Ntt> 符号誤り監視装置
JP4315344B2 (ja) 2003-11-27 2009-08-19 富士フイルム株式会社 画像編集装置および方法並びにプログラム
US7953261B2 (en) 2005-04-13 2011-05-31 Olympus Medical Systems Corporation Image processing apparatus and image processing method
JP4624841B2 (ja) * 2005-04-13 2011-02-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
WO2006121192A1 (en) 2005-05-12 2006-11-16 Fujifilm Corporation Album creating apparatus, album creating method and program
JP4232774B2 (ja) 2005-11-02 2009-03-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2007317077A (ja) * 2006-05-29 2007-12-06 Fujifilm Corp 画像分類装置および方法ならびにプログラム
JP2008078713A (ja) * 2006-09-19 2008-04-03 Sony Corp 記録装置および方法、プログラム、並びに再生装置および方法
US8190634B2 (en) * 2006-10-10 2012-05-29 Canon Kabushiki Kaisha Image display controlling apparatus, method of controlling image display, and storage medium
US8180112B2 (en) * 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
JP5032363B2 (ja) * 2008-02-27 2012-09-26 オリンパスイメージング株式会社 画像表示方法
US8055081B2 (en) * 2008-04-14 2011-11-08 Eastman Kodak Company Image classification using capture-location-sequence information
US8611677B2 (en) * 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
US20120124378A1 (en) 2010-11-12 2012-05-17 Xac Automation Corp. Method for personal identity authentication utilizing a personal cryptographic device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006345492A (ja) * 2005-05-12 2006-12-21 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、及びプログラム
JP2007122110A (ja) * 2005-10-25 2007-05-17 Fujifilm Corp 画像分類装置および方法並びにプログラム
JP2008250855A (ja) * 2007-03-30 2008-10-16 Sony Corp 情報処理装置および方法、並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140034585A (ko) * 2012-09-12 2014-03-20 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
KR101984584B1 (ko) * 2012-09-12 2019-05-31 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
JP2017037417A (ja) * 2015-08-07 2017-02-16 キヤノン株式会社 画像処理装置および方法およびプログラム
JP2017068331A (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
CN102549579A (zh) 2012-07-04
JPWO2012017620A1 (ja) 2013-09-19
US9058342B2 (en) 2015-06-16
US20120170856A1 (en) 2012-07-05
CN102549579B (zh) 2016-06-08
JP5739428B2 (ja) 2015-06-24

Similar Documents

Publication Publication Date Title
JP5739428B2 (ja) 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
JP5469181B2 (ja) 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
US8488914B2 (en) Electronic apparatus and image processing method
US8732149B2 (en) Content output device, content output method, program, program recording medium, and content output integrated circuit
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
CN111465918B (zh) 在预览界面中显示业务信息的方法及电子设备
JP5890325B2 (ja) 画像データ処理装置、方法、プログラム及び集積回路
US20110110592A1 (en) Electronic apparatus and image display method
US20120106917A1 (en) Electronic Apparatus and Image Processing Method
CN102334106A (zh) 内容储存处理系统、内容储存处理方法及半导体集成电路
US20130215151A1 (en) Apparatus and method of encoding and decoding image files
JP4490214B2 (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP4768846B2 (ja) 電子機器及び画像表示方法
JP2006236218A (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
KR102426089B1 (ko) 전자 장치 및 전자 장치의 요약 영상 생성 방법
US20110304644A1 (en) Electronic apparatus and image display method
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2006081021A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
US8494347B2 (en) Electronic apparatus and movie playback method
US20240267615A1 (en) Video processing method and electronic device
US20110304779A1 (en) Electronic Apparatus and Image Processing Method
WO2022194084A1 (zh) 视频播放方法、终端设备、装置、系统及存储介质
CN118283341A (zh) 推荐视频剪辑素材的方法、电子设备及存储介质
JP2011199906A (ja) 電子機器及び画像表示方法並びにプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180004116.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13395761

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012527581

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11814258

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11814258

Country of ref document: EP

Kind code of ref document: A1