[go: up one dir, main page]

WO2013187108A1 - 推薦装置、方法、およびプログラム - Google Patents

推薦装置、方法、およびプログラム Download PDF

Info

Publication number
WO2013187108A1
WO2013187108A1 PCT/JP2013/060210 JP2013060210W WO2013187108A1 WO 2013187108 A1 WO2013187108 A1 WO 2013187108A1 JP 2013060210 W JP2013060210 W JP 2013060210W WO 2013187108 A1 WO2013187108 A1 WO 2013187108A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
imaging device
application
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/060210
Other languages
English (en)
French (fr)
Inventor
孝範 南野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014520982A priority Critical patent/JP6396798B2/ja
Priority to US14/405,556 priority patent/US10178305B2/en
Priority to EP13804140.5A priority patent/EP2863622A4/en
Publication of WO2013187108A1 publication Critical patent/WO2013187108A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00183Photography assistance, e.g. displaying suggestions to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Definitions

  • This disclosure relates to a recommendation device, a method, and a program.
  • Patent Document 1 As an application providing technique for reducing the burden on the user, a content providing apparatus described in Patent Document 1 below is also known.
  • the content providing apparatus described in Patent Literature 1 estimates a user's feelings based on an application or content currently used by the user, and determines recommended content based on the estimated feelings.
  • software expansion by downloading applications is not limited to the above-described smartphones, but is also performed in electronic devices such as digital cameras and game machines.
  • the appropriate application for a digital camera varies depending on the use state of the digital camera, such as whether the user is currently shooting or playing back, and what kind of image the user wants to shoot. .
  • the present disclosure proposes a new and improved recommendation device, method, and program capable of recommending an application suitable for a situation.
  • a recommendation device including a determination unit that determines an application recommended for the imaging device based on information about an image selected according to the operation mode of the imaging device is proposed.
  • a step of selecting an image according to an operation mode of the imaging device and a step of determining an application recommended for the imaging device based on information about the image selected by the selection step.
  • Propose the recommendation method including.
  • a process of selecting an image according to an operation mode of the imaging apparatus and a process of determining an application recommended for the imaging apparatus based on information about the image selected by the selection process.
  • a program to be executed by a computer is proposed.
  • a recommendation system includes an imaging device 1 and a server 4.
  • the imaging device 1 is wirelessly connected to the router 2 and transmits / receives data to / from the server 4 via the network 3.
  • the imaging apparatus 1 selects a predetermined image according to the operation mode, and transmits metadata or the like of the selected image to the server 4.
  • the server 4 determines a recommended application based on the metadata transmitted from the imaging apparatus 1 and transmits the application to the imaging apparatus 1.
  • the operation modes of the imaging apparatus 1 include a shooting mode for shooting still images and moving images, and a playback mode for displaying a stored image stored in the memory on the display unit.
  • the shooting mode the user wants to shoot a certain scene or subject, so he wants to recommend an application related to the shooting operation.
  • the playback mode since the user is playing back images (stored images) taken in the past, it is desired that an application that can be used for organizing and processing stored images is recommended.
  • an application to be recommended is selected based on the metadata of the image selected according to the operation mode of the imaging apparatus 1. Has been decided.
  • the server 4 (recommendation device) according to the present embodiment can quickly recommend an application suitable for the current situation of the imaging device 1.
  • the user can download an application currently required in the imaging apparatus 1.
  • a digital camera is illustrated as an example of the imaging device 1, but the imaging device according to the present embodiment is not limited to this.
  • the imaging device may be, for example, a notebook PC having an imaging function, a smartphone, a PDA (Personal Digital Assistant), a mobile phone, a portable music playback device, a portable video processing device, or a portable game device.
  • FIG. 2 is a block diagram illustrating the configuration of the imaging apparatus 1 according to the present embodiment.
  • the imaging apparatus 1 according to the present embodiment includes a CPU 10, an operation input unit 12, an imaging unit 14, an image signal processing unit 16, a display control unit 18, a display unit 20, a storage / reproduction signal processing unit 22, A storage medium 24, a power supply unit 26, a time management unit 28, a RAM 30, a ROM 31, a GPS reception unit 32, and a communication unit 34 are included.
  • the CPU 10 is a control unit that controls each component of the imaging device 1.
  • CPU10 reads the various programs memorize
  • the CPU 10 outputs a control signal to the imaging unit 14, the image signal processing unit 16, the storage / reproduction signal processing unit 22, etc. according to the operation signal output from the operation input unit 12.
  • Imaging control, image signal processing control, storage control, display control, and the like are executed.
  • the CPU 10 according to the present embodiment has a function of selecting an image according to the operation mode, transmitting metadata or the like of the selected image to the server 4 (recommended device), and further downloading a recommended application from the server 4. Have.
  • a detailed functional configuration of the CPU 10 according to the present embodiment will be described later with reference to FIG.
  • RAM Random Access Memory
  • ROM Read The Only Memory (31) is a storage medium used when the CPU 10 operates.
  • the RAM 30 is used as a work area of the CPU 10
  • the ROM 31 stores a program for the CPU 10 to execute imaging control, signal processing control, storage control, display control, and the like.
  • the operation input unit 12 detects an operation input by the user and outputs it to the CPU 10 as an operation signal.
  • the operation input unit 12 detects an operation input by a user to a physically configured button (such as a shutter button, a mode switch, a menu button, and an operation lever) or a button displayed on the screen.
  • the operation input on the screen may be detected by a touch panel having a display function and an operation input function, for example.
  • the operation modes of the imaging apparatus 1 according to the present embodiment include a shooting mode and a playback mode as an example.
  • the user can switch to an arbitrary operation mode (photographing / playback mode) by operating a mode switch (not shown). Further, in the case of the shooting mode, the user can switch to any of the shooting modes of photos, panoramas, and moving images.
  • the imaging unit 14 is a signal conversion unit such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and an object image is formed by an optical system.
  • the subject image is formed in the signal conversion unit, the subject image is converted into an electrical image signal by the signal conversion unit.
  • the imaging unit 14 is controlled by the CPU 10 according to a user's shooting mode switching operation, and outputs an image signal of any one of a photo, a panorama, and a moving image.
  • the image signal (captured image) converted by the imaging unit 14 is sent to the display unit 20 and the storage medium 24 through the image signal processing unit 16 and the like.
  • the image signal processing unit 16 processes the image signal output from the imaging unit 14.
  • the image signal processing unit 16 performs, for example, noise removal, color tone correction, luminance correction, edge detection, and the like as necessary.
  • the image signal processing unit 16 outputs the image signal output from the imaging unit 14 to the display control unit 18.
  • the image signals output from the imaging unit 14 and processed by the image signal processing unit 16 are sequentially displayed on the display unit 20.
  • a series of processes in which the image signal output from the imaging unit 14 is sequentially displayed (in real time) on the display unit 20 is referred to as through imaging, and an image acquired by through imaging (displayed in real time). Image) is referred to as a through image.
  • the image signal processing unit 16 outputs the image signal to the storage / reproduction signal processing unit 22 according to the timing of the shutter button operation, for example.
  • the storage / reproduction signal processing unit 22 stores an image signal (captured image) output from the image signal processing unit 16 as a file in the storage medium 24 in accordance with the shutter button operation timing in the shooting mode.
  • the storage / reproduction signal processing unit 22 may store the captured image with metadata including shooting time, setting information at the time of shooting, and the like in accordance with control by the CPU 10.
  • the storage / reproduction signal processing unit 22 reads a captured image (hereinafter also referred to as a storage image) stored in the storage medium 24 in the reproduction mode, decodes it, and outputs it to the display control unit 18.
  • the storage medium 24 is an image storage unit that stores captured images, and is realized by, for example, a memory card. Further, the storage medium 24 according to the present embodiment may store captured images and metadata as image files, and may further store index information based on all image files. Details of the storage medium 24 according to the present embodiment will be described later with reference to FIG.
  • the display control unit 18 controls the display content of the display unit 20 in accordance with a control signal output from the CPU 10. More specifically, for example, the display control unit 18 controls the display unit 20 to display the captured image output from the image signal processing unit 16 as a through image in real time in the shooting mode. The display control unit 18 controls the display unit 20 to display the stored image output from the storage / reproduction signal processing unit 22 in the playback mode.
  • the display unit 20 includes, for example, a liquid crystal display (LCD) device and an OLED (Organic).
  • a display device such as a Light Emitting Diode) device.
  • the display unit 20 displays a menu screen, a through image, a stored image, and the like according to control by the display control unit 18.
  • the power supply unit 26 includes a battery and a power supply circuit, and switches power ON / OFF according to a power control signal output from the CPU 10. In addition, the power supply unit 26 supplies power to each component of the imaging device 1.
  • the time management unit 28 includes a clock circuit and manages the date and time and the hour, minute, and second. For example, the time information acquired by the time management unit 28 at the time of shooting is added to the captured image as the shooting time.
  • the GPS (Global Positioning System) receiving unit 32 acquires current position information of the imaging device 1.
  • the GPS receiving unit 32 can receive navigation messages transmitted from three or more artificial satellites, and can determine the current position based on the received navigation messages. Further, the position information acquired by the GPS receiving unit 32 may be added to the captured image as information on the shooting location.
  • the communication unit 34 is a communication interface for connecting to other communication devices.
  • the communication unit 34 can perform wired / wireless connection with other communication devices.
  • the communication unit 34 according to the present embodiment performs, for example, wireless LAN communication with the router 2 and transmits / receives data to / from the server 4 via the network 3.
  • FIG. 3 is a block diagram illustrating a functional configuration of the CPU 10 (control unit) according to the present embodiment.
  • the CPU 10 according to the present embodiment has functions of an operation mode switching unit 110, an image selection unit 120, a communication control unit 130, and an AP (application) activation unit 140.
  • the operation mode switching unit 110 switches the operation mode of the imaging apparatus 1 to the shooting mode or the playback mode in accordance with the operation of the mode switch by the user.
  • the CPU 10 controls the imaging unit 14, the image signal processing unit 16, and the display control unit 18 to perform through imaging.
  • the CPU 10 controls the storage / reproduction signal processing unit 22, the storage medium 24, and the display control unit 18 to display the stored image or index information read from the storage medium 24. 20 to control the display.
  • the image selection unit 120 selects an image to be used for determining an application recommended in the server 4 according to the operation mode of the imaging apparatus 1. More specifically, the image selection unit 120 selects a through image or a recently captured image when the imaging device 1 is in the imaging mode.
  • the recently captured image may be, for example, a predetermined number of captured images in order from the captured image closest to the current time when the captured time added to the captured image is within a time period that is a predetermined time after the current time It may be a captured image taken in
  • the image selection unit 120 selects a through image or a recently captured image as an image used for determining a recommended application in the imaging mode.
  • the server 4 (recommendation device) can recommend an application that is more suitable for the situation that the user is currently shooting.
  • the image selection unit 120 selects all of the stored images stored in the storage medium 24 or a part of the stored images currently displayed on the display unit 20.
  • the part of the stored images currently displayed on the display unit 20 may be, for example, one stored image being reproduced on the display unit 20, or a group of stored images being reproduced on the display unit 20 (reproduced) A plurality of stored images displayed on the screen in the mode).
  • the image selection unit 120 is clustered as a part of stored images stored in the storage medium 24 by day, week, month, or position and time based on the shooting date and time of the stored image. You may select for every image.
  • the image selection unit 120 selects all or a part of the stored images stored in the storage medium 24 as images used for determining a recommended application in the playback mode.
  • the server 4 (recommendation device) can recommend an application that matches the characteristics of the image frequently shot by the user. Further, by selecting the stored image being played back, the server 4 can recommend an application suitable for displaying / processing the currently played back image or shooting a similar image. .
  • the communication control unit 130 transmits information related to the image selected by the image selection unit 120 from the communication unit 34 to the server 4 and controls the server 4 to request application recommendation.
  • the information on the image specifically includes, for example, metadata (face information, processing information, imaging position information, etc.) added to the captured image, a scene recognition result of the through image, and the like.
  • metadata face information, processing information, imaging position information, etc.
  • image metadata image metadata
  • the communication control unit 130 may transmit information related to the setting state of the imaging device 1 set by the user to the server 4 in addition to the image selected by the image selection unit 120 in the shooting mode.
  • the information related to the setting state of the imaging device 1 is information on scene selection settings and picture effect settings set by the user.
  • the server 4 can recommend an application more suitable for the situation that the user is currently shooting.
  • the communication control unit 130 receives (downloads) a recommended application from the server 4 in response to a request from the imaging device 1.
  • the AP activation unit 140 controls to activate the application received (downloaded) from the server 4.
  • FIG. 4 is an explanatory diagram showing an example of information stored in the storage medium 24 according to the present embodiment.
  • the storage medium 24 stores index information 241 and image files 242-1 to 242-N (image file 242).
  • the index information is generated based on all the image files 242-1 to 242-N stored in the storage medium 24.
  • the image files 242-1 to 242-N include metadata 244-1 to 244-N (metadata 244) and image data (captured images) 246-1 to 246-N, respectively.
  • Image data 246 The metadata 244 is information related to the image data 246, and includes shooting time, shooting position information, setting state at the time of shooting, and the like.
  • the metadata 244 is information related to the image data 246, and includes shooting time, shooting position information, setting state at the time of shooting, and the like.
  • FIG. 5 is an explanatory diagram showing a specific example of the metadata 244 according to the present embodiment.
  • still image metadata 244 ⁇ / b> A when image data 246 is a still image includes face information, shooting mode, continuous shooting, photo processing, and position information.
  • “Face information” is information indicating the position (x, y) and size (w, h) of each face in the image, as a result of face recognition of the image data 246.
  • “Shooting mode” is a method for setting shooting parameters, and is information indicating whether shooting parameters were set in full auto, program auto, aperture priority, shutter speed priority, or manual during shooting.
  • the “continuous shooting” is continuous shooting presence / absence information at the time of shooting, and includes a continuous shooting group ID for identifying each continuous shooting when continuous shooting is present.
  • “Photo processing” is information indicating whether or not the image data 246 is processed, and may include information on an application used for processing when processing is present.
  • “Position information” is information indicating the latitude and longitude of the shooting point.
  • the moving image metadata 244B in the case where the image data 246 is a moving image includes face information, a shooting mode, and position information.
  • face information indicates at which point in the video the face is.
  • a time stamp is included.
  • position information includes a time stamp indicating at which time point in the video the latitude and longitude are present, and the latitude and longitude of the representative position.
  • FIG. 6 is a block diagram showing a functional configuration of the server 4 according to the present embodiment.
  • the server 4 includes a communication unit 41, a determination unit 43, and an AP (application) database 45.
  • the communication unit 41 has a function of performing data communication with an external device.
  • the communication unit 41 transmits and receives data to and from the imaging device 1 via the network 3. More specifically, the communication unit 41 receives metadata or the like of an image selected from the imaging device 1, and transmits a recommended application determined based on the received metadata or the like to the imaging device 1.
  • the determination unit 43 determines an application to be recommended based on the metadata of the image selected by the imaging device 1 received from the communication unit 41. Further, when using metadata of a plurality of images, the determination unit 43 may determine an application to recommend based on the statistics of the metadata.
  • determination of the recommended application by the determination unit 43 according to the operation mode (photographing / playback mode) of the imaging apparatus 1 will be described in detail.
  • the determination unit 43 determines a recommended application based on information about a through image or a recently captured image. Thereby, the determination part 43 can recommend the application more suitable for the condition which the user is going to image
  • the determination unit 43 may determine an application to be recommended as follows, for example.
  • the determination unit 43 may determine that there are many people.
  • the determination unit 43 may determine a recommended application based on information regarding the setting state of the imaging apparatus 1 set by the user as described below.
  • C Scene selection setting ... Scene addition application
  • d Picture effect ... Effect addition application
  • the determination unit 43 determines a recommended application based on information about all or part of the stored images stored in the storage medium 24. Thereby, the determination part 43 can recommend the application suitable for the characteristic of the image which a user photographs frequently.
  • the determination unit 43 may extract the characteristics of the stored image group selected in the playback mode based on the stored image metadata as follows (calculation of statistics).
  • the determination part 43 may determine the application recommended as follows based on the characteristic of the extracted memory
  • the AP database 45 is a storage unit that stores various applications that can be downloaded to the imaging apparatus 1.
  • the AP database 25 stores a skin beautifying application, a scene addition application, a skin beautifying application, a photographing guide application, and the like.
  • the determining unit 43 of the server 4 determines the recommended application from the AP database 45, but the determining process of the determining unit 43 according to the present embodiment is not limited to this.
  • the determination unit 43 may determine a recommended application from an unspecified number of AP storage servers on the network 3.
  • FIG. 7 is a flowchart showing an operation process of the recommendation system according to the present embodiment.
  • step S100 when the operation input unit 12 of the imaging apparatus 1 detects an operation of a recommended AP (application) button, processing of the recommendation system according to the present embodiment is started.
  • the recommended AP button may be a physically configured button or a button displayed on the screen.
  • FIG. 8 shows an example of a recommended AP button displayed on the screen.
  • a through image 50 is displayed on the display unit 20, and a MENU button 51 and a recommended AP button 52 are further displayed.
  • an index screen 54 is displayed on the display unit 20, and a MENU button 51 and a recommended AP button 52 are further displayed.
  • the stored image 56 is displayed on the display unit 20, and the MENU button 51 and the recommended AP button 52 are further displayed.
  • the user touches the recommended AP button 52 to download an application suitable for the current state of the imaging apparatus 1.
  • step S103 the image selection unit 120 determines the operation mode of the imaging apparatus 1.
  • step S106 when the operation mode of the imaging apparatus 1 is the shooting mode, the image selection unit 120 selects a through image or a recently captured image.
  • step S109 when the operation mode of the imaging apparatus 1 is the reproduction mode, the image selection unit 120 selects the stored image being reproduced or all the stored images.
  • step S112 the communication control unit 130 transmits the metadata and the like of the image selected by the image selection unit 120 to the server 4.
  • step S115 the determination unit 43 of the server 4 determines a recommended application based on the metadata of the received image.
  • step S118 the communication unit 41 transmits the determined application to the imaging apparatus 1.
  • step S121 the communication unit 34 of the imaging device 1 downloads the application, and the AP activation unit 140 activates the downloaded application.
  • an appropriate application can be provided more quickly at the time of shooting or playback.
  • the recommended application determined by the determination unit 43 is automatically downloaded and activated in steps S115 to S121. It is not limited to.
  • the determination unit 43 may determine a plurality of recommended applications.
  • the communication unit 41 may transmit information regarding a plurality of determined applications to the imaging apparatus 1. Then, the display control unit 18 of the imaging device 1 generates a selection screen based on the received information regarding the plurality of applications, and controls the display unit 20 to display the selection screen.
  • a guide display such as “Recommended application for you” and a plurality of AP selection buttons 59 are displayed.
  • a selection screen 58 including display is displayed.
  • the display control unit 18 may display the application name, function, pay / free information, and the like as information related to each application.
  • the imaging apparatus 1 downloads and starts the selected application.
  • the display control unit 18 displays the MENU screen 60 on the display unit 20.
  • the AP download button 62 included in the MENU screen 60 is selected, the operation process by the recommendation system may be started.
  • the imaging apparatus 1 may automatically download the recommended application determined by the determination unit 43 of the server 4 as described above, or displays the selection screen 58 and downloads it as shown in FIG. The user may select an application to be performed.
  • the determination unit 43 determines a recommended application based on information about a through image or a recently captured image. Thereby, the determination part 43 can recommend the application more suitable for the condition which the user is going to image
  • the determination unit 43 determines a recommended application based on information about all or a part of the stored images stored in the storage medium 24. Thereby, the determination part 43 can recommend the application suitable for the characteristic of the image which a user photographs frequently.
  • the recommendation system illustrated in FIG. 1 includes the imaging device 1 and the server 4, and the server 4 determines a recommended application based on the metadata of the image transmitted from the imaging device.
  • the configuration of the recommendation system according to the disclosure is not limited to the example shown in FIG.
  • the recommended application may be determined based on the metadata of the selected image in the imaging apparatus.
  • the imaging device may search and acquire the determined recommended application (for example, a skin beautifying application) from the network 3.
  • the imaging device may start after automatically downloading (DL) the determined recommended application, or display information regarding the determined recommended application, and the DL and the application to be started The user may be allowed to select.
  • a recommendation device comprising: a determination unit that determines an application recommended for the imaging device based on information about an image selected according to an operation mode of the imaging device.
  • the recommendation device according to (1) wherein the information related to the image is metadata added to the image or a scene recognition result of the through image.
  • the recommendation device according to (1) wherein the image is a through image or a predetermined captured image in an imaging mode.
  • the predetermined captured image is a captured image captured within a certain past time from the current time in the imaging mode, or a certain amount of captured images whose imaging time is close to the current time. apparatus.
  • the determination unit determines an application to be recommended to the imaging device based on information related to a setting state of the imaging device set by a user in the imaging mode. Any one of (1) to (4) The recommendation device according to item 1. (6) The recommendation device according to any one of (1) to (5), wherein the image is a predetermined stored image stored in the imaging device in a playback mode. (7) The recommendation device according to (6), wherein the predetermined stored image is a plurality of stored images displayed on a screen in a reproduction mode. (8) The recommendation device according to (6), wherein the predetermined storage image is a storage image being reproduced or all storage images stored in the imaging device.
  • the recommendation device is: A receiving unit that receives an image selected according to a mode of the imaging device or information about the selected image from the imaging device; A transmission unit that transmits the application determined by the determination unit to the imaging device; The recommendation device according to any one of (1) to (9), further including: (11)
  • the recommendation device is: An imaging unit; A display unit; A display control unit that controls to display information on the application determined by the determination unit on the display unit; The recommendation device according to any one of (1) to (9), wherein the recommendation device is an imaging device.
  • the recommendation device is: An operation detection unit for detecting a user's selection operation for information on a plurality of applications displayed on the display unit; A control unit that controls to start the application selected by the user;
  • the recommendation device is: An imaging unit; A control unit that controls to start the application determined by the determination unit;
  • the recommendation device according to any one of (1) to (9), wherein the recommendation device is an imaging device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】状況に合ったアプリケーションを推薦することが可能な推薦装置、方法、およびプログラムを提供する。 【解決手段】撮像装置の動作モードに応じて選択される画像に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定する決定部を備える推薦装置。

Description

推薦装置、方法、およびプログラム
 本開示は、推薦装置、方法、およびプログラムに関する。
 近年、電子機器のソフトウェア拡張において、スマートフォンへのアプリケーションダウンロードに代表されるように、ユーザが膨大なアプリケーションの中から好みのものを選択することで拡張を行う方法が主流となっている。また、膨大なアプリケーションの中から好みのものを選択するのは困難であるので、スマートフォンへのアプリケーションダウンロードにおいては、キーワード検索や関連アプリケーションの提示といった技術により、ユーザの負担を軽減している。
 また、ユーザの負担を軽減するためのアプリケーション提供技術として、下記特許文献1に記載のコンテンツ提供装置も知られている。特許文献1に記載のコンテンツ提供装置は、現在ユーザが使用しているアプリケーションやコンテンツに基づいてユーザの心境を推定し、推定した心境に基づいて、推薦するコンテンツを決定している。
特開2009-140341号公報
 ここで、アプリケーションのダウンロードによるソフトウェア拡張は、上述したスマートフォンに限らず、デジタルカメラやゲーム機等の電子機器でも行われている。特に、デジタルカメラ用のアプリケーションは、ユーザが現在撮影しているのか、または再生しているのかといったデジタルカメラの利用状態や、ユーザがどのような画像を撮影したいのか等によって、適切なアプリケーションが異なる。
 しかしながら、上述したキーワード検索や、現在ユーザが使用しているアプリケーションに基づいて推薦する方法では、上述したようにデジタルカメラの利用状態や所望する撮影画像等によって異なる適切なアプリケーションを推薦することは困難であった。
 そこで、本開示では、状況に合ったアプリケーションを推薦することが可能な、新規かつ改良された推薦装置、方法、およびプログラムを提案する。
 本開示によれば、撮像装置の動作モードに応じて選択された画像に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定する決定部を備える推薦装置を提案する。
 本開示によれば、撮像装置の動作モードに応じて画像を選択するステップと、前記選択するステップにより選択された画像に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定するステップと、を含む推薦方法を提案する。
 本開示によれば、撮像装置の動作モードに応じて画像を選択する処理と、前記選択する処理により選択された画像に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定する処理と、をコンピュータに実行させるプログラムを提案する。
 以上説明したように本開示によれば、状況に合ったアプリケーションを推薦することが可能となる。
本開示の一実施形態による推薦システムの概要について説明するための図である。 本実施形態による撮像装置の構成を示すブロック図である。 本実施形態によるCPUの機能構成を示すブロック図である。 本実施形態による記憶メディアに記憶される情報の一例を示す説明図である。 本実施形態によるメタデータの具体例を示す説明図である。 本実施形態によるサーバの機能構成を示すブロック図である。 本実施形態による推薦システムの動作処理を示すフローチャートである。 画面上に表示されるお勧めAPボタンを示す説明図である。 お勧めアプリケーションの選択画面の一例を示す図である。 MENU画面からAPダウンロードが指示された場合の画面遷移図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、説明は以下の順序で行うものとする。
 1.本開示の一実施形態による推薦システムの概要
 2.基本構成
  2-1.撮像装置の構成
  2-2.サーバの構成
 3.動作処理
 4.まとめ 
  <1.本開示の一実施形態による推薦システムの概要>
 まず、本開示の一実施形態による推薦システムの概要について図1を参照して説明する。図1に示すように、本開示の一実施形態による推薦システムは、撮像装置1およびサーバ4を含む。撮像装置1は、ルータ2に無線接続し、ネットワーク3を介してサーバ4とデータの送受信を行う。
 このような推薦システムにおいて、本実施形態による撮像装置1は、動作モードに応じて所定の画像を選択し、選択した画像のメタデータ等をサーバ4に送信する。サーバ4は、撮像装置1から送信されたメタデータ等に基づき、推薦するアプリケーションを決定し、撮像装置1に送信する。
 ここで、撮像装置1の動作モードには、静止画や動画の撮影を行う撮影モード、およびメモリに記憶されている記憶画像を表示部に表示する再生モードがある。撮影モードの場合、ユーザは何らかのシーンや被写体を撮影しようとしているので、撮影動作に関係するアプリケーションが推薦されることを望む。一方、再生モードの場合、ユーザは過去に撮影された画像(記憶画像)を再生しているので、記憶画像の整理や加工等に利用できるアプリケーションが推薦されることを望む。
 このように、撮像装置1の状況によって適切なアプリケーションが異なるので、本実施形態による推薦システムでは、撮像装置1の動作モードに応じて選択された画像のメタデータ等に基づいて、推薦するアプリケーションを決定している。
 これにより、本実施形態によるサーバ4(推薦装置)は、撮像装置1の現在の状況に適したアプリケーションを迅速に推薦することができる。また、ユーザは、撮像装置1において現在必要なアプリケーションをダウンロードすることができる。
 以上、本開示の一実施形態による推薦システムの概要について説明した。続いて、本開示の一実施形態による推薦システムを構成する各装置の基本構成について詳細に説明する。
 なお、図1では、撮像装置1の一例としてデジタルカメラを図示しているが、本実施形態による撮像装置はこれに限定されない。撮像装置は、例えば撮像機能を有するノートPC、スマートフォン、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器であってもよい。
  <2.基本構成>
  (2-1.撮像装置の構成)
 図2は、本実施形態による撮像装置1の構成を示すブロック図である。図2に示すように、本実施形態による撮像装置1は、CPU10、操作入力部12、撮像部14、画像信号処理部16、表示制御部18、表示部20、記憶/再生信号処理部22、記憶メディア24、電源部26、時間管理部28、RAM30、ROM31、GPS受信部32、および通信部34を有する。
 CPU10は、撮像装置1の各構成を制御する制御部である。CPU10は、後述ROM31に記憶されている各種プログラムを読み出し、RAM30を作業領域として利用して各種制御を行う。
 例えば、CPU10は、図2に示すように、操作入力部12から出力された操作信号に応じて、撮像部14、画像信号処理部16、記憶/再生信号処理部22等にコントロール信号を出力し、撮像制御、画像信号処理制御、記憶制御または表示制御等を実行する。
 また、本実施形態によるCPU10は、動作モードに応じて画像を選択し、選択した画像のメタデータ等をサーバ4(推薦装置)に送信し、さらにサーバ4から推薦されたアプリケーションをダウンロードする機能を有する。なお、本実施形態によるCPU10の詳細な機能構成については、図3を参照して後述する。
 RAM(Random
Access Memory)30およびROM(Read
Only Memory)31は、CPU10が動作する際に利用される記憶媒体である。例えば、RAM30は、CPU10の作業領域として利用され、ROM31は、CPU10が撮像制御、信号処理制御、記憶制御および表示制御等を実行するためのプログラムを記憶する。
 操作入力部12は、ユーザによる操作入力を検出し、操作信号としてCPU10に出力する。操作入力部12は、物理的な構成のボタン(シャッターボタン、モードスイッチ、メニューボタンおよび操作レバー等)、または画面上に表示されるボタンへのユーザによる操作入力を検出する。画面上の操作入力は、例えば表示機能および操作入力機能を有するタッチパネルにより検出してもよい。ここで、本実施形態による撮像装置1の動作モードには、一例として撮影モードおよび再生モードがある。ユーザは、モードスイッチ(不図示)を操作して任意の動作モード(撮影/再生モード)に切り替えることができる。また、ユーザは、撮影モードの場合、写真、パノラマおよび動画のいずれかの撮影モードに切り替えることができる。
 撮像部14は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの信号変換部であって、光学系により被写体像が形成される。被写体像が信号変換部に形成されると、被写体像は信号変換部により電気的な画像信号に変換される。また、撮像部14は、ユーザの撮影モード切り替え操作に応じてCPU10により制御され、写真、パノラマおよび動画のいずれかの画像信号を出力する。また、撮像部14により変換された画像信号(撮像画像)は、画像信号処理部16等を通して表示部20や記憶メディア24に送られる。
 画像信号処理部16は、撮像部14から出力された画像信号を処理する。画像信号処理部16は、必要に応じて、例えばノイズ除去、色調補正、輝度補正、エッジ検出等を行う。また、画像信号処理部16は、撮像部14から出力された画像信号を表示制御部18に出力する。
 ここで、撮影モードにおいては、撮像部14から出力され、画像信号処理部16で処理された画像信号が、表示部20に逐次表示される。このように、撮像部14から出力された画像信号が表示部20に逐次(リアルタイムに)表示される一連の処理をスルー撮像と称し、また、スルー撮像により取得される画像(リアルタイムに表示される画像)をスルー画像と称す。
 また、画像信号処理部16は、例えばシャッターボタン操作のタイミングに応じて、画像信号を記憶/再生信号処理部22に出力する。
 記憶/再生信号処理部22は、撮影モード時に、シャッターボタン操作のタイミングに応じて画像信号処理部16から出力される画像信号(撮像画像)を記憶メディア24にファイルとして記憶する。なお、記憶/再生信号処理部22は、CPU10による制御に応じて、撮像画像に、撮影時刻や撮影時の設定情報等を含むメタデータを付加して記憶してもよい。また、記憶/再生信号処理部22は、再生モード時に、記憶メディア24に記憶された撮像画像(以下、記憶画像とも称す)を読み出し、復号して表示制御部18に出力する。
 記憶メディア24は、撮像画像を記憶する画像記憶部であって、例えばメモリカードにより実現される。また、本実施形態による記憶メディア24は、撮像画像およびメタデータを画像ファイルとして記憶してもよく、さらに、全画像ファイルに基づくインデックス情報を記憶してもよい。なお、本実施形態による記憶メディア24の詳細については、図4を参照して後述する。
 表示制御部18は、CPU10から出力されるコントロール信号に従って、表示部20の表示内容を制御する。より具体的には、例えば表示制御部18は、撮影モード時において、画像信号処理部16から出力される撮像画像を、リアルタイムにスルー画像として表示部20に表示するよう制御する。また、表示制御部18は、再生モード時において、記憶/再生信号処理部22から出力される記憶画像を表示部20に表示するよう制御する。
 表示部20は、例えば、液晶ディスプレイ(LCD)装置およびOLED(Organic
Light Emitting Diode)装置などの表示装置である。本実施形態による表示部20は、表示制御部18による制御に応じて、メニュー画面、スルー画像、記憶画像等を表示する。
 電源部26は、バッテリおよび電源回路を含み、CPU10から出力される電源コントロール信号に応じて電源ON/OFFを切り替える。また、電源部26は、撮像装置1の各構成に電力供給を行う。
 時間管理部28は、時計回路を含み、年月日および時分秒を管理する。例えば、撮影時に時間管理部28により取得される時間情報は、撮影時刻として撮像画像に付加される。
 GPS(Global Positioning System)受信部32は、撮像装置1の現在位置情報を取得する。GPS受信部32は、3個以上の人工衛星から送信される航法メッセージを受信し、受信した航法メッセージに基づいて現在位置を測位することができる。また、GPS受信部32により取得される位置情報は、撮影場所の情報として撮像画像に付加されてもよい。
 通信部34は、他の通信装置に接続するための通信インターフェースである。通信部34は、他の通信装置と有線/無線接続を行うことが可能である。本実施形態による通信部34は、例えばルータ2と無線LAN通信を行い、ネットワーク3を介してサーバ4とデータの送受信を行う。
 以上、本実施形態による撮像装置1の各構成について説明した。続いて、上述したCPU10(制御部)の機能構成、および記憶メディア24の記憶内容について順次詳細に説明する。
  (CPU10の機能構成)
 図3は、本実施形態によるCPU10(制御部)の機能構成を示すブロック図である。図3に示すように、本実施形態によるCPU10は、動作モード切替部110、画像選択部120、通信制御部130、およびAP(アプリケーション)起動部140の機能を有する。
 動作モード切替部110は、ユーザによるモードスイッチの操作に応じて撮像装置1の動作モードを撮影モードまたは再生モードに切り替える。撮影モードに切り替えられた場合、CPU10は、撮像部14、画像信号処理部16、および表示制御部18を制御し、スルー撮像を行う。また、再生モードに切り替えられた場合、CPU10は、記憶/再生信号処理部22、記憶メディア24、および表示制御部18を制御し、記憶メディア24から読み出された記憶画像またはインデックス情報を表示部20に表示するよう制御する。
 画像選択部120は、撮像装置1の動作モードに応じて、サーバ4において推薦するアプリケーションを決定するために利用する画像を選択する。より具体的には、画像選択部120は、撮像装置1が撮影モードの場合、スルー画像、または最近撮影された撮像画像を選択する。最近撮影された撮像画像とは、例えば撮像画像に付加された撮影時刻が現在時刻に最も近い撮像画像から順に所定の枚数の撮像画像であってもよいし、現在時刻から所定時間遡った時間内に撮影された撮像画像であってもよい。
 このように画像選択部120は、撮影モード時に、推薦するアプリケーションを決定するために利用される画像として、スルー画像または最近撮影された撮像画像を選択する。これにより、サーバ4(推薦装置)は、ユーザが現在撮影しようとしている状況により適したアプリケーションを推薦することができる。
 一方、撮像装置1が再生モードの場合、画像選択部120は、記憶メディア24に記憶されている全て、または表示部20に現在表示されている一部の記憶画像を選択する。表示部20に現在表示されている一部の記憶画像とは、例えば表示部20で再生中の1枚の記憶画像であってもよいし、表示部20でインデックス再生中の記憶画像群(再生モードにおいて画面に表示されている複数の記憶画像)であってもよい。また、画像選択部120は、記憶メディア24に記憶されている一部の記憶画像として、記憶画像の撮影日時等に基づいて、日にち毎、週毎、月毎、または位置や時間でクラスタリングされた画像毎に選択してもよい。
 このように画像選択部120は、再生モード時に、推薦するアプリケーションを決定するために利用される画像として、記憶メディア24に記憶されている全てまたは一部の記憶画像を選択する。これにより、サーバ4(推薦装置)は、ユーザが頻繁に撮影する画像の特性に合ったアプリケーションを推薦することができる。また、再生中の記憶画像が選択されることで、サーバ4は、現在再生している画像を表示・加工したり、同様の画像を撮影したりする場合に適したアプリケーションを推薦することができる。
 通信制御部130は、画像選択部120により選択された画像に関する情報を通信部34からサーバ4に送信し、サーバ4によるアプリケーションの推薦を要求するよう制御する。ここで、画像に関する情報とは、具体的には、例えば撮像画像に付加されたメタデータ(顔情報、加工情報、撮像位置情報等)や、スルー画像のシーン認識結果等であって、本明細書においては「画像のメタデータ等」とも称する。なお、メタデータの詳細な内容については、図5を参照して後述する。
 なお、通信制御部130は、撮影モード時において、画像選択部120により選択された画像の他、ユーザにより設定された撮像装置1の設定状態に関する情報をサーバ4に送信してもよい。撮像装置1の設定状態に関する情報とは、ユーザにより設定されたシーンセレクション設定やピクチャーエフェクト設定の情報である。これにより、サーバ4は、ユーザが現在撮影しようとしている状況により適したアプリケーションを推薦することができる。
 また、通信制御部130は、撮像装置1からの要求に応じてサーバ4から推薦されたアプリケーションを受信(ダウンロード)する。
 AP起動部140は、サーバ4から受信(ダウンロード)したアプリケーションを起動するよう制御する。
  (記憶メディア24)
 次に、本実施形態による記憶メディア24の記憶内容について図4および図5を参照して詳細に説明する。
 図4は、本実施形態による記憶メディア24に記憶される情報の一例を示す説明図である。図4に示すように、記憶メディア24には、インデックス情報241、および画像ファイル242-1~242-N(画像ファイル242)が記憶されている。インデックス情報は、記憶メディア24に記憶されている全ての画像ファイル242-1~242-Nに基づいて生成される。
 また、図4に示すように、画像ファイル242-1~242-Nは、各々メタデータ244-1~244-N(メタデータ244)、および画像データ(撮像画像)246-1~246-N(画像データ246)を含む。メタデータ244は、画像データ246に関する情報であって、撮影時刻や、撮影位置情報、撮影時の設定状態等が含まれる。以下、図5を参照して具体的に説明する。
 図5は、本実施形態によるメタデータ244の具体例を示す説明図である。図5に示すように、例えば画像データ246が静止画の場合における静止画メタデータ244Aは、顔情報、撮影モード、連写、写真加工、および位置情報を含む。
 「顔情報」とは、画像データ246の顔認識の結果であって、画像中の顔毎の位置(x,y)や大きさ(w,h)を示す情報である。「撮影モード」は、撮影パラメータの設定方法であって、撮影時に、フルオート、プログラムオート、絞り優先、シャッタースピード優先、またはマニュアルのいずれで撮影パラメータが設定されていたかを示す情報である。「連写」は、撮影時の連写有無情報であって、連写有りの場合、各連写を識別するための連写グループIDを含む。「写真加工」は、画像データ246の加工有無を示す情報であって、加工有りの場合、加工に使用したアプリケーションの情報を含んでもよい。「位置情報」は、撮影地点の緯度経度を示す情報である。
 また、図5に示すように、例えば画像データ246が動画の場合における動画メタデータ244Bは、顔情報、撮影モード、および位置情報を含む。
 「顔情報」、「撮影モード」、および「位置情報」の定義は、上述した静止画メタデータ244Aと同様であるが、「顔情報」には、動画中のどの時点における顔であるかを示すtimestampが含まれる。また、「位置情報」には、動画中のどの時点における緯度経度であるかを示すtimestampと、代表位置の緯度経度が含まれる。
  (2-2.サーバの構成)
 次に、本実施形態によるサーバ4(推薦装置)の構成について図6を参照して説明する。図6は、本実施形態によるサーバ4の機能構成を示すブロック図である。図6に示すように、サーバ4は、通信部41、決定部43、およびAP(アプリケーション)データベース45を有する。
  (通信部41)
 通信部41は、外部装置とデータ通信を行う機能を有し、本実施形態では、ネットワーク3を介して撮像装置1とデータの送受信を行う。より具体的には、通信部41は、撮像装置1から選択された画像のメタデータ等を受信し、また、受信したメタデータ等に基づいて決定した推薦するアプリケーションを撮像装置1に送信する。
  (決定部43)
 決定部43は、通信部41から受信した撮像装置1により選択された画像のメタデータ等に基づいて、推薦するアプリケーションを決定する。また、決定部43は、複数の画像のメタデータを利用する場合、当該メタデータの統計に基づいて、推薦するアプリケーションを決定してもよい。以下、撮像装置1の動作モード(撮影/再生モード)に応じた決定部43による推薦するアプリケーションの決定について詳細に説明する。
 ・撮影モード時
 決定部43は、撮像装置1が撮影モードの場合、スルー画像または最近撮影された撮像画像に関する情報に基づいて、推薦するアプリケーションを決定する。これにより、決定部43は、ユーザが現在撮影しようとしている状況により適したアプリケーションを推薦することができる。
 より具体的には、決定部43は、例えば以下のように推薦するアプリケーションを決定してもよい。
(a)スルー画像のシーン認識結果が「人物モード」の場合・・・美肌撮影アプリケーション
(b)最近撮影された撮像画像に人物が多い場合・・・美肌撮影アプリケーション
 ここで、上記(a)の「最近撮影された撮像画像に人物が多い場合」とは、例えば対象画像群の各メタデータに基づき、対象画像群中において「顔情報数÷画像数」が閾値を超えている場合、決定部43は人物が多いと判断してもよい。
 また、本実施形態による決定部43は、以下のように、ユーザにより設定された撮像装置1の設定状態に関する情報に基づいて、推薦するアプリケーションを決定してもよい。
(c)シーンセレクション設定・・・シーン追加アプリケーション
(d)ピクチャーエフェクト・・・エフェクト追加アプリケーション
 ・再生モード時
 決定部43は、撮像装置1が再生モードの場合、記憶メディア24に記憶されている全てまたは一部の記憶画像に関する情報に基づいて、推薦するアプリケーションを決定する。これにより、決定部43は、ユーザが頻繁に撮影する画像の特性に合ったアプリケーションを推薦することができる。
 また、決定部43は、再生モードの場合に選択された記憶画像群の特徴を、記憶画像のメタデータに基づいて以下のように抽出してもよい(統計の算出)。
(I)人物撮影画像が多い;対象画像群中の「顔情報数÷画像数」が閾値を超えている場合
(J)オートモード撮影が多い;対象画像群中の「フルオート撮影画像数÷画像数」が閾値を超えている場合
(K)連写撮影画像が多い;対象画像群中の「連写静止画数÷静止画数」が閾値を超えている場合
(L)写真加工アプリで加工した写真が多い;対象画像群の中の「写真加工静止画数÷静止画数」が閾値を超えている場合
(M)色々な場所で撮影している;対象画像群の静止画位置情報と動画代表位置情報の分散が閾値を超えている場合
 そして、決定部43は、抽出した記憶画像群の特徴に基づいて、以下のように推薦するアプリケーションを決定してもよい。
(i)人物撮影画像が多い・・・美肌加工アプリケーション
(j)オートモード撮影が多い・・・撮影ガイドアプリケーション
(k)連写撮影画像が多い・・・連写画像整理アプリケーション
(l)写真加工アプリで加工した写真が多い・・・他の写真加工アプリケーション
(m)色々な場所で撮影している・・・位置情報に基づいて地図上に写真を表示するアプリケーション
  (APデータベース45)
 APデータベース45は、撮像装置1にダウンロード可能な各種アプリケーションを格納する記憶部である。例えば、APデータベース25は、美肌撮影アプリケーション、シーン追加アプリケーション、美肌加工アプリケーション、撮影ガイドアプリケーション等を格納する。
 なお、図6に示す構成では、サーバ4の決定部43はAPデータベース45から推薦するアプリケーションを決定しているが、本実施形態による決定部43の決定処理はこれに限定されない。例えば、決定部43は、ネットワーク3上の不特定多数のAP格納サーバから、推薦するアプリケーションを決定してもよい。
  <3.動作処理>
 次に、本実施形態による推薦システムの動作処理について図7を参照して説明する。図7は、本実施形態による推薦システムの動作処理を示すフローチャートである。
 図7に示すように、まず、ステップS100において、撮像装置1の操作入力部12が、お勧めAP(アプリケーション)ボタンの操作を検出した場合、本実施形態による推薦システムの処理が開始される。お勧めAPボタンは、物理的な構成のボタンであってもよいし、画面上に表示されるボタンであってもよい。
 ここで、図8に、画面上に表示されるお勧めAPボタンの一例を示す。図8に示すように、撮影モードでは、表示部20にスルー画像50が表示され、さらにMENUボタン51およびお勧めAPボタン52が表示される。また、再生モードのうち、記憶画像をインデックスで表示するインデックス再生モードでは、表示部20にインデックス画面54が表示され、さらにMENUボタン51およびお勧めAPボタン52が表示される。また、再生モードのうち、記憶画像を全画面に表示する全画面再生モードでは、表示部20に記憶画像56が表示され、さらにMENUボタン51およびお勧めAPボタン52が表示される。
 このように、各動作モード時においてお勧めAPボタン52が表示されるので、ユーザは、現在の撮像装置1の状況に適したアプリケーションをダウンロードしたい場合に、お勧めAPボタン52をタッチ操作する。
 次に、ステップS103において、画像選択部120は、撮像装置1の動作モードを判定する。
 次いで、ステップS106において、画像選択部120は、撮像装置1の動作モードが撮影モードの場合、スルー画像または最近撮影された撮像画像を選択する。
 一方、ステップS109において、画像選択部120は、撮像装置1の動作モードが再生モードの場合、再生中の記憶画像または全ての記憶画像を選択する。
 次に、ステップS112において、通信制御部130は、画像選択部120に選択された画像のメタデータ等をサーバ4に送信する。
 次いで、ステップS115において、サーバ4の決定部43は、受信した画像のメタデータ等に基づいて、推薦するアプリケーションを決定する。
 次に、ステップS118において、通信部41は、決定したアプリケーションを撮像装置1に送信する。
 そして、ステップS121において、撮像装置1の通信部34はアプリケーションをダウンロードし、AP起動部140はダウンロードしたアプリケーションを起動する。
 これにより、ユーザが撮像装置1の表示部20に表示されるお勧めAPボタン52(図8参照)をタッチすると、撮像装置1の今の状況に適したアプリケーションが自動的にダウンロードされ、起動される。このように、本実施形態による推薦システムでは、撮影時や再生時において、適切なアプリケーションをより迅速に提供することができる。
  (補足1)
 図7に示す推薦システムの動作処理では、ステップS115~S121において、決定部43により決定された推薦するアプリケーションを自動的にダウンロードし、起動しているが、本開示による推薦システムの動作処理はこれに限定されない。例えば、上記ステップS115において、決定部43は、推薦するアプリケーションを複数決定してもよい。
 この場合、通信部41は、決定された複数のアプリケーションに関する情報を撮像装置1に送信してもよい。そして、撮像装置1の表示制御部18は、受信した複数のアプリケーションに関する情報に基づいて選択画面を生成し、表示部20に表示するよう制御する。
 例えば図9に示すように、全画面再生モード時に記憶画像56と共に表示されたお勧めAP52がタッチされると、「あなたへのお勧めアプリケーション」といった案内表示と共に、複数のAP選択用ボタン59の表示を含む選択画面58が表示される。また、表示制御部18は、各アプリケーションに関する情報として、アプリケーションの名称、機能、有料/無料の情報等を併せて表示してもよい。
 これにより、ユーザは、推薦されたアプリケーションから任意のアプリケーションを選択することができる。また、撮像装置1は、選択されたアプリケーションをダウンロードし、起動する。
  (補足2)
 図7~図9において説明した上述した本実施形態による推薦システムでは、スルー画像や記憶画像と共に表示された「お勧めAPボタン52」が操作された場合に動作処理を開始しているが、本開示による推薦システムはこれに限定されない。
 例えば、図10に示すように、記憶画像57と共に表示されたMENUボタン51が操作された場合、表示制御部18はMENU画面60を表示部20に表示する。そして、MENU画面60に含まれるAPダウンロードボタン62が選択された場合、推薦システムによる動作処理を開始してもよい。
 この場合、撮像装置1は、上述したようにサーバ4の決定部43により決定された推薦するアプリケーションを自動的にダウンロードしてもよいし、図10に示すように選択画面58を表示し、ダウンロードするアプリケーションをユーザに選択させてもよい。
  <4.まとめ>
 上述したように、本実施形態による推薦システムでは、撮影時や再生時において、状況に合った適切なアプリケーションを提供することが可能である。
 より具体的には、撮像装置1が撮影モードの場合、決定部43は、スルー画像または最近撮影された撮像画像に関する情報に基づいて、推薦するアプリケーションを決定する。これにより、決定部43は、ユーザが現在撮影しようとしている状況により適したアプリケーションを推薦することができる。
 また、撮像装置1が再生モードの場合、決定部43は、記憶メディア24に記憶されている全てまたは一部の記憶画像に関する情報に基づいて、推薦するアプリケーションを決定する。これにより、決定部43は、ユーザが頻繁に撮影する画像の特性に合ったアプリケーションを推薦することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
 例えば、図1に示す推薦システムは、撮像装置1およびサーバ4を有し、サーバ4が、撮像装置から送信された画像のメタデータ等に基づいて、推薦するアプリケーションを決定しているが、本開示による推薦システムの構成は図1に示す例に限定されない。
 例えば、撮像装置内で、選択した画像のメタデータ等に基づいて推薦するアプリケーションを決定してもよい。この場合、撮像装置(推薦装置)は、決定した推薦するアプリケーション(例えば、美肌撮影アプリケーション等)を、ネットワーク3上から検索して取得してもよい。
 また、撮像装置(推薦装置)は、決定した推薦するアプリケーションを自動的にダウンロード(DL)した上で起動してもよいし、決定した推薦するアプリケーションに関する情報を表示し、DLおよび起動するアプリケーションをユーザに選択させてもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 撮像装置の動作モードに応じて選択された画像に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定する決定部を備える推薦装置。
(2)
 前記画像に関する情報は、画像に付加されたメタデータ、またはスルー画像のシーン認識結果である、前記(1)に記載の推薦装置。
(3)
 前記画像は、撮像モード時のスルー画像または所定の撮像画像である、前記(1)に記載の推薦装置。
(4)
 前記所定の撮像画像は、撮像モード時において、現在時刻から過去一定時間内に撮像された撮像画像、または撮像時刻が現在時刻に近い一定量の撮像画像である、前記(3)に記載の推薦装置。
(5)
 前記決定部は、撮像モード時において、ユーザにより設定された前記撮像装置の設定状態に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定する、前記(1)から前記(4)のいずれか1項に記載の推薦装置。
(6)
 前記画像は、再生モード時において、前記撮像装置に記憶されている所定の記憶画像である、前記(1)から前記(5)のいずれか1項に記載の推薦装置。
(7)
 前記所定の記憶画像は、再生モードにおいて画面に表示されている複数の記憶画像である、前記(6)に記載の推薦装置。
(8)
 前記所定の記憶画像は、再生中の記憶画像、または前記撮像装置に記憶されている全ての記憶画像である、前記(6)に記載の推薦装置。
(9)
 前記決定部は、前記撮像装置に記憶されている全ての記憶画像に関する情報の統計に基づいて、前記撮像装置に推薦するアプリケーションを決定する、前記(8)に記載の推薦装置。
(10)
 前記推薦装置は、
 前記撮像装置から前記撮像装置のモードに応じて選択された画像または前記選択された画像に関する情報を受信する受信部と、
 前記決定部により決定したアプリケーションを前記撮像装置に送信する送信部と、
をさらに備える、前記(1)から前記(9)のいずれか1項に記載の推薦装置。
(11)
 前記推薦装置は、
 撮像部と、
 表示部と、
 前記決定部により決定したアプリケーションに関する情報を前記表示部に表示するよう制御する表示制御部と、
をさらに備える撮像装置である、前記(1)から前記(9)のいずれか1項に記載の推薦装置。
(12)
 前記推薦装置は、
 前記表示部に表示された複数のアプリケーションに関する情報に対するユーザの選択操作を検出する操作検出部と、
 前記ユーザにより選択されたアプリケーションを起動するよう制御する制御部と、
を備える、前記(11)に記載の推薦装置。
(13)
 前記推薦装置は、
 撮像部と、
 前記決定部により決定したアプリケーションを起動するよう制御する制御部と、
をさらに備える撮像装置である、前記(1)から前記(9)のいずれか1項に記載の推薦装置。
(14)
 撮像装置の動作モードに応じて画像を選択するステップと、
 前記選択するステップにより選択された画像に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定するステップと、
を含む、推薦方法。
(15)
 撮像装置の動作モードに応じて画像を選択する処理と、
 前記選択する処理により選択された画像に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定する処理と、
をコンピュータに実行させる、プログラム。
 1  撮像装置
 2  ルータ
 3  ネットワーク
 4  サーバ
 10  CPU
 12  操作入力部
 14  撮像部
 16  画像信号処理部
 18  表示制御部
 20  表示部
 22  記憶/再生信号処理部
 24  記憶メディア
 241  インデックス情報
 242(242-1~242-N)  画像ファイル
 244(244-1~244-N)  メタデータ
 244A  静止画メタデータ
 244B  動画メタデータ
 246(246-1~246-N)  画像データ
 26  電源部
 28  時間管理部
 30  RAM
 31  ROM
 32  GPS受信部
 34  通信部
 110  動作モード切替部
 120  画像選択部
 130  通信制御部
 140  AP起動部
 
 
 

Claims (15)

  1.  撮像装置の動作モードに応じて選択された画像に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定する決定部を備える推薦装置。
  2.  前記画像に関する情報は、画像に付加されたメタデータ、またはスルー画像のシーン認識結果である、請求項1に記載の推薦装置。
  3.  前記画像は、撮像モード時のスルー画像または所定の撮像画像である、請求項1に記載の推薦装置。
  4.  前記所定の撮像画像は、撮像モード時において、現在時刻から過去一定時間内に撮像された撮像画像、または撮像時刻が現在時刻に近い一定量の撮像画像である、請求項3に記載の推薦装置。
  5.  前記決定部は、撮像モード時において、ユーザにより設定された前記撮像装置の設定状態に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定する、請求項1に記載の推薦装置。
  6.  前記画像は、再生モード時において、前記撮像装置に記憶されている所定の記憶画像である、請求項1に記載の推薦装置。
  7.  前記所定の記憶画像は、再生モードにおいて画面に表示されている複数の記憶画像である、請求項6に記載の推薦装置。
  8.  前記所定の記憶画像は、再生中の記憶画像、または前記撮像装置に記憶されている全ての記憶画像である、請求項6に記載の推薦装置。
  9.  前記決定部は、前記撮像装置に記憶されている全ての記憶画像に関する情報の統計に基づいて、前記撮像装置に推薦するアプリケーションを決定する、請求項8に記載の推薦装置。
  10.  前記推薦装置は、
     前記撮像装置から前記撮像装置のモードに応じて選択された画像または前記選択された画像に関する情報を受信する受信部と、
     前記決定部により決定したアプリケーションを前記撮像装置に送信する送信部と、
    をさらに備える、請求項1に記載の推薦装置。
  11.  前記推薦装置は、
     撮像部と、
     表示部と、
     前記決定部により決定したアプリケーションに関する情報を前記表示部に表示するよう制御する表示制御部と、
    をさらに備える撮像装置である、請求項1に記載の推薦装置。
  12.  前記推薦装置は、
     前記表示部に表示された複数のアプリケーションに関する情報に対するユーザの選択操作を検出する操作検出部と、
     前記ユーザにより選択されたアプリケーションを起動するよう制御する制御部と、
    を備える、請求項11に記載の推薦装置。
  13.  前記推薦装置は、
     撮像部と、
     前記決定部により決定したアプリケーションを起動するよう制御する制御部と、
    をさらに備える撮像装置である、請求項1に記載の推薦装置。
  14.  撮像装置の動作モードに応じて画像を選択するステップと、
     前記選択するステップにより選択された画像に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定するステップと、
    を含む、推薦方法。
  15.  撮像装置の動作モードに応じて画像を選択する処理と、
     前記選択する処理により選択された画像に関する情報に基づいて、前記撮像装置に推薦するアプリケーションを決定する処理と、
    をコンピュータに実行させる、プログラム。
PCT/JP2013/060210 2012-06-13 2013-04-03 推薦装置、方法、およびプログラム Ceased WO2013187108A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014520982A JP6396798B2 (ja) 2012-06-13 2013-04-03 推薦装置、方法、およびプログラム
US14/405,556 US10178305B2 (en) 2012-06-13 2013-04-03 Imaging apparatus and method to capture images based on recommended applications
EP13804140.5A EP2863622A4 (en) 2012-06-13 2013-04-03 RECOMMENDATION DEVICE, METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012133788 2012-06-13
JP2012-133788 2012-06-13

Publications (1)

Publication Number Publication Date
WO2013187108A1 true WO2013187108A1 (ja) 2013-12-19

Family

ID=49757947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/060210 Ceased WO2013187108A1 (ja) 2012-06-13 2013-04-03 推薦装置、方法、およびプログラム

Country Status (4)

Country Link
US (1) US10178305B2 (ja)
EP (1) EP2863622A4 (ja)
JP (1) JP6396798B2 (ja)
WO (1) WO2013187108A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018533237A (ja) * 2015-08-20 2018-11-08 ソニー株式会社 画像の取り込みを制御するためのシステム及び方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140127527A (ko) * 2013-04-25 2014-11-04 삼성전자주식회사 디스플레이장치 및 디스플레이장치를 이용한 추천정보 제공 방법
US9554027B2 (en) * 2014-06-27 2017-01-24 Htc Corporation Electronic system for processing multimedia information
US10613825B2 (en) * 2015-11-30 2020-04-07 Logmein, Inc. Providing electronic text recommendations to a user based on what is discussed during a meeting
JP7214538B2 (ja) * 2019-03-29 2023-01-30 キヤノン株式会社 撮像装置及び記録制御方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003001794A1 (en) * 2001-06-20 2003-01-03 Nikon Corporation Advice system for image pickup method and image edition
JP2003008977A (ja) * 2001-06-20 2003-01-10 Nikon Gijutsu Kobo:Kk カメラ
JP2003101987A (ja) * 2001-09-26 2003-04-04 Canon Inc プログラム提供装置及び撮像システム
JP2004112485A (ja) * 2002-09-19 2004-04-08 Fuji Photo Film Co Ltd 撮影装置
JP2004112054A (ja) * 2002-09-13 2004-04-08 Fuji Photo Film Co Ltd 撮影アドバイスカメラ
US20040208475A1 (en) * 2001-06-20 2004-10-21 Akira Ohmura Advice system for image pickup method and image edition
JP2009140341A (ja) 2007-12-07 2009-06-25 Nec Corp ユーザ端末、コンテンツ提供装置、サービス提供システム、それらに用いられる方法及びプログラム
JP2010157207A (ja) * 2008-12-05 2010-07-15 Sony Corp 情報処理装置、および情報処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239333A (en) * 1990-01-05 1993-08-24 Nikon Corporation Camera exposure calculation device dependent on type of scene to be photographed
US7715586B2 (en) * 2005-08-11 2010-05-11 Qurio Holdings, Inc Real-time recommendation of album templates for online photosharing
JP5316363B2 (ja) * 2009-10-20 2013-10-16 ソニー株式会社 情報処理装置、機能管理方法、コンピュータプログラム及び情報処理システム
JP2011113401A (ja) * 2009-11-27 2011-06-09 Sony Corp 情報処理装置、情報処理方法、コンピュータプログラム及び情報処理サーバ
JP2011215964A (ja) * 2010-03-31 2011-10-27 Sony Corp サーバ装置、クライアント装置、コンテンツ推薦方法及びプログラム
WO2011127201A1 (en) * 2010-04-06 2011-10-13 Youbiq Llc Camera control
US9405848B2 (en) * 2010-09-15 2016-08-02 Vcvc Iii Llc Recommending mobile device activities
US9152437B2 (en) * 2010-10-28 2015-10-06 Hewlett-Packard Development Company, L.P. Dynamically installing image processing
US9058612B2 (en) * 2011-05-27 2015-06-16 AVG Netherlands B.V. Systems and methods for recommending software applications
KR101343609B1 (ko) * 2011-08-24 2014-02-07 주식회사 팬택 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003001794A1 (en) * 2001-06-20 2003-01-03 Nikon Corporation Advice system for image pickup method and image edition
JP2003008977A (ja) * 2001-06-20 2003-01-10 Nikon Gijutsu Kobo:Kk カメラ
EP1427190A1 (en) * 2001-06-20 2004-06-09 Nikon Corporation Advice system for image pickup method and image edition
CN1524376A (zh) * 2001-06-20 2004-08-25 ������������ʽ���� 对拍摄方法和图像编辑的建议系统
US20040208475A1 (en) * 2001-06-20 2004-10-21 Akira Ohmura Advice system for image pickup method and image edition
JP2003101987A (ja) * 2001-09-26 2003-04-04 Canon Inc プログラム提供装置及び撮像システム
JP2004112054A (ja) * 2002-09-13 2004-04-08 Fuji Photo Film Co Ltd 撮影アドバイスカメラ
JP2004112485A (ja) * 2002-09-19 2004-04-08 Fuji Photo Film Co Ltd 撮影装置
JP2009140341A (ja) 2007-12-07 2009-06-25 Nec Corp ユーザ端末、コンテンツ提供装置、サービス提供システム、それらに用いられる方法及びプログラム
JP2010157207A (ja) * 2008-12-05 2010-07-15 Sony Corp 情報処理装置、および情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2863622A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018533237A (ja) * 2015-08-20 2018-11-08 ソニー株式会社 画像の取り込みを制御するためのシステム及び方法
US10484598B2 (en) 2015-08-20 2019-11-19 Sony Corporation System and method for controlling capture of images

Also Published As

Publication number Publication date
JPWO2013187108A1 (ja) 2016-02-04
US20150130960A1 (en) 2015-05-14
EP2863622A1 (en) 2015-04-22
US10178305B2 (en) 2019-01-08
JP6396798B2 (ja) 2018-09-26
EP2863622A4 (en) 2016-03-02

Similar Documents

Publication Publication Date Title
JP4462331B2 (ja) 撮像装置、制御方法、プログラム
US8773566B2 (en) Photographing condition setting apparatus, photographing condition setting method, and photographing condition setting program
US11094110B2 (en) Method, apparatus and electronic device for processing image
EP2858341B1 (en) Information processing device, system, and storage medium
KR20100017165A (ko) 바람직한 피처 인식을 이용한 촬영 시스템 및 방법
CN105144696A (zh) 客户端、显示控制方法、程序和系统
US10095713B2 (en) Information device, server, recording medium with image file recorded thereon, image file generating method, image file management method, and computer readable recording medium
JP2009060339A (ja) 電子カメラ
JP6396798B2 (ja) 推薦装置、方法、およびプログラム
CN114025092A (zh) 拍摄控件显示方法、装置、电子设备及介质
CN108710619A (zh) 显示信息生成装置、信息管理系统、显示信息生成方法以及记录介质
JP2015198300A (ja) 情報処理装置、撮像装置、画像管理システム
JP2018045558A (ja) 制御装置、制御システム及び制御方法
CN115914823B (zh) 拍摄方法及电子设备
JP2020046901A (ja) 画像処理装置,画像処理方法および画像処理プログラム
JP2009225097A (ja) 画像撮影装置及びプログラム
JP2014182651A (ja) 画像共有装置、画像共有装置の制御方法、およびプログラム
WO2012169636A1 (ja) 情報端末、情報端末の制御方法、制御プログラムおよび記録媒体
JP7605113B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6871458B2 (ja) 撮像表示方法
CN115150562A (zh) 电子装置、电子装置的控制方法和计算机可读存储介质
JP5798384B2 (ja) 情報端末、情報端末の制御方法、制御プログラムおよび記録媒体
JP6108831B2 (ja) 携帯機器、サーバ、画像生成方法およびプログラム
US10659696B2 (en) Electronic device, control method of electronic device, and storage medium
US20240364997A1 (en) Shooting Restoration Method and Electronic Device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13804140

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014520982

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013804140

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14405556

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE