[go: up one dir, main page]

WO2013012107A1 - 전자 기기 및 그 제어 방법 - Google Patents

전자 기기 및 그 제어 방법 Download PDF

Info

Publication number
WO2013012107A1
WO2013012107A1 PCT/KR2011/005298 KR2011005298W WO2013012107A1 WO 2013012107 A1 WO2013012107 A1 WO 2013012107A1 KR 2011005298 W KR2011005298 W KR 2011005298W WO 2013012107 A1 WO2013012107 A1 WO 2013012107A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
channel
electronic device
display unit
voice command
Prior art date
Application number
PCT/KR2011/005298
Other languages
English (en)
French (fr)
Inventor
장석복
박종세
이준엽
최정규
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2011/005298 priority Critical patent/WO2013012107A1/ko
Priority to US13/272,352 priority patent/US9794613B2/en
Publication of WO2013012107A1 publication Critical patent/WO2013012107A1/ko
Priority to US15/269,401 priority patent/US9866891B2/en
Priority to US15/607,168 priority patent/US10009645B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Definitions

  • the present invention relates to an electronic device capable of efficiently providing various services in a smart TV environment and a control method thereof.
  • DTV, IPTV, and Smart TV services provide VOD and other services by clicking a button on the remote control.
  • the DTV, IPTV, Smart TV, etc. have not shown any other user interface other than the remote control to date. This is because a limited form of service is still provided and, conversely, only a form of service dependent on a remote controller is provided.
  • the service type is also expected to be changed to an unlimited content providing format provided by a content library using a search engine or a recommendation engine.
  • the limitation of the remote control is expected to be revealed as a means of interaction with the user, and it is necessary to develop an interface suitable for a new service providing environment while replacing the remote control.
  • the problem to be solved by the present invention is an electronic device and an electronic device that can more efficiently and conveniently provide a variety of services provided in the Smart TV environment by using information related to various services provided in the Smart TV environment as a voice command It is to provide a control method of the device.
  • an electronic device includes a display unit, a voice input unit for receiving a voice command of a user, and source information and a search keyword for searching for content from the voice command, and extracting the source information based on the source information. And a control unit for searching for content corresponding to the search keyword and providing the same to the display unit.
  • the source information may include at least one of an electronic program guide (EPG), a web (WEB), at least one multimedia content stored in a memory of the electronic device, and a preset network.
  • EPG electronic program guide
  • WEB web
  • multimedia content stored in a memory of the electronic device
  • the controller may sequentially search whether a plurality of the sources corresponds to the search keyword.
  • the controller may search for contents corresponding to the search keyword in the electronic program guide, the web, the memory, and the network, and match source information with at least one content searched in the source information to display on the display unit. Can be.
  • the search keyword may include at least one of a channel name, a channel number, a broadcast program name, a broadcast time, a person name, a genre of a broadcast program, an application name, and a web page name.
  • the controller may display a plurality of searched content lists on the display unit.
  • an electronic device may include a display unit, a voice input unit for receiving a voice command of a user, and channel direction information for changing a channel from the voice command, and keywords related to content provided through the channel. And a controller for searching for content corresponding to the keyword based on the channel direction information and providing the content to the display unit.
  • the channel direction information may include information related to an order of changing channels in response to a channel change input.
  • An electronic device a display unit;
  • a voice input unit configured to receive a voice command of a user; Extracting at least one search keyword including channel information from the voice command, searching for a content corresponding to the extracted search keyword in a predetermined search category, and searching for content currently provided through the display unit to the search keyword. It may include a control unit for changing to the corresponding content to provide to the display unit.
  • a method of controlling an electronic device including: receiving a voice command of a user, extracting source information and a search keyword for searching for content from the voice command, Searching for content corresponding to the search keyword and displaying the searched content on a display unit.
  • a method of controlling an electronic device including: receiving a voice command of a user, extracting channel direction information for changing a channel and a keyword related to content provided through the channel from the voice command;
  • the method may include searching for content corresponding to the keyword based on the channel direction information, and displaying the searched content on a display unit.
  • FIG. 1 is a structural diagram showing a service network according to an embodiment of the present invention, a structural diagram showing a service network for sharing content between electronic devices.
  • FIG. 2 is a diagram illustrating a conceptual diagram of a DLNA network.
  • 3 is a diagram illustrating functional components according to DLNA.
  • FIG 4 is an overall block diagram of an electronic device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an electronic device control method according to an embodiment of the present invention.
  • 6 is an example for inputting a voice command in the voice recognition mode.
  • FIG. 7 is a diagram for describing a block configuration of an electronic device for implementing the method of controlling the electronic device shown in FIG. 5 in more detail.
  • FIG 8 illustrates an example in which content is searched through an EPG when the source information is an EPG.
  • 9 to 12 are diagrams for describing a specific embodiment of a control method of the electronic device illustrated in FIG. 5.
  • 12 to 13 are flowcharts illustrating a control method of an electronic device according to an embodiment of the present invention.
  • FIGS. 12 to 13 are diagrams for describing the exemplary embodiment shown in FIGS. 12 to 13 in more detail.
  • 17 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present invention.
  • FIG. 18 is a flowchart illustrating a control method of an electronic device for changing a channel based on channel direction information in the embodiment shown in FIG. 17.
  • FIGS. 17 to 18 are diagrams for describing the exemplary embodiment shown in FIGS. 17 to 18 in more detail.
  • FIG. 1 is a structural diagram showing a service network according to an embodiment of the present invention, a structural diagram showing a service network for sharing content between electronic devices.
  • the electronic device 100 is connected to one or more external electronic devices 10 and 20 in which an image display function is implemented through a network, and the external electronic devices 10 and 20 display content.
  • the content may be delivered to the devices 10 and 20, or the content may be shared with the external electronic devices 10 and 20 by receiving the content from the external electronic devices 10 and 20 and displaying the content on the screen.
  • the electronic device 100 is a television and the external electronic device is a mobile phone 10 and a laptop computer 20 will be described as an example.
  • the electronic device 100 and the external electronic device are a mobile phone, a television, a laptop computer, a smart phone, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, a desktop, and the like.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • the computer may be implemented as a desktop computer, a set-top box, a personal video recorder (PVR), an electronic picture frame, or the like.
  • PVR personal video recorder
  • the electronic device 100 may be interchanged with each other so that the electronic device 100 may be compatible with the external electronic devices 10 and 20. It is necessary to configure the platform of the device 100 and the external electronic devices 10 and 20. To this end, the electronic device 100 according to the embodiment of the present invention may configure a platform based on a digital living network alliance (DLNA).
  • DLNA digital living network alliance
  • IPv4 can be used as the network stack, and Ethernet, Wireless Local Network (WLAN) (802.11a / b / g), Wireless Fidelity (Wi-Fi), Bluetooth (Bluetooth),
  • WLAN Wireless Local Network
  • Wi-Fi Wireless Fidelity
  • Bluetooth Bluetooth
  • a communication method capable of IP connection can be used.
  • the discovery and control of the electronic device may be based on UPnP, in particular, UPnP AV Architecture and UPnP Device Architecture.
  • UPnP UPnP AV Architecture
  • UPnP Device Architecture UPnP Device Architecture
  • SSDP simple service discovery protocol
  • SOAP simple object access protocol
  • HTTP HyperText Transfer Protocol
  • RTP Real-Time Transport Protocol
  • JPEG Joint Photographic Experts Group
  • MPEG2 MP3, MPEG4
  • JPEG Joint Photographic Experts Group
  • DMS digital media server
  • DMP digital media player
  • DMR digital media renderer
  • DMC digital media controller
  • FIG. 2 is a diagram illustrating a conceptual diagram of a DLNA network.
  • the DLNA is a representative name of a standardization mechanism that enables sharing of contents such as music, moving pictures, and still pictures among electronic devices through a network.
  • the DLNA is based on the Universal Plug and Play (UPnP) protocol.
  • the DLNA network includes a digital media server (DMS), a digital media player 42 (digital media player, DMP), a digital media renderer (DMR), and a digital media controller. (44) (digital media controller, DMC).
  • DMS digital media server
  • DMP digital media player
  • DMR digital media renderer
  • DMC digital media controller
  • the DLNA network may include one or more of the DMS 41, the DMP 42, the DMR 43, and the DMC 44, respectively.
  • the DLNA may provide a standard so that each of the devices are compatible with each other.
  • the DLNA network may provide a specification for interoperability between the DMS 41, the DMP 42, the DMR 43, and the DMC 44.
  • the DMS 41 may provide digital media content. That is, the DMS 41 may store and manage content.
  • the DMS 41 may receive various commands from the DMC 44 and perform commands. For example, when the DMS 41 receives a play command, the DMS 41 may search for content to be played and provide the content to the DMR 43.
  • the DMS 41 may include, for example, a PC, a personal video recorder (PVR), and a set top box.
  • the DMP 42 may control the content or the electronic device, and allow the content to be played back. That is, the DMP 42 may perform the functions of the DMR 43 for reproduction and the DMC 44 for control.
  • the DMP 42 may include, for example, a TV, a DTV, and a home theater.
  • the DMR 43 may play content.
  • the content provided from the DMS 41 may be played.
  • the DMR 43 may include, for example, an electron photo frame.
  • the DMC 44 may provide a control function.
  • the DMC 44 may include, for example, a mobile phone and a PDA.
  • the DLNA network may consist of the DMS 41, the DMR 43, and the DMC 44, or the DMP 42 and the DMR 43.
  • the DMS 41, the DMP 42, the DMR 43, and the DMC 44 may be terms that functionally distinguish electronic devices.
  • the mobile phone when the mobile phone has a control function as well as a playback function, the mobile phone may correspond to the DMP 42.
  • the electronic device 100 for example, the DTV
  • the DMP 42 may also correspond to the DMS 41.
  • 3 is a diagram illustrating functional components according to DLNA.
  • the functional component according to the DLNA includes a media formats layer, a media transport layer, a device discovery & control and media management layer, a network stack layer, a network It may include a network connectivity layer.
  • the network connection layer may include a physical layer and a link layer of the network.
  • the network connection layer may include Ethernet, Wi-Fi, and Bluetooth.
  • a communication medium capable of IP connection can be used.
  • the network stack layer can use the IPv4 protocol.
  • Device discovery and control and media management layer may be based on UPnP, in particular UPnP AV Architecture and UPnP Device Architecture.
  • UPnP AV Architecture UPnP Device Architecture
  • SOAP simple object access protocol
  • the media transport layer may use HTTP 1.0 / 1.1. For streaming playback.
  • HTTP real-time transport protocol
  • RTP real-time transport protocol
  • the media format layer may use images, audio, AV media, and XHTML (Extensible Hypertext Markup Language) documents.
  • FIG 4 is an overall block diagram of an electronic device according to an embodiment of the present invention.
  • the electronic device 100 may include a communication unit 110, an A / V input unit 120, an output unit 150, a memory 160, an interface unit 170, a controller 180, a power supply unit 190, and the like. Can be.
  • the components shown in FIG. 3 are not essential, and an electronic device having more or fewer components may be implemented.
  • the communication unit 110 may include one or more modules that enable communication between the electronic device 100 and the communication system or between the electronic device 100 and another device.
  • the communication unit 110 may include a broadcast receiver 111, an internet module 113, a short range communication module 114, and the like.
  • the broadcast receiver 111 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast related information may also be provided through a communication network.
  • the broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVB-H Digital Video Broadcast-Handheld
  • the broadcast receiver 111 may receive broadcast signals using various broadcast systems.
  • the broadcast signal and / or broadcast related information received through the broadcast receiver 111 may be stored in the memory 160.
  • the internet module unit 113 refers to a module for accessing the Internet, and the internet module unit 113 may be embedded or external to the electronic device 100.
  • the short range communication module 114 refers to a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the A / V input unit 120 is for inputting an audio signal or a video signal, and may include a camera 121 and a microphone 122.
  • the camera 121 processes image frames such as still images or moving images obtained by the image sensor in the photographing mode.
  • the processed image frame may be displayed on the display unit 151.
  • the image frame processed by the camera 121 may be stored in the memory 160 or transmitted to the outside through the communication unit 110.
  • Two or more cameras 121 may be provided according to a configuration aspect of the terminal.
  • the camera 121 may be a camera 121 capable of 2D or 3D shooting, and the 2D or 3D camera may be configured alone or as a combination thereof.
  • the microphone 122 receives an external sound signal by a microphone in a voice recognition mode, and processes the external sound signal into electrical voice data.
  • the microphone 122 may implement various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the output unit 150 may include a display unit 151, an audio output unit 152, an alarm unit 153, a vibration module 154, and the like.
  • the display unit 151 displays and outputs information processed by the electronic device 100. For example, a UI (User Interface) or GUI (Graphic User Interface) associated with the electronic device 100 is displayed.
  • the display unit 151 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, or a three-dimensional display. 3D display).
  • the sound output unit 152 may output audio data received from the communication unit 110 or stored in the memory 160.
  • the sound output unit 152 may output a sound signal related to a function performed by the electronic device 100.
  • the sound output unit 152 may include a receiver, a speaker, a buzzer, and the like.
  • the alarm unit 153 outputs a signal for notifying occurrence of an event of the electronic device 100.
  • events generated in the electronic device 100 include a speaker's voice input, a gesture input, a message input, various control inputs through a remote controller, and the like.
  • the alarm unit 153 may output a signal for notifying occurrence of an event in a form other than a video signal or an audio signal, for example, vibration.
  • the video signal or the audio signal may also be output through the display unit 151 or the sound output module 152.
  • the vibration module 154 may generate a specific frequency causing a tactile sensation by a specific pressure, generate a feedback vibration having a vibration pattern corresponding to the speaker's voice pattern input through the voice input device, and transmit the feedback vibration to the speaker.
  • the memory 160 may store a program for the operation of the controller 180 and may temporarily store input / output data.
  • the memory 160 may store data on vibration and sound of various patterns corresponding to at least one voice pattern input from at least one speaker.
  • the memory 160 may store an electronic program guide.
  • the electronic program guide includes schedule information and various other information about the upcoming broadcast, such as the broadcast program name, broadcaster name, broadcast channel number, rough plot information of the broadcast program, a reservation number of the broadcast program, an actor in the broadcast program, and the like. It may include.
  • the memory 160 periodically receives EPGs related to terrestrial broadcasts, cable broadcasts, satellite broadcasts, and the like transmitted from broadcast stations through the communication unit 110, or receives and receives EPGs previously stored in external devices 10 and 20. Saved EPGs.
  • the received EPG may be updated in the memory 160.
  • the electronic device 100 may include a separate database 161 (see FIG. 7) for storing the electronic program guide, and data related to the EPG is separately stored in the electronic program guide database 161. Can be.
  • the memory 160 may include a sound model, a recognition dictionary and a translation database, a predetermined language model, a command database, and the like necessary for the operation of the present invention.
  • the recognition dictionary may include at least one of a word, a word, a keyword, and an expression formed in a specific language.
  • the translation database may include data in which a plurality of languages are matched with each other.
  • the translation database may include data in which the first language (Korean) and the second language (English / Japanese / Chinese) are matched with each other.
  • the second language is a term used to distinguish the first language and may be a plurality of languages.
  • the translation database Korean "I want to book.” It may include data matching the English "I'd like to make a reservation.”
  • the command database is a set of commands that can control the electronic device 100.
  • the command database may exist in a mutually independent space according to the content to be controlled. For example, a channel related command database for controlling a broadcast program, a map related command database for controlling a navigation program, a game related command database for controlling a game program, and the like may exist.
  • the type of the command database is not limited to the above-described example, and may exist to correspond to the number of contents that may be executed in the electronic device 100.
  • the command database may include a common command database.
  • the common command database is not a set of commands for controlling a specific content-specific function executed in the electronic device 100, but a set of commands that can be commonly applied to a plurality of contents.
  • a voice command applied when the volume is increased during game execution and a volume during the execution of the broadcast program are increased.
  • the voice command applied may be the same.
  • the voice command corresponds to a voice command for changing and providing the content currently executed on the screen to the next order of contents. do. That is, the voice command corresponding to the channel change button conventionally provided through the remote controller in relation to the channel order or the order of providing the contents is also commands that can be commonly applied to the plurality of contents.
  • the memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM) magnetic memory, Magnetic disk It may include at least one type of storage medium of the optical disk.
  • the electronic device 100 may operate in association with a web storage that performs a storage function of the memory 160 on the Internet.
  • the interface unit 170 serves as a path with all external devices connected to the electronic device 100.
  • the interface unit 170 receives data from an external device or receives power and transmits the data to each component inside the electronic device 100 or transmits the data inside the electronic device 100 to an external device.
  • wired / wireless headset ports, external charger ports, wired / wireless data ports, memory card ports, ports for connecting devices with identification modules, audio input / output (I / O) ports, The video input / output (I / O) port may be included in the interface unit 170.
  • the controller 180 typically controls the overall operation of the electronic device. For example, perform related control and processing for video display, audio output, etc.
  • the voice recognition unit 182 performs voice recognition on the voice signal input through the microphone 122 of the electronic device 100 or the remote control 50 and / or the mobile terminal 20 shown in FIG. 6. At least one recognition candidate corresponding to the recognized voice may be obtained.
  • the voice recognition unit 182 may recognize the input voice signal by detecting a voice section from the input voice signal, performing a sound analysis, and recognizing it as a recognition unit.
  • the voice recognition unit 182 may obtain the at least one recognition candidate corresponding to the voice recognition result by referring to a recognition dictionary and a translation database stored in the memory 160.
  • a speech synthesizer (not shown) converts text into speech using a text-to-speech engine.
  • TTS technology is a technology that converts the character information or symbols into a human voice to hear.
  • the TTS technology constructs a pronunciation database for all phonemes of a language and connects them to generate a continuous voice. At this time, a natural voice is synthesized by adjusting the size, length, and height of the voice. Processing techniques may be included.
  • TTS technology can be easily seen in electronic communication fields such as CTI, PC, PDA and mobile terminals, and in consumer electronics fields such as recorders, toys, and game machines, and is widely used in home automation systems for contributing to productivity improvement at the factory or for more convenient everyday life. It is written. Since the TTS technology is a known technology, a detailed description thereof will be omitted.
  • the power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPCs field programmable gate arrays
  • controllers controllers
  • Micro-controllers microprocessors, electrical units for performing functions, etc.
  • such embodiments may be implemented by the controller 180. have.
  • embodiments such as procedures or functions may be implemented with separate software modules that allow at least one function or operation to be performed.
  • the software code may be implemented by a software application written in a suitable programming language.
  • the software code may be stored in the memory 160 and executed by the controller 180.
  • FIG. 5 is a flowchart illustrating an electronic device control method according to an embodiment of the present invention.
  • 6 to 11 are diagrams for describing the exemplary embodiment shown in FIG. 5.
  • the control method may be executed under the control of the controller 180.
  • the electronic device 100 may display the first content on the display unit 151.
  • the first content may be a broadcast program provided through an EPG.
  • the first content may be web data provided through a web.
  • the first content may be content provided through at least one of a multimedia content pre-stored in the memory 160 of the electronic device 100 or a preset network.
  • the network may include the aforementioned DLNA network.
  • the controller 180 may extract a search source and a search keyword from the voice command based on the voice recognition result (S140).
  • the search source refers to source information of content provided through the electronic device 100. That is, the source information may include at least one multimedia content stored in the electronic program guide (EPG), the web (WEB), and the memory 160 of the electronic device. In addition, the source information may include an external device connected to the electronic device 100 through a predetermined network.
  • EPG electronic program guide
  • WEB web
  • the source information may include an external device connected to the electronic device 100 through a predetermined network.
  • the user may input a voice command including source information indicating where the user desired content belongs, together with a search keyword related to the desired content.
  • the voice command input by the user for changing the channel may include not only a search keyword for searching the content but also source information of the content.
  • the controller 180 may extract the search source and the search keyword through the voice recognition unit 182, and search for the second content corresponding to the search keyword based on the extracted source information (S150).
  • the controller 180 can search the search keyword in the source information. For example, when the search keyword is "infinite challenge” and the source information is "EPG", the controller 180 searches for "infinite challenge” in the EPG, and if there is a corresponding broadcast program, the user searches for this. It may be provided as the second content (S160).
  • 6 is an example for inputting a voice command in the voice recognition mode.
  • the electronic device 100 may enter a voice input mode to receive a voice command of a user.
  • a voice input mode to receive a voice command of a user.
  • the electronic device 100 is a television.
  • the broadcast program currently being executed through the electronic device 100 is "news", and the users S1 and S2 may change a channel through a voice command to execute other contents other than the "news".
  • the voice command of the user may include a remote controller 50 and a mobile terminal 10 capable of controlling the operation of the electronic device 100.
  • the remote controller 10 and the mobile terminal 50 may each include a microphone capable of receiving a voice of a user, and further include a predetermined wireless communication module for transmitting the input voice signal to the electronic device 100. It may include.
  • the user's voice may be received through the microphone 122 embedded in the electronic device 100.
  • the remote controller 50 or the mobile terminal 10 may be provided with a separate voice recognition module, and after extracting the content source information and the search keyword by recognizing the input voice command, and extracts the extracted information from the electronic device ( 100).
  • a separate voice recognition module In the case of the mobile terminal 100, when a predetermined voice recognition application is mounted, such a function can be realized.
  • FIG. 7 is a diagram for describing a block configuration of an electronic device for implementing the method of controlling the electronic device shown in FIG. 5 in more detail.
  • the electronic device 100 may receive a voice of a user through a voice input unit (eg, a microphone 122).
  • the voice input unit 122 may be a microphone mounted in the electronic device 100, an external device existing in the electronic device 100, and may be a microphone array near a user, a mobile terminal, a remote controller, or the like.
  • the voice recognition unit 182 of the electronic device 100 may perform voice recognition and extract a keyword included in the user's voice through the keyword extractor 183.
  • the keyword extractor 183 may extract at least one keyword from the received user voice. That is, the keyword extractor 183 may extract a keyword from the user's voice by analyzing the frequency of the electrical voice signal. For example, a keyword such as “channel” or “infinite challenge” may be extracted from a user's voice command “channel + infinite challenge”.
  • the keyword for the content search is preferably a noun, but the present invention is not limited thereto, and the user may extract information that the user wants to search through a context awareness process.
  • the search unit 183 may search for the content corresponding to the search keyword from the corresponding source by using the “source information” and the “search keyword” extracted by the keyword extractor 183.
  • the source to search for content is determined as “EPG”
  • the controller 180 determines that the second content corresponding to the search keyword is in the EPG. You can search.
  • the source to search for the content is determined as “web”, and the controller 180 determines that the second content corresponding to the search keyword is the Internet. You can search by accessing.
  • the controller 180 controls the wireless communication module or the short-range communication module to control the external device. And perform data communication with the external device, search for the second content corresponding to the search keyword in the external device, or access the other external device through the external device.
  • the controller 180 searches for the multimedia content 162 stored in the internal memory 160 of the electronic device 100.
  • the second content corresponding to the keyword may be searched for.
  • the determination unit 184 may determine where the source of the first content currently being executed through the electronic device 100 is compared with the source information of the second content requested by the user. For example, if the source of the first content and the second content are the same, the controller 180 may control to search for the second content in the same source. In addition, if the source of the first content and the second content is not the same, the controller 180 may control to retrieve the second content from the source of the second content.
  • the determination unit 184 may determine whether the second content requested by the user is content that is currently being broadcast. Accordingly, the determination unit 184 may change the channel to the channel on which the second content is broadcast, at the request of the user.
  • the determination unit 184 may use a memory 160 of the electronic device 100, a web server, another external device connected through a network, or the like.
  • the second content may be searched.
  • FIG 8 illustrates an example in which content is searched through an EPG when the source information is an EPG.
  • the EPG includes various information about a broadcast, and the EPG information may be stored in the electronic program guide storage unit 161 of FIG. 7 so as to be distinguished from other information.
  • information about a broadcast channel, a broadcaster, and a broadcast program is included.
  • the broadcast information such as "news”, “infinite challenge”, “playing”, “sports world”, etc. provided by the broadcaster MBC will be displayed in the order of time. Can be.
  • the controller 180 may determine the source information as “channel”, that is, EPG, and list and provide various broadcast programs provided by the MBC.
  • the controller 180 may directly select a broadcast program provided by the broadcaster from the EPG and provide it to the user. Meanwhile, the controller 180 may provide broadcast detailed information such as broadcast time, actor, brief story introduction, and the like for the corresponding broadcast program.
  • 9 to 12 are diagrams for describing a specific embodiment of a control method of the electronic device illustrated in FIG. 5.
  • the controller 180 uses the EPG as a source to “infinite”. Search for “challenge” and provide the searched content BC to the display unit 151.
  • the controller 180 controls the web through a predetermined network 30.
  • the server 200 may be connected, and the display unit 151 may be provided with search terminology and searched content using "infinite challenge” using the Internet as a source.
  • the searched content may be a web page screen (WC) corresponding to a search keyword, and when a separate voice command is performed on the web page screen, a function corresponding to the voice command may be executed.
  • WC web page screen
  • the controller 180 controls the external device through the network 30. (15), it is possible to generate a control signal for searching for a predetermined content. For example, when the user's voice command is "mobile terminal + infinite challenge", the controller 180 accesses the mobile terminal 15 connected through the network 30 and is stored in the mobile terminal 15. The content related to the "infinite challenge" among the broadcast program or the multimedia content may be searched for, and the searched content may be transmitted again through the network 30.
  • the format of the voice command includes source information and a search keyword
  • the content corresponding to the search keyword is searched for from the corresponding source to the user.
  • FIGS. 12 to 17 illustrate embodiments of searching for and providing content desired by the user. It demonstrates with reference.
  • FIGS. 12 to 13 are flowcharts illustrating a control method of an electronic device according to an embodiment of the present invention.
  • 14 to 16 are diagrams for describing the embodiment shown in FIGS. 12 to 13 in more detail.
  • the controller 180 may receive a voice command.
  • a voice command is received from the user (S210), and the controller 180 can perform voice recognition on the received voice (S220).
  • the controller 180 may extract a search keyword from a voice command based on the voice recognition result.
  • the controller 180 may determine whether channel information is included in the extracted search keyword (S230).
  • the channel information refers to a control target that is conventionally provided through a remote controller, for example, a channel name (for example, MBC, KBC, SBS, etc.), a channel number (for example, CH 9,10). , 11, and the like).
  • a channel name for example, MBC, KBC, SBS, etc.
  • a channel number for example, CH 9,10. , 11, and the like.
  • the controller 180 may include the aforementioned channel name or channel number information in the voice command input by the user, and may change the current channel into a channel corresponding to the voice command and provide the same to the user ( S240).
  • the controller 180 may search for content according to a predetermined criterion. Can be.
  • the aforementioned channel information may be referred to as channel information in the sense of negotiation such as a channel name and a channel number.
  • the channel information does not mean only channel information in the meaning of the negotiation.
  • the controller 180 determines that a matching broadcast name is used. It may be determined whether there exists (S231).
  • the controller 180 may search for content corresponding to "strong wave” in the EPG. First, the controller 180 may determine that the "channel name and the channel number" corresponding to "strong fluctuation” do not exist and determine whether there is a matching broadcast name (S231).
  • the controller 180 can change a channel to a broadcast program corresponding to the broadcast name (S234).
  • the controller 180 can determine whether there is broadcast information corresponding to the "strong dong” (S232).
  • the broadcast information includes channel information in the meaning of the above-described agreement, and includes a broadcast program name (for example, 2 days and 1 night, infinite challenge, etc.) and a broadcast time (for example, 18:00 to 20 days). : 00, etc.), person name (for example, actor, director, etc.), genre of the broadcast program (for example, news, documentary, entertainment, etc.), application name, web page name (for example, daum, naver, etc.), and the like.
  • a broadcast program name for example, 2 days and 1 night, infinite challenge, etc.
  • a broadcast time for example, 18:00 to 20 days.
  • person name for example, actor, director, etc.
  • genre of the broadcast program for example, news, documentary, entertainment, etc.
  • application name for example, daum, naver, etc.
  • the controller 180 may include the aforementioned channel information in the voice command input by the user, and change the broadcast channel to the voice recognized channel based on the channel information (S240). That is, when the voice command includes a person name of "Kang Ho Dong", although it does not exist in the channel name, the control unit 180 may provide any one of the broadcast programs in which "Kang Ho Dong" appears ( S235). Alternatively, a program list including a plurality of broadcast programs appearing in the "Kang Ho Dong" may be provided to the user.
  • the controller 180 may inform the user that there is no content corresponding to the voice command (S233).
  • the controller 180 may have a channel directly corresponding to "strong wave” in the EPG, but the various types related to the "strong wave”
  • the broadcast information can be searched through the EPG.
  • a program list 62 including "Kneepak Dosa (a1)”, “1 night and 2 days (a2)”, “Stocking (a3)", which are broadcast programs in which the search result "Kang Ho-dong” appears. May be provided to the display unit 151.
  • the controller 180 corresponds to 1 night 2 days in response to the voice input.
  • a broadcast program can be provided on the screen.
  • FIG. 15 assumes that the voice input input by the user is “channel + picasa” or “web + picasa”.
  • the controller 180 displays the "picasa” web page through the flow of FIGS. 12 to 13. It can be provided in the phase.
  • FIG. 16 assumes that the voice input input by the user is "channel + neighbor” or "Web + neighbor".
  • the controller 180 displays the "Naver” web page through the flow of FIGS. 12 to 13. It can be provided in the phase.
  • 17 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present invention.
  • the electronic device 100 may display the first content on the display unit 151 (S310).
  • the first content may be a broadcast program provided through an EPG.
  • the first content may be web data provided through a web.
  • the first content may be content provided through at least one of a multimedia content pre-stored in the memory 160 of the electronic device 100 or a preset network.
  • the network may include the aforementioned DLNA network.
  • the controller 180 may extract channel direction information and a search keyword from the voice command based on the voice recognition result (S340).
  • the controller 180 may search for the second content corresponding to the search keyword based on the channel direction information (S350).
  • controller 180 can display the searched second content on the display unit 151 (S360).
  • the channel direction information may include information related to the order of changing the channel in response to a user input for changing the channel. For example, when the currently provided channel is Channel 8 based on the EPG, and when the voice command input by the user is "next channel", the controller 180 changes to Channel 9, which is the next channel of Channel 8. Can be. In addition, when the voice command input by the user is a "previous channel", the controller 180 may change to channel 7 which is the previous channel of channel 8.
  • the channel direction information may be information directly related to the channel number, but may include information about a channel name or broadcast information not directly related to the channel number.
  • the controller 180 may recognize as a command to provide a channel through which news is provided among broadcast programs after the current channel among various news programs provided through the EPG. Therefore, if news currently provided is provided on channel 8 and another news is provided on channel 20 after channel 8, the controller 180 controls channel 8 in response to the voice command “next news”. Channel can be changed to channel 20 to provide.
  • FIG. 18 is a flowchart illustrating a control method of an electronic device for changing a channel based on channel direction information in the embodiment shown in FIG. 17.
  • the controller 180 performs voice recognition on the received voice (S330), and as a result of the voice recognition, the controller 180 may determine whether the voice command includes directional information. (S411).
  • the controller 180 may search for a search keyword extracted as a result of speech recognition based on the channel direction information, and provide the search result to a user.
  • the controller 180 analyzes the search keyword first (S412). That is, the voice command input by the user may be configured in the form of "channel direction information + genre", and in order to control the channel through the voice command including the channel direction information, information about the genre needs to be the same.
  • the controller 180 provides a voice command error message and again delivers a voice. You can provide a recommendation message to enter.
  • the controller 180 may determine whether the content is the same genre as the content currently being executed (S413).
  • the controller 180 may search for the second content of the same genus based on the directional information (S414). .
  • search result channel may be changed to provide the second content (S415).
  • the controller 180 may determine whether the voice recognition error is again (S416).
  • the controller 180 can output an error message indicating that an error has occurred in the voice recognition process (S417).
  • controller 180 can repeat steps S412 to S413 for the voice command input later.
  • FIGS. 17 to 18 are diagrams for describing the exemplary embodiment shown in FIGS. 17 to 18 in more detail.
  • the content provided to the user is the first news BC_NEW1 broadcasted on channel 9, and the voice command input by the user is "next + news".
  • the channel 10 BC is a home shopping broadcast
  • the channel 11 is a second news BC_NEW2 having only the first news and the broadcasting company and the same genre.
  • the controller 180 will change the channel 9 to the channel 10.
  • the user's voice command "next news" control unit 180 by changing the current channel 9 to channel 11, it is possible to provide the user with a news program of the same genre as the previous genre.
  • a content provided to a user is a first drama broadcasted in channel 1, and a voice command input by the user is "next + drama".
  • the channel 2 may be news
  • the channel 3 may be a second drama in which only the broadcaster provided is different from the first drama and the genre is the same.
  • the voice command input by the user is the next channel, it may be changed to the news program of channel 2 in the currently provided first drama.
  • the voice command is "next + drama"
  • the channel may be changed by searching for channel information that broadcasts the drama among the channels following the first drama.
  • the aforementioned channel direction information is not limited to information related to the order in which the channels are changed in response to the channel change input.
  • the electronic device 100 is connected to a plurality of external devices through a predetermined network.
  • the controller 180 transmits the "next" to the electronic device 100 and the network. It can be recognized as information on the connected external device.
  • the first external device the second external device,... Sequentially connected to the electronic device 100 through a network.
  • the "next + content” may refer to content provided by the first external device that first formed a network with the electronic device 100.
  • the electronic device and the method for controlling the electronic device according to the present invention can be executed through software.
  • the constituent means of the present invention are code segments that perform the necessary work.
  • the program or code segments may be stored on a processor readable medium or transmitted by a computer data signal coupled with a carrier on a transmission medium or network.
  • Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording devices include ROM, RAM, CD-ROM, DVD ⁇ ROM, DVD-RAM, magnetic tape, floppy disks, hard disks, optical data storage devices, and the like.
  • the computer readable recording medium can also be distributed over network coupled computer devices so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전자 기기 및 전자 기기의 제어 방법이 개시된다. 일 실시예에 따른 전자 기기는, 사용자로부터 입력되는 음성 명령으로부터 컨텐츠를 검색하기 위한 소스(source) 정보 및 검색 키워드를 추출하고, 상기 소스 정보에 기초하여 상기 검색 키워드에 대응되는 컨텐츠를 검색하여 상기 디스플레이부에 제공할 수 있다. 이에 따라, 스마트 TV 환경에서 다양한 서비스를 보다 편리하게 제공될 수 있다.

Description

전자 기기 및 그 제어 방법
본 발명은 스마트 TV 환경에서 다양한 서비스를 효율적으로 제공할 수 있는 전자 기기 및 그 제어 방법에 관한 것이다.
현재 DTV, IPTV, Smart TV 서비스는 사용자가 리모컨의 버튼을 클릭하여 VOD를 포함한 기타 서비스를 제공하고 있다. 키보드 및 마우스를 통한 사용자 인터페이스를 갖는 컴퓨터에 비해, 상기 DTV, IPTV, Smart TV 등의 경우, 현재까지 리모컨 이외의 별다른 사용자 인터페이스가 나타나지 않고 있다. 이는 아직까지 제한된 형태의 서비스가 제공되고 반대로 리모컨에 의존적인 서비스 형태만 제공되고 있기 때문이다.
한편, Smart TV 환경, 사용자들은 종래의 채널 단위의 방송보다는 보다 개인화된 온디멘드(on-demand) 형식의 스트리밍 방송을 시청하게 될 것이다. 서비스 형태 또한 검색 엔진 또는 추천 엔진 등을 사용하는 컨텐츠 라이브러리에서 제공하는 무제한적인 컨텐츠 제공 형식으로 변경될 것으로 예상된다.
이에 따라, Smart TV 환경에 맞는 다양한 서비스가 제공될 경우 사용자와의 인터렉션의 수단으로서, 리모컨의 한계가 드러날 것으로 예상되며, 상기 리모컨을 대체하면서 새로운 서비스 제공 환경에 적합한 인터페이스의 개발이 필요한 실정이다.
본 발명이 해결하고자 하는 과제는, Smart TV 환경에서 제공되는 다양한 서비스와 관련된 정보를 음성 명령어로 사용함으로써, Smart TV 환경에서 제공되는 다양항 서비스를 보다 효율적이고 편리하게 제공할 수 있는 전자 기기 및 전자 기기의 제어 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제들은 상기 과제에 제한되지 않으며, 본 발명이 해결하고자 하는 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일면에 따른 전자 기기는, 디스플레이부, 사용자의 음성 명령을 수신하는 음성 입력부 및 상기 음성 명령으로부터 컨텐츠를 검색하기 위한 소스(souce) 정보 및 검색 키워드를 추출하고, 상기 소스 정보에 기초하여 상기 검색 키워드에 대응되는 컨텐츠를 검색하여 상기 디스플레이부에 제공하는 제어부를 포함할 수 있다.
상기 소스(source) 정보는, 전자 프로그램 가이드(EPG), 웹(WEB), 상기 전자 기기의 메모리에 저장된 적어도 하나의 멀티 미디어 컨텐츠 및 사전에 설정된 네트워크 중 적어도 하나를 포함할 수 있다.
상기 제어부는, 상기 추출된 소스 정보에 상기 검색 키워드에 대응되는 컨텐츠가 존재하지 않는 경우, 복수의 상기 소스들에 대하여 상기 검색 키워드에 대응되는 컨텐츠가 존재하는지를 순차적으로 검색할 수 있다.
상기 제어부는, 상기 전자 프로그램 가이드, 상기 웹, 상기 메모리 및 상기 네트워크에서 상기 검색 키워드에 대응되는 컨텐츠를 검색하고, 소스 정보와 상기 소스 정보에서 검색된 적어도 하나의 컨텐츠를 매칭하여 상기 디스플레이부에 표시할 수 있다.
한편, 상기 검색 키워드는, 채널 명, 채널 숫자, 방송 프로그램 명, 방송 시간, 인(人)명, 방송 프로그램의 장르, 어플리케이션 명 및 웹 페이지 명 중 적어도 하나를 포함할 수 있다.
상기 제어부는, 상기 소스 정보에 상기 검색 키워드에 대응되는 컨텐츠가 복수인 경우, 검색된 복수의 컨텐츠 목록을 상기 디스플레이부에 표시할 수 있다.
본 발명의 다른 면에 따른 전자 기기는, 디스플레이부, 사용자의 음성 명령을 수신하는 음성 입력부 및 상기 음성 명령으로부터 채널을 변경하기 위한 채널 방향 정보 및 상기 채널을 통해 제공되는 컨텐츠와 관련된 키워드를 추출하고, 상기 채널 방향 정보에 기초하여 상기 키워드에 대응되는 컨텐츠를 검색하여 상기 디스플레이부에 제공하는 제어부를 포함할 수 있다.
상기 채널 방향 정보는, 채널 변경 입력에 응답하여 채널이 변경되는 순서와 관련된 정보를 포함할 수 있다.
본 발명의 또 다른 면에 따른 전자 기기는, 디스플레이부; 사용자의 음성 명령을 수신하는 음성 입력부; 및 상기 음성 명령으로부터 채널 정보를 포함하는 적어도 하나의 검색 키워드를 추출하고, 상기 추출된 검색 키워드에 대응되는 컨텐츠를 소정의 검색 카테고리에서 검색하고, 현재 상기 디스플레이부를 통해 제공되는 컨텐츠를 상기 검색 키워드에 대응되는 컨텐츠로 변경하여 상기 디스플레이부에 제공하는 제어부를 포함할 수 있다.
본 발명의 또 다른 면에 따른 전자 기기의 제어 방법은, 사용자의 음성 명령을 수신하는 단계, 상기 음성 명령으로부터 컨텐츠를 검색하기 위한 소스(souce) 정보 및 검색 키워드를 추출하는 단계, 상기 소스 정보에 기초하여 상기 검색 키워드에 대응되는 컨텐츠를 검색하는 단계 및 상기 검색된 컨텐츠를 디스플레이부에 표시하는 단계를 포함할 수 있다.
본 발명의 또 다른 면에 따른 전자 기기의 제어 방법은, 사용자의 음성 명령을 수신하는 단계, 상기 음성 명령으로부터 채널을 변경하기 위한 채널 방향 정보 및 상기 채널을 통해 제공되는 컨텐츠와 관련된 키워드를 추출하는 단계,상기 채널 방향 정보에 기초하여 상기 키워드에 대응되는 컨텐츠를 검색하는 단계 및 상기 탐색된 컨텐츠를 디스플레이부에 표시하는 단계를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 일 실시예에 따른 전자 기기 및 전자 기기의 제어 방법에 의하면 다음과 같은 효과가 있다.
본 발명에 의하면, Smart TV 환경에서 제공되는 다양한 서비스를 보다 효율적이고 간편하게 제어할 수 있다.
또한, 본 발명에 의하면, Smart TV 환경에서 제공되는 다양한 서비스와 관련된 정보를 음성 명령어로 사용함으로써, Smart TV 환경에서 제공되는 다양항 서비스르 보다 효율적으로 제어할 수 있다.
도 1은 본 발명의 실시 예와 관련된 서비스 망을 도시한 구조도로서, 전자 기기 간에 컨텐츠를 공유하기 위한 서비스 망을 도시한 구조도이다.
도 2는 DLNA 네트워크의 개념도를 도시한 도면이다.
도 3은 DLNA에 따른 기능 컴포넌트를 도시한 도면이다.
도 4는 본 발명의 일 실시예와 관련된 전자기기의 전체적인 블록 구성도(block diagram)이다.
도 5는 본 발명의 일 실시예에 따른 전자 기기 제어 방법의 흐름도이다.
도 6은 음성 인식 모드에서 음성 명령을 입력하기 위한 예이다.
도 7은 도 5에 도시된 전자 기기의 제어 방법을 실시하기 위한 전자 기기의 블록 구성을 보다 상세하게 설명하기 위한 도면이다.
도 8은 소스 정보가 EPG인 경우, EPG를 통해 컨텐츠가 검색되는 예를 나타낸 도면이다.
도 9 내지 도 12는 도 5에 도시된 전자 기기의 제어 방법의 구체적인 실시예를 설명하기 위한 도면이다.
도 12 내지 도 13은 본 발명의 일 실시예에 따른 전자 기기의 제어 방법의 흐름도이다.
도 14 내지 도 16은 도 12 내지 도 13에 도시된 실시예를 보다 구체적으로 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 전자 기기의 제어 방법의 흐름도이다.
도 18은 도 17에 도시된 실시예에서, 채널 방향 정보에 기초하여 채널을 변경하는 전자 기기의 제어 방법을 나타내는 흐름도이다.
도 19 내지 도 20은 도 17 내지 도 18에 도시된 실시예를 보다 구체적으로 설명하기 위한 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명과 관련된 전자기기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 실시 예와 관련된 서비스 망을 도시한 구조도로서, 전자 기기 간에 컨텐츠를 공유하기 위한 서비스 망을 도시한 구조도이다.
도 1을 참조하면, 전자 기기(100)는 영상 표시 기능이 구현된 하나 이상의 외부 전자 기기(10,20)와 네트워크를 통해 연결되며, 외부 전자 기기(10,20)에서 컨텐츠가 표시되도록 외부 전자 기기(10,20)로 컨텐츠를 전달하거나, 외부 전자 기기(10,20)로부터 컨텐츠를 수신하여 화면에 표시함으로써 외부 전자 기기(10,20)와 컨텐츠를 공유할 수 있다.
도 1에서는 전자 기기(100)가 텔레비전(television)이고, 외부 전자 기기가 휴대폰(10) 및 노트북 컴퓨터(laptop computer)(20)인 경우를 예로 들어 설명하나, 본 발명은 이에 한정되지 않는다. 본 발명에 따르면, 전자 기기(100) 및 외부 전자 기기는 휴대폰, 텔레비전, 노트북 컴퓨터, 스마트 폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션, 데스크탑 컴퓨터(desktop computer), 셋탑 박스(set-top box), PVR(Personal Video Recorder), 전자 액자 등으로 구현될 수 있다.
다시, 도 1을 참조하면, 전자 기기(100)가 외부 전자 기기(10,20)와 컨텐츠를 공유하기 위해서는, 전자 기기(100)와 외부 전자 기기(10,20) 간의 상호 호환이 가능하도록 전자 기기(100) 및 외부 전자 기기(10,20)의 플랫폼을 구성할 필요가 있다. 이를 위해, 본 발명의 실시 예와 관련된 전자 기기(100)는 DLNA(Digital Living Network Alliance)에 기반하여 플랫폼을 구성할 수 있다.
DLNA에 따르면, 네트워크 스택으로 IPv4를 사용할 수 있으며, 네트워크 연결을 위해 이더넷(Ethernet), WLAN(Wireless Local Network)(802.11a/b/g), Wi-Fi(Wireless Fidelity), 블루투스(Bluetooth), 그 외 IP 접속이 가능한 통신 방식을 사용할 수 있다.
또한, DLNA에 따르면, 전자 기기의 발견 및 제어를 위해 UPnP 특히, UPnP AV Architecture 및 UPnP Device Architecture를 기반으로 할 수 있다. 예를 들어, 전자 기기의 발견을 위해 SSDP(simple service discovery protocol)을 사용할 수 있다. 또한, 전자 기기의 제어를 위해 SOAP(simple object access protocol)을 사용할 수 있다.
또한, DLNA에 따르면, 미디어 전송을 위해 HTTP, RTP 등을 사용할 수 있으며, 미디어 포멧(media format)으로 JPEG, LPCM, MPEG2, MP3, MPEG4 등을 사용할 수 있다.
또한, DLNA에 따르면, 디지털 미디어 서버(digital media server, DMS), 디지털 미디어 플레이어(digital media player, DMP), 디지털 미디어 렌더러(digital media renderer, DMR) 및 디지털 미디어 컨트롤러(digital media controller, DMC) 유형의 전자 기기를 지원할 수 있다.
도 2는 DLNA 네트워크의 개념도를 도시한 도면이다.
상기 DLNA는, 네트워크로 전자기기 사이의 음악, 동화상, 정지화상 등의 컨텐츠를 상호 공유할 수 있도록 하는 표준화 기구의 대표명칭이다.
상기 DLNA는 UPnP (Universal Plug and Play) 프로토콜을 기반으로 한다.
상기 DLNA 네트워크는 디지털 미디어 서버(41)(digital media server, DMS), 디지털 미디어 플레이어(42)(digital media player, DMP), 디지털 미디어 렌더러(43)(digital media renderer, DMR), 및 디지털 미디어 컨트롤러(44)(digital media controller, DMC)를 포함할 수 있다.
상기 DLNA 네트워크는 상기 DMS(41), DMP(42), DMR(43), 및 DMC(44)를 각각 하나이상 포함할 수 있다. 이때, 상기 DLNA는 각각의 상기 기기들이 상호 호환할 수 있도록 규격을 제공할 수 있다. 또한, 상기 DLNA 네트워크는 DMS(41), DMP(42), DMR(43), 및 DMC(44)간의 상호호환을 위한 규격을 제공할 수 있다.
상기 DMS(41)는 디지털 미디어 컨텐츠를 제공할 수 있다. 즉 상기 DMS(41)는 컨텐츠를 저장하고 관리할 수 있다. 상기 DMS(41)는 상기 DMC(44)로부터 각종 명령을 받고, 명령을 수행할 수 있다. 예를 들어, 상기 DMS(41)는 플레이 명령(play command)을 수신한 경우, 재생할 컨텐츠를 검색하고(search), 컨텐츠를 상기 DMR(43)에 제공할 수 있다. 상기 DMS(41)는 예를 들어, PC, PVR(personal video recorder), 셋톱 박스를 포함할 수 있다.
상기 DMP(42)는 컨텐츠나 전자기기를 제어할 수 있고, 컨텐츠가 재생되도록 할 수 있다. 즉, 상기 DMP(42)는 재생을 위한 상기 DMR(43) 및 제어를 위한 상기 DMC(44)의 기능을 수행할 수 있다. 상기 DMP(42)는, 예를 들어, TV, DTV, 홈시어터(home theater)를 포함할 수 있다.
상기 DMR(43)은 컨텐츠를 재생할 수 있다. 상기 DMS(41)로부터 제공받은 컨텐츠를 재생할 수 있다. 상기 DMR(43)은, 예를 들어, 전자액자를 포함할 수 있다.
상기 DMC(44)는 제어 기능을 제공할 수 있다. 상기 DMC(44)는 예를 들어, 휴대폰 및 PDA를 포함할 수 있다.
또한, 상기 DLNA 네트워크는 상기 DMS(41), DMR(43) 및 DMC(44)으로 이루어지거나 상기 DMP(42) 및 DMR(43)으로 이루어질 수 있다
또한, 상기 DMS(41), DMP(42), DMR(43), 및 DMC(44)는 전자기기를 기능적으로 구분하는 용어일 수 있다. 예를 들어, 휴대폰이 제어기능뿐만 아니라 재생기능을 가지는 경우에는 상기 DMP(42)에 해당할 수 있고, 상기 전자 기기(100)(예를 들어, DTV)가 컨텐츠를 관리하는 경우에는 상기 DMP(42)뿐만 아니라 상기 DMS(41)에 해당할 수도 있다.
도 3은 DLNA에 따른 기능 컴포넌트를 도시한 도면이다.
상기 DLNA에 따른 기능 컴포넌트는 미디어 포맷(media formats)층, 미디어 전송(media transport) 층, 기기 디스커버리 및 제어 그리고 미디어 관리(device discovery & control And media management) 층, 네트워크 스택(network stack) 층, 네트워크 연결(network connectivity)층을 포함할 수 있다.
네트워크 연결층은 네트워크의 물리층, 링크층을 포함할 수 있다. 네트워크 연결층은 이더넷(ethernet), 와이파이(Wi-Fi), 및 블루투스를 포함할 수 있다. 그 외에도, IP접속이 가능한 통신 매체를 사용할 수 있다.
네트워크 스택층은, IPv4 프로토콜을 사용할 수 있다.
기기 디스커버리 및 제어 그리고 미디어 관리층은 UPnP 특히, UPnP AV Architecture 및 UPnP Device Architecture를 기반으로 할 수 있다. 예를 들어 기기 디스커버리를 위하여 SSDP(simple service discovery protocol)를 사용할 수 있다. 또한 제어를 위하여 SOAP(simple object access protocol)를 사용할 수 있다.
미디어 전송층은 스트리밍 재생을 위하여 HTTP 1.0/1.1.을 사용할 수 있다. 또는 RTP(real-time transport protocol)을 사용할 수 있다.
미디어 포맷층은 이미지, 오디오, AV 미디어, XHTML(Extensible Hypertext Markup Language) 문서를 사용할 수 있다.
도 4는 본 발명의 일 실시예와 관련된 전자기기의 전체적인 블록 구성도(block diagram)이다.
전자기기(100)는 통신부(110), A/V 입력부(120), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 3에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 전자기기를 구현될 수도 있다.
통신부(110)는 전자기기(100)와 통신 시스템 사이 또는 전자기기(100)와 다른 장치(device)와 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(110)는 방송수신부(111), 인터넷모듈부(113), 근거리통신모듈부(114) 등을 포함할 수 있다.
방송수신부(111)는 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 통신망을 통하여도 제공될 수 있다.
방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
방송수신부(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신할 수 있다. 방송수신부(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
인터넷모듈부(113)는 인터넷 접속을 위한 모듈을 말하는 것으로, 인터넷모듈부(113)는 전자기기(100)에 내장되거나 외장될 수 있다.
근거리통신모듈부(114)는 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
A/V 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수 있다. 또한, 카메라(121)는 2D 또는 3D 촬영 가능한 카메라(121) 일 수 있으며, 2D 또는 3D 카메라가 단독 혹은 그 조합으로서 구성될 수 있다.
마이크(122)는 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
출력부(150)는 디스플레이부(151), 음향출력부(152) 및 알람부(153) 및 진동모듈(154) 등이 포함될 수 있다.
디스플레이부(151)는 전자기기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 전자기기(100)와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나일 수 있다.
음향출력부(152)는 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수도 있다. 음향출력부(152)는 전자기기(100)에서 수행되는 기능과 관련된 음향 신호를 출력할 수 있다. 이러한 음향출력부(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 전자기기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 전자기기(100)에서 발생되는 이벤트의 예로는 화자의 음성 입력, 제스처 입력, 메시지 입력, 리모트 콘트롤러를 통한 각종 제어 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 비디오 신호나 오디오 신호는 디스플레이부(151)나 음향 출력 모듈(152)을 통해서도 출력될 수 있다.
진동모듈(154)은 특정 압력에 의해 촉각을 유발하는 특정 주파수를 생성하고, 음성입력장치를 통해 입력되는 화자의 음성 패턴에 대응하는 진동 패턴을 가지는 피드백 진동을 생성하여 화자에게 전달할 수 있다.
메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다. 상기 메모리(160)는 적어도 하나의 화자로부터 입력되는 적어도 하나의 음성 패턴에 대응되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
또한, 메모리(160)는 전자 프로그램 가이드(Electronic Program Guide)를 저장할 수 있다. 전자 프로그램 가이드는, 방송 프로그램 명, 방송사 명, 방송 채널 번호, 방송 프로그램의 개략적인 줄거리 정보, 방송 프로그램의 예약 번호, 방송 프로그램의 출연 배우 등과 같이 방송될 예정인 방송에 대한 스케쥴 정보 및 기타 다양한 정보를 포함할 수 있다.
한편, 메모리(160)는, 통신부(110)를 통해 방송국으로부터 송출되는 지상파 방송, 케이블 방송, 위성 방송 등에 관한 EPG를 주기적으로 수신하거나, 외부 기기(10,20)에 기 저장된 EPG를 수신하여 수신된 EPG를 저장할 수 있다. 상기 수신된 EPG는 메모리(160)에서 업데이트 될 수 있다. 예를 들어, 전자 기기(100)는 전자 프로그램 가이드를 저장하는 별도의 데이터 베이스(161)(도 7 참조)를 포함할 수 있으며, EPG와 관련된 데이터는 전자 프로그램 가이드 데이터 베이스(161)에 별도로 저장될 수 있다.
한편, 메모리(160)는, 본 발명의 동작에 필요한 음향 모델, 인식 사전 및 번역 데이터 베이스, 소정의 언어 모델, 명령어 데이터베이스 등을 포함할 수 있다.
상기 인식 사전은, 특정 언어로 구성되는 단어, 어절, 키워드 및 표현 중 적어도 하나를 포함할 수 있다.
상기 번역 데이터 베이스는, 복수의 언어들을 서로 매칭시킨 데이터를 포함할 수 있다. 예를 들어, 상기 번역 데이터 베이스는, 제1 언어(한국어)와 제2 언어(영어/일본어/중국어)를 서로 매칭시킨 데이터를 포함할 수 있다. 상기 제2 언어는, 상기 제1 언어와 구분하기 위한 용어로서, 복수의 언어일 수 있다. 예를 들어, 상기 번역 데이터 베이스는, 한국어 "예약하고 싶습니다." 영어 "I'd like to make a reservation."에 매칭시킨 데이터를 포함할 수 있다.
상기 명령어 데이터베이스는 전자 기기(100)를 제어할 수 있는 명령어들의 집합이다. 상기 명령어 데이터베이스는 제어 대상 컨텐츠에 따라 상호 독립적인 공간에 존재할 수 있다. 예를 들어, 방송 프로그램을 제어할 수 있는 채널 관련 명령어 데이터 베이스, 내비게이션 프로그램을 제어할 수 있는 지도 관련 명령어 데이터베이스, 게임 프로그램을 제어할 수 있는 게임 관련 명령어 데이터베이스 등이 존재할 수 있다.
상기 명령어 데이터베이스의 종류는 전술한 예에 한정되지 않으며, 전자 기기(100)에서 실행될 수 있는 컨텐츠의 수에 대응되도록 존재할 수 있다.
한편, 상기 명령어 데이터베이스는 공통 명령어 데이터베이스를 포함할 수 있다. 상기 공통 명령어 데이터베이스는 전자 기기(100)에서 실행되는 특정 컨텐츠 고유한 기능을 제어하기 위한 명령어들의 집합이 아니라, 복수의 컨텐츠에 공통으로 적용될 수 있는 명령어들의 집합이다.
예를 들어, 전자 기기(100)에서 실행되고 있는 두 개의 컨텐츠를 각각 게임 컨텐츠와 방송 프로그램으로 가정할 때, 게임 실행 중 볼륨을 높일 때 적용되는 음성 명령과 상기 방송 프로그램의 실행 중 볼륨을 높일 때 적용되는 음성 명령은 동일할 수 있다. 또한, 음성 명령이 "다음 뉴스"와 "다음 게임"에 대하여, 상기 음성 명령 중 "다음"의 경우, 현재 화면상에 실행되고 있는 컨텐츠를 다음 순서의 컨텐츠로 변경하여 제공하기 위한 음성 명령어에 해당된다. 즉, 채널 순서 또는 컨텐츠를 제공하는 순서와 관련하여 종래에 리모트 컨트롤러를 통해 제공되는 채널 변경 버튼에 대응되는 음성 명령 또한 복수의 컨텐츠에 공통적으로 적용될 수 있는 명령어들이다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자기기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 전자기기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 전자기기(100) 내부의 각 구성 요소에 전달하거나 전자기기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트 등이 인터페이스부(170)에 포함될 수 있다.
제어부(180)는 통상적으로 전자기기의 전반적인 동작을 제어한다. 예를 들어 영상 표시, 음성 출력 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 적어도 한 명의 화자로부터 입력되는 음성으로부터 음성인식을 수행하는 음성인식부(182)와 도시하지는 않았으나, 음성 합성부(미도시), 음원 방향 탐색모듈(미도시), 음원까지의 거리를 측정하는 거리측정부(미도시) 등을 더 포함할 수 있다.
음성인식부(182)는 상기 전자기기(100)의 마이크(122) 또는 도 6에 도시된 리모트 콘트롤(50) 및/또는 이동 단말기(20)를 통해 입력된 음성 신호에 대한 음성인식을 수행하고, 상기 인식된 음성에 대응되는 적어도 하나의 인식 후보를 획득할 수 있다. 예를 들어, 음성인식부(182)는, 상기 입력된 음성신호로부터 음성구간을 검출하고, 음향분석을 수행한 후 이를 인식 단위로 인식함으로써, 상기 입력된 음성신호를 인식할 수 있다.
그리고, 음성인식부(182)는 메모리(160)에 저장된 인식 사전과 번역 데이터베이스를 참조하여 상기 음성인식된 결과에 대응되는 상기 적어도 하나의 인식후보를 획득할 수 있다.
음성 합성부(미도시)는 TTS(Text-To-Speech) 엔진을 이용하여 텍스트를 음성으로 변환한다. TTS 기술은 문자 정보 또는 기호를 인간의 음성으로 변환하여 들려주는 기술이다. TTS 기술은, 언어의 모든 음소에 대한 발음 데이터베이스를 구축하고, 이를 연결시켜 연속된 음성을 생성하게 되는데, 이때 음성의 크기, 길이, 높낮이 등을 조절하여 자연스러운 음성을 합성해 내는 것으로서, 이를 위해 자연어 처리 기술이 포함될 수 있다. TTS 기술은 CTI,PC,PDA 및 이동 단말기 등의 전자통신 분야와 녹음기, 장남감, 게임기 등의 가전 분야에서 쉽게 볼 수 있고, 공장에서 생산성 향상에 기여하거나 보다 편리한 일상생화를 위한 홈 오토메이션 시스템 등에 널리 쓰여지고 있다. TTS 기술은 공지 기술이므로 더 이상의 상세한 설명은 생략하기로 한다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
도 5는 본 발명의 일 실시예에 따른 전자 기기 제어 방법의 흐름도이다. 도 6 내지 도 11은 도 5에 도시된 실시예를 설명하기 위한 도면들이다. 상기 제어 방법은 제어부(180)의 제어하에 실행될 수 있다.
도 5를 참조하면, 먼저, 전자 기기(100)는 제1 컨텐츠를 디스플레이부(151)에 표시할 수 있다.
상기 제1 컨텐츠는, EPG를 통해 제공되는 방송 프로그램일 수 있다. 또한, 상기 제1 컨텐츠는, 웹(WEB)을 통해 제공되는 웹 데이터일 수 있다. 또한, 제1 컨텐츠는, 전자 기기(100)의 메모리(160)에 기 저장된 멀티 미디어 컨텐츠 또는 사전에 설정된 네트워크 중 적어도 하나를 통해 제공되는 컨텐츠일 수 있다. 상기 네트워크는 전술한 DLNA 네트워크를 포함할 수 있다.
제1 컨텐츠가 디스플레이부(151)를 통해 제공되는 있는 중, 사용자로부터 음성 명령을 수신하고(S120), 제어부(180)는 상기 수신된 음성에 대하여 음성 인식을 수행할 수 있다(S130).
제어부(180)는 상기 음성 인식 결과를 토대로 음성 명령으로부터 검색 소스(source) 및 검색 키워드를 추출할 수 있다(S140).
상기 검색 소스는 전자 기기(100)를 통해 제공되는 컨텐츠의 소스 정보를 의미한다. 즉, 상기 소스 정보는 전자 프로그램 가이드(EPG), 웹(WEB), 상기 전자 기기의 메모리(160)에 저장된 적어도 하나의 멀티 미디어 컨텐츠를 포함할 수 있다. 또한, 상기 소스 정보는 전자 기기(100)와 소정의 네트워크를 통해 연결된 외부 기기를 포함할 수 있다.
즉, 사용자는 자신이 원하는 컨텐츠와 관련된 검색 키워드와 함께, 사용자가 원하는 컨텐츠가 어디에 속해 있는지를 알려주는 소스 정보를 포함하는 음성 명령을 입력할 수 있다.
예를 들어, 사용자가 제공받기를 원하는 컨텐츠가 “무한 도전”인 경우, 상기 “무한 도전”은 EPG를 통해 제공될 수도 있지만, WEB을 통해 다양한 검색 결과들이 제공될 수도 있다. 한편, 사용자는 이전에 녹화되어 메모리(160)에 저장된 “무한 도전” 녹화 프로그램일 수도 있다. 따라서, 채널 변경을 위해 사용자에 의해 입력된 음성 명령은 컨텐츠를 검색하기 위한 검색 키워드뿐 아니라, 상기 컨텐츠의 소스 정보를 함께 포함할 수 있다.
제어부(180)는, 음성 인식부(182)를 통해 검색 소스 및 검색 키워드를 추출하고, 상기 추출된 소스 정보에 기초하여 검색 키워드에 대응되는 제2 컨텐츠를 검색할 수 있다(S150). 제어부(180)는, 상기 검색 키워드를 상기 소스 정보에서 검색할 수 있다. 예를 들어, 검색 키워드가 “무한 도전”이고, 소스 정보가 “EPG” 인 경우, 제어부(180)는 상기 EPG에서 “무한 도전”을 검색하고, 대응되는 방송 프로그램이 존재하는 경우, 이를 사용자에게 제2 컨텐츠로서 제공할 수 있다(S160).
이하에서는 도 5에서 설명한 전자 기기의 제어 방법과 관련된 구체적인 실시예들을 설명하기로 한다.
도 6은 음성 인식 모드에서 음성 명령을 입력하기 위한 예이다.
도 6을 참조하면, 사용자의 음성 명령을 수신하기 위하여 전자 기기(100)는 음성 입력 모드에 진입할 수 있다. 이하의 실시예들에
전자 기기(100)는 텔레비전으로 가정하여 설명한다.
전자 기기(100)를 통해 현재 실행되고 있는 방송 프로그램은 “뉴스”이며, 사용자(S1,S2)는 음성 명령을 통해 채널을 변경하여 “뉴스”이외에 다른 컨텐츠를 실행시킬 수 있다.
상기 사용자의 음성 명령은 상기 전자 기기(100)의 동작을 제어할 수 있는 리모트 컨트롤러(50), 이동 단말기(10)를 포함할 수 있다. 상기 리모트 컨트롤러(10) 및 이동 단말기(50)는 각각 사용자의 음성을 입력받을 수 있는 마이크를 구비할 수 있으며, 상기 입력된 음성 신호를 전자 기기(100)로 전송하는 소정의 무선 통신 모듈을 더 포함할 수 있다. 또한, 상기 사용자의 음성은 전자 기기(100) 내부에 내장된 마이크(122)를 통해 수신될 수도 있다.
또한, 상기 리모트 컨트롤러(50) 또는 이동 단말기(10)는 별도의 음성 인식 모듈을 구비할 수 있으며, 입력되는 음성 명령을 인식하여 컨텐츠 소스 정보 및 검색 키워드를 추출한 후, 추출된 정보를 전자 기기(100)로 전송할 수도 있다. 이동 단말기(100)의 경우, 소정의 음성 인식 애플리케이션을 탑재하는 경우, 이와 같은 기능의 실현이 가능하다.
도 7은 도 5에 도시된 전자 기기의 제어 방법을 실시하기 위한 전자 기기의 블록 구성을 보다 상세하게 설명하기 위한 도면이다.
도 7을 참조하면, 전자 기기(100)는 음성 입력부(예를 들어, 마이크, 122)를 통해 사용자의 음성을 입력받을 수 있다. 상기 음성 입력부(122)는, 전자 기기(100) 내부에 장착된 마이크, 전자 기기(100) 외부에 존재하며, 사용자 근방의 마이크 어레이, 이동 단말기, 리모트 컨트롤러 등일 수 있다.
전자 기기(100)의 음성 인식부(182)는 음성 인식을 수행하고, 키워드 추출부(183)를 통해 사용자의 음성에 포함된 키워드를 추출할 수 있다.
키워드 추출부(183)는 수신된 사용자 음성으로부터 적어도 하나의 키워드를 추출할 수 있다. 즉, 키워드 추출부(183)는 전기적인 음성 신호의 주파수를 분석하여 사용자의 음성 중 키워드를 추출할 수 있다. 예를 들어, “채널+무한도전”이라는 사용자의 음성 명령 중 “채널”, “무한도전” 등의 키워드를 추출할 수 있다. 본 발명의 일 실시예에 따르면 상기 컨텐츠 검색을 위한 키워드는 명사인 것이 바람직하나 본 발명은 이에 한정되는 것은 아니며, 다양한 텍스트 정보를 context awareness 과정을 통해 사용자가 검색하고자 하는 정보를 추출할 수 있다.
검색부(183)는 키워드 추출부(183)를 통해 추출된 “소스 정보” 및 “검색 키워드”를 이용하여, 상기 검색 키워드에 대응되는 컨텐츠를 해당 소스로부터 검색할 수 있다.
예를 들어, 사용자의 음성 명령이 “채널”, “방송” 등인 경우, 컨텐츠를 검색할 소스를 “EPG”로 판단하고, 제어부(180)는, 해당 검색 키워드에 대응되는 제2 컨텐츠를 EPG에서 검색할 수 있다. 또한, 사용자의 음성 명령이 “웹”, “인터넷” 등인 경우, 컨텐츠를 검색할 소스를 “웹(web)”으로 판단하고, 제어부(180)는, 해당 검색 키워드에 대응되는 제2 컨텐츠를 인터넷에 접속하여 검색할 수 있다.
한편, 사용자의 음성 명령이 “휴대폰”, “노트북” 등 전자 기기(100)와 소정의 네트워크를 통해 연결된 외부 기기인 경우, 제어부(180)는, 무선 통신모듈 또는 근거리 통신 모듈을 제어하여 외부 기기와 데이터 통신을 수행하고, 해당 검색 키워드에 대응되는 제2 컨텐츠를 상기 외부 기기에서 검색하거나, 상기 외부 기기를 통해 다른 외부 기기에 접속하여 획득할 수 있다.
한편, 사용자의 음성 명령에 별도의 “소스 정보”가 포함되어 있지 않은 경우, 제어부(180)는, 전자 기기(100)의 내부 메모리(160)에 저장되어 있는 멀티 미디어 컨텐츠(162)에서 상기 검색 키워드에 대응되는 제2 컨텐츠를 검색할 수 있다.
한편, 판단부(184)는 현재 전자 기기(100)를 통해 실행되고 있는 제1 컨텐츠의 소스가 어디인지를 판단하여, 사용자에 의해 요청되는 제2 컨텐츠의 소스정보와 비교할 수 있다. 예를 들어, 제1 컨텐츠와 제2 컨텐츠의 소스가 동일하면, 제어부(180)는, 동일 소스 내에서 제2 컨텐츠를 검색하도록 제어할 수 있다. 또한, 제1 컨텐츠와 제2 컨텐츠의 소스가 동일하지 않으면, 제어부(180)는, 제2 컨텐츠의 소스에서 제2 컨텐츠를 검색하도록 제어할 수 있다.
또한, 판단부(184)는, 사용자에 의해 요청되는 제2 컨텐츠가 현재 방송되고 있는 컨텐츠인지를 판단할 수 있다. 이에 따라, 판단부(184)는 사용자의 요청에 따라 제2 컨텐츠가 방송되고 있는 채널로 채널 변경을 수행할 수 있다.
또한, 판단부(184)는, 상기 제2 컨텐츠가 어떠한 채널에서도 방송되고 있지 않은 경우, 전자 기기(100)의 메모리(160), 웹(web) 서버, 네트워크를 통해 연결된 다른 외부 기기 등을 통해 제2 컨텐츠를 검색할 수 있다.
도 8은 소스 정보가 EPG인 경우, EPG를 통해 컨텐츠가 검색되는 예를 나타낸 도면이다.
도 8을 참조하면, EPG에는 방송에 관한 다양한 정보를 포함하며, EPG 정보는 다른 정보에 구별될 수 있게 전자 프로그램 가이드 저장부(도 7의 161)에 저장될 수 있다.
도 8에 도시된 바와 같이, 방송 채널, 방송사, 방송 프로그램에 관한 정보를 포함하고 있다. 예를 들어, 방송사 정보(MBC)가 선택되면, 상기 방송사(MBC)에서 제공하는 "뉴스", "무한도전", "놀러와", "스포츠 세상" 등과 같은 방송 프로그램에 시간 순서로 정렬되어 표시될 수 있다. 만약, 음성 명령이 "채널+MBC"가 입력되면, 제어부(180)는, 소스 정보를 "채널" 즉 EPG로 판단하여 MBC에서 제공되는 다양한 방송 프로그램을 리스트 업 하여 제공할 수 있다.
또한, "채널+방송사+방송 프로그램 명"이 입력되는 경우, 제어부(180)는, EPG에서 해당 방송사에서 제공되는 방송 프로그램을 직접 선택하여 사용자에게 제공할 수 있다. 한편, 제어부(180)는, 해당 방송 프로그램에 대한 방송 시간, 출연 배우, 간략 줄거리 소개 등과 같은 방송 상세 정보를 제공할 수도 있다.
도 9 내지 도 12는 도 5에 도시된 전자 기기의 제어 방법의 구체적인 실시예를 설명하기 위한 도면이다.
도 9를 참조하면, 도 7에서 사용자에 의해 입력되는 음성 명령이, "채널+무한도전" 또는 "방송+무한도전"인 경우, 제어부(180)는, EPG를 소스(source)로 하여 "무한 도전"을 검색하고, 검색된 컨텐츠(BC)를 디스플레이부(151)에 제공할 수 있다.
한편, 도 10을 참조하면, 도 7에서 사용자에 의해 입력되는 음성 명령이 "웹+ 무한도전", "인터넷+무한도전"인 경우, 제어부(180)는, 소정의 네트워크(30)를 통해 웹 서버(200)에 접속하고, 인터넷을 소스(source)로 하여 "무한 도전"을 검색학, 검색된 컨텐츠를 디스플레이부(151)에 제공할 수 있다. 이 경우, 검색된 컨텐츠는 검색 키워드에 대응되는 웹 페이지 화면(WC)일 수 있으며, 상기 웹 페이지 화면에 대하여 별도의 음성 명령을 수행하는 경우, 상기 음성 명령에 대응되는 기능을 실행할 수 있다.
한편, 도 11을 참조하면, 사용자에 의해 입력되는 음성 명령을 통해 추출되는 소스 정보가 소정의 네트워크를 통해 연결되어 있는 외부 기기인 경우, 제어부(180)는, 상기 네트워크(30)를 통해 외부 기기(15)에 접속하여 소정의 컨텐츠를 검색하고도록 하는 제어 신호를 생성할 수 있다. 예를 들어, 사용자의 음성 명령이 "이동 단말기+무한 도전"인 경우, 제어부(180)는, 네트워크(30)를 통해 연결된 이동 단말기(15)에 접속하여, 상기 이동 단말기(15)에 저장되어 있는 방송 프로그램 또는 멀티 미디어 컨텐츠 중 "무한 도전"과 관련된 컨텐츠를 검색하고, 상기 네트워크(30)를 통해 다시 상기 검색된 컨텐츠를 전송받을 수 있다.
이상에서는, 사용자가 소정의 음성 명령을 통해 채널을 변경하고자 할 때, 상기 음성 명령어의 형식이, 소스 정보 및 검색 키워드를 포함하는 경우, 해당 검색 키워드에 대응되는 컨텐츠를 해당 소스에서 검색하여 사용자에게 제공하는 실시예들을 설명하였다.
이하에서는, 상기 음성 명령어의 형식이 채널 정보를 포함하는지 여부에 따라, 채널 정보를 포함하지 않는 경우, 어떠한 과정을 통해 사용자가 원하는 컨텐츠를 검색하여 제공하는지에 관한 실시예들을 도 12 내지 도 17을 참조하여 설명한다.
도 12 내지 도 13은 본 발명의 일 실시예에 따른 전자 기기의 제어 방법의 흐름도이다. 또한, 도 14 내지 도 16은 도 12 내지 도 13에 도시된 실시예를 보다 구체적으로 설명하기 위한 도면이다.
도 12를 참조하면, 제어부(180)는, 음성 명령을 수신할 수 있다.
소정의 컨텐츠가 디스플레이부(151)를 통해 제공되는 있는 중, 사용자로부터 음성 명령을 수신하고(S210), 제어부(180)는 상기 수신된 음성에 대하여 음성 인식을 수행할 수 있다(S220).
제어부(180)는 상기 음성 인식 결과를 토대로 음성 명령으로부터 검색 키워드를 추출할 수 있다. 제어부(180)는 상기 추출된 검색 키워드에 채널 정보가 포함되어 있는지를 판단할 수 있다(S230).
여기서, 상기 채널 정보라 함은, 종래에 리모트 컨트롤러를 통해 제공되고 있는 제어 대상 예를 들어, 채널 명(예를 들어, MBC, KBC, SBS 등), 채널 숫자(예를 들어, CH 9,10,11 등) 등을 포함할 수 있다.
따라서, 제어부(180)는, 사용자에 의해 입력되는 음성 명령에 전술한 채널 명, 또는 채널 숫자 정보가 포함되어 있으며, 현재 채널을 상기 음성 명령에 대응되는 채널로 변경하여 사용자에게 제공할 수 있다(S240).
상기 판단결과, 상기 추출된 검색 키워드에 채널 정보가 포함되어 있지 않은 경우로 판단하는 경우,(S230: 아니오), 도 13에 도시된 바와 같이 제어부(180)는 소정의 기준에 따라 컨텐츠를 검색할 수 있다.
전술한 채널 정보는 채널 명칭, 채널 숫자 등 협의의 의미에서 채널 정보라 할 수 있다. 그러나, 본 발명의 일 실시예를 통해 제공되는 전자 기기의 제어 방법에서, 상기 채널 정보는, 상기 협의의 의미의 채널 정보만을 의미하지는 않는다.
도 13을 참조하면, 사용자에 의해 입력된 음성 명령에 상기 협의의 의미의 채널 정보(예를 들어, 채널 명칭, 채널 숫자 등)가 포함되어 있지 않은 경우, 제어부(180)는, 일치하는 방송 명이 존재하는지를 판단할 수 있다(S231).
예를 들어, 사용자에 의해 입력되는 음성 명령이 "채널+강호동"인 경우, 제어부(180)는 EPG에서 "강호동"에 대응되는 컨텐츠를 검색할 수 있다. 일단, 제어부(180)는, "강호동"에 대응되는 "채널 명칭 및 채널 숫자가 존재하지 않음을 판단하고, 매칭되는 방송 명칭이 존재하는지를 판단할 수 있다(S231).
만약 "강호동"에 대응되는 방송 명칭이 검색되는 경우, 제어부(180)는, 해당 방송 명에 대응되는 방송 프로그램으로 채널을 변경할 수 있다(S234).
만약 "강호동"에 대응되는 방송 명칭이 검색되지 않는 경우, 제어부(180)는, "강호동"에 대응되는 방송 정보가 존재하는지를 판단할 수 있다(S232).
여기서, 방송 정보라 함은, 전술한 협의의 의미의 채널 정보를 포함하며, 방송 프로그램 명(예를 들어, 1박 2일, 무한 도전 등), 방송 시간(예를 들어, 18:00~20:00 등), 인(人)명(예를 들어, 출연 배우, 감독 등), 방송 프로그램의 장르(예를 들어, 뉴스, 다큐멘터리, 예능 등), 어플리케이션 명, 웹 페이지 명(예르 들어, 다음(daum), 네이버(naver) 등) 등을 포함할 수 있다.
따라서, 제어부(180)는, 사용자에 의해 입력되는 음성 명령에 전술한 채널 정보가 포함되어 있으며, 상기 채널 정보에 기반하여 음성 인식된 채널로 방송 채널을 변경할 수 있다(S240). 즉, 음성 명령에 "강호동"이라는 인(人)명이 포함되어 있는 경우, 채널 명에는 존재하지 않으나, 제어부(180)는, "강호동"이 출연하고 있는 방송 프로그램 중 어느 하나를 제공할 수 있다(S235). 또는 상기 "강호동"이 출연하는 복수의 방송 프로그램을 포함하는 프로그램 목록을 사용자에게 제공할 수 있다.
한편, 상기 협의의 의미의 채널 정보 및 방송 정보에 대응되는 컨텐츠가 검색되지 않는 경우, 제어부(180)는, 상기 음성 명령에 대응되는 컨텐츠가 존재하지 않음을 사용자에게 알릴 수 있다(S233).
도 14를 참조하면, 사용자에 의해 입력되는 음성 명령이 "채널+강호동"인 경우, 제어부(180)는, "강호동"에 직접적으로 대응되는 채널이 EPG에 존재하지만, 상기 "강호동"과 관련된 다양한 방송 정보를 EPG를 통해 검색할 수 있다. 예를 들어, 상기 검색 결과 "강호동"이 출연하고 있는 방송 프로그램인 "무릎팍 도사(a1)", "1박 2일(a2)", "스타킹(a3)" 을 포함하는 프로그램 목록(62)을 디스플레이부(151)에 제공할 수 있다.
그런 후, 상기 프로그램 목록 중 어느 하나를 선택하기 위한 사용자의 음성 입력(예를 들어, 1박 2일)이 입력되면, 제어부(180)는, 상기 음성 입력에 응답하여 1박 2일에 해당하는 방송 프로그램을 화면상에 제공할 수 있다.
한편, 도 15는, 사용자에 의해 입력된 음성 입력이 "채널+피카사" 또는 "Web+피카사"인 경우를 가정한다. 현재 방영되고 있는 컨텐츠가 EPG를 통해 제공되는 뉴스인 상황에서, 상기 음성 명령 "채널+피카사"가 입력되는 경우 제어부(180)는 도 12 내지 도 13의 흐름을 거쳐서, "피카사" 웹 페이지를 화면상에 제공할 수 있다.
한편, 도 16은, 사용자에 의해 입력된 음성 입력이 "채널+네이버" 또는 "Web+네이버"인 경우를 가정한다. 현재 방영되고 있는 컨텐츠가 EPG를 통해 제공되는 뉴스인 상황에서, 상기 음성 명령 "채널+피카사"가 입력되는 경우 제어부(180)는 도 12 내지 도 13의 흐름을 거쳐서, "네이버" 웹 페이지를 화면상에 제공할 수 있다.
도 17은 본 발명의 일 실시예에 따른 전자 기기의 제어 방법의 흐름도이다.
도 17을 참조하면, 먼저, 전자 기기(100)는 제1 컨텐츠를 디스플레이부(151)에 표시할 수 있다(S310).
상기 제1 컨텐츠는, EPG를 통해 제공되는 방송 프로그램일 수 있다. 또한, 상기 제1 컨텐츠는, 웹(WEB)을 통해 제공되는 웹 데이터일 수 있다. 또한, 제1 컨텐츠는, 전자 기기(100)의 메모리(160)에 기 저장된 멀티 미디어 컨텐츠 또는 사전에 설정된 네트워크 중 적어도 하나를 통해 제공되는 컨텐츠일 수 있다. 상기 네트워크는 전술한 DLNA 네트워크를 포함할 수 있다.
제1 컨텐츠가 디스플레이부(151)를 통해 제공되는 있는 중, 사용자로부터 음성 명령을 수신하고(S320), 제어부(180)는 상기 수신된 음성에 대하여 음성 인식을 수행할 수 있다(S330).
제어부(180)는 상기 음성 인식 결과를 토대로 음성 명령으로부터 채널 방향 정보 및 검색 키워드를 추출할 수 있다(S340).
그런 후, 제어부(180)는, 상기 채널 방향 정보에 기초하여 상기 검색 키워드에 대응되는 제2 컨텐츠를 검색할 수 있다(S350).
또한, 제어부(180)는, 상기 검색된 제2 컨텐츠를 디스플레이부(151)에 표시할 수 있다(S360).
여기서, 상기 채널 방향 정보라 함은, 채널 변경을 위한 사용자의 입력에 응답하여 채널이 변경되는 순서와 관련된 정보를 포함할 수 있다. 예를 들어, 현재 제공되고 있는 채널이 EPG에 기초한 Channel 8번인 경우, 사용자에 의해 입력되는 음성 명령이 "다음 채널"인 경우, 제어부(180)는, Channel 8번의 다음 채널인 Channel 9번으로 변경할 수 있다. 또한, 상기 사용자에 의해 입력되는 음성 명령이 "이전 채널"인 경우, 제어부(180)는, Channel 8번의 이전 채널인 Channel 7번으로 변경할 수 있다.
한편, 상기 채널 방향 정보는, 전술한 바와 같이, 채널 숫자와 직접적으로 관련된 정보일 수 있으나, 채널 명 또는 채널 숫자와 직접적으로 관련 없는 방송 정보에 관한 정보를 포함할 수 있다.
예를 들어, 현재, 전자 기기(100)를 통해 제공되고 있는 컨텐츠가 "뉴스"이고, 상기 사용자에 의해 입력되는 음성 명령이 "다음 뉴스"인 경우, 상기 채널 방향 정보는 "다음"이고, 검색 키워드가 "뉴스"에 해당된다. 이 경우, 제어부(180)는, EPG를 통해 제공되는 다양한 뉴스 프로그램 중, 현재 채널 이후의 방송 프로그램 중 뉴스가 제공되는 채널을 제공하라는 명령어로 인식할 수 있다. 따라서, 현재 제공되는 뉴스가 채널 8번에서 제공되고 있고, 채널 8번 이후 채널 20번에서 또 다른 뉴스가 제공되는 경우, 상기 "다음 뉴스" 라는 음성 명령에 대응하여 제어부(180)는 채널 8번에서 채널 20번으로 채널을 변경하여 제공할 수 있다.
한편, 채널 방향 정보에 기초하여 전자 기기를 제어하는 보다 상세한 실시예에 대하여 도 18을 참조하여 설명하기로 한다.
도 18은 도 17에 도시된 실시예에서, 채널 방향 정보에 기초하여 채널을 변경하는 전자 기기의 제어 방법을 나타내는 흐름도이다.
도 18을 참조하면, 제어부(180)는 수신된 음성에 대하여 음성 인식을 수행하고(S330), 상기 음성 인식 결과, 제어부(180)는, 음성 명령어에 방향성 정보가 포함되어 있는지를 판단할 수 있다(S411).
상기 음성 명령에 채널 방향 정보가 포함되어 있는 경우, 제어부(180)는, 음성 인식 결과 추출된 검색 키워드를 상기 채널 방향 정보에 기초하여 검색하고, 검색 결과를 사용자에게 제공할 수 있다.
다만, 채널 방향 정보가 추출되더라도, 제어부(180)는, 검색 키워드를 먼저 분석한다(S412). 즉, 사용자에 의해 입력되는 음성 명령이 "채널 방향 정보+ 장르" 형식으로 구성될 수 있으며, 채널 방향 정보를 포함하는 음성 명령으로 통해 채널을 제어하기 위해서는 장르에 관한 정보가 동일할 필요가 있다.
예를 들어, 사용자에 의해 입력되는 음성 명령이 "다음 웹 페이지"인데, 현재 채널을 통해 제공되고 있는 컨텐츠가 방송 프로그램인 경우, 제어부(180)는, 음성 명령 오류 메시지를 제공하면서, 재차 음성을 입력하도록 하는 권고 메시지를 제공할 수 있다.
따라서, 제어부(180)는, 검색 키워드를 분석한 결과(S412), 현재 실행 중인 컨텐츠와 동일한 장르인지를 판단할 수 있다(S413).
상기 판단결과, 음성 명령에 포함된 검색 키워드의 장르가 현재 실행 중인 컨텐츠의 장르와 동일한 경우, 제어부(180)는, 상기 방향성 정보에 기초하여 동일 장츠의 제2 컨텐츠를 검색할 수 있다(S414).
또한, 상기 검색 결과 채널을 변경하여 상기 제2 컨텐츠를 제공할 수 있다(S415).
상기 판단결과, 음성 명령에 포함된 검색 키워드의 장르가 현재 실행 중인 컨텐츠의 장르와 동일하지 않은 경우, 제어부(180)는 다시 음성 인식 오류인지를 판단할 수 있다(S416).
만약, 음성 인식 오류인 경우, 제어부(180)는, 음성 인식 과정에서 오류가 발생했음을 알리는 오류 메시지를 출력할 수 있다(S417).
음성 인식 오류가 아닌 경우, 제어부(180)는, 차후 입력되는 음성 명령에 대하여 S412 단계 내지 S413 단계를 반복할 수 있다.
도 19 내지 도 20은 도 17 내지 도 18에 도시된 실시예를 보다 구체적으로 설명하기 위한 도면이다.
도 19를 참조하면, 사용자에게 제공되는 컨텐츠는 채널 9번에서 방영되는 제1 뉴스(BC_NEW1)이고, 사용자에 의해 입력되는 음성 명령이 "다음(next)+뉴스"인 경우를 가정한다. 그리고, 채널 10번(BC)은 홈 쇼핑 방송이며, 채널 11번은, 제1 뉴스와 방송사만 다르고 장르는 동일한 제2 뉴스(BC_NEW2)이다.
이 경우, 사용자의 음성 명령이 "다음 채널"인 경우, 제어부(180)는, 채널 9번을 채널 10번으로 변경할 것이다. 그러나, 상기 사용자의 음성 명령이 "다음 뉴스" 제어부(180)는, 현재 채널 9를 채널 11번으로 변경함으로써, 사용자에게 이전 장르와 동일한 장르인 뉴스 프로그램을 제공할 수 있다.
도 20을 참조하면, 사용자에게 제공되는 컨텐츠를 채널 1에서 방영되는 제1 드라마이고, 사용자에 의해 입력되는 음성 명령이 "다음(next) + 드라마"인 경우를 가정한다. 그리고 채널 2번은 뉴스이며, 채널 3번은 상기 제1 드라마와 제공되는 방송사만 다르고 장르는 동일한 제2 드라마일 수 있다.
마찬가지로, 사용자에 의해 입력되는 음성 명령이 다음 채널인 경우, 현재 제공되는 제1 드라마에서 채널 2번의 뉴스 프로그램으로 변경될 수 있다. 그러나, 상기 음성 명령이 "다음 + 드라마"인 경우, 상기 제1 드라마 이후의 채널 중 드라마를 방영하는 채널 정보를 검색하여 채널을 변경할 수 있다.
한편, 전술한 채널 방향 정보는 채널 변경 입력에 응답하여 채널이 변경되는 순서와 관련된 정보에 한정되지 않는다. 예를 들어, 전자 기기(100)가 소정의 네트워크를 통해 복수의 외부 기기와 연결되어 있는 경우를 가정한다.
전자 기기(100)를 통해 현재 제공되는 컨텐츠에 대하여, 사용자에 의해 입력되는 음성 명령이 "다음+컨텐츠"인 경우, 제어부(180)는, 상기 "다음"을 상기 전자 기기(100)와 네트워크로 연결된 외부 기기에 대한 정보로 인식할 수 있다.
즉, 전자 기기(100)와 네트워크를 통해 순차적으로 연결된 제1 외부 기기, 제2 외부 기기,…,제N 외부 기기가 존재할 때, 상기 "다음+컨텐츠"는 전자 기기(100)와 첫 번째로 네트워크를 형성한 제1 외부 기기에서 제공되는 컨텐츠를 의미할 수 있다.
본 발명에 의한 전자 기기 및 전자 기기의 제어 방법은 소프트웨어를 통해 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는, ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 또한 본 문서에서 설명된 실시예들은 한정되게 적용될 수 있는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
10: 외부 기기(이동 단말기) 20: 외부 기기(노트북)
100: 전자 기기 151: 디스플레이부
180: 제어부

Claims (17)

  1. 제1 컨텐츠를 표시하는 디스플레이부;
    사용자의 음성 명령을 수신하는 음성 입력부; 및
    상기 음성 명령으로부터 컨텐츠를 검색하기 위한 소스(source) 정보 및 검색 키워드를 추출하고, 상기 소스 정보에 기초하여 상기 검색 키워드에 대응되는 제2 컨텐츠를 검색하고, 상기 제2 컨텐츠를 상기 디스플레이부에 제공하는 제어부;
    를 포함하는 전자 기기.
  2. 제 1 항에 있어서,
    상기 소스(source) 정보는,
    전자 프로그램 가이드(EPG), 웹(WEB), 상기 전자 기기의 메모리에 저장된 적어도 하나의 멀티 미디어 컨텐츠 및 사전에 설정된 네트워크 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 기기.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 추출된 소스 정보에 상기 검색 키워드에 대응되는 제2 컨텐츠가 존재하지 않는 경우, 상기 추출된 소스 정보를 제외한 적어도 하나의 소스들에 대하여 상기 제2 컨텐츠가 존재하는지를 순차적으로 검색하는 것을 특징으로 하는 전자 기기.
  4. 제 2 항에 있어서,
    상기 제어부는,
    상기 전자 프로그램 가이드, 상기 웹, 상기 메모리 및 상기 네트워크에서 상기 검색 키워드에 대응되는 컨텐츠를 검색하고, 소스 정보와 상기 소스 정보에서 검색된 적어도 하나의 컨텐츠를 매칭하여 상기 디스플레이부에 제공하는 것을 특징으로 하는 전자 기기.
  5. 제 1 항에 있어서,
    상기 검색 키워드는,
    채널명, 채널 숫자, 방송 프로그램 명, 방송 시간, 인명, 방송 프로그램의 장르, 어플리케이션 명 및 웹 페이지 명 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 기기.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 추출된 소스 정보에 상기 검색 키워드에 대응되는 컨텐츠가 복수인 경우, 복수의 제2 컨텐츠를 포함하는 컨텐츠 목록을 상기 디스플레이부에 제공하는 것을 특징으로 하는 전자 기기.
  7. 제1 컨텐츠를 표시하는 디스플레이부;
    사용자의 음성 명령을 수신하는 음성 입력부; 및
    상기 음성 명령으로부터 채널을 변경하기 위한 채널 방향 정보 및 상기 채널을 통해 제공되는 컨텐츠와 관련된 키워드를 추출하고, 상기 채널 방향 정보에 기초하여 상기 키워드에 대응되는 제2 컨텐츠를 검색하고, 상기 제2 컨텐츠를 상기 디스플레이부에 제공하는 제어부;
    를 포함하는 전자 기기.
  8. 제 7 항에 있어서,
    상기 채널 방향 정보는, 채널 변경 입력에 응답하여 채널이 변경되는 순서와 관련된 정보를 포함하는 것을 특징으로 하는 전자 기기.
  9. 디스플레이부;
    사용자의 음성 명령을 수신하는 음성 입력부; 및
    상기 음성 명령으로부터 채널 정보를 포함하는 적어도 하나의 검색 키워드를 추출하고, 상기 추출된 검색 키워드에 대응되는 컨텐츠를 소정의 검색 카테고리에서 검색하고, 현재 상기 디스플레이부를 통해 제공되는 컨텐츠를 상기 검색 키워드에 대응되는 컨텐츠로 변경하여 상기 디스플레이부에 제공하는 제어부;
    를 포함하는 전자 기기.
  10. 제1 컨텐츠를 디스플레이부에 표시하는 단계;
    상기 디스플레이부에 표시되는 컨텐츠를 제어하기 위한 사용자의 음성 명령을 수신하는 단계;
    상기 음성 명령으로부터 소정의 컨텐츠를 검색하기 위한 소스(souce) 정보 및 검색 키워드를 추출하는 단계;
    상기 소스 정보에 기초하여 상기 검색 키워드에 대응되는 제2 컨텐츠를 검색하는 단계; 및
    상기 제2 컨텐츠를 상기 디스플레이부에 표시하는 단계;
    를 포함하는 전자 기기의 제어 방법.
  11. 제 10 항에 있어서,
    상기 소스(source) 정보는,
    전자 프로그램 가이드(EPG), 웹(WEB), 상기 전자 기기의 메모리에 저장된 적어도 하나의 멀티 미디어 컨텐츠 및 사전에 설정된 네트워크 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 기기의 제어 방법.
  12. 제 11 항에 있어서,
    상기 제2 컨텐츠를 검색하는 단계는,
    상기 추출된 소스 정보에 상기 검색 키워드에 대응되는 컨텐츠가 존재하지 않는 경우, 복수의 상기 소스들에 대하여 상기 검색 키워드에 대응되는 컨텐츠가 존재하는지를 순차적으로 검색하는 것을 특징으로 하는 전자 기기의 제어 방법.
  13. 제 11 항에 있어서,
    상기 컨텐츠를 검색하는 단계는,
    상기 전자 프로그램 가이드, 상기 웹, 상기 메모리 및 상기 네트워크에서 상기 검색 키워드에 대응되는 컨텐츠를 검색하는 단계; 및
    상기 소스 정보와 상기 소스 정보에서 검색된 적어도 하나의 컨텐츠를 매칭하여 상기 디스플레이부에 제공하는 단계;
    를 포함하는 것을 특징으로 하는 전자 기기의 제어 방법.
  14. 제 10 항에 있어서,
    상기 검색 키워드는,
    채널명, 채널 숫자, 방송 프로그램 명, 방송 시간, 인명, 방송 프로그램의 장르, 어플리케이션 명 및 웹 페이지 명 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 기기의 제어 방법.
  15. 제 10 항에 있어서,
    상기 컨텐츠를 검색하는 단계는,
    상기 소스 정보에 상기 검색 키워드에 대응되는 컨텐츠가 복수인 경우, 검색된 복수의 컨텐츠 목록을 상기 디스플레이부에 표시하는 단계;를 포함하는 것을 특징으로 하는 전자 기기의 제어 방법.
  16. 제1 컨텐츠를 디스플레이부에 표시하는 단계;
    상기 디스플레이부에 표시되는 컨텐츠를 제어하기 위한 사용자의 음성 명령을 수신하는 단계;
    상기 음성 명령으로부터 채널을 변경하기 위한 채널 방향 정보 및 상기 채널을 통해 제공되는 컨텐츠와 관련된 키워드를 추출하는 단계;
    상기 채널 방향 정보에 기초하여 상기 키워드에 대응되는 제2 컨텐츠를 검색하는 단계;
    상기 제2 컨텐츠를 상기 디스플레이부에 표시하는 단계;
    를 포함하는 전자 기기의 제어 방법.
  17. 제 17 항에 있어서,
    상기 채널 방향 정보는, 채널 변경 입력에 응답하여 채널이 변경되는 순서와 관련된 정보를 포함하는 것을 특징으로 하는 전자 기기의 제어 방법.
PCT/KR2011/005298 2011-07-19 2011-07-19 전자 기기 및 그 제어 방법 WO2013012107A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2011/005298 WO2013012107A1 (ko) 2011-07-19 2011-07-19 전자 기기 및 그 제어 방법
US13/272,352 US9794613B2 (en) 2011-07-19 2011-10-13 Electronic device and method for controlling the same
US15/269,401 US9866891B2 (en) 2011-07-19 2016-09-19 Electronic device and method for controlling the same
US15/607,168 US10009645B2 (en) 2011-07-19 2017-05-26 Electronic device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2011/005298 WO2013012107A1 (ko) 2011-07-19 2011-07-19 전자 기기 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/272,352 Continuation US9794613B2 (en) 2011-07-19 2011-10-13 Electronic device and method for controlling the same

Publications (1)

Publication Number Publication Date
WO2013012107A1 true WO2013012107A1 (ko) 2013-01-24

Family

ID=47556399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/005298 WO2013012107A1 (ko) 2011-07-19 2011-07-19 전자 기기 및 그 제어 방법

Country Status (2)

Country Link
US (3) US9794613B2 (ko)
WO (1) WO2013012107A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194723A1 (ko) * 2014-06-20 2015-12-23 엘지전자(주) 이동단말기 및 그 제어방법
WO2016085070A1 (ko) * 2014-11-26 2016-06-02 엘지전자 주식회사 디바이스 제어 시스템, 디지털 디바이스 및 디지털 디바이스 제어 방법
CN112262370A (zh) * 2019-05-06 2021-01-22 谷歌有限责任公司 响应于语音命令在应用上渲染视觉组件
CN113301395A (zh) * 2021-04-30 2021-08-24 当趣网络科技(杭州)有限公司 在视频播放状态下结合用户等级的语音搜索方法

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD822716S1 (en) 2016-05-13 2018-07-10 Google Llc Voice interface device
US10860290B2 (en) 2000-11-01 2020-12-08 Flexiworld Technologies, Inc. Mobile information apparatuses that include a digital camera, a touch sensitive screen interface, support for voice activated commands, and a wireless communication chip or chipset supporting IEEE 802.11
US10915296B2 (en) 2000-11-01 2021-02-09 Flexiworld Technologies, Inc. Information apparatus that includes a touch sensitive screen interface for managing or replying to e-mails
US11204729B2 (en) 2000-11-01 2021-12-21 Flexiworld Technologies, Inc. Internet based digital content services for pervasively providing protected digital content to smart devices based on having subscribed to the digital content service
AU2002243279A1 (en) 2000-11-01 2002-06-18 Flexiworld Technologies, Inc. Controller and manager for device-to-device pervasive digital output
AU2002239325A1 (en) 2000-11-20 2002-05-27 Flexiworld Technologies, Inc. Systems and methods for mobile and pervasive output
US20020099884A1 (en) 2001-01-19 2002-07-25 Chang William Ho Output controller systems and method for universal data output
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10469556B2 (en) 2007-05-31 2019-11-05 Ooma, Inc. System and method for providing audio cues in operation of a VoIP service
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8418211B2 (en) * 2008-12-31 2013-04-09 Echostar Technologies L.L.C. Antenna diversity for control device applications
US9338517B2 (en) 2012-04-07 2016-05-10 Samsung Electronics Co., Ltd. Method and system for reproducing contents, and computer-readable recording medium thereof
US8682248B2 (en) 2012-04-07 2014-03-25 Samsung Electronics Co., Ltd. Method and system for reproducing contents, and computer-readable recording medium thereof
WO2013172626A1 (ko) * 2012-05-14 2013-11-21 엘지전자 주식회사 미디어 제어 장치, 미디어 렌더러 장치, 미디어 서버 장치 및 이들의 동작 방법
KR20140058127A (ko) * 2012-11-06 2014-05-14 삼성전자주식회사 음성인식장치 및 음성인식방법
WO2014081429A2 (en) * 2012-11-21 2014-05-30 Empire Technology Development Speech recognition
JP2014126600A (ja) * 2012-12-25 2014-07-07 Panasonic Corp 音声認識装置、音声認識方法、およびテレビ
CN104871240A (zh) * 2012-12-28 2015-08-26 索尼公司 信息处理设备、信息处理方法、以及程序
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10674198B2 (en) * 2013-08-06 2020-06-02 Saronikos Trading And Services, Unipessoal Lda System for controlling electronic devices by means of voice commands, more specifically a remote control to control a plurality of electronic devices by means of voice commands
US9386148B2 (en) 2013-09-23 2016-07-05 Ooma, Inc. Identifying and filtering incoming telephone calls to enhance privacy
KR102092164B1 (ko) * 2013-12-27 2020-03-23 삼성전자주식회사 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
US8782121B1 (en) 2014-01-17 2014-07-15 Maximilian A. Chang Peer-to-peer electronic device handling of social network activity
US8782122B1 (en) 2014-01-17 2014-07-15 Maximilian A. Chang Automated collaboration for peer-to-peer electronic devices
KR102146261B1 (ko) * 2014-02-14 2020-08-20 삼성전자 주식회사 전자 장치 및 전자 장치의 대화 메시지에서 의미개체 추출 및 이용방법
US20170013301A1 (en) * 2014-02-17 2017-01-12 Saronikos Trading And Services, Unipessoal Lda Method to browse through radio-television services, and relative television apparatus and remote control
US11481087B2 (en) * 2014-03-27 2022-10-25 Sony Corporation Electronic device and method for identifying input commands of a user
US9633547B2 (en) 2014-05-20 2017-04-25 Ooma, Inc. Security monitoring and control
US10553098B2 (en) 2014-05-20 2020-02-04 Ooma, Inc. Appliance device integration with alarm systems
US10769931B2 (en) 2014-05-20 2020-09-08 Ooma, Inc. Network jamming detection and remediation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US11330100B2 (en) * 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及系统
CN104504887B (zh) * 2015-01-06 2018-09-04 连宁 一种无线遥控的控制方法及系统
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US11171875B2 (en) 2015-05-08 2021-11-09 Ooma, Inc. Systems and methods of communications network failure detection and remediation utilizing link probes
US10911368B2 (en) 2015-05-08 2021-02-02 Ooma, Inc. Gateway address spoofing for alternate network utilization
US10009286B2 (en) 2015-05-08 2018-06-26 Ooma, Inc. Communications hub
US10771396B2 (en) 2015-05-08 2020-09-08 Ooma, Inc. Communications network failure detection and remediation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10048936B2 (en) * 2015-08-31 2018-08-14 Roku, Inc. Audio command interface for a multimedia device
US10770067B1 (en) * 2015-09-08 2020-09-08 Amazon Technologies, Inc. Dynamic voice search transitioning
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10379808B1 (en) * 2015-09-29 2019-08-13 Amazon Technologies, Inc. Audio associating of computing devices
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10116796B2 (en) 2015-10-09 2018-10-30 Ooma, Inc. Real-time communications-based internet advertising
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
KR102761645B1 (ko) 2016-02-25 2025-02-03 삼성전자주식회사 음성 인식 제어를 제공하는 전자 장치 및 그 동작 방법
US10095691B2 (en) * 2016-03-22 2018-10-09 Wolfram Research, Inc. Method and apparatus for converting natural language to machine actions
US10817527B1 (en) 2016-04-12 2020-10-27 Tableau Software, Inc. Systems and methods of using natural language processing for visual analysis of a data set
US11030207B1 (en) 2016-04-12 2021-06-08 Tableau Software, Inc. Updating displayed data visualizations according to identified conversation centers in natural language commands
US11010396B1 (en) 2016-04-12 2021-05-18 Tableau Software, Inc. Data visualization user interface using cohesion of sequential natural language commands
US10515121B1 (en) 2016-04-12 2019-12-24 Tableau Software, Inc. Systems and methods of using natural language processing for visual analysis of a data set
US10795902B1 (en) 2016-04-12 2020-10-06 Tableau Software, Inc. Applying natural language pragmatics in a data visualization user interface
KR102168974B1 (ko) 2016-05-10 2020-10-22 구글 엘엘씨 디바이스들 상의 보이스 어시스턴트에 대한 구현들
CN108604180A (zh) 2016-05-13 2018-09-28 谷歌有限责任公司 用于语音用户界面的视觉效果的led设计语言
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
KR20180036032A (ko) * 2016-09-30 2018-04-09 삼성전자주식회사 영상처리장치 및 기록매체
KR102594022B1 (ko) * 2016-11-24 2023-10-26 삼성전자주식회사 전자 장치 및 그의 채널맵 업데이트 방법
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR102484257B1 (ko) * 2017-02-22 2023-01-04 삼성전자주식회사 전자 장치, 그의 문서 표시 방법 및 비일시적 컴퓨터 판독가능 기록매체
US10572220B2 (en) * 2017-04-12 2020-02-25 American Megatrends International, Llc Method for controlling controller and host computer with voice
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
KR102480570B1 (ko) * 2017-11-10 2022-12-23 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR102460491B1 (ko) * 2017-12-06 2022-10-31 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN110035312B (zh) * 2018-01-11 2021-11-19 中兴通讯股份有限公司 界面显示方法、终端、系统及可读存储介质
KR102540001B1 (ko) * 2018-01-29 2023-06-05 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 화면 표시방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
KR102453833B1 (ko) * 2018-05-10 2022-10-14 삼성전자주식회사 전자 장치 및 그 제어 방법
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
TWI683226B (zh) 2018-08-28 2020-01-21 宏碁股份有限公司 多媒體處理電路及電子系統
US10971132B2 (en) * 2018-08-28 2021-04-06 Acer Incorporated Multimedia processing method and electronic system
CN109246473B (zh) * 2018-09-13 2020-06-26 苏州思必驰信息科技有限公司 基于声纹识别的个性化视频弹幕的语音交互方法及终端系统
US11048871B2 (en) * 2018-09-18 2021-06-29 Tableau Software, Inc. Analyzing natural language expressions in a data visualization user interface
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10657968B1 (en) * 2018-11-19 2020-05-19 Google Llc Controlling device output according to a determined condition of a user
US10878013B1 (en) * 2018-11-26 2020-12-29 CSC Holdings, LLC Bi-directional voice enabled system for CPE devices
EP3896985A4 (en) * 2018-12-11 2022-01-05 Sony Group Corporation RECEPTION DEVICE AND ORDERING PROCEDURE
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11107468B2 (en) * 2019-03-27 2021-08-31 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for context-based communications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110265017B (zh) * 2019-06-27 2021-08-17 百度在线网络技术（北京）有限公司 语音处理方法和装置
US12332937B2 (en) 2019-07-31 2025-06-17 Adeia Guides Inc. Systems and methods for managing voice queries using pronunciation information
US11494434B2 (en) * 2019-07-31 2022-11-08 Rovi Guides, Inc. Systems and methods for managing voice queries using pronunciation information
US11410656B2 (en) 2019-07-31 2022-08-09 Rovi Guides, Inc. Systems and methods for managing voice queries using pronunciation information
US11438452B1 (en) 2019-08-09 2022-09-06 Apple Inc. Propagating context information in a privacy preserving manner
US11042558B1 (en) 2019-09-06 2021-06-22 Tableau Software, Inc. Determining ranges for vague modifiers in natural language commands
CN112533041A (zh) * 2019-09-19 2021-03-19 百度在线网络技术（北京）有限公司 视频播放方法、装置、电子设备和可读存储介质
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US12301635B2 (en) 2020-05-11 2025-05-13 Apple Inc. Digital assistant hardware abstraction
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11698933B1 (en) 2020-09-18 2023-07-11 Tableau Software, LLC Using dynamic entity search during entry of natural language commands for visual data analysis
US11301631B1 (en) 2020-10-05 2022-04-12 Tableau Software, LLC Visually correlating individual terms in natural language input to respective structured phrases representing the natural language input
WO2022100283A1 (zh) * 2020-11-13 2022-05-19 海信视像科技股份有限公司 显示设备、控件触发方法及滚动文本检测方法
WO2022197737A1 (en) * 2021-03-15 2022-09-22 VIDAA USA, Inc. Display apparatus and display method
CN113301415A (zh) * 2021-04-30 2021-08-24 当趣网络科技(杭州)有限公司 适于视频播放状态下的语音搜索方法
CN115868151B (zh) * 2021-07-02 2025-05-27 谷歌有限责任公司 用于设备的远程控制的系统和方法
CN114974235B (zh) * 2022-05-07 2025-09-05 北京探境科技有限公司 一种语音指令识别方法、装置和电子设备
KR20240148373A (ko) * 2022-05-13 2024-10-11 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
US12424218B2 (en) 2022-05-27 2025-09-23 Apple Inc. Digital assistant response framework

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029238A (ko) * 2006-09-28 2008-04-03 한국전자통신연구원 음성 인식을 통한 컨텐츠 정보 서비스 제공 장치 및 그방법
KR20110052863A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 모바일 기기 및 그 제어 신호 생성 방법

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335313A (en) * 1991-12-03 1994-08-02 Douglas Terry L Voice-actuated, speaker-dependent control system for hospital bed
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US6169789B1 (en) * 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
US6185535B1 (en) * 1998-10-16 2001-02-06 Telefonaktiebolaget Lm Ericsson (Publ) Voice control of a user interface to service applications
US6606280B1 (en) * 1999-02-22 2003-08-12 Hewlett-Packard Development Company Voice-operated remote control
US6314398B1 (en) 1999-03-01 2001-11-06 Matsushita Electric Industrial Co., Ltd. Apparatus and method using speech understanding for automatic channel selection in interactive television
US6901366B1 (en) * 1999-08-26 2005-05-31 Matsushita Electric Industrial Co., Ltd. System and method for assessing TV-related information over the internet
US6718308B1 (en) * 2000-02-22 2004-04-06 Daniel L. Nolting Media presentation system controlled by voice to text commands
US6757362B1 (en) * 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
US20010053944A1 (en) * 2000-03-31 2001-12-20 Marks Michael B. Audio internet navigation system
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US7191130B1 (en) * 2002-09-27 2007-03-13 Nuance Communications Method and system for automatically optimizing recognition configuration parameters for speech recognition systems
US7584101B2 (en) * 2003-08-22 2009-09-01 Ser Solutions, Inc. System for and method of automated quality monitoring
US20050132420A1 (en) * 2003-12-11 2005-06-16 Quadrock Communications, Inc System and method for interaction with television content
TWI253298B (en) * 2004-02-09 2006-04-11 Delta Electronics Inc Video device with voice-assisted system
US20060041926A1 (en) * 2004-04-30 2006-02-23 Vulcan Inc. Voice control of multimedia content
US8620667B2 (en) * 2005-10-17 2013-12-31 Microsoft Corporation Flexible speech-activated command and control
IL174107A0 (en) * 2006-02-01 2006-08-01 Grois Dan Method and system for advertising by means of a search engine over a data network
JP2007214663A (ja) * 2006-02-07 2007-08-23 Funai Electric Co Ltd テレビ放送視聴録画システム、録画再生装置及び視聴装置
US20080228479A1 (en) * 2006-02-24 2008-09-18 Viva Transcription Coporation Data transcription and management system and method
US9311394B2 (en) 2006-10-31 2016-04-12 Sony Corporation Speech recognition for internet video search and navigation
US8676273B1 (en) * 2007-08-24 2014-03-18 Iwao Fujisaki Communication device
US8595642B1 (en) * 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
JP2010072507A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 音声認識検索装置及び音声認識検索方法
US20100083338A1 (en) 2008-10-01 2010-04-01 I-Jen Chiang Remote control device and remote control system
US8326829B2 (en) * 2008-10-17 2012-12-04 Centurylink Intellectual Property Llc System and method for displaying publication dates for search results
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
US9031216B1 (en) * 2009-03-05 2015-05-12 Google Inc. In-conversation search
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US8255217B2 (en) * 2009-10-16 2012-08-28 At&T Intellectual Property I, Lp Systems and methods for creating and using geo-centric language models
US20110218986A1 (en) * 2010-03-06 2011-09-08 David Joseph O'Hanlon Search engine optimization economic purchasing method
CA2800489A1 (en) * 2010-03-24 2011-09-29 Annaburne Pty Ltd Method of searching recorded media content
US8983845B1 (en) * 2010-03-26 2015-03-17 Google Inc. Third-party audio subsystem enhancement
US9560206B2 (en) * 2010-04-30 2017-01-31 American Teleconferencing Services, Ltd. Real-time speech-to-text conversion in an audio conference session
US8522283B2 (en) * 2010-05-20 2013-08-27 Google Inc. Television remote control data transfer
KR20120010433A (ko) * 2010-07-26 2012-02-03 엘지전자 주식회사 영상표시기기의 동작 방법
US20120030710A1 (en) * 2010-07-27 2012-02-02 Sony Corporation Tv with landline integrated into tv's user interface
US8600732B2 (en) * 2010-11-08 2013-12-03 Sling Media Pvt Ltd Translating programming content to match received voice command language
US20120134507A1 (en) * 2010-11-30 2012-05-31 Dimitriadis Dimitrios B Methods, Systems, and Products for Voice Control
US8914287B2 (en) * 2010-12-31 2014-12-16 Echostar Technologies L.L.C. Remote control audio link
US20120281097A1 (en) * 2011-05-06 2012-11-08 David Wood Vehicle media system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029238A (ko) * 2006-09-28 2008-04-03 한국전자통신연구원 음성 인식을 통한 컨텐츠 정보 서비스 제공 장치 및 그방법
KR20110052863A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 모바일 기기 및 그 제어 신호 생성 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194723A1 (ko) * 2014-06-20 2015-12-23 엘지전자(주) 이동단말기 및 그 제어방법
US9880809B2 (en) 2014-06-20 2018-01-30 Lg Electronics Inc. Mobile terminal and method for controlling the same
WO2016085070A1 (ko) * 2014-11-26 2016-06-02 엘지전자 주식회사 디바이스 제어 시스템, 디지털 디바이스 및 디지털 디바이스 제어 방법
US10063905B2 (en) 2014-11-26 2018-08-28 Lg Electronics Inc. System for controlling device, digital device, and method for controlling same
CN112262370A (zh) * 2019-05-06 2021-01-22 谷歌有限责任公司 响应于语音命令在应用上渲染视觉组件
US12079543B2 (en) 2019-05-06 2024-09-03 Google Llc Rendering visual components on applications in response to voice commands
CN113301395A (zh) * 2021-04-30 2021-08-24 当趣网络科技(杭州)有限公司 在视频播放状态下结合用户等级的语音搜索方法

Also Published As

Publication number Publication date
US9866891B2 (en) 2018-01-09
US20170264939A1 (en) 2017-09-14
US9794613B2 (en) 2017-10-17
US20170006329A1 (en) 2017-01-05
US10009645B2 (en) 2018-06-26
US20130024197A1 (en) 2013-01-24

Similar Documents

Publication Publication Date Title
WO2013012107A1 (ko) 전자 기기 및 그 제어 방법
WO2013042803A1 (en) Electronic device and method for controlling the same
WO2015099276A1 (en) Display apparatus, server apparatus, display system including them, and method for providing content thereof
WO2013187715A1 (en) Server and method of controlling the same
WO2013022135A1 (en) Electronic device and method of controlling the same
WO2013187714A1 (en) Display apparatus, method for controlling the display apparatus, server and method for controlling the server
WO2014007502A1 (en) Display apparatus, interactive system, and response information providing method
WO2014069820A1 (en) Broadcast receiving apparatus, server and control methods thereof
WO2016035933A1 (ko) 디스플레이 장치 및 그의 동작 방법
EP2499824A2 (en) Mobile device and method for a control generating signal
EP2708033A2 (en) Method for displaying program information and image display apparatus thereof
WO2020145552A1 (en) Image display device and operation method thereof
WO2015068965A1 (en) Display apparatus and method of controlling the same
WO2018093138A1 (en) Electronic apparatus and method of operating the same
WO2015102245A1 (en) Display device, server device, voice input system and methods thereof
EP2992681A1 (en) Display apparatus and searching method
WO2014119883A1 (en) Method and device for providing service
WO2016129840A1 (en) Display apparatus and information providing method thereof
WO2020213884A1 (ko) 텍스트를 제공하는 전자 장치 및 그 제어 방법.
WO2016024824A1 (en) Display apparatus and method of controlling the same
WO2020071870A1 (en) Image display device and method of providing broadcast program information
WO2021060575A1 (ko) 인공 지능 서버 및 그의 동작 방법
WO2018021750A1 (ko) 전자 장치 및 그의 음성 인식 방법
WO2017026817A1 (ko) 통역음성 정보를 제공하는 방법, 이를 운용하는 맞춤형 통역 서버 및 시스템
WO2017160062A1 (ko) 컨텐트를 인식하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11869525

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11869525

Country of ref document: EP

Kind code of ref document: A1