KR20190094081A

KR20190094081A - Method and computer readable recoding medium for visualizing knowledge base for interactive ai agent system

Info

Publication number: KR20190094081A
Application number: KR1020180128607A
Authority: KR
Inventors: 설재호; 손보경; 임보훈; 장세영
Original assignee: 주식회사 머니브레인
Priority date: 2018-10-26
Filing date: 2018-10-26
Publication date: 2019-08-12

Abstract

디스플레이를 포함하는 대화형 AI 에이전트 시스템에 의하여 수행되는, 지식베이스의 시각화 방법이 제공된다. 본 개시의 방법에 있어서, 상기 지식베이스는 복수의 노드를 포함하는 그래프로서 구성되고, 상기 복수의 노드 각각은 소정의 개념과 연관되고, 상기 복수의 노드 각각은 상기 복수의 노드 중 하나 이상의 다른 노드에 대해 각각 소정의 관계를 나타내는 링크에 의해 연결되며, 상기 방법은, 상기 복수의 노드 각각을 시각화하여 상기 디스플레이 상에 표시하는 단계; 및 상기 복수의 노드 중 임의의 두 개의 노드를 연결하는 각각의 링크를 시각화하여 상기 디스플레이 상에 표시하는 단계를 포함한다.Provided are a method of visualizing a knowledge base, performed by an interactive AI agent system including a display. In the method of the present disclosure, the knowledge base is configured as a graph comprising a plurality of nodes, each of the plurality of nodes being associated with a predetermined concept, each of the plurality of nodes being one or more other nodes of the plurality of nodes. Connected by links each representing a predetermined relationship to the method, the method comprising: visualizing and displaying each of the plurality of nodes on the display; And visualizing and displaying each link connecting any two nodes of the plurality of nodes on the display.

Description

TECHNICAL VISION METHOD AND COMPUTER READABLE RECORDING MEDIUM FOR INTERACTIVE AI AGENT SYSTEM {METHOD AND COMPUTER READABLE RECODING MEDIUM FOR VISUALIZING KNOWLEDGE BASE FOR INTERACTIVE AI AGENT SYSTEM}

본 개시는, 대화형 AI 에이전트 시스템을 위한 지식베이스에 관한 것이며, 보다 구체적으로는 대화형 AI 에이전트 시스템을 위한 지식베이스의 구축 및 시각화 등에 관한 것이다.The present disclosure relates to a knowledge base for an interactive AI agent system, and more particularly, to construction and visualization of a knowledge base for an interactive AI agent system.

근래, 인공지능 분야, 특히 자연어 이해 분야의 기술 발전에 따라, 전통적인 기계 중심의 명령 입출력 방식에 따른 기계 조작에서 벗어나, 사용자로 하여금, 보다 사람 친화적인 방식, 예컨대 음성 및/또는 텍스트 형태의 자연어를 매개로 한 대화 방식으로 기계를 조작하고 기계로부터 원하는 서비스를 얻을 수 있도록 하는 대화형 AI 에이전트 시스템의 개발 및 활용이 점차 늘어나고 있다. 그에 따라, 온라인 상담 센터나 온라인 쇼핑몰 등을 비롯한 (그러나 이에 한정되지 않은 더 많은) 다양한 분야에서, 사용자는 음성 및/또는 텍스트 형태의 자연어 대화를 통해, 대화형 AI 에이전트 시스템에게 원하는 서비스를 요청하고 그로부터 원하는 결과를 얻을 수 있게 되었다. In recent years, with advances in the field of artificial intelligence, in particular in the field of understanding natural language, the user has moved away from the operation of the traditional machine-oriented command input / output schemes, thereby allowing users to use natural language in a more human-friendly manner, such as speech and / or text. Increasingly, the development and use of interactive AI agent systems, which enable the operator to operate the machine in a mediated manner and obtain the desired services from the machine, are increasingly being used. Accordingly, in a variety of fields, including but not limited to online counseling centers, online shopping malls, and the like, users may request a desired service from an interactive AI agent system through natural language conversations in the form of voice and / or text. From that you get the desired result.

최근에는, 고정 시나리오 기반의 간단한 문답 형태의 대화 서비스만을 제공하던 종래의 대화형 AI 에이전트 시스템을 넘어서서, 자유 발화 형태의 음성 입력을 기초로 보다 복잡한 도메인의 서비스를 제공하는 대화형 AI 에이전트 시스템에 대한 요구가 늘어나고 있다. 자유 발화 형태의 음성 입력에 기초하여 복잡한 도메인의 서비스를 제공하기 위해서, 대화형 AI 에이전트 시스템은 대화 이해 및 관리를 위한 지식베이스 모델들을 구축하고 이들을 지속적으로 갱신할 필요가 있다. 지식베이스 모델들은 사용자가 대화형 AI 에이전트 시스템을 이용함에 따라 획득되는 지식에 의해 지속적으로 갱신될 수 있다.Recently, beyond the conventional interactive AI agent system which provided only simple question-and-answer dialogue service based on fixed scenarios, the interactive AI agent system that provides more complex domain service based on free speech type voice input is provided. The demand is increasing. In order to provide complex domain services based on free speech input, the interactive AI agent system needs to build knowledge base models for conversation understanding and management and update them continuously. Knowledge base models can be constantly updated by the knowledge acquired as the user uses the interactive AI agent system.

특허문헌 1: 한국 특허 출원 제10-2015-0175948호Patent Document 1: Korean Patent Application No. 10-2015-0175948

지식베이스 모델들의 구축 및 관리는 대화형 AI 에이전트 시스템의 개발 및 관리의 관점에서 매우 중요한 작업이다. 따라서, 대화형 AI 에이전트 시스템의 개발자 또는 관리자 등을 위하여 지식베이스 모델들을 시각화하고 그 결과를 화면에 제시할 필요가 있다.Building and managing knowledge base models is a very important task in terms of developing and managing interactive AI agent systems. Therefore, it is necessary to visualize the knowledge base models and present the results on the screen for the developer or administrator of the interactive AI agent system.

본 개시의 일 특징에 의하면, 디스플레이를 포함하는 대화형 AI 에이전트 시스템에 의하여 수행되는, 지식베이스의 시각화 방법이 제공된다. 본 개시의 방법에 있어서, 지식베이스는 복수의 노드를 포함하는 그래프로서 구성되고, 복수의 노드 각각은 소정의 개념과 연관되고, 복수의 노드 각각은 복수의 노드 중 하나 이상의 다른 노드에 대해 각각 소정의 관계를 나타내는 링크에 의해 연결되며, 방법은, 복수의 노드 각각을 시각화하여 디스플레이 상에 표시하는 단계; 및 복수의 노드 중 임의의 두 개의 노드를 연결하는 각각의 링크를 시각화하여 디스플레이 상에 표시하는 단계를 포함한다.According to one aspect of the present disclosure, there is provided a knowledge base visualization method performed by an interactive AI agent system including a display. In the method of the present disclosure, the knowledge base is configured as a graph comprising a plurality of nodes, each of the plurality of nodes being associated with a predetermined concept, and each of the plurality of nodes being each predetermined for one or more other nodes of the plurality of nodes. Connected by a link representing a relationship of the method, the method comprising: visualizing and displaying each of the plurality of nodes on a display; And visualizing and displaying each link connecting any two nodes of the plurality of nodes on the display.

본 개시의 일 실시예에 의하면, 방법은, 사용자로부터 소정의 자연어 입력을 수신하는 단계; 자연어 입력을 처리하여 하나 이상의 개념을 추출하는 단계; 추출된 하나 이상의 개념에 각각 대응하는 하나 이상의 노드를 생성하는 단계; 생성된 하나 이상의 노드를, 생성된 하나 이상의 노드 중 다른 노드에 및/또는 지식베이스 상의 복수의 노드 중 소정의 노드에, 각 대응하는 링크에 의해 연결시키는 단계- 각 대응하는 링크는, 각 대응하는 링크가 연결하는 노드들 간의 관계를 나타냄 -; 생성된 하나 이상의 노드 각각을 시각화하여 디스플레이 상에 표시하는 단계; 및 생성된 하나 이상의 노드를, 생성된 하나 이상의 노드 중 다른 노드에 및/또는 지식베이스 상의 복수의 노드 중 소정의 노드에 연결시키는 각 링크를 시각화하여 디스플레이 상에 표시하는 단계를 더 포함할 수 있다.According to an embodiment of the present disclosure, a method includes: receiving a predetermined natural language input from a user; Processing the natural language input to extract one or more concepts; Generating one or more nodes corresponding to each of the extracted one or more concepts; Connecting the generated one or more nodes to other ones of the generated one or more nodes and / or to a predetermined node of the plurality of nodes on the knowledge base by each corresponding link, each corresponding link corresponding to each corresponding link. A link represents a relationship between the nodes to which it connects; Visualizing and displaying each of the generated one or more nodes on a display; And visualizing and displaying on the display each link connecting the generated one or more nodes to another one of the generated one or more nodes and / or to a predetermined one of the plurality of nodes on the knowledge base. .

본 개시의 일 실시예에 의하면, 생성된 하나 이상의 노드 각각을 시각화하여 디스플레이 상에 표시하는 단계는, 생성된 하나 이상의 노드를 소정의 제한된 시간 간격 동안, 복수의 노드보다 크게 및/또는 복수의 노드와는 차별되는 별도의 색으로 표시하는 단계를 포함할 수 있다.According to one embodiment of the present disclosure, visualizing and displaying each of the generated one or more nodes on the display may include generating the one or more nodes larger than the plurality of nodes and / or the plurality of nodes for a predetermined limited time interval. It may include the step of displaying in a separate color that is different from.

본 개시의 일 실시예에 의하면, 방법은, 사용자로부터 소정의 자연어 입력을 수신하는 단계; 자연어 입력을 처리하여 하나 이상의 개념을 추출하는 단계; 지식베이스의 복수의 노드 중에서 추출된 하나 이상의 개념에 대응하는 하나 이상의 노드를 선택하는 단계; 디스플레이 상에서, 선택된 하나 이상의 노드의 표시를, 소정의 제한된 시간 동안, 크기 확장하거나, 선택된 하나 이상의 노드가 기존에 표시되어 있었던 색과는 다른 별도의 색을 갖도록 변경하여 표시하는 단계; 및 소정의 제한된 시간 경과 후, 선택된 하나 이상의 노드의 표시를, 변경하여 표시하는 단계 이전의 크기 및 색으로 표시하는 단계를 더 포함할 수 있다.According to an embodiment of the present disclosure, a method includes: receiving a predetermined natural language input from a user; Processing the natural language input to extract one or more concepts; Selecting one or more nodes corresponding to one or more concepts extracted from the plurality of nodes in the knowledge base; Displaying, on the display, an indication of the selected one or more nodes to be scaled up for a limited time or to change the selected one or more nodes to have a different color than the color previously displayed; And after the predetermined limited time elapses, displaying the selected one or more nodes in the size and color before changing and displaying the selected ones.

본 개시의 일 실시예에 의하면, 하나 이상의 노드를 선택하는 단계는, 선택된 하나 이상의 노드 각각에 대해 선택되는 횟수를 카운트하는 단계를 포함하고, 방법은, 복수의 노드 중에서, 소정의 기간 내에 카운트 된 횟수가 소정 수 이상인 노드의 표시를, 복수의 노드 중 다른 노드에 보다 크게 표시 및/또는 복수의 노드와 다른 별도의 색을 갖도록 변경하여 표시하는 단계를 더 포함할 수 있다.According to one embodiment of the present disclosure, selecting one or more nodes includes counting the number of times of selection for each of the selected one or more nodes, and the method includes, among a plurality of nodes, counting within a predetermined period of time. The method may further include displaying the display of the node having the number of times greater than or equal to a predetermined number, changing the display of the node to be larger than other nodes of the plurality of nodes and / or changing the display to have a color different from that of the plurality of nodes.

본 개시의 일 실시예에 의하면, 방법은, 복수의 노드 중 공통된 속성을 갖는 하나 이상의 노드를 공통의 클래스로 분류하는 단계를 더 포함하고, 복수의 노드 각각을 시각화하여 디스플레이 상에 표시하는 단계는, 공통의 클래스로 분류된 하나 이상의 노드를 동일한 색으로 표시하는 단계를 포함할 수 있다.According to an embodiment of the present disclosure, the method further includes classifying one or more nodes having a common property among the plurality of nodes into a common class, and visualizing and displaying each of the plurality of nodes on a display. The method may include displaying one or more nodes classified into a common class in the same color.

본 개시의 다른 특징에 의하면, 하나 이상의 명령어를 포함하는 컴퓨터 판독가능 기록 매체로서, 하나 이상의 명령어는 컴퓨터에 의해 실행되는 경우, 컴퓨터로 하여금, 전술한 방법들 중 어느 하나의 방법을 수행하도록 하는, 컴퓨터 판독가능 기록 매체가 제공된다.According to another feature of the present disclosure, a computer readable recording medium including one or more instructions, wherein the one or more instructions, when executed by a computer, cause the computer to perform any one of the methods described above, A computer readable recording medium is provided.

본 개시의 실시예에 의하면, 대화형 AI 에이전트 시스템의 개발자 또는 관리자 등(그러나 이에 한정되지 않음)을 위하여 지식베이스 모델들을 시각화하고 그 결과를 화면에 제시할 수 있다. 본 개시의 실시예에 의하면, 또한, 구축 또는 갱신 과정 중에 있는 지식베이스 모델들의 동적 변화를 시각화하고 그 결과를 화면에 제시할 수 있다. 따라서, 본 개시의 실시예에 의하면, 대화형 AI 에이전트 시스템의 개발자 또는 관리자 등의 입장에서, 지식베이스의 구조 및/또는 변동 사항을 직관적으로 인식할 수 있게 된다.According to an embodiment of the present disclosure, the knowledge base models may be visualized for the developer or administrator of the interactive AI agent system and the like, but the present invention is displayed on the screen. According to an embodiment of the present disclosure, it is also possible to visualize the dynamic change of the knowledge base models during the construction or update process and present the result on the screen. Therefore, according to the embodiment of the present disclosure, from the standpoint of the developer or administrator of the interactive AI agent system, the structure and / or changes of the knowledge base can be intuitively recognized.

도 1은, 본 개시의 일 실시예에 따라, 대화형 AI 에이전트 시스템이 구현될 수 있는 시스템 환경을 개략적으로 도시한 도면이다.
도 2는, 본 개시의 일 실시예에 따른, 도 1의 사용자 단말(102)의 기능적 구성을 개략적으로 도시한 기능 블록도이다.
도 3은, 본 개시의 일 실시예에 따른, 도 1의 대화형 AI 에이전트 서버(106)의 기능적 구성을 개략적으로 도시한 기능 블록도이다.
도 4는, 본 개시의 일 실시예에 따른, 지식베이스 모델의 구축 초기 과정 및 그에 따른 시각화를 보여주는 도면이다.
도 5는, 본 개시의 일 실시예에 따른, 지식베이스 모델의 구축 초기 과정 및 그에 따른 시각화를 보여주는 도면이다.1 is a diagram schematically illustrating a system environment in which an interactive AI agent system may be implemented, according to an embodiment of the present disclosure.
2 is a functional block diagram schematically illustrating the functional configuration of the user terminal 102 of FIG. 1, according to an embodiment of the disclosure.
3 is a functional block diagram schematically illustrating the functional configuration of the interactive AI agent server 106 of FIG. 1, in accordance with an embodiment of the present disclosure.
4 is a diagram illustrating an initial process of constructing a knowledge base model and visualization according to one embodiment of the present disclosure.
FIG. 5 is a diagram illustrating an initial process of constructing a knowledge base model and visualization according to one embodiment of the present disclosure.

이하, 첨부 도면을 참조하여 본 개시의 실시예에 관하여 상세히 설명한다. 이하에서는, 본 개시의 요지를 불필요하게 흐릴 우려가 있다고 판단되는 경우, 이미 공지된 기능 및 구성에 관한 구체적인 설명을 생략한다. 또한, 이하에서 설명하는 내용은 어디까지나 본 개시의 일 실시예에 관한 것일 뿐 본 개시가 이로써 제한되는 것은 아님을 알아야 한다.Hereinafter, exemplary embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In the following, when it is determined that there is a risk of unnecessarily obscuring the subject matter of the present disclosure, a detailed description of already known functions and configurations will be omitted. In addition, it should be understood that what is described below is only related to an embodiment of the present disclosure, but the present disclosure is not limited thereto.

본 개시에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 개시를 한정하려는 인텐트에서 사용된 것이 아니다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 본 개시에서 사용되는 "및/또는"이라는 용어는, 열거되는 항목들 중 하나 이상의 항목에 의한 임의의 가능한 모든 조합들을 포괄하는 것임이 이해되어야 한다. 본 개시에서 사용되는 '포함하다' 또는 '가지다' 등의 용어는 본 개시 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be used in the intent to limit the present disclosure. For example, a component expressed in the singular should be understood as a concept including a plurality of components unless the context clearly indicates the singular. It is to be understood that the term "and / or" as used in this disclosure encompasses all possible combinations by one or more of the listed items. The terms 'comprise' or 'having' as used in the present disclosure are merely intended to designate that there exists a feature, number, step, operation, component, part, or combination thereof described on the present disclosure. It is not intended to exclude the possibility of the presence or the addition of one or more other features or numbers, steps, actions, components, parts or combinations thereof by use.

본 개시의 실시예에 있어서 '모듈' 또는 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 또는 '부'는, 특정한 하드웨어로 구현될 필요가 있는 '모듈' 또는 '부'를 제외하고는, 적어도 하나의 소프트웨어 모듈로 일체화되어 적어도 하나의 프로세서에 의해 구현될 수 있다.In the exemplary embodiment of the present disclosure, the module or the unit means a functional part that performs at least one function or operation, and may be implemented in hardware or software or in a combination of hardware and software. Also, a plurality of 'modules' or 'units' may be integrated by at least one software module and implemented by at least one processor, except for 'modules' or 'units', which need to be implemented by specific hardware. have.

덧붙여, 달리 정의되지 않는 한 기술적 또는 과학적인 용어를 포함하여, 본 개시에서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의된 용어들은, 관련 기술의 문맥상 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 개시에서 명백하게 달리 정의하지 않는 한 과도하게 제한 또는 확장하여 해석되지 않는다는 점을 알아야 한다.In addition, all terms used in this disclosure, including technical or scientific terms, unless otherwise defined, have the same meaning as commonly understood by one of ordinary skill in the art to which this disclosure belongs. It is to be understood that the terms used in the dictionary, which are generally used, should be interpreted as having a meaning consistent with the contextual meaning of the related art, and shall not be construed as being excessively limited or extended unless clearly defined otherwise in this disclosure. .

이하, 첨부된 도면을 참조하여, 본 개시의 실시예에 대해 구체적으로 설명하기로 한다.Hereinafter, exemplary embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은, 본 개시의 일 실시예에 따라, 대화형 AI 에이전트 시스템이 구현될 수 있는 시스템 환경(100)을 개략적으로 도시한 도면이다. 도시된 바에 의하면, 시스템 환경(100)은, 복수의 사용자 단말(102), 통신망(104), 대화형 AI 에이전트 서버(106), 및 외부 서비스 서버(108)를 포함한다.1 is a diagram schematically illustrating a system environment 100 in which an interactive AI agent system may be implemented, in accordance with an embodiment of the present disclosure. As shown, the system environment 100 includes a plurality of user terminals 102, a communication network 104, an interactive AI agent server 106, and an external service server 108.

본 개시의 일 실시예에 의하면, 복수의 사용자 단말(102) 각각은 유선 또는 무선 통신 기능을 구비한 임의의 사용자 전자 장치일 수 있다. 사용자 단말(102) 각각은, 예컨대 스마트 스피커, 뮤직 플레이어, 게임 콘솔, 디지털 TV, 셋탑박스, 스마트 폰, 태블릿 PC, 데스크탑, 랩탑, PDA 등을 포함한 다양한 유선 또는 무선 통신 단말일 수 있으며, 특정 형태로 제한되지 않음을 알아야 한다. 본 개시의 일 실시예에 의하면, 사용자 단말(102) 각각은, 통신망(104)을 통해서, 대화형 AI 에이전트 서버(106)와 통신, 즉 필요한 정보를 송수신할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 단말(102) 각각은, 통신망(104)을 통해서, 외부 서비스 서버(108)와 통신, 즉 필요한 정보를 송수신할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 단말(102) 각각은, 외부로부터 음성, 텍스트 및/또는 터치 형태의 사용자 입력을 수신할 수 있고, 통신망(104)을 통한 대화형 AI 에이전트 서버(106) 및/또는 외부 서비스 서버(108)와의 통신(및/또는 사용자 단말(102) 내 처리)을 통해 얻어진, 위 사용자 입력에 대응한 동작 결과(예컨대, 특정 대화 응답의 제공 및/또는 특정 태스크의 수행 등)를 사용자에게 제공할 수 있다.According to one embodiment of the present disclosure, each of the plurality of user terminals 102 may be any user electronic device having a wired or wireless communication function. Each of the user terminals 102 may be a variety of wired or wireless communication terminals, including, for example, smart speakers, music players, game consoles, digital TVs, set-top boxes, smart phones, tablet PCs, desktops, laptops, PDAs, and the like. It should be understood that this is not limited. According to an embodiment of the present disclosure, each of the user terminals 102 may communicate with the interactive AI agent server 106, that is, transmit and receive necessary information through the communication network 104. According to the exemplary embodiment of the present disclosure, each of the user terminals 102 may communicate with the external service server 108, that is, transmit and receive necessary information through the communication network 104. According to one embodiment of the present disclosure, each of the user terminals 102 may receive user input in the form of voice, text, and / or touch from the outside, and communicate with the interactive AI agent server 106 via the communication network 104. And / or an operation result corresponding to the user input (eg, providing a specific conversation response and / or performing a specific task) obtained through communication with the external service server 108 (and / or processing in the user terminal 102). Etc.) to the user.

본 개시의 실시예에 있어서, 사용자 입력에 대응한 동작으로서의 태스크 수행은, 예컨대 정보의 검색, 물품 구매, 메시지 작성, 이메일 작성, 전화 걸기, 음악 재생, 사진 촬영, 사용자 위치 탐색, 지도/내비게이션 서비스 등을 비롯한 각종 다양한 형태의 태스크(그러나 이로써 제한되는 것은 아님) 수행을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 단말(102) 각각은, 사용자 입력에 대응한 동작 결과로서의 대화 응답을, 시각, 청각 및/또는 촉각 형태(예컨대, 음성, 음향, 텍스트, 비디오, 이미지, 기호, 이모티콘, 하이퍼링크, 애니메이션, 각종 노티스, 모션, 햅틱 피드백 등을 포함할 수 있으며, 이로써 제한되는 것은 아님) 등 다양한 형태로써 사용자에게 제공할 수 있다.In an embodiment of the present disclosure, performing a task as an operation corresponding to a user input includes searching for information, purchasing an item, writing a message, writing an email, making a phone call, playing a music, taking a picture, searching for a user's location, and a map / navigation service. And various types of tasks, including, but not limited to, performing such tasks. According to an embodiment of the present disclosure, each of the user terminals 102 may transmit a conversation response as a result of an operation corresponding to a user input in a visual, audio, and / or tactile form (eg, voice, sound, text, video, image, Symbols, emoticons, hyperlinks, animations, various knots, motion, haptic feedback, and the like, but are not limited thereto.

본 개시의 일 실시예에 의하면, 통신망(104)은, 임의의 유선 또는 무선 통신망, 예컨대 TCP/IP 통신망을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 통신망(104)은, 예컨대 Wi-Fi망, LAN망, WAN망, 인터넷망 등을 포함할 수 있으며, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 일 실시예에 의하면, 통신망(104)은, 예컨대 이더넷, GSM, EDGE(Enhanced Data GSM Environment), CDMA, TDMA, OFDM, 블루투스, VoIP, Wi-MAX, Wibro 기타 임의의 다양한 유선 또는 무선 통신 프로토콜을 이용하여 구현될 수 있다.According to one embodiment of the present disclosure, communication network 104 may include any wired or wireless communication network, such as a TCP / IP communication network. According to one embodiment of the present disclosure, the communication network 104 may include, for example, a Wi-Fi network, a LAN network, a WAN network, an Internet network, and the like, but the present disclosure is not limited thereto. According to one embodiment of the present disclosure, the communication network 104 may include, for example, Ethernet, GSM, Enhanced Data GSM Environment (EDGE), CDMA, TDMA, OFDM, Bluetooth, VoIP, Wi-MAX, Wibro, and any other various wired or wireless. It may be implemented using a communication protocol.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 통신망(104)을 통해 사용자 단말(102)과 통신할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 통신망(104)을 통해 사용자 단말(102)과 필요한 정보를 송수신하고, 이를 통해 사용자 단말(102) 상에서 수신된 사용자 입력에 대응한, 즉 사용자 인텐트에 부합하는 동작 결과가, 사용자에게 제공되도록 동작할 수 있다.According to one embodiment of the present disclosure, the interactive AI agent server 106 may communicate with the user terminal 102 via the communication network 104. According to an embodiment of the present disclosure, the interactive AI agent server 106 transmits / receives necessary information with the user terminal 102 through the communication network 104, and thereby receives the user input received on the user terminal 102. The corresponding operation result, i.e., corresponding to the user intent, can be operated to be provided to the user.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 통신망(104)을 통해 사용자 단말(102)로부터 음성, 텍스트, 및/또는 터치 형태의 사용자 자연어 입력을 수신하고, 미리 준비된 지식베이스 모델들에 기초해서 그 수신된 자연어 입력을 처리하여 사용자의 인텐트(intent)를 결정할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 위 결정된 사용자 인텐트에 기초하여 대응하는 동작이 수행되도록 할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 사용자 단말(102)이 사용자 인텐트에 부합하는 특정한 태스크를 수행하도록 특정한 제어 신호를 생성하여 해당 사용자 단말(102)로 전송할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 사용자 단말(102)이 사용자 인텐트에 부합하는 특정한 태스크를 수행하게 하기 위하여, 통신망(104)을 통해 외부 서비스 서버(108)에 접속할 수 있다.According to one embodiment of the present disclosure, the interactive AI agent server 106 receives, in advance, user natural language input in the form of voice, text, and / or touch from the user terminal 102, for example, via the communication network 104. Based on the prepared knowledge base models, the received natural language input may be processed to determine the user's intent. According to an embodiment of the present disclosure, the interactive AI agent server 106 may allow a corresponding operation to be performed based on the user intent determined above. According to one embodiment of the present disclosure, the interactive AI agent server 106 generates, for example, a specific control signal to the user terminal 102 such that the user terminal 102 performs a specific task corresponding to the user intent. Can transmit According to one embodiment of the present disclosure, the interactive AI agent server 106 is configured to connect to an external service server (eg, an external service server) via the communication network 104 to allow the user terminal 102 to perform a specific task corresponding to the user intent. 108).

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)가, 사용자 단말로부터 수신된 자연어 입력의 처리 결과, 그에 대응하는 사용자 인텐트의 결정에 실패하는 경우, 실패를 알리는 응답을 생성하여 해당 사용자 단말(102)로 전송할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는 또한 그러한 실패를 알리는 응답에 대응하여 또는 그와 무관하게 별도로 사용자 단말(102)로부터 수신되는 자연어 입력을 처리하고 처리된 결과를 기초로 해당 대화형 AI 에이전트 서버(106)를 위한 지식베이스 모델들을 추가, 변경 등 갱신할 수 있다. 구체적으로 도시되지는 않았으나, 대화형 AI 에이전트 서버(106)를 위한 지식베이스 모델들은 복수의 노드와 복수의 링크를 포함하는 그래프 형태로 표현될 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 지식베이스 모델을 구축 및/또는 갱신하는 경우, 그러한 지식베이스 모델의 그래프 형태를 시각화 하고 이를 화면 상에 제시할 수 있다. According to an embodiment of the present disclosure, when the interactive AI agent server 106 fails to determine a user intent corresponding to a result of processing a natural language input received from a user terminal, the interactive AI agent server 106 generates a response indicating the failure. It may be transmitted to the user terminal 102. According to one embodiment of the present disclosure, the interactive AI agent server 106 also processes natural language input received from the user terminal 102 in response to or without a response informing of such failure and displays the processed result. On the basis, knowledge base models for the interactive AI agent server 106 can be added, changed, and updated. Although not specifically illustrated, the knowledge base models for the interactive AI agent server 106 may be represented in a graph form including a plurality of nodes and a plurality of links. According to an embodiment of the present disclosure, when building and / or updating a knowledge base model, the interactive AI agent server 106 may visualize a graph form of such knowledge base model and present it on the screen.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 소정의 지식베이스 모델들에 기초하여, 사용자 인텐트에 부합하는 특정한 대화 응답(또는 사용자 인텐트 결정에 실패한 경우 실패를 알리는 응답)을 생성하고 사용자 단말(102)로 전송할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 위 결정된 사용자 인텐트에 기초하여, 대응하는 대화 응답을 음성 및/또는 텍스트 형태로써 생성하고, 생성된 응답을, 통신망(104)을 통해, 사용자 단말(102)로 전달할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)에 의해 생성되는 대화 응답은, 전술한 음성 및/또는 텍스트 형태의 자연어 응답과 함께, 이미지, 비디오, 기호, 이모티콘 등 다른 시각적 요소들이나, 음향 등의 다른 청각적 요소들이나, 기타 다른 촉각적 요소들을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 단말(102) 상에서 수신된 사용자 입력의 형태(예컨대, 음성 입력인지 아니면 텍스트 입력인지)에 따라, 대화형 AI 에이전트 서버(106) 상에서 동일한 형태의 응답이 생성될 수 있으며(예컨대, 음성 입력이 주어진 경우에는 음성 응답이 생성되고 텍스트 입력이 주어진 경우에는 텍스트 응답이 생성됨), 다만 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 사용자 입력의 형태와 무관하게 음성 및/또는 텍스트 형태의 응답이 생성 및 제공될 수 있음을 알아야 한다.According to one embodiment of the present disclosure, the interactive AI agent server 106 may fail if a specific conversation response (or user intent determination fails) that matches the user intent, eg, based on certain knowledgebase models. Informing response) can be generated and sent to the user terminal 102. According to an embodiment of the present disclosure, the interactive AI agent server 106 generates, based on the user intent determined above, a corresponding conversation response in voice and / or text form, and generates the generated response in a communication network ( Via 104, it may be delivered to the user terminal 102. According to one embodiment of the present disclosure, the conversation response generated by the interactive AI agent server 106, along with the above-described natural language response in the form of voice and / or text, other visual elements such as images, videos, symbols, emoticons, etc. Or other acoustic elements such as sound, sound, or other tactile elements. According to one embodiment of the present disclosure, depending on the type of user input received on the user terminal 102 (eg, voice or text input), a response of the same type is generated on the interactive AI agent server 106. (Eg, a voice response is generated if a voice input is given and a text response is generated if a text input is given), but the present disclosure is not so limited. In accordance with another embodiment of the present disclosure, it should be appreciated that responses in the form of voice and / or text may be generated and provided regardless of the form of user input.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 앞서 언급한 바와 같이, 통신망(104)을 통해서 외부 서비스 서버(108)와 통신할 수 있다. 외부 서비스 서버(108)는, 예컨대 메시징 서비스 서버, 온라인 상담 센터 서버, 온라인 쇼핑몰 서버, 정보 검색 서버, 지도 서비스 서버, 네비게이션 서비스 서버 등일 수 있으며, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)로부터 사용자 단말(102)로 전달되는, 사용자 인텐트에 기초한 대화 응답은, 예컨대 외부 서비스 서버(108)로부터 검색 및 획득된 데이터 콘텐츠를 포함한 것일 수 있음을 알아야 한다.According to one embodiment of the present disclosure, the interactive AI agent server 106 may communicate with the external service server 108 via the communication network 104, as mentioned above. The external service server 108 may be, for example, a messaging service server, an online consultation center server, an online shopping mall server, an information retrieval server, a map service server, a navigation service server, and the like, but the present disclosure is not limited thereto. According to one embodiment of the present disclosure, a conversation response based on a user intent, which is communicated from the interactive AI agent server 106 to the user terminal 102, is, for example, data content retrieved and obtained from an external service server 108. It should be understood that this may include.

본 도면에서는, 대화형 AI 에이전트 서버(106)가 외부 서비스 서버(108)와 통신망(104)을 통해 통신 가능하게 구성된 별도의 물리 서버인 것으로 도시되어 있으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 온라인 상담 센터 서버 또는 온라인 쇼핑몰 서버 등 각종 서비스 서버의 일부로 포함되어 구성될 수도 있음을 알아야 한다.In this figure, the interactive AI agent server 106 is shown as a separate physical server configured to communicate with the external service server 108 via the communication network 104, but the present disclosure is not limited thereto. According to another embodiment of the present disclosure, it should be understood that the interactive AI agent server 106 may be included as part of various service servers such as an online consultation center server or an online shopping mall server.

도 2는, 본 개시의 일 실시예에 따른, 도 1에 도시된 사용자 단말(102)의 기능적 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 사용자 단말(102)은, 사용자 입력 수신 모듈(202), 센서 모듈(204), 프로그램 메모리 모듈(206), 프로세싱 모듈(208), 통신 모듈(210), 및 응답 출력 모듈(212)을 포함한다.2 is a functional block diagram schematically showing the functional configuration of the user terminal 102 shown in FIG. 1, according to an embodiment of the present disclosure. As shown, the user terminal 102 includes a user input receiving module 202, a sensor module 204, a program memory module 206, a processing module 208, a communication module 210, and a response output module ( 212).

본 개시의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)은, 사용자로부터 다양한 형태의 입력, 예컨대 음성 입력 및/또는 텍스트 입력 등의 자연어 입력(및 부가적으로 터치 입력 등의 다른 형태의 입력)을 수신할 수 있다. 본 개시의 다른 실시예에 의하면, 사용자 입력 수신 모듈(202)은, 텍스트 입력은 제외하고, 음성 입력과 터치 입력을 수신할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)은, 예컨대 마이크로폰 및 오디오 회로를 포함하며, 마이크로폰을 통해 사용자 음성 입력 신호를 획득하고 획득된 신호를 오디오 데이터로 변환할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)은, 예컨대 마우스, 조이스틱, 트랙볼 등의 각종 포인팅 장치, 키보드, 터치패널, 터치스크린, 스타일러스 등 다양한 형태의 입력 장치를 포함할 수 있고, 이들 입력 장치를 통해 사용자로부터 입력된 텍스트 입력 및/또는 터치 입력 신호를 획득할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)에서 수신되는 사용자 입력은, 소정의 태스크 수행, 예컨대 소정의 애플리케이션 실행 또는 소정 정보의 검색 등과 연관될 수 있으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 사용자 입력 수신 모듈(202)에서 수신되는 사용자 입력은, 소정의 애플리케이션 실행 또는 정보의 검색 등과는 무관하게 단순히 정보(예컨대, 지식베이스 구축에 이용될 수 있는 정보)의 제공 만을 위한 것일 수도 있다.According to an embodiment of the present disclosure, the user input receiving module 202 may input various types of inputs from a user, for example, natural language inputs such as voice inputs and / or text inputs (and additionally other types of inputs such as touch inputs). ) Can be received. According to another embodiment of the present disclosure, the user input receiving module 202 may receive a voice input and a touch input except for a text input. According to an embodiment of the present disclosure, the user input receiving module 202 may include, for example, a microphone and an audio circuit, and may acquire a user voice input signal through the microphone and convert the obtained signal into audio data. According to an embodiment of the present disclosure, the user input receiving module 202 may include various pointing devices such as a mouse, a joystick, a trackball, a keyboard, a touch panel, a touch screen, a stylus, and the like. The user may acquire text input and / or touch input signals input from the user through these input devices. According to an embodiment of the present disclosure, the user input received by the user input receiving module 202 may be associated with performing a predetermined task, for example, executing a predetermined application or retrieving predetermined information, but the present disclosure is limited thereto. It is not. According to another embodiment of the present disclosure, the user input received by the user input receiving module 202 is simply information (for example, information that can be used to build a knowledge base) regardless of executing a predetermined application or searching for information. It may be just for the provision of.

본 개시의 일 실시예에 의하면, 센서 모듈(204)은 하나 이상의 서로 다른 유형의 센서를 포함하고, 이들 센서를 통해 사용자 단말(102)의 상태 정보, 예컨대 해당 사용자 단말(102)의 물리적 상태, 소프트웨어 및/또는 하드웨어 상태, 또는 사용자 단말(102)의 주위 환경 상태에 관한 정보 등을 획득할 수 있다. 본 개시의 일 실시예에 의하면, 센서 모듈(204)은, 예컨대 광 센서를 포함하고, 광 센서를 통해 해당 사용자 단말(102)의 주변 광 상태를 감지할 수 있다. 본 개시의 일 실시예에 의하면, 센서 모듈(204)은, 예컨대 이동 센서를 포함하고, 이동 센서를 통해 해당 사용자 단말(102)의 이동 상태 여부를 감지할 수 있다. 본 개시의 일 실시예에 의하면, 센서 모듈(204)은, 예컨대 속도 센서 및 GPS 센서를 포함하고, 이들 센서를 통해 해당 사용자 단말(102)의 위치 및/또는 배향 상태를 감지할 수 있다. 본 개시의 다른 실시예에 의하면, 센서 모듈(204)은 온도 센서, 이미지 센서, 압력 센서, 접촉 센서 등을 비롯한 다른 다양한 형태의 센서를 포함할 수 있음을 알아야 한다.According to one embodiment of the present disclosure, the sensor module 204 includes one or more different types of sensors, through which the status information of the user terminal 102, such as the physical state of the corresponding user terminal 102, The software and / or hardware state or information about the environment state of the user terminal 102 may be obtained. According to an embodiment of the present disclosure, the sensor module 204 may include, for example, an optical sensor, and detect an ambient light state of the corresponding user terminal 102 through the optical sensor. According to an embodiment of the present disclosure, the sensor module 204 may include, for example, a movement sensor, and detect whether the corresponding user terminal 102 is moved through the movement sensor. According to an embodiment of the present disclosure, the sensor module 204 may include, for example, a speed sensor and a GPS sensor, and may detect a position and / or orientation state of the corresponding user terminal 102 through these sensors. According to another embodiment of the present disclosure, it should be appreciated that the sensor module 204 may include other various types of sensors, including temperature sensors, image sensors, pressure sensors, contact sensors, and the like.

본 개시의 일 실시예에 의하면, 프로그램 메모리 모듈(206)은, 사용자 단말(102) 상에서 실행될 수 있는 각종 프로그램, 예컨대 각종 애플리케이션 프로그램 및 관련 데이터 등이 저장된 임의의 저장 매체일 수 있다. 본 개시의 일 실시예에 의하면, 프로그램 메모리 모듈(206)에는, 예컨대 전화 걸기 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 카메라 애플리케이션, 음악 재생 애플리케이션, 비디오 재생 애플리케이션, 이미지 관리 애플리케이션, 지도 애플리케이션, 브라우저 애플리케이션 등을 비롯한 다양한 애플리케이션 프로그램들과 이들 프로그램의 실행과 관련된 데이터들이 저장될 수 있다. 본 개시의 일 실시예에 의하면, 프로그램 메모리 모듈(206)은, DRAM, SRAM, DDR RAM, ROM, 자기 디스크, 광 디스크, 플래시 메모리 등 다양한 형태의 휘발성 또는 비휘발성 메모리를 포함하도록 구성될 수 있다.According to an embodiment of the present disclosure, the program memory module 206 may be any storage medium in which various programs, for example, various application programs and related data, which may be executed on the user terminal 102, are stored. According to one embodiment of the present disclosure, the program memory module 206 includes, for example, a dialing application, an email application, an instant messaging application, a camera application, a music playback application, a video playback application, an image management application, a map application, a browser application, and the like. Various application programs, including, and data associated with the execution of these programs can be stored. According to an embodiment of the present disclosure, the program memory module 206 may be configured to include various types of volatile or nonvolatile memory such as DRAM, SRAM, DDR RAM, ROM, magnetic disk, optical disk, flash memory, and the like. .

본 개시의 일 실시예에 의하면, 프로세싱 모듈(208)은, 사용자 단말(102)의 각 컴포넌트 모듈과 통신하고 사용자 단말(102) 상에서 각종 연산을 수행할 수 있다. 본 개시의 일 실시예에 의하면, 프로세싱 모듈(208)은, 프로그램 메모리 모듈(206) 상의 각종 애플리케이션 프로그램을 구동 및 실행시킬 수 있다. 본 개시의 일 실시예에 의하면, 프로세싱 모듈(208)은, 필요한 경우, 사용자 입력 수신 모듈(202) 및 센서 모듈(204)에서 획득된 신호를 수신하고, 이들 신호에 관한 적절한 처리를 수행할 수 있다. 본 개시의 일 실시예에 의하면, 프로세싱 모듈(208)은, 필요한 경우, 통신 모듈(210)을 통해 외부로부터 수신되는 신호에 대해 적절한 처리를 수행할 수 있다.According to one embodiment of the present disclosure, the processing module 208 may communicate with each component module of the user terminal 102 and perform various operations on the user terminal 102. According to one embodiment of the present disclosure, the processing module 208 may drive and execute various application programs on the program memory module 206. According to one embodiment of the present disclosure, the processing module 208 may receive the signals obtained by the user input receiving module 202 and the sensor module 204 and perform appropriate processing on these signals, if necessary. have. According to one embodiment of the present disclosure, the processing module 208 may perform appropriate processing on a signal received from the outside through the communication module 210 if necessary.

본 개시의 일 실시예에 의하면, 통신 모듈(210)은, 사용자 단말(102)이 도 1의 통신망(104)을 통하여, 대화형 AI 에이전트 서버(106) 및/또는 외부 서비스 서버(108)와 통신할 수 있게 한다. 본 개시의 일 실시예에 의하면, 통신 모듈(212)은, 예컨대 사용자 입력 수신 모듈(202) 및 센서 모듈(204) 상에서 획득된 신호가 소정의 프로토콜에 따라 통신망(104)을 통하여 대화형 AI 에이전트 서버(106) 및/또는 외부 서비스 서버(108)로 전송되도록 할 수 있다. 본 개시의 일 실시예에 의하면, 통신 모듈(210)은, 예컨대 통신망(104)을 통하여 대화형 AI 에이전트 서버(106) 및/또는 외부 서비스 서버(108)로부터 수신된 각종 신호, 예컨대 음성 및/또는 텍스트 형태의 자연어 응답을 포함한 응답 신호 또는 각종 제어 신호 등을 수신하고, 소정의 프로토콜에 따라 적절한 처리를 수행할 수 있다.According to one embodiment of the present disclosure, the communication module 210 is configured such that the user terminal 102 communicates with the interactive AI agent server 106 and / or the external service server 108 via the communication network 104 of FIG. 1. Enable communication According to an embodiment of the present disclosure, the communication module 212 is configured such that, for example, signals acquired on the user input receiving module 202 and the sensor module 204 may be interactive AI agents through the communication network 104 according to a predetermined protocol. May be sent to server 106 and / or external service server 108. According to one embodiment of the present disclosure, the communication module 210 may, for example, receive various signals, such as voice and / or the like, from the interactive AI agent server 106 and / or the external service server 108 via the communication network 104. Alternatively, a response signal or various control signals including a natural language response in text form may be received, and appropriate processing may be performed according to a predetermined protocol.

본 개시의 일 실시예에 의하면, 응답 출력 모듈(212)은, 사용자 입력에 대응하는 응답을 시각, 청각 및/또는 촉각 등 다양한 형태로써 출력할 수 있다. 본 개시의 다른 실시예에 의하면, 응답 출력 모듈(212)은, 주로 음성 출력을 제공하고, 보조적으로 텍스트 출력을 제공할 수 있다. 본 개시의 일 실시예에 의하면, 응답 출력 모듈(212)은, 예컨대 스피커 또는 헤드셋을 포함하고, 사용자 입력에 대응하는 청각적 응답, 예컨대 음성 및/또는 음향 응답을 스피커 또는 헤드셋을 통해 사용자에게 제공할 수 있다. 본 개시의 일 실시예에 의하면, 응답 출력 모듈(212)은, 예컨대 LCD, LED, OLED, QLED 등의 기술에 기초한 터치 스크린 등의 각종 디스플레이 장치를 포함하고, 이들 디스플레이 장치를 통해 사용자 입력에 대응하는 시각적 응답, 예컨대 텍스트, 기호, 비디오, 이미지, 하이퍼링크, 애니메이션, 각종 노티스 등을 사용자에게 제시할 수 있다. 본 개시의 일 실시예에 의하면, 응답 출력 모듈(212)는 모션/햅틱 피드백 생성부를 포함하고, 이를 통해 촉각적 응답, 예컨대 모션/햅틱 피드백을 사용자에게 제공할 수 있다. 본 개시의 일 실시예에 의하면, 응답 출력 모듈(212)은, 사용자 입력에 대응하는 텍스트 응답, 음성 응답 및 모션/햅틱 피드백 중 임의의 두 개이상의 조합을 동시에 제공할 수 있음을 알아야 한다.According to an embodiment of the present disclosure, the response output module 212 may output a response corresponding to a user input in various forms such as visual, auditory, and / or tactile. According to another embodiment of the present disclosure, the response output module 212 may mainly provide a voice output and may auxiliaryly provide a text output. According to one embodiment of the present disclosure, the response output module 212 includes, for example, a speaker or a headset, and provides an audible response, such as a voice and / or acoustic response, to the user via the speaker or the headset, corresponding to a user input. can do. According to one embodiment of the present disclosure, the response output module 212 includes various display devices such as a touch screen based on technologies such as LCD, LED, OLED, QLED, etc., and responds to user input through these display devices. Visual responses such as text, symbols, videos, images, hyperlinks, animations, various notes, and the like, to the user. According to an embodiment of the present disclosure, the response output module 212 may include a motion / haptic feedback generator, thereby providing a tactile response, eg, motion / haptic feedback, to a user. In accordance with one embodiment of the present disclosure, it should be appreciated that the response output module 212 can simultaneously provide any two or more combinations of text response, voice response, and motion / haptic feedback corresponding to user input.

도 3은, 본 개시의 일 실시예에 따른, 도 1의 대화형 AI 에이전트 서버(106)의 기능적 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 대화형 에이전트 서버(106)는, 통신 모듈(302), 음성-텍스트 변환(Speech-To-Text; STT) 모듈(304), 자연어 이해(Natural Language Understanding; NLU) 모듈(306), 대화 이해 지식베이스(308), 지식베이스 관리 모듈(310), 지식베이스 시각화/표시 모듈(312), 대화 관리 모듈(314), 대화 생성 모듈(316), 및 음성 합성(Text-To-Speech; TTS) 모듈(318)을 포함한다.3 is a functional block diagram schematically illustrating the functional configuration of the interactive AI agent server 106 of FIG. 1, in accordance with an embodiment of the present disclosure. As shown, the interactive agent server 106 includes a communication module 302, a speech-to-text (STT) module 304, a natural language understanding (NLU) module 306. ), Conversation understanding knowledge base 308, knowledge base management module 310, knowledge base visualization / display module 312, conversation management module 314, conversation generation module 316, and speech synthesis (Text-To- Speech (TSS) module 318.

본 개시의 일 실시예에 의하면, 통신 모듈(302)은, 소정의 유선 또는 무선 통신 프로토콜에 따라, 통신망(104)을 통하여, 대화형 AI 에이전트 서버(106)가 사용자 단말(102) 및/또는 외부 서비스 서버(108)와 통신할 수 있게 한다. 본 개시의 일 실시예에 의하면, 통신 모듈(302)은, 통신망(104)을 통해, 사용자 단말(102)로부터 전송되어 온, 사용자 입력(예컨대 터치 입력, 음성 입력 및/또는 텍스트 입력 등을 포함하며, 이로써 제한되지 않음)을 수신할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 입력은 특정한 태스크 실행 또는 대화 응답의 요청 신호일 수 있다. 본 개시의 일 실시예에 의하면, 사용자 입력은, 특정한 태스크 실행이나 대화 응답의 요청과 무관한, 지식 전달을 위한 진술일 수 있다. According to one embodiment of the present disclosure, the communication module 302 is configured such that the interactive AI agent server 106 is connected to the user terminal 102 and / or via the communication network 104 according to a predetermined wired or wireless communication protocol. Enable communication with an external service server 108. According to one embodiment of the present disclosure, the communication module 302 includes user input (eg, touch input, voice input and / or text input, etc.) that has been transmitted from the user terminal 102 via the communication network 104. And not limited thereto). According to one embodiment of the present disclosure, the user input may be a request signal of a specific task execution or conversation response. According to one embodiment of the present disclosure, the user input may be a statement for knowledge transfer, independent of a particular task execution or request for a conversation response.

본 개시의 일 실시예에 의하면, 통신 모듈(302)은, 전술한 사용자 입력과 함께 또는 그와 별도로, 통신망(104)을 통해, 사용자 단말(102)로부터 전송되어 온, 사용자 단말(102)의 상태 정보를 수신할 수 있다. 본 개시의 일 실시예에 의하면, 상태 정보는, 예컨대 전술한 사용자 입력 당시의 해당 사용자 단말(102)에 관련된 여러가지 상태 정보(예컨대, 사용자 단말(102)의 물리적 상태, 사용자 단말(102)의 소프트웨어 및/또는 하드웨어 상태, 사용자 단말(102) 주위의 환경 상태 정보 등)일 수 있다. 본 개시의 일 실시예에 의하면, 통신 모듈(302)은, 또한, 위 수신된 사용자 입력에 대응하여 대화형 AI 에이전트 서버(106)에서 생성된 대화 응답(예컨대, 음성 및/또는 텍스트 형태의 자연어 대화 응답 등) 및/또는 제어 신호를, 통신망(104)을 통해, 사용자 단말(102)로 전달하기 위해 필요한 적절한 조치를 수행할 수 있다.According to one embodiment of the present disclosure, the communication module 302, along with or separately from the above-described user input, of the user terminal 102, which has been transmitted from the user terminal 102, via the communication network 104. Status information can be received. According to one embodiment of the present disclosure, the state information may include, for example, various state information related to the corresponding user terminal 102 at the time of the user input (for example, the physical state of the user terminal 102 and the software of the user terminal 102). And / or hardware status, environmental status information around the user terminal 102, and the like. According to one embodiment of the present disclosure, the communication module 302 may further include a conversation response (eg, voice and / or textual natural language) generated by the interactive AI agent server 106 in response to the received user input. And / or control signals, etc.) and / or control signals may be performed as necessary to communicate to the user terminal 102 via the communication network 104.

본 개시의 일 실시예에 의하면, STT 모듈(304)은, 통신 모듈(302)을 통해 수신된 사용자 입력 중 음성 입력을 수신하고, 수신된 음성 입력을 패턴 매칭 등에 기초하여 텍스트 데이터로 변환할 수 있다. 본 개시의 일 실시예에 의하면, STT 모듈(304)은, 사용자의 음성 입력으로부터 특징을 추출하여 특징 벡터열을 생성할 수 있다. 본 개시의 일 실시예에 의하면, STT 모듈(304)은, DTW(Dynamic Time Warping) 방식이나 HMM 모델(Hidden Markov Model), GMM 모델(Gaussian-Mixture Mode), 딥 신경망 모델, n-gram 모델 등의 다양한 통계적 모델에 기초하여, 텍스트 인식 결과, 예컨대 단어들의 시퀀스를 생성할 수 있다.According to an embodiment of the present disclosure, the STT module 304 may receive a voice input among user inputs received through the communication module 302 and convert the received voice input into text data based on pattern matching or the like. have. According to one embodiment of the present disclosure, the STT module 304 may generate a feature vector sequence by extracting features from a user's voice input. According to an embodiment of the present disclosure, the STT module 304 may include a dynamic time warping (DTW) method, a HMM model (Hidden Markov Model), a GMM model (Gaussian-Mixture Mode), a deep neural network model, an n-gram model, and the like. Based on a variety of statistical models of, a text recognition result, such as a sequence of words, can be generated.

본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 통신 모듈(302) 또는 STT 모듈(304)로부터 텍스트 입력을 수신할 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(306)에서 수신되는 텍스트 입력은, 예컨대 통신 모듈(302)에서 통신망(104)을 통하여 사용자 단말(102)로부터 수신되었던 사용자 텍스트 입력 또는 통신 모듈(302)에서 수신된 사용자 음성 입력으로부터 STT 모듈(304)에서 생성된 텍스트 인식 결과, 예컨대 단어들의 시퀀스일 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 텍스트 입력을 수신하는 것과 함께 또는 그 이후에, 해당 사용자 입력과 연관된 상태 정보, 예컨대 해당 사용자 입력 당시의 사용자 단말(102)의 상태 정보 등을 수신할 수 있다(그러나, 본 개시가 이로써 제한되는 것은 아님). 전술한 바와 같이, 상태 정보는, 예컨대 사용자 단말(102)에서 사용자 음성 입력 및/또는 텍스트 입력 당시의 해당 사용자 단말(102)에 관련된 여러가지 상태 정보(예컨대, 사용자 단말(102)의 물리적 상태, 소프트웨어 및/또는 하드웨어 상태, 사용자 단말(102) 주위의 환경 상태 정보 등)일 수 있다.According to one embodiment of the present disclosure, the NLU module 306 may receive a text input from the communication module 302 or the STT module 304. According to one embodiment of the present disclosure, the text input received at the NLU module 306 is, for example, a user text input or communication module 302 that was received from the user terminal 102 via the communication network 104 at the communication module 302. ) May be a text recognition result generated by the STT module 304 from a user voice input received in the reference numeral). According to one embodiment of the present disclosure, the NLU module 306, along with or after receiving the text input, state information associated with the user input, such as state information of the user terminal 102 at the time of the user input. Etc., but the present disclosure is not so limited. As described above, the status information may include, for example, various status information related to the corresponding user terminal 102 at the time of user voice input and / or text input (eg, physical state of the user terminal 102 and software). And / or hardware status, environmental status information around the user terminal 102, and the like.

본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 후술하는 대화 이해 지식베이스(308)에 기초하여, 위 수신된 텍스트 입력을 하나 이상의 사용자 인텐트(intent)에 대응시킬 수 있다. 여기서 사용자 인텐트는, 그 사용자 인텐트에 따라 대화형 AI 에이전트 서버(106)에 의해 이해되고 수행될 수 있는 일련의 동작(들)과 연관될 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 수신된 텍스트 입력을 하나 이상의 사용자 인텐트에 대응시킴에 있어서 전술한 상태 정보를 참조할 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(306)이, 수신된 텍스트 입력에 대응하는 사용자 인텐트의 결정에 실패한 경우, 후술하는 대화 관리 모듈(314) 및 대화 생성 모듈(316)이, 그 실패에 관한 응답을 생성하고 생성된 응답을 통신 모듈(302)을 통해 사용자 단말(102)로 전송할 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(306)에 의하여 결정된 사용자 인텐트가 지식베이스의 구축 또는 갱신에 관한 것인 경우, 그에 따라, 후술하는 지식베이스 관리 모듈(310)이 대화 이해 지식베이스(308)를 구축 또는 갱신할 수 있다.According to one embodiment of the present disclosure, the NLU module 306 may map the received text input to one or more user intents based on the conversation understanding knowledge base 308 described below. The user intent here may be associated with a series of action (s) that can be understood and performed by the interactive AI agent server 106 in accordance with the user intent. According to one embodiment of the present disclosure, the NLU module 306 may refer to the aforementioned state information in mapping the received text input to one or more user intents. According to one embodiment of the present disclosure, when the NLU module 306 fails to determine a user intent corresponding to the received text input, the conversation management module 314 and the conversation generation module 316 described later may be configured to execute the determination. A response regarding the failure may be generated and the generated response sent to the user terminal 102 via the communication module 302. According to an embodiment of the present disclosure, when the user intent determined by the NLU module 306 relates to the construction or updating of the knowledge base, the knowledge base management module 310 to be described below is configured to understand the conversation knowledge base. 308 may be constructed or updated.

본 개시의 일 실시예에 의하면, 대화 이해 지식베이스(308)는, 예컨대 미리 정의된 온톨로지 모델을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 온톨로지 모델은, 예컨대 노드들과, 노드들을 연결하는 링크들로 구성된 그래프 구조로 표현될 수 있는데, 노드들은 각각 그에 대응하는 소정의 개념을 가질 수 있고, 링크들은 각각 해당 링크에 의해 연결되는 노드들 간의 관계를 나타낼 수 있다. 본 개시의 일 실시예에 의하면, 임의의 두개의 노드가 복수의 링크에 의해 서로 연결될 수도 있음을 알아야 한다. 본 개시의 일 실시예에 의하면, 복수의 노드들은 공통의 속성을 공유하는 하나의 클래스로 분류될 수 있고, 하나의 노드가 복수의 클래스에 속할 수 있다. 본 개시의 일 실시예에 의하면, 각 노드는 사용자 인텐트에 대응하는 노드, 예컨대 "인텐트" 노드가 될 수 있고, "인텐트" 노드에 링크된 복수의 다른 노드는 그 "인텐트"에 대응한 각 "속성" 노드가 될 수 있다. 본 개시의 일 실시예에 의하면, "인텐트" 노드와 그 "인텐트" 노드에 직접 또는 간접 링크된 "속성" 노드들이 하나의 도메인을 구성할 수 있고, 온톨로지는 이러한 도메인들의 집합으로 구성될 수 있다. According to one embodiment of the present disclosure, conversation understanding knowledge base 308 may include, for example, a predefined ontology model. According to an embodiment of the present disclosure, an ontology model may be represented by a graph structure composed of nodes and links connecting nodes, for example, each node may have a predetermined concept corresponding thereto. Each may represent a relationship between nodes connected by a corresponding link. According to one embodiment of the present disclosure, it should be appreciated that any two nodes may be connected to each other by a plurality of links. According to one embodiment of the present disclosure, a plurality of nodes may be classified into one class sharing a common attribute, and one node may belong to the plurality of classes. According to one embodiment of the present disclosure, each node may be a node corresponding to a user intent, such as an "intent" node, and a plurality of other nodes linked to the "intent" node may be assigned to the "intent" node. There may be each corresponding "attribute" node. According to one embodiment of the present disclosure, an "intent" node and "attribute" nodes directly or indirectly linked to the "intent" node may constitute one domain, and an ontology may be configured as a set of such domains. Can be.

본 개시의 일 실시예에 의하면, 대화 이해 지식베이스(308)는, 예컨대 대화형 AI 에이전트 시스템이 이해하고 그에 대응한 동작을 수행할 수 있는 모든 인텐트들에 각각 대응하는 도메인들을 포함하도록 구성될 수 있다. 본 개시의 일 실시예에 의하면, 온톨로지 모델은, 노드의 추가나 삭제, 또는 노드 간의 관계의 수정 등에 의해 동적으로 변경될 수 있음을 알아야 한다. According to one embodiment of the present disclosure, the conversation understanding knowledge base 308 may be configured to include domains corresponding to all intents, for example, that the interactive AI agent system can understand and perform operations corresponding thereto. Can be. According to one embodiment of the present disclosure, it should be understood that the ontology model may be dynamically changed by adding or deleting nodes, or modifying relationships between nodes.

본 개시의 일 실시예에 의하면, 온톨로지 모델 내의 각 도메인의 인텐트 노드 및 속성 노드들은, 그에 대응하는 사용자 인텐트 또는 속성들에 관련된 단어들 및/또는 구절들과 각각 연관될 수 있다. 본 개시의 일 실시예에 의하면, 대화 이해 지식베이스(308)는, 온톨로지 모델을, 계층 구조의 노드들과, 각 노드 별로 연관된 단어들 및/또는 구절들의 집합으로 구성된, 예컨대 어휘 사전 형태(구체적으로 도시되지 않음)로 구현할 수 있고, NLU 모듈(306)은 이와 같이 어휘 사전 형태로 구현된 온톨로지 모델에 기초하여 사용자 인텐트를 결정할 수 있다. 예컨대, 본 발명의 일 실시예에 의하면, NLU 모듈(306)은, 텍스트 입력 또는 단어들의 시퀀스를 수신하면, 그 시퀀스 내의 각 단어들이 온톨로지 모델 내의 어떤 도메인의 어떤 노드들에 연관되는지 결정할 수 있고, 그러한 결정에 기초하여 대응하는 도메인, 즉 사용자 인텐트를 결정할 수 있다. According to one embodiment of the present disclosure, intent nodes and attribute nodes of each domain in the ontology model may be associated with words and / or phrases related to corresponding user intents or attributes, respectively. According to one embodiment of the present disclosure, the dialogue understanding knowledge base 308 comprises an ontology model consisting of nodes in a hierarchy and a set of words and / or phrases associated with each node, for example in the form of a lexical dictionary (specific (Not shown), the NLU module 306 may determine the user intent based on the ontology model implemented in the form of a lexical dictionary. For example, according to one embodiment of the present invention, when the NLU module 306 receives a text input or a sequence of words, the NLU module 306 may determine which words in which domain in the ontology model are associated with each word in the sequence, Based on such a determination, the corresponding domain, ie user intent, can be determined.

본 개시의 일 실시예에 의하면, 전술한 바와 같이, NLU 모듈(306)에 의하여 결정된 사용자 인텐트가 대화 이해 지식베이스(308)의 구축 또는 갱신에 관한 것인 경우 지식베이스 관리 모듈(310)은, 그 사용자 인텐트에 따라 대화 이해 지식베이스(308)의 구축 또는 갱신을 수행할 수 있다. 본 개시의 일 실시예에 의하면, 지식베이스 관리 모듈(310)은, 사용자 인텐트에 따라, 하나 이상의 노드를 생성할 수 있고, 생성된 노드들을 대화 이해 지식베이스(308)의 다른 노드들과 연결하는 링크를 생성할 수 있다. 본 개시의 일 실시예에 의하면, 지식베이스 관리 모듈(310)은, 사용자 인텐트에 따라, 대화 이해 지식베이스(308) 상의 소정의 노드를 삭제할 수도 있고, 소정의 노드들 간의 링크 또는 관계를 수정할 수도 있다.According to one embodiment of the present disclosure, as described above, if the user intent determined by the NLU module 306 relates to the construction or updating of the conversation understanding knowledge base 308, the knowledge base management module 310 may According to the user intent, the conversation understanding knowledge base 308 may be constructed or updated. According to one embodiment of the present disclosure, the knowledge base management module 310 may generate one or more nodes, and connect the generated nodes with other nodes of the conversation understanding knowledge base 308, according to the user intent. You can create a link that says According to an embodiment of the present disclosure, the knowledge base management module 310 may delete a predetermined node on the conversation understanding knowledge base 308 according to a user intent, and modify a link or a relationship between the predetermined nodes. It may be.

본 개시의 일 실시예에 의하면, 지식베이스 시각화/표시 모듈(312)은, 구체적으로 도시되지는 않았으나, 소정의 디스플레이 장치를 포함할 수 있다. 본 개시의 일 실시예에 의하면, 지식베이스 시각화/표시 모듈(312)은, 대화 이해 지식베이스(308)의 그래프 구조, 즉 복수의 노드들과 이들 간의 링크 관계로 구성된 그래프 구조를 시각화하여 해당 디스플레이 장치 상에 표시할 수 있다. 본 개시의 일 실시예에 의하면, 지식베이스 시각화/표시 모듈(312)은, 복수의 노드들을, 공통된 클래스 별로 다른 색으로 표시할 수 있으며, 다만 본 개시가 이로써 제한되는 것은 아니다.According to an embodiment of the present disclosure, the knowledge base visualization / display module 312 may include a predetermined display device although not specifically illustrated. According to an embodiment of the present disclosure, the knowledge base visualization / display module 312 may visualize a graph structure of the conversation understanding knowledge base 308, that is, a graph structure composed of a plurality of nodes and a link relationship therebetween, and display the corresponding structure. Can be displayed on the device. According to an embodiment of the present disclosure, the knowledgebase visualization / display module 312 may display the plurality of nodes in different colors for each common class, but the present disclosure is not limited thereto.

본 개시의 일 실시예에 의하면, NLU 모듈(306)이, 대화 이해 지식베이스(308)의 온톨로지 모델에 기초하여 사용자 인텐트를 결정하는 경우, 지식베이스 시각화/표시 모듈(312)은, 그 결정된 사용자 인텐트에 대응하는 대화 이해 지식베이스(308)의 그래프 구조 상의 노드들을 시각적으로 눈에 띄게 표시(예컨대, 시인성이 높은 별도의 색으로 표시하거나 일시적으로 크기를 확장하여 표시)함으로써, 현재 처리 중인 사용자의 인텐트가 해당 노드들에 관한 것임이 직관적으로 파악되도록 할 수 있다. 본 개시의 일 실시예에 의하면, 지식베이스 시각화/표시 모듈(312)은, 전술한 대화 이해 지식베이스(308)의 그래프 구조 상의 노드들 중에서 사용자 인텐트와 관련하여 빈번하게 선택되는 노드(즉, 수신되는 사용자 인텐트들과 자주 연관되는 노드들)들을 시각적으로 눈에 띄게 표시(예컨대, 시인성이 높은 별도의 색으로 표시하거나 일시적으로 크기를 확장하여 표시)함으로써, 해당 노드가 중요한 노드임이 직관적으로 파악되도록 할 수 있다. 본 개시의 일 실시예에 의하면, 대화 이해 지식베이스(308)의 그래프 구조 상의 노드들 중에서, 다른 노드로 연결된 링크의 수가 다른 노드들에 비해 많은 노드(이러한 노드는 다른 노드들과 많은 관계를 맺고 있어서 개념적으로 중요하다고 볼 수 있으므로)들을 시각적으로 눈에 띄게 표시(예컨대, 시인성이 높은 별도의 색으로 표시하거나 크기를 크게 표시)함으로써, 해당 노드가 중요한 노드임이 직관적으로 파악되도록 할 수 있다.According to one embodiment of the present disclosure, when the NLU module 306 determines a user intent based on the ontology model of the conversation understanding knowledge base 308, the knowledge base visualization / display module 312 determines the determined intent. By visually displaying the nodes on the graph structure of the conversation understanding knowledge base 308 corresponding to the user intent (e.g., displaying them in separate colors with high visibility or temporarily expanding their size), It can be intuitively understood that the user's intent is about the nodes. According to one embodiment of the present disclosure, the knowledgebase visualization / display module 312 is a node that is frequently selected in relation to a user intent among nodes on the graph structure of the conversation understanding knowledge base 308 described above (ie, By visually displaying prominent nodes (e.g., nodes that are frequently associated with incoming user intents) (e.g., displaying them in separate colors with high visibility or temporarily expanding their size), it is intuitive that the node is an important node. Can be identified. According to an embodiment of the present disclosure, among the nodes on the graph structure of the dialogue understanding knowledge base 308, the number of links to other nodes is higher than other nodes (these nodes have many relationships with other nodes. Therefore, it can be considered as conceptually important, so that visually prominently displayed (for example, a separate color with high visibility or a large size) can intuitively identify that the node is an important node.

본 개시의 일 실시예에 의하면, 지식베이스 시각화/표시 모듈(312)은 또한, 전술한 지식베이스 관리 모듈(310)에 의한 대화 이해 지식베이스(308)의 구축 또는 갱신에 관한 동작을, 시각화하여 디스플레이 상에 동적으로 표시할 수 있다. 본 개시의 일 실시예에 의하면, 지식베이스 시각화/표시 모듈(312)은, 예컨대 지식베이스 관리 모듈(310)이, 하나 또는 복수의 새로운 노드를 생성하고 생성된 노드를 대화 이해 지식베이스(308) 상의 다른 노드들에 링크함으로써, 대화 이해 지식베이스(308)를 갱신할 때, 새로이 생성되는 노드(들) 및 그 생성되는 노드(들)과 다른 노드들과의 링크(들)을 시각화하고, 디스플레이 상에 이를 동적 및/또는 정적으로 표시할 수 있다. 본 개시의 일 실시예에 의하면, 지식베이스 시각화/표시 모듈(312)에 의해 대화 이해 지식베이스(308)의 그래프 구조가 디스플레이 상에 표시될 경우, 노드들은 그래프의 계층 구조 상의 위치 또는 해당 노드에 관련된 속성 등에 따라 색, 크기 기타 다양한 방법에 의해 구분되어 표시될 수 있다. According to one embodiment of the present disclosure, the knowledge base visualization / display module 312 also visualizes operations related to the construction or updating of the dialogue understanding knowledge base 308 by the knowledge base management module 310 described above. It can be displayed dynamically on the display. According to one embodiment of the present disclosure, the knowledgebase visualization / display module 312 is configured such that, for example, the knowledgebase management module 310 creates one or a plurality of new nodes and understands the generated nodes. By updating the conversation understanding knowledge base 308 by linking to other nodes on the network, the newly created node (s) and the generated node (s) and link (s) with other nodes are visualized and displayed. It can be displayed dynamically and / or statically on the image. According to one embodiment of the present disclosure, when the graph structure of the conversation understanding knowledge base 308 is displayed on the display by the knowledge base visualization / display module 312, the nodes are located at a position in the hierarchy of the graph or in the node. Colors, sizes, and the like may be distinguished and displayed according to related attributes.

본 개시의 일 실시예에 의하면, 대화 관리 모듈(314)은, NLU 모듈(306)에 의해 결정된 사용자 인텐트에 따라, 그에 대응하는 일련의 동작 흐름을 생성할 수 있다. 본 개시의 일 실시예에 의하면, 대화 관리 모듈(314)은, 소정의 대화 흐름 관리 모델에 기초하여, 예컨대 NLU 모듈(306)로부터 수신된 사용자 인텐트에 대응하여 어떠한 동작, 예컨대 어떠한 대화 응답 및/또는 태스크 수행을 행하여야 할지를 결정하고, 그에 따른 세부 동작 흐름을 생성할 수 있다.According to one embodiment of the present disclosure, the conversation management module 314 may generate a series of operation flows corresponding thereto according to the user intent determined by the NLU module 306. According to one embodiment of the present disclosure, the conversation management module 314 is based on a predetermined conversation flow management model, for example, in response to a user intent received from the NLU module 306, for example, an action, for example, a conversation response and And / or determine whether to perform a task execution and generate a detailed operational flow accordingly.

본 개시의 일 실시예에 의하면, 대화 생성 모듈(316)은, 대화 관리 모듈(314) 에 의하여 생성된 대화 흐름에 기초하여 사용자에게 제공될 대화 응답을 생성할 수 있다. 본 개시의 일 실시예에 의하면, 대화 생성 모듈(316)은, 대화 응답의 생성에 있어서, 사용자 특징적 데이터(예컨대, 사용자의 이전 대화 기록, 사용자의 발음 특징 정보, 사용자 어휘 선호도, 사용자의 소재지, 설정 언어, 연락처/친구 목록, 각 사용자별로 해당 사용자의 이전 대화 기록 등)를 참조할 수 있다. According to one embodiment of the present disclosure, the conversation generation module 316 may generate a conversation response to be provided to the user based on the conversation flow generated by the conversation management module 314. According to an embodiment of the present disclosure, the conversation generating module 316 may generate user characteristic data (eg, a previous conversation record of the user, pronunciation information of the user, user vocabulary preferences, location of the user, or the like) in the generation of the conversation response. Setting language, contact / friend list, each user's previous conversation history, etc.).

본 개시의 일 실시예에 의하면, TTS 모듈(318)은, 대화 생성 모듈(316)에 의해 사용자 단말(102)로 전송되도록 생성된 대화 응답을 수신할 수 있다. TTS 모듈(318)에서 수신되는 대화 응답은 텍스트 형태를 갖는 자연어 또는 단어들의 시퀀스일 수 있다. 본 개시의 일 실시예에 의하면, TTS 모듈(318)은, 다양한 형태의 알고리즘에 따라, 위 수신된 텍스트 형태의 입력을 음성 형태로 변환할 수 있다.According to one embodiment of the present disclosure, the TTS module 318 may receive a conversation response generated to be sent to the user terminal 102 by the conversation generation module 316. The conversation response received at the TTS module 318 may be a natural language or a sequence of words in text form. According to an embodiment of the present disclosure, the TTS module 318 may convert the received text form input into a speech form according to various types of algorithms.

도 1 내지 3을 참조하여 전술한 본 개시의 실시예에서는, 대화형 AI 에이전트 시스템이 사용자 단말(102)과 대화형 AI 에이전트 서버(106) 간의 클라이언트-서버 모델, 특히 클라이언트는 오로지 사용자 입출력 기능만을 제공하고 그 외 대화형 AI 에이전트 시스템의 다른 모든 기능들을 서버에 위임된, 소위 "씬 클라이언트-서버 모델"에 기초하여 구현된 것과 같이 설명되어 있으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 대화형 AI 에이전트 시스템은 그 기능들이 사용자 단말과 서버 사이에 분배되어 구현될 수 있고, 또는 그와 달리 사용자 단말 상에 설치된 독립형 애플리케이션으로 구현될 수도 있음을 알아야 한다. 또한, 본 개시의 일 실시예에 따라 대화형 AI 에이전트 시스템이 그 기능들을 사용자 단말과 서버 사이에 분배하여 구현하는 경우, 클라이언트와 서버 사이의 대화형 AI 에이전트 시스템의 각 기능의 분배는 실시예마다 달리 구현될 수 있음을 알아야 한다. 또한, 도 1 내지 3을 참조하여 전술한 본 개시의 실시예에서는, 편의상 특정 모듈이 소정의 동작들을 수행하는 것처럼 설명되었으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 위 설명에서 어느 특정 모듈에 의해 수행되는 것과 같이 설명된 동작들이, 그와 다른 별개의 모듈에 의해 각각 수행될 수 있음을 알아야 한다. 또한, 도 1 내지 3을 참조하여 전술한 본 개시의 실시예에서는, 지식베이스 관리 모듈(310) 및 지식베이스 시각화/표시 모듈(312)의 동작이 주로 대화 이해 지식베이스(308)의 갱신과 관련된 것으로 설명되었으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 지식베이스 관리 모듈(310) 및 지식베이스 시각화/표시 모듈(312)의 동작은, 대화형 AI 에이전트 서버(106)의 다른 지식베이스 모델을 위하여도 적용될 수 있음을 알아야 한다.In the embodiments of the present disclosure described above with reference to FIGS. 1 to 3, the interactive AI agent system allows the client-server model between the user terminal 102 and the interactive AI agent server 106, in particular the client, to provide only user input / output functions. Although described as being implemented based on a so-called "thin client-server model," which provides and delegates all other functionality of the interactive AI agent system to the server, the present disclosure is not so limited. According to another embodiment of the present disclosure, the interactive AI agent system should be aware that the functions may be implemented by being distributed between the user terminal and the server, or alternatively, may be implemented as a standalone application installed on the user terminal. . In addition, when the interactive AI agent system distributes the functions between the user terminal and the server according to an embodiment of the present disclosure, the distribution of each function of the interactive AI agent system between the client and the server may vary from embodiment to embodiment. It should be appreciated that other implementations may be made. In addition, in the embodiment of the present disclosure described above with reference to FIGS. 1 to 3, for convenience, a specific module has been described as performing certain operations, but the present disclosure is not limited thereto. According to another embodiment of the present disclosure, it should be understood that the operations described as performed by any particular module in the above description may be performed by a separate module from each other. In addition, in the embodiment of the present disclosure described above with reference to FIGS. 1 to 3, the operations of the knowledge base management module 310 and the knowledge base visualization / display module 312 are mainly related to updating the conversation understanding knowledge base 308. As described, the present disclosure is not limited thereto. According to another embodiment of the present disclosure, the operations of the knowledgebase management module 310 and the knowledgebase visualization / display module 312 may be applied for other knowledgebase models of the interactive AI agent server 106 as well. You should know

도 4 및 5는, 각각, 본 개시의 일 실시예에 따른, 지식베이스 모델의 구축 초기 과정 및 그에 따른 시각화를 보여주는 도면이다. 도 4에 도시된 바에 의하면, 사용자로부터 "나는 설재호입니다"라는 문장을 수신한 대화형 AI 에이전트 서버가 "설재호"와 "나"의 개념에 대응하는 노드를 생성하고 이들을 "누구"라는 관계의 링크에 의해 연결하는 구성이 제시된 것을 알 수 있다. 또한, 도 5에 도시된 바에 의하면, 사용자로부터 "나 낚시 좋아해"라는 문장을 수신한 대화형 AI 에이전트 서버가 "나"와 "낚시"의 개념에 대응하는 노드를 생성하고 이들을 "좋아하다"라는 관계의 링크에 의해 연결하는 구성이 제시된 것을 알 수 있다. 도 4 및 5는 지식베이스 모델 생성에 관한 시각화를 가장 단순화하여 보여줌으로써 발명의 이해를 돕고자 한 것일 뿐, 본 개시의 실시예가 이로써 제한되는 것이 아님을 알아야 한다.4 and 5 are diagrams illustrating an initial process of constructing a knowledge base model and visualization accordingly, according to an embodiment of the present disclosure, respectively. As shown in FIG. 4, the interactive AI agent server that receives the sentence "I am Sul Jaeho" from the user creates a node corresponding to the concepts of "Sul Jaeho" and "I" and links them to "who". It can be seen that the configuration to connect by is presented. In addition, as shown in FIG. 5, the interactive AI agent server that receives the sentence "I like fishing" from the user creates a node corresponding to the concept of "I" and "fishing" and calls them "likes". It can be seen that the configuration connecting by the link of the relationship is presented. 4 and 5 are merely intended to help the understanding of the invention by showing the most simplified visualization of knowledge base model generation, it should be understood that embodiments of the present disclosure are not limited thereto.

당업자라면 알 수 있듯이, 본 개시가 본 명세서에 기술된 예시에 한정되는 것이 아니라 본 개시의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 재구성 및 대체될 수 있다. 본 명세서에 기술된 다양한 기술들은 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있음을 알아야 한다.As will be appreciated by those skilled in the art, the present disclosure is not limited to the examples described herein but may be variously modified, reconfigured and replaced without departing from the scope of the present disclosure. It should be understood that the various techniques described herein may be implemented by hardware or software, or a combination of hardware and software.

본 개시의 일 실시예에 따른 컴퓨터 프로그램은, 컴퓨터 프로세서 등에 의해 판독 가능한 저장 매체, 예컨대 EPROM, EEPROM, 플래시 메모리장치와 같은 비휘발성 메모리, 내장형 하드 디스크와 착탈식 디스크 같은 자기 디스크, 광자기 디스크, 및 CDROM 디스크 등을 포함한 다양한 유형의 저장 매체에 저장된 형태로 구현될 수 있다. 또한, 프로그램 코드(들)는 어셈블리어나 기계어로 구현될 수 있다. 본 개시의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 이하의 특허청구범위에 의해 모두 포괄하고자 한다.A computer program according to an embodiment of the present disclosure may include a storage medium readable by a computer processor or the like, such as an EPROM, an EEPROM, a nonvolatile memory such as a flash memory device, a magnetic disk such as an internal hard disk and a removable disk, a magneto-optical disk, and It may be implemented in a form stored in various types of storage media, including a CDROM disk. In addition, the program code (s) may be implemented in assembly or machine language. All modifications and changes that fall within the true spirit and scope of this disclosure are intended to be covered by the following claims.

Claims

A method of visualizing a knowledge base, performed by an interactive AI agent system including a display.