KR102610810B1

KR102610810B1 - 사용자의 생각을 디코딩하는 인공지능 시스템

Info

Publication number: KR102610810B1
Application number: KR1020220128484A
Authority: KR
Inventors: 김성균; 권재형; 김훈희
Original assignee: 주식회사 포엔
Priority date: 2021-11-30
Filing date: 2022-10-07
Publication date: 2023-12-13
Anticipated expiration: 2042-10-07
Also published as: KR20230081600A

Abstract

본 발명의 사용자의 생각을 디코딩하는 인공지능 시스템은 측정된 생체 신호를 전처리하고, 상기 전처리된 생체 신호에서 적어도 하나의 제1 생체 신호 특성을 추출하고, 사용자의 생각 파악용으로 학습된 제1 기계학습 모델을 이용하여, 상기 적어도 하나의 제1 생체 신호 특성 중 상기 사용자의 생각 파악을 위해 필요한 적어도 하나의 제2 생체 신호 특성을 결정하고, 상기 학습된 제1 기계학습 모델에서 상기 적어도 하나의 제2 생체 신호를 입력으로 하고 상기 사용자의 생각을 구성하는 단어를 출력으로 하여 제2 기계학습 모델을 학습시키고, 상기 학습된 제1 및 제2 기계학습 모델을 이용하여 상기 사용자의 생각을 구성하는 적어도 하나의 단어를 도출하는 프로세서를 포함한다.

Description

사용자의 생각을 디코딩하는 인공지능 시스템{AN ARTIFICIAL INTELLIGENCE SYSTEM DECODING THE USER'S THOUGHTS}

본 발명은 사용자의 생각을 디코딩하는 인공지능 시스템에 관한 것으로, 인공지능 모델과 자연어 처리 기법을 이용하는 인공지능 시스템에 관한 것이다.

인공지능 기술의 발달로 인하여 인간의 생활에 많은 변화가 생겼다. 인공지능 시스템이 학습을 진행하여 진화함에 따라, 기존에는 불가능하다고 여겨졌던 것들이 점차 실현되고 있다.

이에 따라, 많은 연구자들은 인공지능 기술을 활용하여 기존에 해결하지 못했던 난제들에 대해서 도전을 하고 있다. 사람의 생체 신호를 통해서 사람의 생각을 이해하는 것 역시 이러한 난제 중에 하나이다.

대한민국 특허출원번호 10-2021-0000732 (2021.01.05)

상술한 문제점을 해결하기 위한 본 발명의 목적은, 인공지능 모델과 자연어 처리 기법을 이용하여 사용자의 생각을 구성하는 단어를 도출하고 이를 사용자 단말의 제어를 위한 기계 명령어로 변환하여 사용자 단말 상에서 수행시키는, 사용자의 생각을 디코딩하는 인공지능 시스템을 제공하는데 있다.

상술한 과제를 해결하기 위한 본 발명의 설명 가능한 인공지능 시스템은, 측정된 생체 신호를 전처리하고, 상기 전처리된 생체 신호에서 적어도 하나의 제1 생체 신호 특성을 추출하고, 사용자의 생각 파악용으로 학습된 제1 기계학습 모델을 이용하여, 상기 적어도 하나의 제1 생체 신호 특성 중 상기 사용자의 생각 파악을 위해 필요한 적어도 하나의 제2 생체 신호 특성을 결정하고, 상기 학습된 제1 기계학습 모델에서 상기 적어도 하나의 제2 생체 신호를 입력으로 하고 상기 사용자의 생각을 구성하는 단어를 출력으로 하여 제2 기계학습 모델을 학습시키고, 상기 학습된 제1 및 제2 기계학습 모델을 이용하여 상기 사용자의 생각을 구성하는 적어도 하나의 단어를 도출하는 프로세서를 포함할 수 있다.

상기 프로세서는, 자연어 처리 기법(NLP)을 이용하여 상기 도출된 적어도 하나의 단어를 상기 사용자의 단말의 제어를 위한 기계 명령어로 변환할 수 있다.

상기 프로세서는, 상기 변환된 기계 명령어를 상기 사용자 단말 상에서 수행할 수 있다.

상기 학습된 제1 기계학습 모델은, 발전된 변이형 오토인코더(Variational Autoencoder)를 이용하여 상기 적어도 하나의 제2 생체 신호의 특성을 추출할 수 있다.

상기 학습된 제1 기계학습 모델은, 발전된 변이형 오토인코더 형태를 가지는 인공신경망으로 구성되며, 상기 적어도 하나의 제1 생체 신호 특성이 상기 인공신경망의 입력되고 상기 적어도 하나의 제1 생체 신호 특성이 최종 결과물로 출력되도록 학습되고, 상기 인공신경망은, 인코더 역할을 하는 제1 재귀신경망과 디코더 역할을 하는 제2 재귀신경망으로 구성되고, 상기 제1 재귀신경망의 입력은, 적어도 하나의 제1 생체 신호 특성이고, 상기 제1 재귀신경망의 출력은, 적어도 하나의 제2 생체 신호 특성이고, 상기 제2 재귀신경망의 입력은, 적어도 하나의 제2 생체 신호 특성이며, 상기 제2 재귀신경망의 출력은, 상기 적어도 하나의 제1 생체 신호일 수 있다.

상기 적어도 하나의 제1 생체 신호 특성 및 상기 제1 재귀신경망의 유닛의 연결과, 상기 적어도 하나의 제2 생체 신호 특성 및 상기 제2 재귀신경망의 유닛의 연결은, ALL TO ALL 선형 연결이고, 상기 적어도 하나의 제1 생체 신호 특성 및 상기 제1 재귀신경망의 유닛의 연결과, 상기 적어도 하나의 제2 생체 신호 특성 및 상기 제2 재귀신경망의 유닛의 연결 가중치(weight)는, 균일 분포(uniform distribution)로 랜덤(random)하게 결정되며, 상기 연결 가중치의 값은, 초기화 과정에서 고정되고 이후에는 변하지 않을 수 있다.

상기 제1 재귀신경망의 유닛 및 상기 적어도 하나의 제2 생체 신호 특성의 연결과, 상기 제2 재귀신경망의 유닛 및 상기 적어도 하나의 제1 생체 신호 특성의 연결은, ALL TO ALL 선형 연결이고, 상기 제1 재귀신경망의 유닛 및 상기 적어도 하나의 제2 생체 신호 특성의 연결과, 상기 제2 재귀신경망의 유닛 및 상기 적어도 하나의 제1 생체 신호 특성의 연결 가중치의 값은, 선형 학습 알고리즘에 의해서 학습되면서 변할 수 있다.

상기 제1 재귀신경망의 유닛 및 상기 적어도 하나의 제2 생체 신호 특성의 연결과, 상기 제2 재귀신경망의 유닛 및 상기 적어도 하나의 제1 생체 신호의 특성의 연결 가중치의 값은, 균일 분포(uniform distribution)로 랜덤(random)하게 결정되고, 이후에 선형 학습 알고리즘에 의해서 학습되면서 변할 수 있다.

상기 제2 기계학습 모델은, 상기 학습된 제1 기계학습 모델에서 상기 적어도 하나의 제2 생체 신호를 입력으로 하고 상기 사용자의 생각을 구성하는 단어를 출력으로 하는 제3 재귀신경망을 포함할 수 있다.

상기 적어도 하나의 제2 생체 신호 특성 및 상기 제3 재귀신경망의 유닛의 연결은, ALL TO ALL 선형 연결이고, 상기 적어도 하나의 제2 생체 신호 특성 및 상기 제3 재귀신경망의 유닛의 연결 가중치(weight)는, 균일 분포(uniform distribution)로 랜덤(random)하게 결정되며, 상기 연결 가중치의 값은, 초기화 과정에서 고정되고 이후에는 변하지 않고,상기 제3 재귀신경망의 유닛 및 상기 사용자의 생각을 구성하는 단어에 대응되는 유닛의 연결은, ALL TO ALL 선형 연결이고, 상기 제3 재귀신경망의 유닛 및 상기 사용자의 생각을 구성하는 단어에 대응되는 유닛의 연결 가중치의 값은, 선형 학습 알고리즘에 의해서 학습되면서 변할 수 있다

본 발명에 개시된 실시예들에 따르면, 사용자의 생각을 디코딩하는 인공지능 시스템을 통해 사용자의 생각을 파악하여 사용자의 생각에 따라 사용자 단말을 제어할 수 있다.

도 1은 본 발명의 일 실시예에 따른 학습데이터를 수집하기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 디코딩 시스템을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 디코딩 시스템을 이용하여 사용자의 생각을 디코딩하는 것을 설명하는 개략도이다.
도 4a 내지 도 4e는 본 발명의 일 실시예에 따른 디코딩 시스템을 이용하여 사용자의 생각을 디코딩하는 것을 설명하는 개략도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제 1", "제 2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.

"예시적인"이라는 단어는 본 명세서에서 "예시 또는 예증으로서 사용된"의 의미로 사용된다. 본 명세서에서 "예시적인"것으로 설명된 임의의 실시예는 반드시 바람직한 것으로서 해석되거나 다른 실시예들보다 이점을 갖는 것으로 해석되어서는 안된다.

또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 엘리먼트를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 엘리먼트들, 객체지향 소프트웨어 엘리먼트들, 클래스 엘리먼트들 및 태스크 엘리먼트들과 같은 엘리먼트들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 엘리먼트들과 "부"들 안에서 제공되는 기능은 더 작은 수의 엘리먼트들 및 "부"들로 결합되거나 추가적인 엘리먼트들과 "부"들로 더 분리될 수 있다.

또한, 본 명세서에서 모든 “부”는 적어도 하나의 프로세서에 의해 제어될 수 있으며 본 개시의 “부”가 수행하는 동작을 적어도 하나의 프로세서가 수행할 수도 있다.

본 명세서의 실시예들은 기능 또는 기능을 수행하는 블록의 관점에서 설명될 수 있다. 본 개시의 ‘부’ 또는 ‘모듈’ 등으로 지칭될 수 있는 블록은 논리 게이트, 집적 회로, 마이크로 프로세서, 마이크로 컨트롤러, 메모리, 수동 전자 부품, 능동 전자 부품, 광학 컴포넌트, 하드와이어드 회로(hardwired circuits) 등과 같은 아날로그 또는 디지털 회로에 의해 물리적으로 구현되고, 선택적으로 펌웨어 및 소프트웨어에 의해 구동될 수 있다.

본 명세서의 실시예는 적어도 하나의 하드웨어 디바이스 상에서 실행되는 적어도 하나의 소프트웨어 프로그램을 사용하여 구현될 수 있고 엘리먼트를 제어하기 위해 네트워크 관리 기능을 수행할 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 학습데이터를 수집하기 위한 개략도이다.

본 발명의 디코딩 시스템(100)은 사용자의 생각을 디코딩하는 인공지능 시스템을 제공할 수 있다. 디코딩 시스템(100)은 학습을 위한 학습데이터를 수집하기 위해 적어도 하나의 서버(110a, 110b, 110c, 110d, ... 110n)와 통신할 수 있다. 이 경우, 적어도 하나의 서버(110a, 110b, 110c, 110d, ... 110n)는 아마존 웹 서비스(AWS) 또는 MS Azure 등과 같은 클라우드서버를 포함할 수 있다. 또한, 적어도 하나의 서버(110a, 110b, 110c, 110d, ... 110n)는 생체 신호를 분석하여 사용자의 생각을 구성하는 단어를 파악하기 위해 계산하는 계산 서버를 포함할 수 있다. 따라서 디코딩 시스템(100)은 상기 적어도 하나의 서버(110a, 110b, 110c, 110d, ... 110n)로부터 각종 생체 신호의 분석 자료 및 특정 생체 신호와 대응되는 사용자의 생각을 구성하는 단어 등을 획득할 수 있다.

디코딩 시스템(100)은 네트워크(120)를 이용하여 적어도 하나의 서버(110a, 110b, 110c, 110d, ... 110n)와 통신할 수 있으며, 네트워크(120)는 유선, 무선 통신 링크 또는 광파이버 케이블과 같은 접속부(미도시)를 포함할 수 있다. 또한, 네트워크(120)는 인트라넷, 근거리 통신망(LAN)이나 광역 통신망(WAN)과 같은 여러 가지 각종 네트워크로도 구현될 수도 있다.

본 발명의 디코딩 시스템(100)은 딥러닝과 같은 사용자의 생각 파악용으로 학습된 기계학습 모델을 이용하여 사용자의 생체 신호를 통해 사용자의 생각을 구성하는 단어를 출력할 수 있다. 또한, 디코딩 시스템(100)은 자연어 처리 기법(NLP)을 이용하여 상기 도출된 적어도 하나의 단어를 사용자 단말의 제어를 위한 기계 명령어로 변환할 수 있으며, 변환된 기계 명령어를 사용자 단말 상에서 수행시킬 수 있다.

여기서, 사용자 단말은 기계 명령어에 의해 제어되는 다양한 전자 장치일 수 있다. 예컨대, 사용자 단말은 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 테블릿(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙 박스(black box) 또는 디지털 카메라(digital camera) 같은 전자 장치 중 하나일 수 있다.

딥러닝이란 사람의 신경세포(biological neuron)를 모사하여 기계가 학습하도록 하는 인공신경망(Artificial Neural Network) 기반의 기계 학습법을 지칭할 수 있다.

기계학습 모델의 일 예로서, 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 포함할 수 있다.

상기 심층신경망은 컨볼루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다.

상기 컨볼루션 풀링 층 또는 로컬 접속 층은 생체 신호의 특징들을 추출하도록 구성될 수 있다. 상기 완전 연결 층은 생체 신호의 특징 간의 상관 관계를 결정할 수도 있다.

다른 예로, 본 발명의 심층신경망의 전체적인 구조는 컨볼루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 생체 신호의 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 기계학습을 위한 학습 데이터는 U-Net-dhSgement 모델에 기초하여 생성될 수 있다. 여기서, U-Net-dhSgement 모델은 종단 간(end-to-end)의 완전 연결 컨벌루션 네트워크 (Fully Convolutional Networks. FCN)를 기초로, 확장(expansive) 경로를 수축(contracting) 경로와 대칭(symmetric)으로 설정하여 각 레벨에 대한 스킵(skip) 연결이 있는 U 자형 아키텍처를 생성한 모델일 수 있다.

본 발명의 일 실시예에 따르면, 기계학습 모델은 각종 생체 신호의 분석 자료 및 특정 생체 신호와 대응되는 사용자의 생각을 구성하는 단어 중 적어도 하나를 포함하는 학습데이터를 이용하여 사용자의 생각을 구성하는 단어를 디코딩하기 위해 학습할 수 있다. 기계학습 모델은 각종 생체 신호의 분석 자료 및 특정 생체 신호와 대응되는 사용자의 생각을 구성하는 단어를 학습데이터로 이용할 수 있다.

도 2는 본 발명의 일 실시예에 따른 디코딩 시스템(200)을 나타낸 블록도이다. 도 2의 디코딩 시스템(200)은 도 1의 디코딩 시스템(100)과 대응될 수 있다.

본 발명의 일 실시예에 따르면, 디코딩 시스템(200)은 통신부(210), 메모리(220) 및 프로세서(230)를 포함할 수 있다. 도 2에 도시된 구성요소들은 디코딩 시스템(200)을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 디코딩 시스템(200)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. 예를 들어, 상기 구성요소들 중 통신부(210)는, 외부 장치 또는 외부 서버와 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.

생체 신호는 뇌파 신호 및 시선 신호 중 적어도 하나를 포함할 수 있지만, 이에 제한되지 않는다. 사용자의 시선 신호는 예컨대, 시선 추적기(eye-tracker)를 통해 수집될 수 있다.

뇌파는 뇌세포 집단의 미세한 전기활동을 두피에 전극을 부착하여 유도하고 이를 뇌파계에 의하여 증폭시켜 전위를 종축으로, 시간을 횡축으로 해서 기록한 것을 지칭한다. 다시 말해, 뇌파 측정은 대뇌피질에서 발생하는 전기적 활동을 측정하는 것으로, 뇌파는 뇌의 활동, 측정 시의 상태 및 뇌 기능에 따라 시공간적으로 변화하며, 주로 0~50Hz의 주파수와 10~200uV의 진폭을 가질 수 있다. 또한, 뇌파는 주파수 범위에 따라 델타파(δ파, Delta wave), 세타파(θ파, Theta wave), 알파파(α파, Alpha wave), 베타파(β파, Beta wave) 등으로 분류되고 주파수 별로 각 뇌파의 특성이 존재할 수 있다.

본 발명의 일 실시예에 따르면, EEG(Electroencephalogram)는 뇌전도를 의미하며, 사람 또는 동물의 대뇌에 일어나는 전위변동, 또는 그것에 의하여 일어나는 뇌전류(brain current)를 두피(頭皮) 상에서 유도하여 기록한 전기 기록 신호를 의미한다. MEG (Magnetoencephalogram)는 뇌자도를 의미하며, SQUID 센서 등으로 뇌신경세포의 전기적 활동에서 발생하는 미세한 생체 자기를 측정하여 기록한 신호를 의미한다. ECoG (Electrocorticogram)는 피질전도를 의미하며, 대뇌에 일어나는 전위변동, 또는 그것에 의하여 일어나는 뇌전류(brain current)를 대뇌 피질(Cerebral Cortex)의 표면으로부터 전극을 심어 직접 측정하여 기록한 전기기록 신호를 의미한다. NIRS (Near-infrared spectroscopy)는 근적외선 분광기를 의미하며, 본 발명에 쓰일 수 있는 NIRS 뇌파 신호는 낮은 수준의 광파를 뇌에 비쳐 반사되어 나오는 차이를 측정하여 기록하는 신호를 의미한다. 본 명세서에서는 EEG, MEG, ECoG 등의 뇌파 신호를 예로 들었지만, 뇌파 신호는 상기 특정 종류의 뇌파 신호에 한정되지 않고 인간의 뇌로부터 발생하여 인간의 두부(頭部, 머리)에서 측정 가능한 모든 신호들을 지칭할 수 있다.

측정된 생체 신호는 디코딩 시스템(200)의 통신부(210)를 통해 수신될 수 있다. 본 발명의 통신부(210)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행할 수 있다. 통신부(210)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 중 적어도 하나를 포함할 수 있다.

본 명세서의 이동통신 기술에 따르면 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 외부 서버 중 적어도 하나와 무선 신호를 송수신한다.

또한, 본 명세서의 근거리 통신 기술은, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원하는 기술을 포함할 수 있다.

본 발명의 일 실시예에 따르면, 메모리(220)는 디코딩 시스템(200)의 다양한 기능을 지원하는 로컬 저장 매체이다. 메모리(220)는 통신부(210)가 수신한 생체 신호를 포함하여 생체 신호의 분석 자료, 특정 생체 신호와 대응되는 사용자의 생각을 구성하는 단어 등을 저장할 수 있다. 또한, 메모리(220)는 디코딩 시스템(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 디코딩 시스템(200)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 응용 프로그램은, 메모리(220)에 저장되고, 디코딩 시스템(200) 상에 설치되어, 프로세서(230)에 의하여 상기 디코딩 시스템(200)의 동작(또는 기능)을 수행하도록 구동될 수 있다.

또한, 본 발명의 메모리(220)는 디코딩 시스템(200)에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(Writable Rom)로 구비될 수 있다. 즉, 메모리(220)는 플래쉬메모리(Flash Memory) 또는 EPROM 또는 EEPROM 중 어느 하나로 구비될 수 있다. 본 발명에서 설명의 편의를 위해 하나의 메모리(220)에 모든 인스트럭션 정보가 저장되는 것으로 설명하고 있으나, 이에 한정되는 것은 아니며, 디코딩 시스템(200)은 복수의 메모리를 구비할 수 있다.

프로세서(230)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 디코딩 시스템(200)의 전반적인 동작을 제어한다. 프로세서(230)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(220)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 프로세서(230)는 메모리(220)에 저장된 응용 프로그램을 구동하기 위하여, 도 2의 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(230)는 상기 응용 프로그램의 구동을 위하여, 디코딩 시스템(200)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

이하, 도 3 내지 도 6을 참고하여 디코딩 시스템(200)의 프로세서(230)에 대한 동작을 설명하도록 한다.

본 발명의 일 실시예에 따르면, 통신부(210)를 통해 생체 신호가 수신되면, 프로세서(230)는 전처리를 수행할 수 있다.

일반적으로 생체 신호는 측정시 심장 박동이나 몸의 움직임들로 인하여 노이즈가 생기는 구간이 발생할 수 있다. 따라서, 프로세서(230)는 뇌파 분석을 통한 정신질환 진단을 위해 불필요한 고주파 성분과 저주파 성분을 제거하고 움직임으로 인한 아티팩트(Artifact)를 제거하는 전처리 과정을 수행할 수 있다.

본 발명의 일 실시예에 따르면, 프로세서(230)는 노이즈 제거 또는 필터링을 통해 수신된 생체 신호의 전처리를 수행할 수 있다. 구체적으로, 프로세서(230)는 노이즈 제거를 위해 근전도(EMG: Electromyography) 또는 안전도(EOG; Electrooculogram) 노이즈를 제거를 위한 독립성분분석법(Independent Component Analysis) 또는 주성분분석법(Principle Component Anaysis) 등을 이용할 수 있다.

또한, 프로세서(230)는 노이즈를 제거 위해 저역 통과 필터(Low-Pass Filter), 고역 통과 필터 (High-Pass Filter), 대역통과 필터 (Band-Pass Filter), 노치 필터 (Notch Filter) 중 어느 하나를 이용하여 노이즈를 제거할 수 있다. 예를 들어, 일반적인 전송 경로(유, 무선 채널)에 따른 일반적인 노이즈(Noise Signal) 이외에도, EMG(Electromyogram, 근전도), EOG(Electrooculogram, 안전도) 등의 뇌파 신호 이외의 다른 생체 신호들도 관심 신호가 아니므로 프로세서(230)는 노이즈로 취급하여 필터링 등을 통해서 제거할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 에포킹(Epoching) 처리는 노이즈가 제거된 뇌파 데이터를 신호 처리할 수 있도록 특정 구간으로 자르는 것을 지칭하며, 에포킹은 수십 밀리초(milisecond)에서 초(second)단위로 사용될 수 있다.

본 발명의 일 실시예에 따르면, 프로세서(230)는 전처리된 생체 신호에서 적어도 하나의 생체 신호 특성을 추출할 수 있다. 이 경우, 프로세서(230)는 스펙트럼 밀도 분석을 통해 주파수별로 파워를 추출할 수 있으며, 선형 또는 비선형, 복잡계 네트워크 분석 등을 이용하여 정량적인 생체 신호 특성을 추출할 수 있다.

생체 신호로서 뇌파 신호를 예로 들어 설명한다. 본 발명의 일 실시예에 따르면, 프로세서(230)를 통해 추출된 제1 뇌파는 사용자의 주파수별 뇌파(예컨대, γ파, α파, β파, δ파, θ파 등) 파워, 주파수 및 채널간 연결도(Connectivity) 등을 포함할 수 있다. 여기서, 채널은 사용자의 뇌파가 측정된 두피의 복수의 지점을 포함할 수 있다. 또한, 채널간 연결도는 뇌파 신호들 사이의 위상동기화 지수(Phase Locking Vaule, PLV), 상관 지수(correlation coefficient), 간섭 지수(coherence coefficient), 그레인저 인과율(Granger's Causality Index), PDC(Partial Directed Coherence), DTF(Directed Transfer Function), 상호 정보량(Mutual Information), 전송 엔트로피(Transfer Entropy) 및 동기 유사도(Synchronization Likelihood) 등을 포함할 수 있다.

적어도 하나의 제1 생체 신호 특성이 추출되면, 프로세서(230)는 사용자의 생각 파악용으로 학습된 제1 기계학습 모델을 이용하여, 사용자의 의도 파악을 위해 필요한 적어도 하나의 제2 생체 신호 특성을 결정할 수 있다.

이 밖에, 프로세서(230)는 학습된 제1 기계학습 모델에서 상기 적어도 하나의 제2 생체 신호를 입력으로 하고 사용자의 생각을 구성하는 단어를 출력으로 하여 제2 기계학습 모델을 학습시키고, 학습된 제1 및 제2 기계학습 모델을 이용하여 사용자의 생각을 구성하는 적어도 하나의 단어를 도출할 수 있다.

이 밖에, 프로세서(230)는 자연어 처리 기법(NLP)을 이용하여 도출된 적어도 하나의 단어를 사용자 단말의 제어를 위한 기계 명령어로 변환할 수 있다. 그리고 프로세서(230)는 변환된 기계 명령어를 사용자 단말 상에서 수행할 수 있다.

도 3은 본 발명의 일 실시예에 따른 디코딩 시스템을 이용하여 사용자의 생각을 디코딩하는 것을 설명하는 개략도이다. 설명의 편의를 위해, 도 4a 내지 도 4e를 같이 언급한다.

먼저, 사용자가 사용자 단말을 제어할 의도를 가진 생각을 마음속에서 언어로 표현하고, 사용자가 사용자 단말을 제어할 의도를 가진 생각을 마음속에서 언어로 표현할 때의 사용자의 생체 신호가 포착되어 수집된다. 여기서, 생체 신호는 뇌파 신호 및 시선 신호 중 적어도 하나를 포함할 수 있다.

본 실시예에 따른 디코딩 시스템(200)은 사용자가 사용자 단말을 제어할 의도를 가진 생각을 마음속에서 언어로 표현할 때의 사용자의 생체 신호를 수신한다 [S300]. 예컨대, 도 4a를 참조하면, 사용자는 마음속으로 '마이클에게 이메일을 보내야지'라고 사용자 단말을 제어할 의도를 가진 생각을 언어로 표현할 수 있고, 이 때의 사용자의 생체 신호가 수집될 수 있다.

여기서, 디코딩 시스템(200)이 사용자의 생체 신호를 수신하는 방법은 제한되지 않는다.

이어서, 프로세서(230)는 사용자의 생체 신호에 대하여 전처리 및 특성 추출 과정을 통해 제1 생체 신호 특성이 추출할 수 있다 [S310].

여기서, 제1 생체 신호 특성은 전처리된 사용자의 생체 신호에 대한 정량적인 특성을 의미한다. 예컨대, 사용자의 생체 신호가 뇌파 신호를 포함하는 경우, 제1 뇌파 특성은 주파수별 뇌파(예컨대, γ파, α파, β파, δ파, θ파 등) 파워, 주파수 및 채널간 연결도(Connectivity) 등을 포함할 수 있다.

다음으로, 제1 생체 신호 특성을 입력으로 하여 디코딩 시스템(200)은 디코딩 프로세스를 통해 사용자의 생각을 구성하는 단어를 출력할 수 있다 [S320]. 여기서, 디코딩 프로세스는 본 명세서의 기계학습 모델을 이용하여 사용자의 생각을 구성하는 단어를 출력하는 일련의 처리 과정을 지칭할 수 있다.

디코딩 시스템(200)은 디코딩 프로세스 과정을 통해 사용자의 생각을 구성하는 주요 단어를 출력할 수 있다. 예컨대, 사용자의 생각을 구성하는 주요 단어로서 주어, 동사, 목적어 등을 나타내는 단어가 있을 수 있다. 예컨대, 디코딩 프로세스를 통해 디코딩 시스템(200)은 사용자의 생각을 구성하는 주요 단어로서 “마이클”, “이메일”, “보내다”라는 단어를 출력할 수 있다.

사용자의 생각을 구성하는 주요 단어의 출력이 완료되면, 디코딩 시스템(200)은 자연어 처리 기법(NLP)을 이용하여 도출된 적어도 하나의 단어를 사용자 단말의 제어를 위한 기계 명령어로 변환할 수 있다 [S330].

다음으로, 디코딩 시스템(200)은 변환된 기계 명령어가 사용자 단말 상에서 수행되도록 할 수 있다 [S340].

디코딩 시스템(200)이 사용자 단말에서 변환된 기계 명령어를 직접 수행하거나 사용자 단말에서 변환된 기계 명령어가 수행되도록 사용자 단말에 기계 명령어를 전송할 수 있다.

이를 통해, 디코딩 시스템(200)은 BMI(Brain Machine Interface) 기술을 바탕으로, 사용자의 의도를 가진 생각을 디코딩할 뿐 아니라, 디코딩된 사용자의 의도를 가진 생각대로 사용자 단말을 제어할 수 있다.

이하, 도 4a 내지 도 4e를 참조하여, 사용자의 생각을 디코딩하는 과정을 보다 구체적으로 설명한다.

도 4a 내지 도 4e는 본 발명의 일 실시예에 따른 디코딩 시스템을 이용하여 사용자의 생각을 디코딩하는 것을 설명하는 개략도이다.

우선, 도 4a를 참조하면, 뇌파 측정장비를 통해 생체 신호로서 사용자의 뇌파가 측정될 수 있다 [S410].

환자의 뇌파는 Emotiv, OpenBci, NeuroSky 또는 GeodesicTM 등과 같은 뇌파 측정장비에 의해 측정되어 네트워크를 통해 디코딩 시스템(200)의 통신부(210)로 수신될 수 있다.

도 4b를 참조하면, 수신된 뇌파(410)는 노이즈 제거 및 에포킹 처리를 통해 전처리될 수 있다 [S420].

구체적으로, 수신된 뇌파(410)는 저역 통과 필터, 고역 통과 필터, 대역 통과 필터 및 노치 필터 중 적어도 하나를 이용하여 노이즈를 제거하는 뇌파 신호 전처리기(420)에 의해 노이즈 제거 및 에포킹 처리를 통해 전처리될 수 있다. 이 경우, 디코딩 시스템(200)이 뇌파 신호 전처리기(420)를 포함하는 경우, 프로세서(230)는 뇌파 신호 전처리기(420)를 제어하여 전처리를 수행할 수 있다. 또는, 뇌파 신호 전처리기(420)가 디코딩 시스템(200)의 외부 장치인 경우, 디코딩 시스템(200)은 뇌파 신호 전처리기(420)를 통해 전처리된 뇌파(430)를 통신부(210)를 통해 수신할 수 있다.

도 4c를 참조하여, 전처리가 완료되면, 프로세서(230)는 전처리된 뇌파(430)에서 적어도 하나의 제1 생체 신호 특성을 추출할 수 있다[S430].

구체적으로, 프로세서(230)는 스펙트럼 밀도 분석을 통해 주파수별로 파워를 추출할 수 있으며, 선형 또는 비선형, 복잡계 네트워크 분석 등을 이용하여 정량적인 뇌파 특성을 추출할 수 있다.

다음으로, 도 4d 및 도 4e를 참조하여, 프로세서(230)는 추출된 적어도 하나의 제1 생체 신호 특성을 사용자의 생각 파악용으로 학습된 기계학습 모델에 입력하여 사용자의 생각을 구성하는 단어를 출력할 수 있다 [S440]. S440은 S320의 디코딩 프로세스 과정을 자세히 설명한 것이다.

본 발명의 일 실시예에 따르면, 프로세서(230)는 적어도 하나의 제1 생체 신호 특성 중 사용자의 의도 파악을 위해 필요한 적어도 하나의 제2 생체 신호 특성을 결정할 수 있다.

여기서, 제2 생체 신호 특성은 환자의 주파수별 뇌파(예컨대, γ파, α파, β파, δ파, θ파 등) 파워, 주파수 및 채널간 연결도(Connectivity) 등을 포함할 수 있다.

프로세서(230)는 적어도 하나의 제1 생체 신호 특성 중 사용자의 의도 파악을 위해 필요한 적어도 하나의 제2 생체 신호 특성을 결정하기 위해 후술하는 발전된 변이형 오토인코더(Variational Autoencoder)를 통해 학습한 기계학습 모델을 이용할 수 있다.

여기서, 도 4d 및 도 4e를 참조하여, 본 발명의 일 실시예에 따른 기계학습 모델에 대하여 자세히 설명한다.

본 발명의 일 실시예에 따른 기계학습 모델은 제1 및 제2 기계학습 모델을 포함한다. 본 실시예에서 제1 기계학습 모델을 이용하여 적어도 하나의 제1 생체 신호 특성 중 상기 사용자의 의도 파악을 위해 필요한 적어도 하나의 제2 생체 신호 특성을 결정할 수 있다. 그리고 제2 기계학습 모델은 제1 기계학습 모델의 적어도 하나의 제2 생체 신호를 입력으로 하고 사용자의 생각을 구성하는 단어를 출력으로 하여 학습할 수 있다. 여기서, 제1 및 제2 기계학습 모델은 동시에 학습이 진행될 수도 있고, 단계로 구분되어 학습이 진행될 수도 있다.

본 발명의 일 실시예에 따른 제1 기계학습 모델은 발전된 변이형 오토인코더 형태를 가지는 인공신경망으로 구성되며, 전처리된 뇌파(430)를 포함하는 생체 신호에서 추출된 적어도 하나의 제1 생체 신호 특성이 본 인공신경망의 입력이 됨과 동시에는 최종 결과물로 출력되도록 학습된다.

구체적으로, 제1 기계학습 모델의 인공신경망은 인코더 역할을 하는 제1 재귀신경망과 디코더 역할을 하는 제2 재귀신경망으로 구성된다. 제1 재귀신경망의 입력은 적어도 하나의 제1 생체 신호 특성이고 제1 재귀신경망의 출력은 적어도 하나의 제2 생체 신호 특성이고, 제2 재귀신경망의 입력은 적어도 하나의 제2 생체 신호 특성이고 제2 재귀신경망의 출력은 적어도 하나의 제1 생체 신호 특성이다.

즉, 제1 기계학습 모델의 인공신경망에서 적어도 하나의 제1 생체 신호 특성이 제1 재귀신경망의 입력으로 주어지고, 적어도 하나의 제1 생체 신호 특성이 제1 기계학습 모델의 인공신경망의 출력이 되도록 학습되며, 이러한 학습 과정에서 적어도 하나의 제2 생체 신호 특성이 중간에서 자동으로 학습된다. 한편, 적어도 하나의 제2 생체 신호 특성은 후술하는 제3 재귀신경망의 입력으로 사용된다.

제1 재귀신경망은 복수의 유닛으로 구성이 되는데, 제1 재귀신경망을 구성하는 유닛의 개수(N)는 제1 생체 신호 특성의 개수(M)에 의해서 결정된다. 예컨대, 제1 재귀신경망을 구성하는 유닛의 개수(N)는 제1 뇌파 특성의 개수(M)의 100배 보다 크도록 프로세서(230)에 의해 정해질 수 있다(N > M*100).

여기서, 제1 재귀신경망을 구성하는 유닛의 개수(N)가 늘어나면 인공신경망이 수행할 수 있는 퍼포먼스는 높아지지만 학습 과정에서 시간이 오래 걸리기 때문에, 본 인공신경망에서 제1 재귀신경망을 구성하는 유닛의 개수(N)의 기준은 제1 생체 신호 특성의 개수(M)의 100배 보다 큰 정도로 설정되었다.

또한, 제1 재귀신경망을 구성하는 유닛은 상호 간 랜덤(random)하게 재귀적으로 연결된다. 이때, 프로세서(230)는 각 유닛 간의 연결 확률을 예컨대 0.1%에서 1% 사이로 정할 수 있다.

이 밖에, 제1 재귀신경망을 구성하는 유닛 간의 연결 가중치(weight)는 예컨대 -1에서 1 사이의 값 중 균일 분포(uniform distribution)로 결정된다. 이후에 결정된 연결 가중치 매트릭스(W)의 가장 큰 고유값(eigen value)의 절대값이 예컨대 1이하가 되도록 프로세서(230)는 연결 가중치(weight) 값들에 일정 환산 계수(scaling factor)를 곱할 수 있다.

위와 같은 방식으로 산출된 연결 가중치 매트릭스(W)는 고정되고 변화하지 않는다.

제2 재귀신경망도 제1 재귀신경망과 동일한 조건에 따라 구성되며, 제2 재귀신경망에 대하여 산출된 연결 가중치 매트릭스(W) 역시 고정되고 변화하지 않는다.

한편, 제1 생체 신호 특성과 제1 재귀신경망의 유닛의 연결, 그리고 제2 생체 신호 특성과 제2 재귀신경망의 유닛의 연결은 ALL TO ALL 선형 연결이고, 연결 가중치(weight)는 예컨대 -1에서 1 사이의 값 중 균일 분포(uniform distribution)로 랜덤(random)하게 결정될 수 있다. 연결 가중치의 값은 초기화 과정에서 고정되고 이후에는 변하지 않는다.

이 밖에, 제1 재귀신경망의 유닛과 제2 생체 신호 특성의 연결, 그리고 제2 재귀신경망의 유닛과 제1 생체 신호 특성의 연결 역시 ALL TO ALL 선형 연결이다. 초기화 과정에서 제1 재귀신경망의 유닛과 제2 생체 신호 특성의 연결, 그리고 제2 재귀신경망의 유닛과 제1 생체 신호 특성의 연결의 연결 가중치는 예컨대 -1에서 1 사이의 값 중 균일 분포(uniform distribution)로 랜덤(random)하게 결정될 수 있다.

그러나 제1 재귀신경망의 유닛과 제2 생체 신호 특성의 연결, 그리고 제2 재귀신경망의 유닛과 제1 생체 신호 특성의 연결의 연결 가중치의 값은 초기화 과정에서 결정된 값으로 고정되는 것이 아니라, 선형 학습 알고리즘에 의해서 학습되면서 변한다. 예컨대, 선형 학습 알고리즘으로 linear regression이나 pseudo invers matrix 방식이 이용될 수 있다.

제1 기계학습 모델을 발전된 변이형 오토인코더 형태가 아니라 오코인코더 또는 변이형 오토인코더 형태를 가지는 인공신경망으로 구성하게 되면, 연결 관계가 선형 연결이 아니기 때문에 계산의 복잡성이 높아짐에 따라 러닝룰이 복잡해진다. 더욱이, 변이형 오토인코더 혹은 오토인코더 형태를 가지는 인공신경망의 경우, 러닝룰의 복잡성에 따라 성능이 높은 머신을 활용해야 하는 머신 제약도 따른다.

이에 반해, 본 발명의 일 실시예에 따른 기계학습 모델은 선형 연결에 기반하여 일부 구성의 가중치를 랜덤 설정 후 고정하고 제2 생체 신호 특성과 제1 생체 신호 특성의 가중치만 선형 학습 알고리즘으로 학습을 하도록 함으로써, 계산의 복잡성을 낮추면서도 reservoir computing 방식에 기반하여 높은 정확도를 얻을 수 있다.

더욱이, 본 발명의 일 실시예에 따른 디코딩 시스템(200)은 선형 연결과 선형 학습 알고리즘을 이용하기 때문에, 학습량을 줄이고 설명 가능한 결과를 산출할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 디코딩 시스템(200)에서 도 4d에서 제1 재귀신경망부터 제2 생체 신호 특성, 제2 재귀신경망 및 생체 신호 특성까지의 학습된 결과가 선형 연결이 되어 있기 때문에, 필터를 통해 제1 재귀신경망부터 제2 생체 신호 특성, 제2 재귀신경망 및 제1 생체 신호 특징까지의 학습된 결과를 1차 수식으로 표현 가능하다.

제2 기계학습 모델은 적어도 하나의 제2 생체 신호를 입력으로 하고 사용자의 생각을 구성하는 단어를 출력으로 한다. 제2 기계학습 모델의 인공신경망은 제3 재귀신경망을 포함하고, 제3 재귀신경망은 학습된 제1 기계학습 모델에서 적어도 하나의 제2 생체 신호를 입력으로 하고 사용자의 생각을 구성하는 단어를 출력으로 한다.

구체적으로, 제3 재귀신경망도 제1 재귀신경망 및 제2 재귀신경망과 동일한 조건에 따라 구성되며, 제3 재귀신경망에 대하여 산출된 연결 가중치 매트릭스(W) 역시 고정되고 변화하지 않는다.

한편, 제2 생체 신호 특성과 제3 재귀신경망의 유닛의 연결은 ALL TO ALL 선형 연결이고, 연결 가중치(weight)는 예컨대 -1에서 1 사이의 값 중 균일 분포(uniform distribution)로 랜덤(random)하게 결정될 수 있다. 연결 가중치의 값은 초기화 과정에서 고정되고 이후에는 변하지 않는다.

이 밖에, 제3 재귀신경망의 유닛과 사용자의 생각을 구성하는 단어에 대응되는 유닛의 연결 역시 ALL TO ALL 선형 연결이다. 초기화 과정에서 제3 재귀신경망의 유닛과 사용자의 생각을 구성하는 단어에 대응되는 유닛의 연결의 연결 가중치는 예컨대 -1에서 1 사이의 값 중 균일 분포(uniform distribution)로 랜덤(random)하게 결정될 수 있다.

그러나 제3 재귀신경망의 유닛과 사용자의 생각을 구성하는 단어에 대응되는 유닛의 연결 가중치의 값은 초기화 과정에서 결정된 값으로 고정되는 것이 아니라, 선형 학습 알고리즘에 의해서 학습되면서 변한다. 예컨대, 선형 학습 알고리즘으로 linear regression이나 pseudo invers matrix 방식이 이용될 수 있다.

제3 재귀신경망은 본 시스템에서 디코딩하고자 하는 단어들을 구별할 수 있도록 학습된다. 예컨대, 사용자가 생각한 단어 중에 "이메일"이라는 단어가 있다면 이 프로세스를 통해서 도 4d의 제3 재귀신경망의 출력 중 두번째 유닛이 ON된다. 만약, 사용자가 생각한 단어가 여러 개이면 사용자가 생각한 단어에 해당되는 여러 유닛은 모두 ON 되고 나머지 유닛은 OFF된다.

이에 따라, 본 실시예에 따른 기계학습 모델에서 ON된 유닛에 대응되는 단어를 대상으로 NLP 프로세스(S330)가 수행된다. 프로세서(230)는 상기 도출된 적어도 하나의 단어를 가지고 자연어 처리 기법(NLP)을 이용하여 자연어 처리하며, 자연어 처리된 결과를 사용자 단말의 제어를 위한 기계 명령어로 변환할 수 있다.

자연어 　처리 기법(NLP)은 언어 현상을 기계적으로 분석하여 프로세서(230)가 이해할 수 있는 형태로 만드는 제반 기술을 의미하며, 예컨대, 절을 이루고 있는 구성 성분을 파악하고, 이들 구성 성분들의 위계 관계를 분석하여 구 또는 절의 구조를 결정하는 구문 분석이 가능한 기법을 의미할 수 있다.

프로세서(230)는 도출된 주요 단어(주어, 동사, 목적어 등)를 가지고 자연어 처리 기법(NLP)을 이용하여 자연어 처리하며, 자연어 처리된 결과를 통해 사용자 단말을 제어할 의도를 가진 사용자의 생각을 파악할 수 있다.

그리고 프로세서(230)는 자연어 처리된 결과를 사용자 단말의 제어를 위한 기계 명령어로 변환할 수 있다. 파악된 사용자의 생각에 따라 사용자 단말을 제어하기 위한 기계 명령어를 도출하기 위해, 대응되는 기계 명령어가 메모리(220) 또는 외부 서버에 미리 저장되어 있을 수 있다.

그리고 프로세서(230)는 사용자 단말 상에서 변환된 기계 명령어가 수행되도록 할 수 있다.

예컨대, 프로세서(230)는 변환된 기계 명령어를 이용하여 마이클에게 이메일을 발송하도록 사용자 단말을 제어할 수 있다.

본 발명의 다양한 실시예들은 기기(machine)(예를 들어, 디코딩 시스템(200) 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 인스트럭션들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예를 들어, 프로세서(230))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예를 들어, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 명세서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다. 이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100, 200 : 디코딩 시스템 210 : 통신부
220 : 메모리 230 : 프로세서

Claims

측정된 생체 신호를 전처리하고,
상기 전처리된 생체 신호에서 적어도 하나의 제1 생체 신호 특성을 추출하고,
사용자의 생각 파악용으로 학습된 제1 기계학습 모델의 변이형 오토인코더 형태를 가지는 인공신경망을 이용하되,
상기 인공신경망에 상기 적어도 하나의 제1 생체 신호 특성이 입력되고, 상기 적어도 하나의 제1 생체 신호 특성이 최종 결과물로 출력되도록 학습되며,
상기 인공신경망은, 인코더 역할을 하는 제1 재귀신경망과 디코더 역할을 하는 제2 재귀신경망으로 구성되고,
상기 제1 재귀신경망의 입력은, 적어도 하나의 제1 생체 신호 특성이고,
상기 제1 재귀신경망의 출력은, 적어도 하나의 제2 생체 신호 특성이고,
상기 제2 재귀신경망의 입력은, 적어도 하나의 제2 생체 신호 특성이며,
상기 제2 재귀신경망의 출력은, 상기 적어도 하나의 제1 생체 신호 특성이고,
상기 적어도 하나의 제1 생체 신호 특성 중 상기 사용자의 생각 파악을 위해 필요한 적어도 하나의 제2 생체 신호 특성을 결정하고,
상기 학습된 제1 기계학습 모델에서 상기 적어도 하나의 제2 생체 신호를 입력으로 하고 상기 사용자의 생각을 구성하는 단어를 출력으로 하여 제2 기계학습 모델을 학습시키고,
상기 학습된 제1 및 제2 기계학습 모델을 이용하여 상기 사용자의 생각을 구성하는 적어도 하나의 단어를 도출하는 프로세서를 포함하되,
상기 적어도 하나의 제1 생체 신호 특성 및 상기 제1 재귀신경망의 유닛의 연결과, 상기 적어도 하나의 제2 생체 신호 특성 및 상기 제2 재귀신경망의 유닛의 연결은, ALL TO ALL 선형 연결이고,
상기 적어도 하나의 제1 생체 신호 특성 및 상기 제1 재귀신경망의 유닛의 연결과, 상기 적어도 하나의 제2 생체 신호 특성 및 상기 제2 재귀신경망의 유닛의 연결 가중치(weight)는, -1에서 1 사이의 값 중 균일 분포(uniform distribution)로 랜덤(random)하게 결정되며, 초기화 과정에서 고정되고 이후에는 변하지 않고,
상기 제1 재귀신경망의 유닛의 개수는 상기 제1 생체 신호 특성의 개수의 100배 보다 크도록 설정되며,
상기 제1 재귀신경망의 유닛 및 상기 적어도 하나의 제2 생체 신호 특성의 연결과, 상기 제2 재귀신경망의 유닛 및 상기 적어도 하나의 제1 생체 신호 특성의 연결은, ALL TO ALL 선형 연결이고,
상기 제1 재귀신경망의 유닛 및 상기 적어도 하나의 제2 생체 신호 특성의 연결과, 상기 제2 재귀신경망의 유닛 및 상기 적어도 하나의 제1 생체 신호의 특성의 연결 가중치는, -1에서 1 사이의 값 중 균일 분포(uniform distribution)로 랜덤(random)하게 결정되고, 이후에 linear regression이나 pseudo invers matrix 방식의 선형 학습 알고리즘에 의해서 학습되면서 변하며,
상기 제2 기계학습 모델은, 상기 학습된 제1 기계학습 모델에서 상기 적어도 하나의 제2 생체 신호를 입력으로 하고 상기 사용자의 생각을 구성하는 단어를 출력으로 하는 제3 재귀신경망을 포함하고,
상기 적어도 하나의 제2 생체 신호 특성 및 상기 제3 재귀신경망의 유닛의 연결은, ALL TO ALL 선형 연결이고,
상기 적어도 하나의 제2 생체 신호 특성 및 상기 제3 재귀신경망의 유닛의 연결 가중치(weight)는, -1에서 1 사이의 값 중 균일 분포(uniform distribution)로 랜덤(random)하게 결정되며, 초기화 과정에서 고정되고 이후에는 변하지 않고,
상기 제3 재귀신경망의 유닛 및 상기 사용자의 생각을 구성하는 단어에 대응되는 유닛의 연결은, ALL TO ALL 선형 연결이고,
상기 제3 재귀신경망의 유닛 및 상기 사용자의 생각을 구성하는 단어에 대응되는 유닛의 연결 가중치는, linear regression이나 pseudo invers matrix 방식의 선형 학습 알고리즘에 의해서 학습되면서 변하는 것인, 사용자의 생각을 디코딩하는 인공지능 시스템.
제 1 항에 있어서,
상기 프로세서는,
자연어 처리 기법(NLP)을 이용하여 상기 도출된 적어도 하나의 단어를 상기 사용자의 단말의 제어를 위한 기계 명령어로 변환하는 것인, 사용자의 생각을 디코딩하는 인공지능 시스템.
제 2 항에 있어서,
상기 프로세서는,
상기 변환된 기계 명령어를 상기 사용자의 단말 상에서 수행하는 것인, 사용자의 생각을 디코딩하는 인공지능 시스템.
삭제
삭제
삭제
삭제
삭제
삭제
삭제