KR20220083630A - 다중 분산 데이터베이스 환경에서 이종 데이터세트의 임베딩 벡터를 이용한 딥 러닝 학습 - Google Patents

Abstract

일 실시예에 따르면, 다중 분산 데이터베이스 환경에서 딥 러닝 학습 장치가 수행하는 딥 러닝 학습 방법은, 다중 분산 데이터베이스의 이종 데이터세트를 시계열 기준으로 병합하여 모델 학습을 위한 입력 스트림을 생성하는 단계와, 상기 입력 스트림에 대한 임베딩 벡터를 생성하는 단계와, 상기 임베딩 벡터를 딥 러닝 모델의 학습과 기학습된 딥 러닝 모델을 통한 추론 중 적어도 하나에 적응적으로 반영하는 단계를 포함한다.

Description

다중 분산 데이터베이스 환경에서 이종 데이터세트의 임베딩 벡터를 이용한 딥 러닝 학습{DEEP LEARNING USING EMBEDDING VECTORS OF HETEROGENEOUS DATA-SETS IN MULTI-DISTRIBUTED DATABASE ENVIRONMENTS}

본 발명은 다중 분산 데이터베이스 환경에서 이종 데이터세트의 임베딩 벡터를 이용한 딥 러닝 학습에 관한 것이다.

최근 들어, 정보기술이 발전하면서 데이터 규모의 폭발적인 증가, 데이터 종류의 다양화 및 데이터 주기가 빨라지는 빅 데이터가 등장함에 따라, 빅 데이터 활용을 통한 새로운 가치창출의 중요성이 커지고 있다.

이에 따라, 데이터가 새로운 형태의 자산으로 주목받으면서 데이터 유통에 기반한 새로운 생태계인 데이터 경제(data economy)라는 개념이 등장하였고, 오픈 데이터 생태계는 데이터를 공유하고 활용할 수 있도록 협업하는 과정에서 다양한 도메인(금융, 의료, 환경, 에너지 등) 데이터를 생산 및 공유하는 공급자, 공유 데이터를 수집 및 활용하여 AI 학습을 통한 데이터 서비스를 제공하는 수요자, 공유 인프라를 제공 및 관리하는 관리자 등 서로 다른 역할을 담당하는 구성원으로 이루어진다.

오픈 데이터 생태계를 기술적으로 지원하기 위해 데이터 공유 관리 기능의 데이터 동기화 기술이 발전하였고, 이는 공급자 데이터베이스의 데이터세트를 수요자 데이터베이스에 복제하거나, 데이터베이스 변화 감지를 통해 데이터세트 업데이트에 따른 수요자 데이터베이스의 데이터세트에 대한 실시간 동기화 기능을 통해 오픈 데이터의 유통을 지원한다.

이러한 오픈 데이터 생태계 환경에서 데이터 동기화 기술을 통해 최종적으로 데이터 수요자는 공공, 민간 분야의 에너지, 환경, 의료, 문화 등 서로 다른 도메인 데이터 중, 필요한 데이터를 데이터 공급자로부터 실시간으로 전송받아 데이터베이스 저장 및 해당 데이터세트를 통해 딥 러닝 기반의 인공신경망 모델 학습을 진행하고, 모델의 성능이 검증 될 경우 서비스를 제공할 수 있다.

일반적인 딥 러닝 기반 인공신경망 모델은 생활/금융/공학 등 특정 도메인에 한정되지 않고 다양한 문제를 해결할 수 있도록 고안되어, 이미지 및 텍스트 분류나 객체 검출, 음성어 인식, 자연어 처리 등의 광범위한 목적을 위해 학습하여 사용되며, 보통 학습 대상이 되는 데이터는 데이터베이스에 저장된 방대한 양의 변하지 않는 데이터세트에 대해 학습하는 경우가 대부분이다.

하지만, 데이터세트가 실시간으로 업데이트되는 오픈 데이터 생태계 환경에서의 학습 대상 데이터가 시계열 특성을 가진 데이터일 경우, 기존 데이터세트에 대해 학습한 딥 러닝 모델을 이용해 새롭게 추가된 데이터를 추론하면 모델의 정확도가 낮아지며, 실시간 변화 데이터 특성을 반영하기 위해 모델을 다시 학습해야 한다.

실시간 변화 데이터 특성을 위한 학습 기반 모델 중 일반적인 방법으로는 새로 추가된 데이터세트를 활용해 재학습 및 모델 업데이트를 진행하는 증분 학습(incremental learning) 방법이 있으며, 증분 학습의 가장 큰 목표는 실시간 변화를 가지는 데이터 특성으로부터 굳건하고 유연한 딥 러닝 모델을 형성하도록 하는 것에 있다.

또한, 최근 연구에서는 새로운 데이터나 클래스를 학습하도록 하는 효과적인 기술들이 연구되었는데, 정규화에 기초한 경사치(gradient)를 이용할 경우, 데이터가 증가하는 환경에서 기존 데이터와 새로운 데이터를 학습시키는 데 좋은 성능이 나타나는 것을 보였으며, 언어 변화 환경과 같이 시간, 순서에 따라 의미가 크게 변하는 특성을 가진 시계열 데이터에 위의 방법을 적용하기 위해서는 대표 임베딩 벡터를 추출하는 방법이 존재한다.

임베딩(embedding)이란 특정 데이터의 의미를 가지는 다차원의 벡터로 표현하는 것을 의미하며, 대상의 속성을 다차원의 벡터로 표현하는 방식인 특성 표현(feature representation) 중 밀집 표현(dense representation, 또는 분산 표현(distributed representation))에 해당하는 기법이다. 임베딩 기법은 보통 자연어 처리를 위해 자주 사용되며, 해당 속성이 가질 수 있는 모든 경우의 수만큼의 각각의 독립적인 차원으로 표현하는 희소 표현(sparse representation(one-hot encoding)) 기법과는 달리, 사용자가 정한 개수의 차원으로 데이터의 속성을 표현할 수 있으며, 각각의 속성은 독립적인 차원으로 나타내지 않는다.

(문헌 1) R. Polikar, L. Upda, S. S. Upda, and V. Honavar, "Learn++: An incremental learning algorithm for supervised neural networks," IEEE transactions on systems, man, and cybernetics, part C (applications and reviews), vol. 31, no. 4, pp. 497-508, 2001. (문헌 2) O. Levy and Y. Goldberg, "Neural word embedding as implicit matrix factorization," in Advances in neural information processing systems, 2014, pp. 2177-2185. (문헌 3) Y.-Y. Chang, F.-Y. Sun, Y.-H. Wu, and S.-D. Lin, "A memory-network based solution for multivariate time-series forecasting," arXiv preprint arXiv:1809.02105, 2018.

본 발명의 실시예는 다중 분산 데이터베이스 환경에서 이종 데이터세트를 시계열 기준으로 병합해 생성한 입력 스트림에 대해 임베딩 벡터를 생성한 후에 적응적으로 모델 학습 또는 모델 추론에 반영하는 딥 러닝 학습 장치 및 방법을 제공한다.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

제 1 관점에 따른 다중 분산 데이터베이스 환경에서 딥 러닝 학습 장치가 수행하는 딥 러닝 학습 방법은, 다중 분산 데이터베이스의 이종 데이터세트를 시계열 기준으로 병합하여 모델 학습을 위한 입력 스트림을 생성하는 단계와, 상기 입력 스트림에 대한 임베딩 벡터를 생성하는 단계와, 상기 임베딩 벡터를 딥 러닝 모델의 학습과 기학습된 딥 러닝 모델을 통한 추론 중 적어도 하나에 적응적으로 반영하는 단계를 포함한다.

제 2 관점에 따른 딥 러닝 학습 장치는, 다중 분산 데이터베이스의 이종 데이터세트를 입력 받는 입력부와, 상기 이종 데이터세트를 이용한 딥 러닝 모델의 학습 또는 추론을 수행하는 프로세서부를 포함하고, 상기 프로세서부는, 상기 이종 데이터세트를 시계열 기준으로 병합하여 모델 학습을 위한 입력 스트림을 생성하고, 상기 입력 스트림에 대한 임베딩 벡터를 생성하며, 상기 임베딩 벡터를 상기 딥 러닝 모델의 학습과 기학습된 딥 러닝 모델을 통한 추론 중 적어도 하나에 적응적으로 반영한다.

제 3 관점에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 상기 컴퓨터 프로그램이, 프로세서에 의해 실행되면, 다중 분산 데이터베이스의 이종 데이터세트를 시계열 기준으로 병합하여 모델 학습을 위한 입력 스트림을 생성하는 단계와, 상기 입력 스트림에 대한 임베딩 벡터를 생성하는 단계와, 상기 임베딩 벡터를 딥 러닝 모델의 학습과 기학습된 딥 러닝 모델을 통한 추론 중 적어도 하나에 적응적으로 반영하는 단계를 포함하는 딥 러닝 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.

제 4 관점에 따른 컴퓨터 판독 가능 기록매체에 저장되어 있는 컴퓨터 프로그램은, 상기 컴퓨터 프로그램이, 프로세서에 의해 실행되면, 다중 분산 데이터베이스의 이종 데이터세트를 시계열 기준으로 병합하여 모델 학습을 위한 입력 스트림을 생성하는 단계와, 상기 입력 스트림에 대한 임베딩 벡터를 생성하는 단계와, 상기 임베딩 벡터를 딥 러닝 모델의 학습과 기학습된 딥 러닝 모델을 통한 추론 중 적어도 하나에 적응적으로 반영하는 단계를 포함하는 딥 러닝 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.

본 발명의 실시예에 의하면, 다중 분산 데이터베이스 환경에서 이종 데이터세트의 임베딩 벡터를 이용한 딥 러닝 학습 방법은 오픈 데이터 생태계에서 추구하는 실시간 공유 데이터의 유통과 딥 러닝을 통한 데이터 서비스 활용에 있어서, 시간 변화에 따른 시계열 데이터 특성을 추가 학습하는 증분 학습 방법을 적용하여 실시간으로 업데이트되는 데이터세트의 정보도 추가로 학습하여 빠르게 학습할 수 있다.

또한, 다중의 분산 데이터베이스로부터 실시간으로 업데이트되는 이종 데이터세트가 상이한 도착률을 가지며 딥 러닝 학습의 입력으로 주어질 때, 데이터를 임베딩을 통해 차원을 축소하여 벡터의 형태로 대푯값을 구성하여 추후 새로운 데이터에 대해 정규화 된 기울기를 구성하여 재학습을 하고, 동시에 추론 요청이 있을 때 해당 임베딩 벡터를 통해 현재 추론 데이터에 밀접한 데이터를 선행으로 재학습하여 추론 정확도를 높일 수 있다.

도 1은 본 발명의 실시예에 따른 딥 러닝 학습 장치 및 방법을 적용할 수 있는 다중 분산 데이터베이스 환경을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 딥 러닝 학습 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 딥 러닝 학습 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 다중 분산 데이터허브로부터 발생하는 데이터세트 업데이트 스트림으로부터 딥 러닝 스케줄링 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 다른 딥러닝 모델 학습에서 학습 태스크 데이터 스트림을 기반으로 가중 경사치 및 임베딩 벡터를 생성하여 예측 스트림을 생성하는 과정을 설명하기 위한 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, 포함하다’ 또는 ‘구성하다’ 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

다중의 분산 데이터베이스로부터 입력되는 스트림 데이터를 머신러닝 혹은 딥 러닝 기법을 통하여 시계열 처리를 수행할 시(regressor or predictor), 일반적으로 과거에 발생한 정보들을 일괄적으로 수집, 데이터세트 정형화, 저장한 후 해당 데이터세트에 대해 학습을 수행한다. 하지만 시변 특성을 가지는 비정상(non-stationary)확률 과정을 따르는 데이터가 입력으로 주어지는 경우에, 변화하는 특성으로 인해 학습과 추론 사이의 지연 시간에 비례하여 추론 오류가 점차 커지는 문제가 발생한다. 실시간 변화 데이터 특성을 위한 학습 기반의 모델들을 위한 가장 흔한 방법은 새로운 데이터세트를 가지고 재훈련 및 모델 업데이트를 진행하는 것이다. 종래 기술에서는 실시간으로 변화하는 데이터의 특성을 학습하기 위하여 점진 학습(incremental learning)을 통해 실시간으로 입력되는 데이터에 대한 재학습을 통하여 해당 문제를 해결하고자 하였다. 점진 학습은 전체 데이터세트에 대해 한번만 학습시키는 것이 아닌 들어오는 새로운 데이터 성질을 가지는 스트림 데이터를 모델에 점진적으로 계속해서 학습시키는 온라인 학습 방법이다. 하지만 과도하게 최신의 데이터의 특성을 학습함에 따라 데이터의 분포도가 비교적 크게 변하지 않는 상황에서만 효과적이고, 데이터 분포도가 크게 변하는 상황에서는 학습 불안정성과 일반화 오차가 증가하여 학습 수렴 속도가 감소하는 문제가 있으며 노이즈에 취약하다. 즉 데이터베이스로부터의 시계열 분포도 변화 정도에 따라 학습 수렴 속도, 정확도 성능이 큰 영향을 받을 수 있다.

또한 다중의 분산 데이터베이스로부터 입력되는 시계열 데이터가 각기 다른 도착률(arrival rate)을 가지고 입력 될 시, 편향된 데이터 분포도(skewed data distribution)로 인한 입력 데이터의 변동을 발생하게 하여 학습의 정확도가 감소하게 되는 문제가 있다. 다중의 랜덤 프로세스로부터 입력되는 데이터를 시간 순으로 정렬하여 딥 러닝 모델의 입력으로 취합될 시 인접한 데이터 간의 상이한 정도가 원본의 데이터세트 보다 크게 증가한다. 부분적 데이터를 학습하는 점진 학습의 특성으로 인해서 최근의 시변 특성에 과적합(over-fitting)하는 경우에, 다중 분산 데이터베이스 환경에서는 성능과 안정도는 더욱 감소하게 되는 문제점이 있다. 종래 기술에서는 이미 학습시킨 데이터를 소량 저장해두었다가, 실시간 학습 시 정규화에 기초한 경사법을 통해 기존의 학습하였던 모델 최적화 과정에 사용될 기울기를 반영해 기존 데이터와 새로운 데이터를 학습시키는 데 좋은 성능이 나타나는 것을 보였다. 종래 기술은 분류 문제에 주로 적용하였지만, 학습과 추론이 동시에 일어나는 환경을 고려하지 않았다.

본 발명에서는 다중 분산 데이터베이스로부터 입력되는 복합 데이터세트에 대한 시계열의 학습과 추론이 동시에 일어나는 환경에서 데이터 시변 특성 변화 정도에 적응적이면서도 다중 분산 데이터베이스 입력에 대해서도 단기 입력에 대해 과적합 되지 않는 실시간 학습 및 추론 모델을 제안한다.

본 발명에서는 종래 기술의 문제점을 해결하기 위하여 다중 분산 데이터베이스로부터 입력되는 복합 데이터세트에 대한 시계열의 학습과 추론이 동시에 일어나는 환경을 고려하여 데이터의 임베딩한 벡터를 통해 크게 변하는 편향된 데이터 분포도에 대해 정규화 기반 경사법을 통해 이전에 학습한 정보를 현재 학습하려는 정보에 반영할 때 벡터의 값을 패턴 기반으로 효과적으로 반영하는 방법과, 임베딩 벡터를 통해 현재 추론하고자 하는 데이터 특성에 적합한 모델 재학습 기반의 온라인 추론 방법을 포함한다.

도 1은 본 발명의 실시예에 따른 딥 러닝 학습 장치 및 방법을 적용할 수 있는 다중 분산 데이터베이스 환경을 나타낸 도면이다. 도 1에 나타낸 바와 같이 복수의 데이터베이스가 네트워크 상에 분산 배치된 다중 분산 데이터베이스 환경에 본 발명의 실시예에 따른 딥 러닝 학습 장치 및 방법을 적용할 수 있다.

도 2는 본 발명의 실시예에 따른 딥 러닝 학습 장치의 구성도이다.

도 2를 참조하면, 실시예에 따른 딥 러닝 학습 장치(100)는 입력부(110) 및 프로세서부(120)를 포함한다. 그리고, 딥 러닝 학습 장치(100)는 저장부(130) 및/또는 출력부(140)를 더 포함할 수 있다.

입력부(110)는 다중 분산 데이터베이스의 이종 데이터세트를 입력 받는다. 그리고, 입력부(110)는 데이터 추론을 요청받을 수 있다. 이러한 입력부(110)는 다중 분산 데이터베이스에 통신망을 통해 접속되는 통신모듈을 포함할 수 있다. 또는 입력부(110)는 다중 분산 데이터베이스에 통신망을 통해 접속된 별도의 통신모듈에 연결된 인터페이스를 포함할 수 있다.

프로세서부(120)는 이종 데이터세트를 이용한 딥 러닝 모델의 학습 또는 추론을 수행한다. 여기서, 프로세서부(120)는 이종 데이터세트를 시계열 기준으로 병합하여 모델 학습을 위한 입력 스트림을 생성하고, 입력 스트림에 대한 임베딩 벡터를 생성하며, 임베딩 벡터를 딥 러닝 모델의 학습과 기학습된 딥 러닝 모델을 통한 추론 중 적어도 하나에 적응적으로 반영한다.

예를 들어, 프로세서부(120)는 임베딩 벡터를 통해 기울기를 계산할 수 있고, 기울기를 이용하여 딥 러닝 모델의 파라미터를 학습시킬 수 있다. 예컨대, 프로세서부(120)는 기울기를 계산할 때 패턴 기반의 정규화를 적용해 기울기를 계산할 수 있고, 정규화를 적용한 기울기를 이용하여 딥 러닝 모델의 파라미터를 학습시킬 수 있다.

예를 들어, 프로세서부(120)는 임베딩 벡터를 기반으로 데이터 특성이 추론 처리 요구사항에 맞는 데이터를 선별할 수 있고, 선별된 데이터에 대해 기학습된 딥 러닝 모델의 파라미터를 재학습시킬 수 있으며, 재학습시킨 딥 러닝 모델을 통해 데이터 추론을 수행할 수 있다.

저장부(130)에는 프로세서부(120)가 본 발명의 실시예에 따른 딥 러닝 학습 방법을 수행할 수 있도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램이 저장될 수 있다. 그리고, 저장부(130)는 프로세서부(120)에 의한 각종 처리 결과를 저장할 수 있다.

출력부(140)는 프로세서부(120)에 의한 각종 처리 결과를 출력할 수 있다. 예를 들어, 출력부(140)는 다중 분산 데이터베이스에 통신망을 통해 접속되는 통신모듈을 포함할 수 있다. 또는 출력부(140)는 다중 분산 데이터베이스에 통신망을 통해 접속된 별도의 통신모듈에 연결된 인터페이스를 포함할 수 있다.

도 3은 본 발명의 실시예에 따른 딥 러닝 학습 방법을 설명하기 위한 흐름도이다. 이러한 도 3은 딥 러닝 학습 방법에 대해 아래에서 자세히 살펴볼 때에 참조하기로 한다.

도 4는 본 발명의 실시예에 따른 다중 분산 데이터허브로부터 발생하는 데이터세트 업데이트 스트림으로부터 딥 러닝 스케줄링 방법을 설명하기 위한 예시도이다. 도 4에 나타낸 바와 같이, 다중 데이터베이스로부터 발생한 업데이트는 데이터 발생이나 전송 편차 등에 의해 상이한 도착률을 가질 수 있음을 보인다. 빅데이터 학습 시스템은 온라인 업데이트 데이터로부터 도착률에 의해 발생하는 편차를 제거하기 위해 데이터셋 스트림으로부터 임베딩 벡터를 생성하고, 생성된 임베딩 벡터를 통해 패턴 기반의 기울기 정교화(Gradient Optimization)를 수행, 이후 임베딩 벡터를 통한 온라인 추론 과정을 통해 업데이트된 데이터세트를 딥 러닝 서비스 모델에 학습시킨다.

도 5는 본 발명의 실시예에 다른 딥러닝 모델 학습에서 학습 태스크 데이터 스트림을 기반으로 가중 경사치 및 임베딩 벡터를 생성하여 예측 스트림을 생성하는 과정을 설명하기 위한 예시도이다. 다중 분산 데이터베이스로부터 상이한 도착률을 가지는 입력 스트림이 딥러닝 학습의 입력으로 주어질 때, 데이터를 임베딩을 통해 차원을 축소하여 벡터의 형태로 대푯값을 구성하여 추후 새로운 데이터에 대해 정규화 된 기울기를 구성하여 재학습을 하고, 동시에 추론 요청이 있을 때 해당 임베딩 벡터를 통해 현재 추론 데이터에 밀접한 데이터를 선행으로 모델 재학습을 수행하는 절차를 보여준다.

이하, 도 1 내지 도 5를 참조하여 본 발명의 실시예에 따른 딥 러닝 학습 장치(100)가 딥 러닝 학습을 수행하는 과정과 학습된 딥 러닝 모델을 통해 데이터 추론을 수행하는 과정에 대해 살펴보기로 한다.

본 발명의 이종 데이터세트에 대한 임베딩 벡터 적용을 통한 딥 러닝 학습 알고리즘은 시계열 학습, 추론이 동시에 발생하는 모델을 고려하여, 학습의 안정성을 높일 수 있는 대표 임베딩 값들을 벡터로 도출하여 학습과 추론에 적응적으로 반영하는 기법을 제안한다. 다중의 학습 데이터세트

의 입력(S210)과 함께 추론 요청

가 딥 러닝 학습 모델에 주어질 때(S240), 학습 및/또는 추론 알고리즘이 동작한다. 학습 데이터세트에서 취합 된 학습 입력 데이터

의 연속 된 값으로부터 임베딩함수를 통해 스칼라(Scalar) 값을 도출하고, 분포도가 높은 입력의 대표 벡터값인 임베딩 벡터를 도출한다(S220, S230). 학습 시에는 임베딩 벡터를 통한 기울기를 계산한 후(S250), 계산된 기울기를 이용하여 딥 러닝 모델의 파라미티를 학습한다(S260. 추론 요청이 들어올 경우에는 임베딩 벡터를 기반으로 최적의 데이터를 선별한 후(S270), 딥러닝 모델을 재학습을 수행하고(S280), 재학습된 딥 러닝 모델에 대해 추론하는 과정을 수행한다(S290).

실시간으로 업데이트 되는 딥러닝 학습 모델에 대해, i번째 입력되는 데이터세트는 입력

과 타겟

으로 이루어지며 n는 데이터 인스턴스의 수, p은 데이터의 차원이다. 학습을 위해 입력되는 데이터세트는 각기 다른 분산 데이터베이스 원천(

)으로부터 제공된 데이터로 도착한 순서를 가지고 정렬을 하면 다음의 수학식 1과 같은 학습 데이터세트로 구성할 수 있다.

[수학식 1]

또한 동시에 각기 다른 분산 데이터베이스 원천(

)으로부터 도착하는 추론 요청은 i번째의 학습이 수행 된 후, 다음 입력 i+1에 대하여 입력 X에 대한 추론 값을 찾는 것을 목적으로 하며, 추론 요청은 다음의 수학식 2와 같이 표현할 수 있다.

[수학식 2]

학습 데이터세트에서 취합 된 학습 입력 데이터

의 k번째 값에 대해서 고차원의

를 적은 차원, 혹은 Scalar의 값으로 변환하는 임베딩을 적용한다 (

.

,

). 임베딩을 적용하기 위한 방법으로는 자연어 처리에서 워드 임베딩, 시계열 데이터에 대한 코사인 유사도, 다차원 데이터에 대한 차원 감소 기법을 사용할 수 있다 (Auto Encoder, PCA 등).

[수학식 3]

본 발명에서는 실용예로써 시계열 데이터에 대한 코사인 유사도 방법을 보인다. 모든 축으로부터 같은 거리에 있는

벡터 기준으로 p차원의 데이터와 코사인 연산을 통해 두 벡터의 유사도를 구할 수 있으며, 기준 벡터를 기준으로 떨어진 정도를 정량화하여 값의 대표 특성으로 분석할 수 있다.

[수학식 4]

임베딩 벡터

는 i번째 까지의 학습 과정에서 입력된 데이터를 편향되지 않는 고른 분포를 가지도록 유지하는 임베딩 값을 기준으로 분류한 대표 벡터로써 기존의

과

를 통해 구성된다. 이를 위하여 먼저는 두 벡터를 합치기 위해 벡터의 합성을 수행한다.

[수학식 5]

유한개의 대푯값을 구하기 위해

의 최대 크기인 h를 넘지 않도록 (

)하는 값을 구간별로 찾는다. 임베딩의 값이 작은 (코사인 거리가

에 가까운) 순서부터 큰 순서로 올라가면서 반복적으로 대표 입력값을 다음과 같이 탐색한다. 해당 임베딩 범주의 j 번째 구간에 들어가는 입력값들을 다음과 같이 분류할 수 있다.

[수학식 6]

이 때, 해당 구간의 값들 중 랜덤하게 선택하여 대푯값을 선정할 수 있다.

중에서 랜덤으로 하나의 값을 선택하는 함수를

이라고 하고 해당 값이 원래의 집합

에서의 인덱스를 찾아내는 함수를

라고 하였을 때, 임베딩 벡터는 다음과 같이 구할 수 있다.

[수학식 7]

임베딩 벡터를 구성한 후, 학습에서 해당 벡터를 이용해 정규화를 적용한 기울기를 적용하는 방법에 대해 기술한다. 현재 작업에 대한 기울기는 다음과 같이 계산한다.

[수학식 8]

또한 임베딩 벡터에 대한 기울기는 다음과 같이 계산한다. 이 때,

는

에 대한 타겟값으로 [수학식 7]를 계산할 때

에 대해서 구한 항목이다.

[수학식 9]

이 때, 정규화 된 기울기는 다음과 같이 계산 할 수 있다.

[수학식 10]

정규화 된 기울기를 이용하여 딥러닝 모델의 파라메터를 학습하기 위한 실시예로 Adam Optimizer를 통한 파라메터 업데이트 과정을 기술한다. 먼저 최적화기(optimizer)의 이전 최적화과정 (i-1)의 일차모멘텀

과 현재 기울기

를 사용자에 의해 정의된 하이퍼파라미터

비율로 새로운 일차모멘텀

를 업데이트한다.

[수학식 11]

이차모멘텀은 사용자에 의해 정의된

의 비율로 이전 최적화과정 (i-1)의 이차모멘텀

과 현재 기울기 제곱인

에서 새로운 이차모멘텀

를 업데이트한다.

[수학식 12]

Adam optimizer는 여러 번의

비율로 업데이트로 인해

만큼 bias생긴 momentum의 영향을 줄이기 위해 [수학식 13]과 [수학식 14] 과정처럼 현재 모멘텀들,

과

, 에서

를 나누는 보정 과정을 거침

[수학식 13]

[수학식 14]

최종 업데이트는 상기 값들로 일정한 기울기 변화량을 반영하기 위해 비율 만큼의 [수학식 13]의 값을 [수학식 14]의 값으로 나눈 값을 빼는 방법으로 현재 파라미터

를 업데이트하고 있다.

[수학식 15]

입력된 i번째 데이터세트에 대한 딥러닝 파라미터 업데이트를 통해

를 구했을 때, 동시에 입력되는

에 대한 추론 성능을 극대화하기 위해서는 정규화로 인한 최신의 데이터 특성을 딥러닝 네트워크로 다시 재학습 시킬 수 있다. 이를 위하여 임베딩 벡터

로부터 추론 입력

에 대한 임베딩 벡터로부터의 저장 기억 복구를 위해

와 가장 유사한 과거의 데이터 입력을 쿼리한다.

[수학식 16]

해당

를 통하여 딥러닝 모델의 파라메터를 정규화 하지 않은 상태의 재학습함을 통하여 개선 된 파라메터

값을 구한다. 최종적으로 개선된 딥러닝 모델 파라메터를 통해 추론을 진행한다. 해당 과정은 추론 데이터에 대해 반복적으로 진행할 수 있다.

[수학식 17]

본 발명은 다중 분산 데이터베이스로부터 입력되는 이종 복합 데이터세트에 대한 시계열의 학습과 추론이 동시에 일어나는 환경을 고려하여 데이터의 임베딩 벡터를 통해 크게 변하는 편향된 데이터 분포도에 대해 정규화 기반 경사법을 통해 이전에 학습한 정보를 현재 학습하려는 정보에 반영할 때 벡터의 값을 패턴 기반으로 효과적으로 반영하는 방법과, 임베딩 벡터를 통해 현재 추론하고자 하는 데이터 특성에 적합한 모델 재학습 기반의 온라인 추론 방법을 포함에 관한 것으로, 다중의 분산 데이터베이스 입력 스트림으로부터의 임베딩 벡터 생성 단계, 임베딩 벡터를 통한 패턴 기반의 기울기 정교화 단계, 임베딩 벡터를 통한 온라인 추론 단계 등을 포함할 수 있다. 이로써, 상이한 도착률로 업데이트되는 이종 복합 데이터세트의 시간 변화 데이터 특성을 반영하여 모델을 업데이트할 수 있고, 추론 정확도를 높일 수 있다.

한편, 전술한 실시예에 따른 딥 러닝 학습 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.

또한, 전술한 실시예에 따른 딥 러닝 학습 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된, 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 딥 러닝 학습 장치
110: 입력부
120: 프로세서부

Claims (10)

1. 다중 분산 데이터베이스 환경에서 딥 러닝 학습 장치가 수행하는 딥 러닝 학습 방법으로서,
   다중 분산 데이터베이스의 이종 데이터세트를 시계열 기준으로 병합하여 모델 학습을 위한 입력 스트림을 생성하는 단계와,
   상기 입력 스트림에 대한 임베딩 벡터를 생성하는 단계와,
   상기 임베딩 벡터를 딥 러닝 모델의 학습과 기학습된 딥 러닝 모델을 통한 추론 중 적어도 하나에 적응적으로 반영하는 단계를 포함하는
   딥 러닝 학습 방법.
2. 제 1 항에 있어서,
   상기 반영하는 단계는,
   상기 임베딩 벡터를 통해 기울기를 계산하는 단계와,
   상기 기울기를 이용하여 딥 러닝 모델의 파라미터를 학습시키는 단계를 포함하는
   딥 러닝 학습 방법.
3. 제 2 항에 있어서,
   상기 계산하는 단계에서 패턴 기반의 정규화를 적용해 상기 기울기를 계산하고, 상기 학습시키는 단계에서 상기 정규화를 적용한 기울기를 이용하는
   딥 러닝 학습 방법.
4. 제 1 항에 있어서,
   상기 반영하는 단계는,
   상기 임베딩 벡터를 기반으로 데이터 특성이 추론 처리 요구사항에 맞는 데이터를 선별하는 단계와,
   상기 선별된 데이터에 대해 상기 기학습된 딥 러닝 모델의 파라미터를 재학습시키는 단계와,
   상기 재학습시킨 딥 러닝 모델을 통해 데이터 추론을 수행하는 단계를 포함하는
   딥 러닝 학습 방법.
5. 다중 분산 데이터베이스의 이종 데이터세트를 입력 받는 입력부와,
   상기 이종 데이터세트를 이용한 딥 러닝 모델의 학습 또는 추론을 수행하는 프로세서부를 포함하고,
   상기 프로세서부는,
   상기 이종 데이터세트를 시계열 기준으로 병합하여 모델 학습을 위한 입력 스트림을 생성하고, 상기 입력 스트림에 대한 임베딩 벡터를 생성하며, 상기 임베딩 벡터를 상기 딥 러닝 모델의 학습과 기학습된 딥 러닝 모델을 통한 추론 중 적어도 하나에 적응적으로 반영하는
   딥 러닝 학습 장치.
6. 제 5 항에 있어서,
   상기 프로세서부는,
   상기 임베딩 벡터를 통해 기울기를 계산하고, 상기 기울기를 이용하여 딥 러닝 모델의 파라미터를 학습시키는
   딥 러닝 학습 장치.
7. 제 6 항에 있어서,
   상기 프로세서부는,
   상기 기울기를 계산할 때 패턴 기반의 정규화를 적용해 상기 기울기를 계산하고, 상기 정규화를 적용한 기울기를 이용하여 상기 딥 러닝 모델의 파라미터를 학습시키는
   딥 러닝 학습 장치.
8. 제 5 항에 있어서,
   상기 프로세서부는,
   상기 임베딩 벡터를 기반으로 데이터 특성이 추론 처리 요구사항에 맞는 데이터를 선별하고, 상기 선별된 데이터에 대해 상기 기학습된 딥 러닝 모델의 파라미터를 재학습시키며, 상기 재학습시킨 딥 러닝 모델을 통해 데이터 추론을 수행하는
   딥 러닝 학습 장치.
9. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
   상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
   다중 분산 데이터베이스의 이종 데이터세트를 시계열 기준으로 병합하여 모델 학습을 위한 입력 스트림을 생성하는 단계와, 상기 입력 스트림에 대한 임베딩 벡터를 생성하는 단계와, 상기 임베딩 벡터를 딥 러닝 모델의 학습과 기학습된 딥 러닝 모델을 통한 추론 중 적어도 하나에 적응적으로 반영하는 단계를 포함하는 딥 러닝 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.
10. 컴퓨터 판독 가능 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    다중 분산 데이터베이스의 이종 데이터세트를 시계열 기준으로 병합하여 모델 학습을 위한 입력 스트림을 생성하는 단계와, 상기 입력 스트림에 대한 임베딩 벡터를 생성하는 단계와, 상기 임베딩 벡터를 딥 러닝 모델의 학습과 기학습된 딥 러닝 모델을 통한 추론 중 적어도 하나에 적응적으로 반영하는 단계를 포함하는 딥 러닝 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램.
    

Images