[go: up one dir, main page]

KR20190083127A - 단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법 - Google Patents

단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20190083127A
KR20190083127A KR1020180000691A KR20180000691A KR20190083127A KR 20190083127 A KR20190083127 A KR 20190083127A KR 1020180000691 A KR1020180000691 A KR 1020180000691A KR 20180000691 A KR20180000691 A KR 20180000691A KR 20190083127 A KR20190083127 A KR 20190083127A
Authority
KR
South Korea
Prior art keywords
cnn model
cluster
terminals
master terminal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020180000691A
Other languages
English (en)
Inventor
이재길
장광선
이진우
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180000691A priority Critical patent/KR20190083127A/ko
Publication of KR20190083127A publication Critical patent/KR20190083127A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

CNN 모델(Convolution Neural Network model) 학습 시스템으로서, 단말들 각각에 저장된 하나 이상의 이미지들을 이용하여 초기 CNN 모델을 각각 학습시키고, 학습 결과값들을 결정하는 하나 이상의 워커 단말들, 그리고 상기 학습 결과값들을 이용하여 상기 초기 CNN 모델을 업데이트하여 클러스터 CNN 모델을 생성하는 마스터 단말을 포함한다.

Description

단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법{SYSTEM AND METHOD FOR TRAINNING CONVOLUTION NEURAL NETWORK MODEL USING IMAGE IN TERMINAL CLUSTER}
단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 기술에 관한 것이다.
Apple Watch 한대의 성능이 30년 전 슈퍼컴퓨터를 능가할 만큼 단말의 하드웨어 성능은 급격하게 발전하고 있으며, 네트워크를 사용하는 단말의 수 또한 전세계적으로 2015년에만 5억대 정도 증가하여 누적 80억대를 돌파하고 있다. 이로 인해, 단말을 이용하여 고해상도 사진을 촬영하는 모습은 어디서나 찾아볼 수 있을 정도로 일상이 되었고, Google Tensorflow, Facebook Caffe2go, Apple coreML을 활용한 Style Transfer, Translator, 노인의 안전을 위한 AR Google Glass와 같이, 촬영한 사진들을 이용하여 유사한 사진을 검색하거나 사진을 자동으로 분류하는 등의 다양한 서비스가 단말에서 제공되고 있다.
이러한 이미지 처리 분야 서비스의 대부분은 대용량 이미지 데이터 세트를 사용하여 초기 학습한 컨볼루션 뉴럴 네트워크 모델(Convolutional neural network model, CNN model)을 사용한다. 다만, 이러한 초기 CNN 모델은 전반적인 이미지 특성은 포함하고 있지만 특정 도메인 이미지(예를 들면, 특정 단말에 저장된 이미지)의 특성은 반영하지 못한다. 이에, 초기 CNN 모델에 대해 도메인 이미지를 이용하여 추가 학습을 수행하면, 도메인 이미지 데이터 특성을 반영한 모델은 도메인 이미지 데이터 와 유사한 이미지를 검색하는데 있어 초기 CNN 모델보다 향상된 정확도를 보인다.
다만, 이러한 추가 학습은 연산 비용(Computation Cost)이 높기 때문에 단일 단말에서 수행이 불가능하다. 이에 따라 기존의 모바일 이미지 처리 서비스는 단말에서 발생하는 데이터를 외부 서버로 전송하여 작업을 수행하는 오프로딩(Offloading)방법을 사용하여 외부 서버에서 추가 학습을 수행하였다.
그러나, 오프로딩 방법은 이미지 데이터를 외부 서버로 업로드 해야하기 때문에 사용자의 데이터가 소모되고, 전송 시간이 소요되는바 실시간 이미지 검색이 어려운 문제가 있다. 또한, 개인의 사진을 외부 서버에 전송하기 때문에 프리어버시 문제가 발생할 가능성도 존재한다.
본 발명이 해결하고자 하는 과제는 단말 클러스터 내 이미지를 이용한 추가 학습을 외부 서버에서 수행하지 않고, 단말의 클러스터 내에서 데이터 병렬 기반 분산처리 방식을 통해 수행하는 시스템 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 클러스터 내 단말이 저장하는 이미지의 특징을 반영하여 CNN 모델을 학습시키는 시스템 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 CNN 모델(Convolution Neural Network model) 학습 시스템은 단말들 각각에 저장된 하나 이상의 이미지들을 이용하여 초기 CNN 모델을 각각 학습시키고, 학습 결과값들을 결정하는 하나 이상의 워커 단말들, 그리고 상기 학습 결과값들을 이용하여 상기 초기 CNN 모델을 업데이트하여 클러스터 CNN 모델을 생성하는 마스터 단말을 포함한다.
상기 학습 결과값들은 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 변화값들을 포함한다.
상기 파라미터 변화값들은 상기 초기 CNN 모델과 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들이며, 상기 마스터 단말은 상기 파라미터 차이값들의 평균값을 상기 초기 CNN 모델의 파라미터 값에 더함으로써 상기 클러스터 CNN 모델을 생성한다.
상기 마스터 단말은 특정 이미지에 대한 정보를 상기 워커 단말들로 전송하고, 상기 워커 단말들은 상기 마스터 단말로부터 수신한 클러스터 CNN 모델을 이용하여, 상기 워커단말들 각각에 저장된 하나 이상의 이미지들 중에서, 상기 특정 이미지와 유사한 이미지를 상기 마스터 단말로 전송한다.
상기 특정 이미지에 대한 정보는 상기 마스터 단말이 상기 클러스터 CNN 모델을 이용하여 추출한 상기 특정이미지의 특징점을 포함하고, 상기 워커 단말들은 상기 마스터 단말로부터 수신한 상기 클러스터 CNN 모델을 이용하여 단말들 각각에 저장된 하나 이상의 이미지들에 대한 특징점을 각각 추출하고, 상기 단말들 각각에 저장된 하나 이상의 이미지들에 대한 특징점과 상기 마스터 단말로부터 수신한 특징점을 비교하여 상기 마스터 단말로부터 수신한 특징점과 기 설정된 유사도 이상을 가진 하나 이상의 특징점들을 각각 결정하고, 결정한 하나 이상의 특징점들의 유사도를 상기 마스터 단말로 각각 전송하고, 상기 마스터 단말이 상기 워커 단말들로부터 수신한 유사도들 중에서 하나 이상의 유사도를 결정하여 해당 유사도의 특징점을 가진 이미지를 상기 특정 이미지와 유사한 이미지로서 해당 워커 단말에게 요청하면, 상기 특정 이미지와 유사한 이미지를 상기 마스터 단말로 전송한다.
본 발명의 일 실시예에 따른 마스터 단말이 클러스터 CNN 모델을 생성하는 방법은 워커 단말들로부터, 초기 CNN 모델을 각각 학습시킨 학습 결과값들을 수신하는 단계, 그리고 상기 학습 결과값들을 이용하여 상기 초기 CNN 모델을 업데이트하여 클러스터 CNN 모델을 생성하는 단계를 포함하고, 상기 학습 결과값들은 상기 워커 단말들 각각에 저장된 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 변화값들을 포함한다.
상기 파라미터 변화값들은 상기 초기 CNN 모델과 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들이며, 상기 클러스터 CNN 모델을 생성하는 단계는 상기 파라미터 차이값들의 평균값을 상기 초기 CNN 모델의 파라미터 값에 더함으로써 상기 클러스터 CNN 모델을 생성한다.
상기 마스터 단말이 클러스터 CNN 모델을 생성하는 방법은 상기 클러스터 CNN 모델을 상기 워커 단말들로 전송하는 단계, 상기 워커 단말들에게 특정 이미지와 유사한 이미지를 요청하는 요청 메시지를 전송하는 단계, 그리고 상기 워커 단말들로부터 상기 특정 이미지와 유사한 이미지를 수신하는 단계를 더 포함하고, 상기 유사한 이미지는 상기 워커 단말들 각각에 저장된 하나 이상의 이미지들 중에서, 상기 워커 단말들이 상기 클러스터 CNN 모델을 이용하여 결정한 이미지이다.
상기 요청 메시지는 상기 클러스터 CNN 모델을 이용하여 추출한 상기 특정 이미지의 특징점을 포함하고, 상기 유사한 이미지는 상기 워커 단말들 각각에 저장된 하나 이상의 이미지들 중에서, 상기 마스터 단말로부터 수신한 특징점과 기 설정된 유사도 이상을 가진 특징점을 가진 이미지이다.
본 발명의 일 실시예에 따른 하나 이상의 워커 단말들이 초기 CNN 모델을 학습시키는 방법은 초기 CNN 모델을 워커 단말들 각각에 저장된 하나 이상의 이미지들을 이용하여 각각 학습시키는 단계, 학습된 CNN 모델의 학습 결과값들을 각각 결정하는 단계, 그리고 결정한 학습 결과값들을 마스터 단말로 각각 전송하는 단계를 포함한다.
상기 학습시키는 단계는 상기 하나 이상의 이미지들에 따라 상기 초기 CNN 모델의 일부 레이어의 파라미터 값을 변화시킨다.
상기 학습 결과값들은 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 변화값들을 포함한다.
상기 파라미터 변화값들은 상기 초기 CNN 모델과 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들이다.
본 발명에 따르면, 단말의 클러스터 내에서 단말 클러스터 내 이미지를 이용하여 초기 CNN 모델에 대한 추가 학습을 수행함으로써, 오프로딩 방법에 소요되는 데이터 통신 비용 및 전송 시간을 줄일 수 있을 뿐만 아니라 외부 서버 이용시 발생할 수 있는 프라이버시 문제도 방지할 수 있다.
또한, 본 발명에 따르면, 클러스터 내 단말이 저장하는 이미지의 특징을 반영하여 초기 CNN 모델을 학습시키는바, 단말에 저장된 이미지를 처리하는데 있어 정확도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 CNN 모델 학습 시스템의 구조도이다.
도 2는 본 발명의 실시예에 따른 외부 서버가 초기 학습을 수행하는 방법을 도시하는 도면이다.
도 3은 본 발명의 실시예에 따른 워커 단말들이 초기 CNN 모델을 학습시키는 방법을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 단말 클러스터가 CNN 모델을 학습시키는 방법을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 단말 클러스터가 CNN 모델을 학습시키는 다른 방법을 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 클러스터 CNN 모델을 이용하여 특정 이미지와 유사한 이미지를 검색하는 단말 클러스터의 구조도이다.
도 7은 본 발명의 실시예에 따른 클러스터 CNN 모델을 이용하여 특정 이미지와 유사한 이미지를 검색하는 방법을 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 워커 단말이 선형 검색법으로 특징점 간에 비교 검색을 진행하는 방법을 설명한 도면이다.
도 9는 본 발명의 실시예에 따른 워커 단말이 KD 트리 검색을 통해 유사한 특징점들을 결정하는 방법을 설명한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 초기 CNN 모델에 대한 학습을 단말에서 수행하기 위한 시스템 및 방법에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 CNN 모델 학습 시스템의 구조도이다.
도 1을 참고하면, CNN 모델 학습 시스템(1000)은 외부 서버(100) 및 단말 클러스터(200)를 포함한다.
외부 서버(100)는 CNN 학습 알고리즘을 사용하여, 입력된 대용량 이미지를 통해 초기 학습을 수행하는 서버를 지칭하며, 초기 학습에 대한 자세한 내용은 도 2를 통해 설명한다.
도 2는 본 발명의 실시예에 따른 외부 서버가 초기 학습을 수행하는 방법을 도시하는 도면이다.
도 2를 참고하면, 외부 서버(100)는 특징점 추출 알고리즘을 이용하여 컨볼루션 레이어(Convolution Layer) 및 풀리 커넥티드 레이어(Fully Connected Layer)를 통해 이미지에 대한 초기 학습을 수행한다. 초기 학습 결과 추출된 특징점은 이미지의 특성을 표현하는 수로서 표현될 수 있다. 입력된 이미지에 대해 특징점 추출 알고리즘을 통해 특징점을 추출하는 방법은 이미 공지된 기술이므로 본 명세서에서는 자세한 설명은 생략한다.
외부 서버(100)에 의해 생성된 초기 CNN 모델은 이미지의 전반적인 특성을 포함한다.
다시 도 1로 돌아가면, 외부 서버(100)는 생성한 CNN 모델을 단말 클러스터(200)에 포함된 마스터 단말(210) 및 워커 단말들(221 및 222)로 전송한다.
단말 클러스터(200)는 마스터 단말(210) 및 워커 단말들(221 및 222)을 포함하며, 각 단말은 예를 들면, 스마트폰, 태블릿 PC, PDA, PMP 등일 수 있다.
단말 클러스터(200) 내에서 마스터 단말(210) 또는 워커 단말들(221 및 222)인지 여부는 임의로 결정될 수 있거나, 클러스터 내 각 단말의 가용 자원에 따라 결정될 수도 있다.
마스터 단말(210)과 워커 단말들(221 및 222)은 상호 간 유선 또는 무선 통신할 수 있는 통신 그룹을 형성한다.
비록 도 1에서는 워커 단말들(221 및 222)이 2대가 도시되었으나, 구현예에 따라 데이터 병렬 기반 분산처리 방식을 위해 2이상의 워커 단말로 구성될 수도 있고, 하나의 워커 단말에 의해 추가 학습이 수행될 수도 있다.
외부 서버(100)로부터 수신한 초기 CNN 모델은 단말 클러스터(200) 내 단말 각각에 저장된 도메인 데이터의 속성이 학습되지 않은 한계가 있다. 따라서, 단말 클러스터(200)는 초기 CNN 모델에 대해 추가 학습을 수행한다.
구체적으로, 워커 단말들(221 및 222)은 단말들 각각에 저장된 하나 이상의이미지들을 이용하여, 초기 CNN 모델을 각각 학습시킨다.
도 3은 본 발명의 실시예에 따른 워커 단말들이 초기 CNN 모델을 학습시키는 방법을 도시한 도면이다.
도 3을 참고하면, 워커 단말들(221 및 222)은 제한된 컴퓨팅 자원을 가지고 있기 때문에, 학습 연산량을 최소화 하고자, 워커 단말들 각각에 저장된 하나 이상의 이미지들에 따라 초기 CNN 모델의 일부 레이어의 파라미터 값을 변화시키는 방법으로 초기 학습을 수행할 수 있다.
이 경우, 워커 단말들(221 및 222)은 추가 학습을 진행하기 위해 각각에 저장된 하나 이상의 이미지들을 추가 학습용 학습 데이터셋으로 변형하는 과정을 먼저 수행할 수 있다.
일 실시예에서, 워커 단말들(221 및 222)은 단말들 각각에 저장된 이미지들을 이용하여, 초기 CNN 모델의 컨볼루션 레이어(Convolution Layer)의 파라미터 값은 고정시키고, 풀리 커넥티드 레이어(Fully Connected Layer)에 대해서만 추가 학습을 수행하여 풀리 커넥티드 레이어의 파라미터 값만을 변경하도록 할 수 있다.
다른 실시예에서, 워커 단말들(211 및 222)은 초기 CNN 모델에 이미지 특징점으로 사용할 풀리 커넥티드 레이어 1개를 추가하고, 연산량을 줄이기 위하여 컨볼루션 레이어 1개와 풀리 커넥티드 레이어 2개, 총 3개의 레이어만 추가 학습을 진행할 수 있다.
이외에도 사용자의 설정에 따라 다양한 형태로 초기 CNN 모델의 일부 레이어에 대해서만 추가 학습을 수행할 수 있다.
참고로, 도 3의 이미지 특징점을 살펴보면, 도 2의 "7 4 2 2 1"에서 "9 6 3 4 6"으로 변화하였는바, 추가 학습을 수행한 레이어의 파라미터가 변경되었음을 확인할 수 있다.
다시 도 1로 돌아가면, 워커 단말들(221 및 222)은 학습된 CNN 모델의 학습 결과값들을 각각 결정한다.
구체적으로, 워커 단말들(221 및 222) 각각이 결정한 학습 결과값들은 초기 CNN 모델과 이미지 세트를 이용하여 학습된 CNN 모델들의 파라미터 변화값들을 포함한다.
예를 들면, 워커 단말들(221 및 222)은 초기 CNN 모델과 학습된 CNN 모델의 각 레이어 별 파라미터 변화값들을 결정하고, 이를 종합하여 CNN 모델 단위의 파라미터 변화값을 결정할 수 있다. 이 경우, 파라미터 값이 고정된 레이어는 파라미터 변화값이 없기 때문에 추가 학습을 수행한 레이어에 해당하는 파라미터 변화값들만 결정한다.
이 경우, 파라미터 변화값들은 초기 CNN 모델과 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들이거나, 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 최종값들일 수 있다.
워커 단말들(221 및 222)은 파라미터 변화값을 포함하는 학습 결과값을 마스터 단말(210)로 각각 전송한다.
마스터 단말(210)은 워커 단말들(221 및 222) 각각으로부터 수신한 학습 결과값들을 이용하여 초기 CNN 모델을 업데이트하여 클러스터 CNN 모델을 생성한다.
파라미터 변화값들이 초기 CNN 모델과 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들인 경우, 마스터 단말(210)은 파라미터 차이값들의 평균을 초기 CNN 모델의 파라미터 값에 더함으로써 클러스터 CNN 모델을 생성한다.
파라미터 변화값들이 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 최종값들인 경우, 마스터 단말(210)은 초기 CNN 모델의 파라미터 값을 수신한 CNN 모델들의 파라미터 최종값들으로 대체하여 클러스터 CNN 모델을 생성할 수도 있다.
또한, 단말 클러스터(200)는 상기 과정을 반복 수행함으로써, 단말 클러스터CNN 모델을 지속적으로 업데이트 시킬 수 있다.
클러스터 CNN 모델이 생성된 이후, 단말 클러스터(200)는 클러스터 CNN 모델을 이용하여 특정 이미지와 유사한 이미지를 검색한다.
구체적으로, 마스터 단말(210)은 생성한 클러스터 CNN 모델을 워커 단말들(221 및 222)로 전송한다.
또한, 마스터 단말(210)은 특정 이미지에 대한 정보를 워커 단말들(221 및 222)로 전송한다. 이 경우, 특정 이미지에 대한 정보는 마스터 단말(210)이 클러스터 CNN 모델을 이용하여 추출한 특정이미지의 특징점을 포함할 수 있다.
워커 단말들(221 및 222)은 마스터 단말(210)로부터 수신한 클러스터 CNN 모델을 이용하여, 워커 단말들(221 및 222) 각각에 저장된 하나 이상의 이미지들 중에서, 특정 이미지와 유사한 이미지를 마스터 단말(210)로 전송한다.
구체적으로, 워커 단말들(221 및 222)은 마스터 단말(210)로부터 수신한 클러스터 CNN 모델을 이용하여 단말들 각각에 저장된 하나 이상의 이미지들에 대한 특징점을 각각 추출한다.
이후, 워커 단말들(221 및 222)은 단말들 각각에 저장된 하나 이상의 이미지들에 대한 특징점과 마스터 단말(210)로부터 수신한 특징점을 비교하여 마스터 단말(210)로부터 수신한 특징점과 기 설정된 유사도 이상을 가진 하나 이상의 특징점들을 각각 결정하고, 결정한 하나 이상의 특징점들의 유사도를 마스터 단말(210)로 각각 전송한다.
마스터 단말(210)이 수신한 유사도들 중에서 하나 이상의 유사도를 결정하여 해당 유사도의 특징점을 가진 이미지를 특정 이미지와 유사한 이미지로서 해당 워커 단말에게 요청하면, 해당 워커 단말은 특정 이미지와 유사한 이미지를 마스터 단말(210)로 전송한다.
도 4는 본 발명의 실시예에 따른 단말 클러스터가 CNN 모델을 학습시키는 방법을 도시한 도면이다.
도 4를 참고하면, 외부 서버(100)는 대용량 이미지를 이용하여 초기 CNN 모델을 생성하고(S100), 초기 CNN 모델을 마스터 단말(210) 및 워커 단말들(221 및 222)로 전송한다(S101).
다른 실시예에서, 외부 서버(100)는 마스터 단말(210)에만 초기 CNN 모델을 전송하고, 마스터 단말(210)이 워커 단말들(221 및 222)로 초기 CNN 모델을 전송할 수도 있다.
워커 단말들(221 및 222)은 각각에 저장된 하나 이상의 이미지들을 이용하여, 수신한 초기 CNN 모델을 각각 학습시킨다(S103).
워커 단말들(221 및 222)은 학습된 CNN 모델의 학습 결과값들을 각각 결정한다(S105). 이 경우, 학습 결과값들은 초기 CNN 모델과 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 변화값들을 포함할 수 있다.
이 경우, 워커 단말들(221 및 222) 각각에 저장된 이미지 세트가 모두 상이한바, 워커 단말들(221 및 222) 각각이 결정한 파라미터 변화값은 모두 상이할 수 있다.
워커 단말들(221 및 222)은 결정한 학습 결과값을 마스터 단말(210)에 각각전송한다(S107). 이 경우, 파라미터 변화값들은 초기 CNN 모델과 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들이거나, 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 최종값들일 수 있다.
마스터 단말(210)은 수신한 학습 결과값들을 이용하여, 초기 CNN 모델을 업데이트하여 클러스터 CNN 모델을 생성한다(S109). 이로써, 마스터 단말(210)은 워커 단말들(221 및 222) 각각에 저장된 도메인 이미지의 속성을 학습한 CNN 모델을 획득할 수 있다.
파라미터 변화값들이 초기 CNN 모델과 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들인 경우, 마스터 단말(210)은 파라미터 차이값들의 평균을 초기 CNN 모델의 파라미터 값에 더함으로써 클러스터 CNN 모델을 생성한다.
파라미터 변화값들이 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 최종값들인 경우, 마스터 단말(210)은 초기 CNN 모델의 파라미터 값을 수신한 CNN 모델들의 파라미터 최종값들으로 대체하여 클러스터 CNN 모델을 생성할 수도 있다.
또한, 단말 클러스터(200)는 단말 각각에 저장된 이미지 데이터가 업데이트되거나 변경될 때마다 단계 S103 내지 S109를 반복하여 수행할 수 있다.
도 5는 본 발명의 실시예에 따른 단말 클러스터가 CNN 모델을 학습시키는 다른 방법을 도시한 도면이다.
도 5의 단말 클러스터(200)는 마스터 단말(210) 및 워커 단말들(221 및 222)을 포함하되, 단말들을 마스터 단말 또는 워커 단말로 구분하지 않는 것으로 가정한다.
단말들(210, 221 및 222)은 외부 서버(100)로부터 초기 CNN 모델을 수신한다(S200). 다른 실시예에서, 외부 서버(100)는 단말들(210, 221 및 222) 중 제1 단말(210)에만 초기 학습된 CNN 모델을 전송하고, 제1 단말(210)이 제2 단말(221) 및 제3 단말(222)에 초기 학습된 CNN 모델을 전송할 수도 있다.
단말들(210, 221 및 222)은 단말들(210, 221 및 222) 각각에 저장된 이미지 세트를 이용하여, 수신한 초기 CNN 모델에 대해 학습을 수행한다(S201).
이 경우, 단말들(210, 221 및 222) 각각은 초기 CNN 모델의 일부 레이어에 대해서만 학습을 수행할 수 있다.
단말들(210, 221 및 222)은 학습된 CNN 모델의 파라미터 변화값을 각각 결정한다(S203).
이 경우, 단말들(210, 221 및 222) 각각에 저장된 이미지 세트가 모두 상이한바, 단말들(210, 221 및 222) 각각이 결정한 파라미터 변화값은 모두 상이할 수 있다.
단말들(210, 221 및 222)은 상호간에 결정한 파라미터 변화값을 교환한다(S205).
단말들(210, 221 및 222)은 교환한 파라미터 변화값을 이용하여, 초기 CNN 모델을 업데이트한다(S207). 추가 학습을 통해 단말들(210, 221 및 222)은 해당 단말뿐만 아니라 다른 단말들에 저장된 도메인 이미지 데이터의 속성을 학습한 CNN 모델을 획득할 수 있다.
또한, 단말들(210, 221 및 222)은 단말 각각에 저장된 이미지 데이터가 업데이트되거나 변경될 때마다 단계 S201 내지 S207를 반복하여 수행할 수 있다.
도 6은 본 발명의 실시예에 따른 클러스터 CNN 모델을 이용하여 특정 이미지와 유사한 이미지를 검색하는 단말 클러스터의 구조도이다.
도 6을 참고하면, 사용자가 마스터 단말(210)에 이미지를 입력하면, 마스터 단말(210)은 입력 이미지에 대한 특징점을 추출하고 워커 단말들(221 및 222)로 각각 전송한다. 예를 들면, 마스터 단말(210)은 사용자의 입력 이미지에 대해 특징점 "5 3 9 9 7"을 추출하고 이를 제1 워커 단말(221) 및 제2 워커 단말(222)에 전송할 수 있다.
워커 단말들(221 및 222)은 단말들 각각에 저장된 하나 이상의 이미지들을 마스터 단말(210)로부터 수신한 클러스터 CNN 모델을 이용하여 추출한 특징점들과, 마스터 단말(210)로부터 수신한 특징점을 비교하여, 기 설정된 유사도 이상의 특징점을 가진 이미지를 마스터 단말(210)로 각각 전송한다.
다른 실시예에서, 마스터 단말(210)은 기 설정된 유사도와 무관하게, 워커 단말들(221 및 222)로 하여금, 마스터 단말(210)이 전송한 특징점과 유사한 순서대로 하나 이상의 유사도들을 결정하고 결정한 유사도의 특징점을 가진 하나 이상의 이미지들을 전송할 것을 요청할 수도 있다.
워커 단말들(221 및 222)은 단말들 각각에 저장된 이미지들 중 마스터 단말(210)이 전송한 특징점과 유사한 특징점을 가진 이미지들을 마스터 단말(210)에 전송한다.
마스터 단말(210)은 워커 단말들(221 및 222)로부터 이미지들을 수신하면, 각각의 이미지들을 유사도 순으로 정렬하여 사용자에게 표시한다.
도 7은 본 발명의 실시예에 따른 클러스터 CNN 모델을 이용하여 특정 이미지와 유사한 이미지를 검색하는 방법을 도시한 도면이다.
도 7을 참고하면, 마스터 단말(210)은 도 4의 단계 S109에서 생성한 클러스터 CNN 모델을 워커 단말들(221 및 222)로 전송한다(S300).
워커 단말들(221 및 222)은 수신한 클러스터 CNN 모델을 이용하여 단말들 각각에 저장된 하나 이상의 이미지들에 대한 특징점을 추출하고 이에 대한 정보를 저장한다(S301).
사용자가 마스터 단말(210)에 특정 이미지를 입력하면(S303), 마스터 단말(210)은 클러스터 CNN 모델을 이용하여 특정 이미지에 대한 특징점을 추출한다(S305).
비록 단계 S305에서는 사용자가 마스터 단말(210)에 특정 이미지를 입력하는 것으로 설명하였으나, 단계 S300을 통해 클러스터 CNN 모델은 마스터 단말(210) 및 워커 단말들(221 및 222) 모두가 저장하고 있는바, 사용자가 단말 클러스터(200) 내 임의의 단말(예를 들면, 워커 단말들(221 및 222))에 특정 이미지를 입력하여도 동일한 과정들을 수행할 수 있다.
마스터 단말(210)은 워커 단말들에게 특정 이미지와 유사한 이미지를 요청하는 요청 메시지를 워커 단말들(221 및 222)로 각각 전송한다(S307).
이 경우, 요청 메시지는 마스터 단말(210)이 클러스터 CNN 모델을 이용하여 추출한 특정 이미지의 특징점을 포함할 수 있다.
이후, 워커 단말들(221 및 222)은 단말들 각각에 저장된 하나 이상의 이미지들 중에서, 특정 이미지와 유사한 이미지를 마스터 단말(210)로 전송하며, 이 경우 유사한 이미지는 워커 단말들(221 및 222) 각각에 저장된 하나 이상의 이미지들 중에서, 워커 단말들(221 및 222)이 클러스터 CNN 모델을 이용하여 결정한 이미지이다.
구체적으로, 워커 단말들(221 및 222)은 데이터베이스에 포함된 특징점들과 마스터 단말(210)로부터 수신한 특징점을 비교하여, 마스터 단말(210)로부터 수신한 특징점과 기 설정된 유사도 이상을 가진 하나 이상의 특징점들을 결정한다(S309).
예를 들면, 워커 단말들(221 및 222)은 0.8 이상의 유사도를 가진 하나 이상의 특징점들을 결정할 수 있다.
이 경우, 워커 단말들(221 및 222) 각각은 선형 검색법으로 특징점간에 비교 검색을 진행하거나, KD 트리 검색을 통해 유사한 특징점들을 결정할 수 있다.
도 8은 본 발명의 실시예에 따른 워커 단말이 선형 검색법으로 특징점 간에 비교 검색을 진행하는 방법을 설명한 도면이다.
도 8을 참고하면, 워커 단말(221 또는 222)은 마스터 단말(210)로부터 수신한 특징점 "5 3 9 9 7"을 워커 단말(221 또는 222)에 저장된 이미지들의 특징점 "7 7 8 9 8", "0 2 1 3 4", "6 0 4 1 3" 및 "3 1 0 0 2"와 동일한 차원에 있는 데이터 간에 선형 검색법을 수행하여 유사도를 판단할 수 있고, 기 설정된 유사도 이상을 가진 하나 이상의 특징점들을 결정할 수 있다.
도 9는 본 발명의 실시예에 따른 워커 단말이 KD 트리 검색을 통해 유사한 특징점들을 결정하는 방법을 설명한 도면이다.
도 9를 참고하면, 워커 단말(221 또는 222)은 마스터 단말(210)로부터 수신한 특징점 "5 3 9 9 7" 및 워커 단말(221 또는 222)에 저장된 이미지들의 특징점 "7 7 8 9 8", "0 2 1 3 4", "6 0 4 1 3" 및 "3 1 0 0 2"에 대해 KD 트리를 인덱스로 사용하여 기 설정된 유사도 이상을 가진 하나 이상의 특징점들을 결정할 수 있다.
다시 도 7로 돌아가면, 워커 단말들(221 및 222)은 결정한 하나 이상의 특징점들의 유사도를 마스터 단말(210)로 전송한다(S311).
마스터 단말(210)은 각각의 워커 단말들(221 및 222)로부터 수신한 유사도들 중에서 하나 이상의 유사도를 결정하고(S313) 해당 유사도의 특징점을 가진 이미지를 해당 워커 단말에게 요청한다(S315).
예를 들면, 마스터 단말(210)은 각각의 워커 단말들(221 및 222)로부터 수신한 유사도들 중 상위 5개의 유사도를 결정하고, 해당 유사도를 전송한 워커 단말에게 해당 유사도의 특징점을 가진 이미지를 요청할 수 있다.
이미지 요청을 수신한 워커 단말은 해당 이미지를 마스터 단말(210)로 전송하고(S317), 마스터 단말(210)은 단계 S303에서 입력된 특정 이미지와 유사한 이미지로서 워커 단말로부터 수신한 이미지를 사용자에게 전송한다(S319).
이 경우, 유사한 이미지는 워커 단말들(221 및 222) 각각에 저장된 하나 이상의 이미지들 중에서, 마스터 단말(210)로부터 수신한 특징점과 기 설정된 유사도 이상을 가진 특징점을 가진 이미지이다.
본 발명에 따르면, 단말의 클러스터 내에서 단말 클러스터 내 이미지를 이용하여 초기 CNN 모델에 대한 추가 학습을 수행함으로써, 오프로딩 방법에 소요되는 데이터 통신 비용 및 전송 시간을 줄일 수 있을 뿐만 아니라 외부 서버 이용시 발생할 수 있는 프라이버시 문제도 방지할 수 있다.
또한, 본 발명에 따르면, 클러스터 내 단말이 저장하는 이미지의 특징을 반영하여 초기 CNN 모델을 학습시키는바, 단말에 저장된 이미지를 처리하는데 있어 정확도를 향상시킬 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (13)

  1. CNN 모델(Convolution Neural Network model) 학습 시스템으로서,
    단말들 각각에 저장된 하나 이상의 이미지들을 이용하여 초기 CNN 모델을 각각 학습시키고, 학습 결과값들을 결정하는 하나 이상의 워커 단말들, 그리고
    상기 학습 결과값들을 이용하여 상기 초기 CNN 모델을 업데이트하여 클러스터 CNN 모델을 생성하는 마스터 단말
    을 포함하는 CNN 모델 학습 시스템.
  2. 제1항에서,
    상기 학습 결과값들은 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 변화값들을 포함하는 CNN 모델 학습 시스템.
  3. 제2항에서,
    상기 파라미터 변화값들은
    상기 초기 CNN 모델과 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들이며,
    상기 마스터 단말은
    상기 파라미터 차이값들의 평균값을 상기 초기 CNN 모델의 파라미터 값에 더함으로써 상기 클러스터 CNN 모델을 생성하는 CNN 모델 학습 시스템.
  4. 제1항에서,
    상기 마스터 단말은
    특정 이미지에 대한 정보를 상기 워커 단말들로 전송하고,
    상기 워커 단말들은
    상기 마스터 단말로부터 수신한 클러스터 CNN 모델을 이용하여, 상기 워커 단말들 각각에 저장된 하나 이상의 이미지들 중에서, 상기 특정 이미지와 유사한 이미지를 상기 마스터 단말로 전송하는 CNN 모델 학습 시스템.
  5. 제4항에서,
    상기 특정 이미지에 대한 정보는
    상기 마스터 단말이 상기 클러스터 CNN 모델을 이용하여 추출한 상기 특정 이미지의 특징점을 포함하고,
    상기 워커 단말들은
    상기 마스터 단말로부터 수신한 상기 클러스터 CNN 모델을 이용하여 단말들 각각에 저장된 하나 이상의 이미지들에 대한 특징점을 각각 추출하고,
    상기 단말들 각각에 저장된 하나 이상의 이미지들에 대한 특징점과 상기 마스터 단말로부터 수신한 특징점을 비교하여 상기 마스터 단말로부터 수신한 특징점과 기 설정된 유사도 이상을 가진 하나 이상의 특징점들을 각각 결정하고, 결정한 하나 이상의 특징점들의 유사도를 상기 마스터 단말로 각각 전송하고,
    상기 마스터 단말이 상기 워커 단말들로부터 수신한 유사도들 중에서 하나 이상의 유사도를 결정하여 해당 유사도의 특징점을 가진 이미지를 상기 특정 이미지와 유사한 이미지로서 해당 워커 단말에게 요청하면, 상기 특정 이미지와 유사한 이미지를 상기 마스터 단말로 전송하는 CNN 모델 학습 시스템.
  6. 마스터 단말이 클러스터 CNN 모델을 생성하는 방법으로서,
    워커 단말들로부터, 초기 CNN 모델을 각각 학습시킨 학습 결과값들을 수신하는 단계, 그리고
    상기 학습 결과값들을 이용하여 상기 초기 CNN 모델을 업데이트하여 클러스터 CNN 모델을 생성하는 단계를 포함하고,
    상기 학습 결과값들은 상기 워커 단말들 각각에 저장된 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 변화값들을 포함하는 클러스터 CNN 모델 생성 방법.
  7. 제6항에서,
    상기 파라미터 변화값들은
    상기 초기 CNN 모델과 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들이며,
    상기 클러스터 CNN 모델을 생성하는 단계는
    상기 파라미터 차이값들의 평균값을 상기 초기 CNN 모델의 파라미터 값에 더함으로써 상기 클러스터 CNN 모델을 생성하는 클러스터 CNN 모델 생성 방법.
  8. 제6항에서,
    상기 클러스터 CNN 모델을 상기 워커 단말들로 전송하는 단계,
    상기 워커 단말들에게 특정 이미지와 유사한 이미지를 요청하는 요청 메시지를 전송하는 단계, 그리고
    상기 워커 단말들로부터 상기 특정 이미지와 유사한 이미지를 수신하는 단계를 더 포함하고,
    상기 유사한 이미지는 상기 워커 단말들 각각에 저장된 하나 이상의 이미지들 중에서, 상기 워커 단말들이 상기 클러스터 CNN 모델을 이용하여 결정한 이미지인 클러스터 CNN 모델 생성 방법.
  9. 제8항에서,
    상기 요청 메시지는
    상기 클러스터 CNN 모델을 이용하여 추출한 상기 특정 이미지의 특징점을 포함하고,
    상기 유사한 이미지는
    상기 워커 단말들 각각에 저장된 하나 이상의 이미지들 중에서, 상기 마스터 단말로부터 수신한 특징점과 기 설정된 유사도 이상을 가진 특징점을 가진 이미지인 클러스터 CNN 모델 생성 방법.
  10. 하나 이상의 워커 단말들이 초기 CNN 모델을 학습시키는 방법으로서,
    초기 CNN 모델을 워커 단말들 각각에 저장된 하나 이상의 이미지들을 이용하여 각각 학습시키는 단계,
    학습된 CNN 모델의 학습 결과값들을 각각 결정하는 단계, 그리고
    결정한 학습 결과값들을 마스터 단말로 각각 전송하는 단계
    를 포함하는 초기 CNN 모델 학습 방법.
  11. 제10항에서,
    상기 학습시키는 단계는
    상기 하나 이상의 이미지들에 따라 상기 초기 CNN 모델의 일부 레이어의 파라미터 값을 변화시키는 초기 CNN 모델 학습 방법.
  12. 제10항에서,
    상기 학습 결과값들은 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 변화값들을 포함하는 초기 CNN 모델 학습 방법.
  13. 제12항에서,
    상기 파라미터 변화값들은
    상기 초기 CNN 모델과 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들인 초기 CNN 모델 학습 방법.
KR1020180000691A 2018-01-03 2018-01-03 단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법 Ceased KR20190083127A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180000691A KR20190083127A (ko) 2018-01-03 2018-01-03 단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180000691A KR20190083127A (ko) 2018-01-03 2018-01-03 단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190083127A true KR20190083127A (ko) 2019-07-11

Family

ID=67254681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180000691A Ceased KR20190083127A (ko) 2018-01-03 2018-01-03 단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20190083127A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021091022A1 (ko) * 2019-11-08 2021-05-14 주식회사 알체라 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법
WO2021107488A1 (en) * 2019-11-28 2021-06-03 Samsung Electronics Co., Ltd. Server and method for controlling server
KR20210064588A (ko) * 2019-11-26 2021-06-03 한국전자기술연구원 엣지-클라우드 시스템에서 딥러닝 네트워크 상호 학습 및 업데이트 방법
KR102260628B1 (ko) 2020-02-13 2021-06-03 이인현 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법
US11308366B2 (en) 2019-10-28 2022-04-19 MakinaRocks Co., Ltd. Method for determining optimal anomaly detection model for processing input data
KR102506222B1 (ko) * 2022-06-30 2023-03-08 호서대학교 산학협력단 비전 데이터 수집, 학습, 배포 및 추론 방법 및 시스템
WO2025127850A1 (ko) * 2023-12-14 2025-06-19 주식회사 넥스트케이 상황별 데이터 자동학습 기반 지능형 영상분석 플랫폼

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308366B2 (en) 2019-10-28 2022-04-19 MakinaRocks Co., Ltd. Method for determining optimal anomaly detection model for processing input data
US11769060B2 (en) 2019-10-28 2023-09-26 MakinaRocks Co., Ltd. Method for determining optimal anomaly detection model for processing input data
WO2021091022A1 (ko) * 2019-11-08 2021-05-14 주식회사 알체라 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법
KR20210064588A (ko) * 2019-11-26 2021-06-03 한국전자기술연구원 엣지-클라우드 시스템에서 딥러닝 네트워크 상호 학습 및 업데이트 방법
WO2021107169A1 (ko) * 2019-11-26 2021-06-03 전자부품연구원 엣지-클라우드 시스템에서 딥러닝 네트워크 상호 학습 및 업데이트 방법
WO2021107488A1 (en) * 2019-11-28 2021-06-03 Samsung Electronics Co., Ltd. Server and method for controlling server
KR102260628B1 (ko) 2020-02-13 2021-06-03 이인현 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법
KR102506222B1 (ko) * 2022-06-30 2023-03-08 호서대학교 산학협력단 비전 데이터 수집, 학습, 배포 및 추론 방법 및 시스템
WO2025127850A1 (ko) * 2023-12-14 2025-06-19 주식회사 넥스트케이 상황별 데이터 자동학습 기반 지능형 영상분석 플랫폼

Similar Documents

Publication Publication Date Title
KR20190083127A (ko) 단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법
US10789322B2 (en) Short link processing to improve service efficiency
CN111368219B (zh) 信息推荐方法、装置、计算机设备以及存储介质
US10902332B2 (en) Recommendation system construction method and apparatus
CN110020022B (zh) 数据处理方法、装置、设备及可读存储介质
EP3497625A1 (en) Aggregate features for machine learning
KR20120078701A (ko) 안면 인식 훈련용 데이터의 공유 방법
CN114428907B (zh) 信息搜索方法、装置、电子设备及存储介质
CN112232889A (zh) 一种用户兴趣画像扩展方法、装置、设备及存储介质
US11200220B2 (en) Efficient storage of user personal attributes for service provisioning
WO2023029350A1 (zh) 基于点击行为预测的信息推送方法及装置
CN110659394B (zh) 基于双向邻近度的推荐方法
KR20240158174A (ko) 연합 학습을 위한 기계 학습 모델의 파라미터 튜닝 시스템 및 방법
CN109214543B (zh) 数据处理方法及装置
CN114445641A (zh) 图像识别模型的训练方法、训练装置和训练网络
WO2021169366A1 (zh) 数据增强方法和装置
CN111008213A (zh) 用于生成语言转换模型的方法和装置
CN108154165B (zh) 基于大数据与深度学习的婚恋对象匹配数据处理方法、装置、计算机设备和存储介质
CN114004265B (zh) 一种模型训练方法及节点设备
CN108038496B (zh) 基于大数据与深度学习的婚恋对象匹配数据处理方法、装置、计算机设备和存储介质
CN111191065A (zh) 一种同源图像确定方法及装置
CN117591640A (zh) 一种文档检索方法、装置、设备及介质
CN109740743A (zh) 一种分层神经网络查询推荐方法及装置
CN116975018A (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质
CN111753206B (zh) 信息推送的方法和系统

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180103

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190821

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20200228

Patent event code: PE09021S02D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200928

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20200228

Comment text: Final Notice of Reason for Refusal

Patent event code: PE06011S02I

Patent event date: 20190821

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I