[go: up one dir, main page]

KR102119687B1 - 영상 이미지 학습장치 및 방법 - Google Patents

영상 이미지 학습장치 및 방법 Download PDF

Info

Publication number
KR102119687B1
KR102119687B1 KR1020200025785A KR20200025785A KR102119687B1 KR 102119687 B1 KR102119687 B1 KR 102119687B1 KR 1020200025785 A KR1020200025785 A KR 1020200025785A KR 20200025785 A KR20200025785 A KR 20200025785A KR 102119687 B1 KR102119687 B1 KR 102119687B1
Authority
KR
South Korea
Prior art keywords
encoder
loss value
input data
loss
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200025785A
Other languages
English (en)
Inventor
이근신
이종선
전문구
이윤관
Original Assignee
엔에이치네트웍스 주식회사
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치네트웍스 주식회사, 광주과학기술원 filed Critical 엔에이치네트웍스 주식회사
Priority to KR1020200025785A priority Critical patent/KR102119687B1/ko
Application granted granted Critical
Publication of KR102119687B1 publication Critical patent/KR102119687B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 이미지 학습장치 및 방법에 관한 것으로, 신경망을 통해 입력 데이터가 입력되면, 인코더를 통해 상기 입력 데이터에서 중요한 특징들을 추출하고, 이렇게 추출된 중요 특징들을 디코더를 통해 복원시켜 입력 데이터를 학습하는 오토인코더; 상기 인코더로부터 중요 특징들을 전달받아 현재 영상 이미지를 기상조건별로 분류시키는 분류기 네트워크; 및 상기 신경망을 통해 입력 데이터가 인코더와 디코더를 통과한 후 복원된 개선 이미지를 얻을 때 발생 되는 제1 손실값, 상기 입력 데이터가 인코더와 디코더를 통과하여 복원될 때 보존되어야 할 필수 보존 정보에 대한 제2 손실값, 상기 입력 데이터가 인코더와 분류기 네트워크를 통과할 때 발생 되는 제3 손실값 및 상기 분류기 네트워크에서 클래스 분류 시 보존되어야 할 필수 보존 정보에 대한 제4 손실값을 계산한 후 계산된 제1 손실값과 제2 손실값을 각각 역전파하여 상기 인코더와 디코더의 가중치를 각각 업데이트시키고, 상기 제3 손실값을 역전파하여 상기 분류기 네트워크의 가중치를 업데이트시키며, 상기 제4 손실값을 역전파하여 상기 인코더의 가중치를 업데이트시키는 손실 계산부를 포함한다.

Description

영상 이미지 학습장치 및 방법{Learning Apparatus and Method of Image}
본 발명은 영상 이미지 학습장치 및 방법에 관한 것으로, 특히 비, 눈, 미세먼지, 안개 등과 같은 다양한 기상 조건이 입력되더라도 단일 모델에 의한 학습이 가능하고, 영상 복원 시 발생 되는 손실은 최소화시킴과 아울러 필수 보존 정보는 최대한 보존함으로써 영상 개선 효과를 높일 수 있는 영상 이미지 학습장치 및 방법에 관한 것이다.
일반적으로 사람이 눈으로 보는 것을 맥락으로 인지하는 것은 인간에겐 쉬운 일이다. 다시 말해, 사람은 어떤 물체나 풍경에 대해 경험적으로 많은 학습이 되어 있기 때문에 호수 가운데 움직이는 물체가 있을 경우 해당 물체를 물고기나 배 등으로 한정하여 가정하는 것이 가능하고, 사람이라면 위험한 상황에 처해 있을 것이라는 것을 인식할 수 있다.
최근 이러한 개념을 적용하는 인공지능(Artificial Intelligence; AI) 기술이 개발되었고, 이 인공지능 기술이 스마트 비디오 감시 시스템이나 자율 주행차, 의료 영상 분야 등에 접목되어 실제 이용되고 있다.
자율 주행차(또는 지능형 영상 감시 시스템) 기술 중 카메라를 이용하여 객체를 검출하는 컴퓨터 비전 기술은 딥러닝을 기반으로 이미 높은 성능을 보이고 있으나, 동작 환경이 맑은 환경(즉, 맑은 날씨 조건)에 제한되어 있고, 악천후 환경에서는 제대로 동작하지 않는 문제가 있다.
이로 인해, 악천후 환경에서의 낮은 객체 검출 성능을 보완하기 위해 악천후 환경, 즉, 비, 눈, 안개 등을 영상에서 제거하여 영상을 개선 시키는 영상 개선 기술들이 존재하나, 종래에는 비, 눈, 안개 등에 대한 각각의 기상조건별로 별도의 독립적인 개선 알고리즘이 필요하기 때문에 많은 비용이 소요되는 문제가 있다.
또한, 개선이 필요한 영상에서도 보존되어야 할 이미지 정보가 존재하나, 종래에는 영상 개선 시 필수적으로 보존되어야 할 정보가 손상된 채 영상 개선이 이루어져 불완전한 이미지를 얻는 문제가 있었다.
한국 등록특허 제10-1748780호 한국 등록특허 제10-1998027호
따라서, 본 발명은 상기와 같은 문제를 해결하기 위한 것으로, 본 발명의 목적은 비, 눈, 미세먼지, 안개 등과 같은 다양한 기상 조건이 입력되더라도 단일 모델에 의한 학습이 가능하고, 영상 복원 시 발생 되는 손실은 최소화시킴과 아울러 필수 보존 정보는 최대한 보존함으로써 영상 개선 효과를 높일 수 있는 영상 이미지 학습장치 및 방법을 제공하는데 있다.
상술한 목적을 이루기 위해, 본 발명에 따르면, 신경망을 통해 입력 데이터가 입력되면, 인코더를 통해 상기 입력 데이터에서 중요한 특징들을 추출하고, 이렇게 추출된 중요 특징들을 디코더를 통해 복원시켜 입력 데이터를 학습하는 오토인코더; 상기 인코더로부터 중요 특징들을 전달받아 현재 영상 이미지를 기상조건별로 분류시키는 분류기 네트워크; 및 상기 신경망을 통해 입력 데이터가 인코더와 디코더를 통과한 후 복원된 개선 이미지를 얻을 때 발생 되는 제1 손실값, 상기 입력 데이터가 인코더와 디코더를 통과하여 복원될 때 보존되어야 할 필수 보존 정보에 대한 제2 손실값, 상기 입력 데이터가 인코더와 분류기 네트워크를 통과할 때 발생 되는 제3 손실값 및 상기 분류기 네트워크에서 클래스 분류 시 보존되어야 할 필수 보존 정보에 대한 제4 손실값을 계산한 후 계산된 제1 손실값과 제2 손실값을 각각 역전파하여 상기 인코더와 디코더의 가중치를 각각 업데이트시키고, 상기 제3 손실값을 역전파하여 상기 분류기 네트워크의 가중치를 업데이트시키며, 상기 제4 손실값을 역전파하여 상기 인코더의 가중치를 업데이트시키는 손실 계산부를 포함한다.
본 발명에 따르면, 상기 분류기 네트워크는 아래의 수식 1에 의해 학습 되는 것을 특징으로 한다.
[수식 1]
Figure 112020021855647-pat00001
여기서, θf는 인코더 함수의 특징 파라미터, θh는 분류기 네트워크 함수의 특징 파라미터,
Figure 112020049024375-pat00002
는 입력 데이터 확률분포 p(x)에 대한 기대함수,
Figure 112020049024375-pat00003
는 입력 데이터 확률분포에서 샘플링된 값, Lc는 크로스 엔트로피(cross entropy) 손실함수, Y는 기상 조건 클래스 라벨값을 의미함.
본 발명에 따르면, 상기 제1 손실값 내지 제4 손실값은 수식 2와 같이 표현되는 것을 특징으로 한다.
[수식 2]
Figure 112020021855647-pat00004
여기서, θf는 인코더 함수의 특징 파라미터, θg는 디코더 함수의 특징 파라미터, θh는 분류기 네트워크 함수의 특징 파라미터,
Figure 112020049024375-pat00005
는 입력 데이터 확률분포 p(x)에 대한 기대함수, Px(X)는 저화질 데이터의 확률분포, Lc는 크로스 엔트로피 손실함수,
Figure 112020049024375-pat00006
는
Figure 112020049024375-pat00007
의 맑은 영상,
Figure 112020049024375-pat00008
는 입력 데이터 확률분포에서 샘플링된 값,
Figure 112020049024375-pat00009
는
Figure 112020049024375-pat00010
의 바이어스 레벨,
Figure 112020049024375-pat00011
는 Q라는 보조분포로부터의 바이어스 예측값, LB는 바이어스 분류(bias classification)를 위한 크로스 엔트로피, α, β, γ는 밸런스 함수로 0.05~0.2의 값을 가짐.
본 발명에 따르면, 상기 제1 손실값 내지 제4 손실값의 관계함수는 수식 3과 같이 표현되는 것을 특징으로 한다.
[수식 3]
Figure 112020021855647-pat00012
여기서, T(x)는 오토인코더와 분류기 네트워크에 전달되는 전체 가중치를 의미함.
본 발명의 실시 예에 따른 영상 이미지 학습방법은 인코더가 입력 데이터에서 중요 특징들을 추출하고, 상기 인코더에서 추출된 중요 특징들을 디코더가 복원시켜 출력시키는 단계; 손실 계산부에서 상기 입력 데이터가 상기 인코더와 디코더를 통과하여 복원될 때 발생 되는 제1 손실값을 계산하는 단계; 상기 손실 계산부에서 상기 입력 데이터가 상기 인코더와 디코더를 통과하여 복원될 때 보존되어야 할 필수 보존 정보에 대한 제2 손실값을 계산하는 단계; 상기 오토인코더가 상기 제1 손실값과 제2 손실값을 역전파하여 상기 인코더와 디코더의 가중치를 업데이트시키는 단계; 분류기 네트워크에서 상기 인코더로부터 전달된 중요 특징들에 따라 현재 입력 데이터를 기상조건별로 분류하는 단계; 상기 손실 계산부에서 상기 인코더와 분류기 네트워크를 통과하여 기상조건별로 입력 데이터가 분류될 때 발생 되는 제3 손실값을 계산하는 단계; 상기 손실 계산부에서 기상조건별 입력 데이터 분류 시 보존되어야 할 필수 보존 정보에 대한 제4 손실값을 계산하는 단계; 상기 오토인코더가 상기 제3 손실값을 역전파하여 상기 분류기 네트워크의 가중치를 업데이트시키는 단계; 및 상기 오토인코더가 상기 제4 손실값을 역전파하여 상기 인코더의 가중치를 업데이트시키는 단계를 포함한다.
본 발명에 따르면, 상기 제1 손실값 내지 제4 손실값은 수식 2와 같이 표현되는 것을 특징으로 한다.
[수식 2]
Figure 112020021855647-pat00013
여기서, θf는 인코더 함수의 특징 파라미터, θg는 디코더 함수의 특징 파라미터, θh는 분류기 네트워크 함수의 특징 파라미터,
Figure 112020049024375-pat00014
는 입력 데이터 확률분포 p(x)에 대한 기대함수, Px(X)는 저화질 데이터의 확률분포, Lc는 크로스 엔트로피 손실함수,
Figure 112020049024375-pat00015
는
Figure 112020049024375-pat00016
의 맑은 영상,
Figure 112020049024375-pat00017
는 입력 데이터 확률분포에서 샘플링된 값,
Figure 112020049024375-pat00018
는
Figure 112020049024375-pat00019
의 바이어스 레벨,
Figure 112020049024375-pat00020
는 Q라는 보조분포로부터의 바이어스 예측값, LB는 바이어스 분류(bias classification)를 위한 크로스 엔트로피, α, β, γ는 밸런스 함수로 0.05~0.2의 값을 가짐.
본 발명에 따르면, 상기 제1 손실값 내지 제4 손실값의 관계함수는 수식 3과 같이 표현되는 것을 특징으로 한다.
[수식 3]
Figure 112020021855647-pat00021
여기서, T(x)는 오토인코더와 분류기 네트워크에 전달되는 전체 가중치를 의미함.
본 발명에 따르면, 오토인코더에서 복원될 때 발생 되는 제1 손실값, 오토인코더에서 복원될 때 보존되어야 할 필수 보존 정보에 대한 제2 손실값, 중요 특징들을 기상 조건 클래스별로 분류할 때 발생 되는 제3 손실값 및 기상 조건 클래스별로 분류 시 보존되어야 할 필수 보존 정보에 대한 제4 손실값을 계산하고, 이렇게 계산된 손실값들에 대한 가중치를 오토인코더와 분류기 네트워크에 다시 역전파한 후 업데이트 시켜 영상 이미지 학습을 진행하기 때문에 다양한 기상조건이 주어지더라도 하나의 모델을 통한 학습이 가능하고, 비나 안개 등과 같은 고화질 방해요소를 제거 시 비나 안개 등과 함께 나무나 도로 등이 제거되더라도 필수 보존 정보로 제거된 부분의 나무나 도로 등을 복원할 수 있으므로 악천후 환경이라 하더라도 선명한 화면으로 영상을 개선할 수 있으며, 초기 학습과정에 고려되지 않던 기상조건들이 입력되더라도 효과적으로 영상 개선을 수행할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상 이미지 학습장치를 나타내는 도면이다.
도 2는 컨볼루션 계산을 통해 중요 특징 맵을 얻는 방법을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 영상 이미지 학습방법을 나타내는 도면이다.
도 4는 입력 이미지에 대한 영상 개선 효과를 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예의 동작원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 실시 예에 따른 영상 이미지 학습장치를 나타내는 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 영상 이미지 학습장치는 오토인코더(10), 분류기 네트워크(20) 및 손실 계산부(30)를 포함한다.
오토인코더(10)는 신경망을 통해 입력되는 학습 데이터를 학습하는 곳으로, 신경망을 통해 영상 이미지(이하, "입력 데이터"라 함)가 입력되면, 인코더(12)를 통해 입력 데이터에서 중요한 특징들을 추출하고, 이렇게 추출된 중요 특징들을 디코더(14)를 통해 복원시켜 출력한다. 이때, 출력 데이터는 입력 데이터와 가까워지도록 오토인코더(10)가 학습된다.
이러한, 오토인코더(10)는 신경망을 통해 영상 이미지가 입력되면, 도 2와 같이 컨볼루션 계산을 통해 인코더(12)에서 중요 특징 맵(feature map)을 추출하고, 추출된 중요 특징들을 복원시키는데, 후술하는 손실 계산부(30)에 의해 계산된 손실값에 대한 가중치가 역전파 알고리즘에 업데이트 된 상태(즉, 가중치가 추출 및 복원 시 중요 특징 맵에 적용된 상태)에서 학습을 진행한다.
분류기 네트워크(Bias Network)(20)는 오토인코더(10)의 인코더(12)로부터 중요 특징 맵을 전달받아 현재 영상 이미지의 기상 조건이 어떤 것인지를 분류한다.
다시 말해, 분류기 네트워크(20)는 인코더(12)로부터 전달되는 중요 특징 맵을 맑음, 우천, 눈, 미세먼지 등과 같이 다수개의 클래스(class)로 분류한다.
이러한, 분류기 네트워크(20)는 3개의 컨볼루션 층(convolution layer)과 두 개의 완전하게 연결된 계층(fully connected layer)으로 구성되고, 아래의 수식 1과 같은 방법으로 학습 된다.
[수식 1]
Figure 112020021855647-pat00022
여기서, θf는 인코더 함수의 특징 파라미터, θh는 분류기 네트워크 함수의 특징 파라미터,
Figure 112020049024375-pat00023
는 입력 데이터 확률분포 p(x)에 대한 기대함수,
Figure 112020049024375-pat00024
는 입력 데이터 확률분포에서 샘플링된 값, Lc는 크로스 엔트로피(cross entropy) 손실함수, Y는 기상 조건 클래스 라벨값을 의미함.
손실 계산부(30)는 신경망을 통해 입력 데이터가 인코더(12)와 디코더(14)를 통과한 후 복원된 개선 이미지를 얻을 때 발생 되는 제1 손실값(즉, 인코더와 디코더의 복원 손실값), 입력 데이터가 인코더(12)와 디코더(14)를 통과하여 복원될 때 보존되어야 할 필수 보존 정보에 대한 제2 손실값(즉, 이미지 정보를 보존하기 위한 정보이론적 최적화 값), 입력 데이터가 인코더(12)와 분류기 네트워크(20)를 통과할 때 발생 되는 제3 손실값(즉, 분류기 네트워크(20)의 분류 손실값) 및 분류기 네트워크(20)에서 클래스 분류 시 보존되어야 할 필수 보존 정보에 대한 제4 손실값(즉, 바이어스 영향력을 없애기 위한 정보이론적 최적화 값)을 계산한다.
이때, 제1 손실값 내지 제4 손실값은 수식 2와 같다.
[수식 2]
Figure 112020021855647-pat00025
여기서, θf는 인코더 함수의 특징 파라미터, θg는 디코더 함수의 특징 파라미터, θh는 분류기 네트워크 함수의 특징 파라미터,
Figure 112020049024375-pat00026
는 입력 데이터 확률분포 p(x)에 대한 기대함수, Px(X)는 저화질 데이터의 확률분포, Lc는 크로스 엔트로피 손실함수,
Figure 112020049024375-pat00027
는
Figure 112020049024375-pat00028
의 맑은 영상(즉, 타겟 영상),
Figure 112020049024375-pat00029
는 입력 데이터 확률분포에서 샘플링된 값(예를 들면, 입력 영상),
Figure 112020049024375-pat00030
는
Figure 112020049024375-pat00031
의 바이어스 레벨(즉, 기상 조건 클래스의 라벨),
Figure 112020049024375-pat00032
는 Q라는 보조분포로부터의 바이어스 예측값, LB는 바이어스 분류(bias classification)를 위한 크로스 엔트로피, α, β, γ는 밸런스 함수로 0.05~0.2의 값을 가짐.
상술한 수식 2에서 제1 손실값과 제3 손실값은 정보 손실을 최소화하기 위해 작을수록 좋고, 제2 손실값과 제4 손실값은 필수 보존 정보의 보존을 위해 클수록 좋으나, 비나 안개 등과 같이 화면 방해요소들이 최대한 제거되면서 나무나 도로 등의 배경들은 최대한 보존될 수 있게 목적을 수행할 수 있도록 본 발명의 영상 이미지 학습장치에서 제1 손실값 내지 제4 손실값을 이용한 전체 가중치(즉, 목적함수)는 수식 3과 같다.
[수식 3]
Figure 112020021855647-pat00033
여기서, T(x)는 오토인코더와 분류기 네트워크에 전달되는 전체 가중치(즉, 목적함수)를 의미함.
이러한, 손실 계산부(30)는 제1 손실값 내지 제4 손실값을 계산한 후 계산된 제1 손실값과 제2 손실값을 역전파하여 오토인코더(10)의 인코더(12) 및 디코더(14)의 가중치를 업데이트시키고, 제3 손실값을 역전파하여 분류기 네트워크(20)의 가중치를 업데이트시키며, 제4 손실값을 역전파하여 인코더(12)의 가중치를 업데이트시킨다.
한편, 손실 계산부(30)는 정보이론적 손실인 제4 손실값과 제2 손실값을 다음과 같은 방법을 통해 설정한다.
먼저, 분류기 네트워크(20)에서 맑음, 우천, 눈, 미세먼지 등과 같은 클래스에 대한 정보가 인지될 때에는 분류기 네트워크(20)가 영상 개선에 불필요한 바이어스(bias) 정보를 학습하고 있다고 볼 수 있으므로 인코더(12)가 바이어스 정보인 기상 조건 정보를 학습하게 되면, 영상 개선에 필요한 특징을 학습하는 게 아니라 특정 기상 정보에만 반응하는 정보를 학습할 가능성이 있고, 인코더(12)가 이러한 정보를 학습할 때 디코더(14) 또한 이러한 정보가 전파되어져 메인 프레임워크가 모두 바이어스 정보를 학습할 가능성이 발생하게 됩니다. 따라서, 수식 1의 바이어스 정보 학습시에는 수식 4와 같은 정보이론이 적용된다.
[수식 4]
Figure 112020021855647-pat00034
여기서, I는 정보이론의 상호정보 지수, Y는 기상 조건 클래스 라벨값을 의미함.
수식 4에서 알 수 있듯이, 정보이론의 상호정보 지수는 두 개의 항이 서로 상호적으로 연관이 있는 경우 0보다 큰 값을 갖고, 서로 연관없이 독립일 경우에는 0에 근사한 값을 갖게 됩니다. 따라서, 기상 정보와 영상 개선 네트워크가 서로 연관이 없어야 하므로 수식 4의 I는 0에 근사하도록 학습되어야 합니다.
이에 따라, 분류기 네트워크(20)에서 학습 시 손실함수(제4 손실값)는 수식 5와 같다.
[수식 5]
Figure 112020021855647-pat00035
여기서, θf는 인코더 함수의 특징 파라미터, θg는 디코더 함수의 특징 파라미터,
Figure 112020049024375-pat00036
는 입력 데이터 확률분포 p(x)에 대한 기대함수, Lc는 크로스 엔트로피 손실함수, XGT는 실제 목표 값, γ는 밸런스 함수(0.05~0.2), b(X)는 분류 클래스를 의미함.
이때, 수식 5는 수식 6과 같이 표현할 수 있으나, 이러한 수식 6은 후면(posterior) 분포 P(b(X)|f(X)를 요구하기 때문에 직접적으로 최소화하는 것이 매우 어려우므로 수식 7과 같이 보조 분포인 Q를 이용하여 제약을 주는 것이 바람직합니다.
[수식 6]
Figure 112020021855647-pat00037
여기서, H()는 가장자리 엔트로피(marginal entropy), H(|)는 조건 엔트로피(conditional entropy), b(X)는 분류 클래스를 의미함.
[수식 7]
Figure 112020021855647-pat00038
여기서, θf는 인코더 함수의 특징 파라미터,
Figure 112020049024375-pat00039
는 입력 데이터 확률분포 p(x)에 대한 기대함수, Q는 보조분포,
Figure 112020049024375-pat00040
는
Figure 112020049024375-pat00041
의 바이어스 레벨(즉, 기상 조건 클래스의 라벨), b(X)는 분류 클래스를 의미함.
한편, 아무리 기상 조건에 의해 손상된 정보라 할지라도 보전되어야 할 필수 정보가 변형되지 않아야 하므로 손실 계산부(30)는 수식 8과 같은 정보이론을 적용하여 제2 손실값을 설정한다.
[수식 8]
Figure 112020021855647-pat00042
여기서, I는 정보이론의 상호정보 지수, X는 입력 데이터를 의미함.
이때, 제2 손실값으로 표현되는 필수 보존 정보는 최대한 큰 값을 유지해야 하므로 수식 8은 수식 4와는 반대로 최대화가 요구된다.
이에 따라, 오토인코더(10)에서 학습 시 손실함수(즉, 제2 손실값)는 수식 9와 같이 변경된다.
[수식 9]
Figure 112020021855647-pat00043
여기서, θf는 인코더 함수의 특징 파라미터, θg는 디코더 함수의 특징 파라미터,
Figure 112020049024375-pat00044
는 입력 데이터 확률분포 p(x)에 대한 기대함수, Lc는 크로스 엔트로피 손실함수,
Figure 112020049024375-pat00045
는 입력 데이터 확률분포에서 샘플링된 값(예를 들면, 입력 영상), α는 제1 손실값과 제2 손실값 간의 밸런스 함수(0.05~0.2), I는 정보이론의 상호정보 지수, X는 입력 데이터를 의미함.
이때, 수식 9에 도시된 손실함수는 상술한 수식 5 내지 수식 7과 같은 최적화 과정을 통해 수식 2의 제2 손실값과 같이 설정된다.
도 3은 본 발명의 실시 예에 따른 영상 이미지 학습방법을 나타내는 도면이다.
도 3에 도시된 바와 같이, 본 발명의 실시 예에 따른 영상 이미지 학습방법은 먼저, 신경망을 통해 영상 이미지 데이터가 입력되면, 인코더(12)를 통해 입력 데이터에서 중요 특징들을 추출한 후 디코더를 통해 추출된 중요 특징들을 복원시켜 출력시킨다(S110).
이때, 손실 계산부(30)는 입력 데이터가 오토인코더(10)를 통과할 때 발생 되는 제1 손실값과 상기 입력 데이터가 오토인코더(10)를 통과할 때 보존되어야 할 필수 보존 정보에 대한 제2 손실값을 계산한다(S120).
이후, 손실 계산부(30)는 제1 손실값과 제2 손실값을 역전파시켜 인코더(12)와 디코더(14)의 가중치를 업데이트(즉, 추출된 중요 특징 맵과 복원 맵에 가중치 적용)시킨다(S130).
한편, 입력 데이터가 오토인코더(10)를 통과할 때 인코더(12)에서 추출된 중요 특징들은 분류기 네트워크(20)로 전달되는 데, 손실 계산부(30)는 분류기 네트워크(20)에서 입력 데이터의 중요 특징들에 따라 현재 영상 이미지의 기상조건을 분류시킬 때 발생 되는 제3 손실값과 분류기 네트워크(20)에서 기상조건별 영상 이미지 분류 시 보존되어야 할 필수 보존 정보에 대한 제4 손실값을 계산한다(S140).
이후, 손실 계산부(30)는 제3 손실값을 역전파하여 분류기 네트워크(20)의 가중치를 업데이트시키고, 제4 손실값을 역전파하여 인코더(12)의 가중치를 업데이트시킨다(S150).
이와 같이, 본 발명의 실시 예에 따른 영상 이미지 학습장치 및 방법은 오토인코더(10)에서 중요 특징 추출 및 복원 시 발생 되는 제1 손실값 및 제2 손실값과 분류기 네트워크(20)에서 발생 되는 제3 손실값 및 제4 손실값을 계산한 후 이 계산된 손실값들에 대한 가중치를 오토인코더(10)와 분류기 네트워크(20)에 다시 역전파한 후 업데이트시켜 영상 이미지 학습을 진행하기 때문에 다양한 기상 조건에 대해 하나의 모델을 통한 학습이 가능하고, 비나 안개 등과 같은 고화질 방해요소를 제거 시 비나 안개 등과 함께 나무나 도로 등이 제거되더라도 필수 보존 정보로 제거된 부분의 나무나 도로 등을 복원할 수 있으므로 악천후 환경이라 하더라도 선명한 화면으로 영상을 개선할 수 있게 된다.
또한, 본 발명의 실시 예에 따른 영상 이미지 학습장치 및 방법은 일부 환경에 대한 영상(예를 들면, 맑음 또는 흐림)만 학습한 상태에서 도 4와 같이 강우 영상이나 미세먼지 영상이 입력될 때 종래에는 정보나 미세먼지 정보를 효과적으로 개선하지 못하나, 본 발명은 종래에서 고려되었던 제1 손실값 이외에 정보이론 기반의 손실값(제2 손실값, 제4 손실값)과 분류기 네트워크(20)에서의 기상분류 손실값을 계산한 후 이를 다시 역전파시켜 오토인코더(10)와 분류기 네트워크(20)의 가중치를 업데이트시키기 때문에 학습하지 않은 강우 정보와 미세먼지 정보를 효과적으로 제거할 수 있어 영상을 효과적으로 개선할 수 있게 된다.
이상에서 설명한 바와 같이, 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예에 관해서 설명하였으나, 이는 본 발명의 가장 양호한 실시 예를 예시적으로 설명한 것일 뿐, 본 발명을 한정하는 것은 아니다. 또한, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 벗어나지 않는 범위 내에서 다양한 변형과 모방이 가능함을 물론이다. 따라서, 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져선 안 되며, 후술하는 청구범위뿐만 아니라 이와 균등한 것들에 의해 정해져야 한다.
10: 오토인코더 12: 인코더
14: 디코더 20: 분류기 네트워크
30: 손실 계산부

Claims (7)

  1. 신경망을 통해 입력 데이터가 입력되면, 인코더를 통해 상기 입력 데이터에서 중요한 특징들을 추출하고, 이렇게 추출된 중요 특징들을 디코더를 통해 복원시켜 입력 데이터를 학습하는 오토인코더;
    상기 인코더로부터 중요 특징들을 전달받아 현재 영상 이미지를 기상조건별로 분류시키는 분류기 네트워크; 및
    상기 신경망을 통해 입력 데이터가 인코더와 디코더를 통과한 후 복원된 개선 이미지를 얻을 때 발생 되는 제1 손실값, 상기 입력 데이터가 인코더와 디코더를 통과하여 복원될 때 보존되어야 할 필수 보존 정보에 대한 제2 손실값, 상기 입력 데이터가 인코더와 분류기 네트워크를 통과할 때 발생 되는 제3 손실값 및 상기 분류기 네트워크에서 클래스 분류 시 보존되어야 할 필수 보존 정보에 대한 제4 손실값을 계산한 후 계산된 제1 손실값과 제2 손실값을 각각 역전파하여 상기 인코더와 디코더의 가중치를 각각 업데이트시키고, 상기 제3 손실값을 역전파하여 상기 분류기 네트워크의 가중치를 업데이트시키며, 상기 제4 손실값을 역전파하여 상기 인코더의 가중치를 업데이트시키는 손실 계산부를 포함하는 것을 특징으로 하는 영상 이미지 학습장치.
  2. 청구항 1에 있어서,
    상기 분류기 네트워크는 아래의 수식 1에 의해 학습 되는 것을 특징으로 하는 영상 이미지 학습장치.
    [수식 1]
    Figure 112020049024375-pat00046

    여기서, θf는 인코더 함수의 특징 파라미터, θh는 분류기 네트워크 함수의 특징 파라미터,
    Figure 112020049024375-pat00047
    는 입력 데이터 확률분포 p(x)에 대한 기대함수,
    Figure 112020049024375-pat00048
    는 입력 데이터 확률분포에서 샘플링된 값, Lc는 크로스 엔트로피(cross entropy) 손실함수, Y는 기상 조건 클래스 라벨값을 의미함.
  3. 청구항 1에 있어서,
    상기 제1 손실값 내지 제4 손실값은 수식 2와 같이 표현되는 것을 특징으로 하는 영상 이미지 학습장치.
    [수식 2]
    Figure 112020049024375-pat00049

    여기서, θf는 인코더 함수의 특징 파라미터, θg는 디코더 함수의 특징 파라미터, θh는 분류기 네트워크 함수의 특징 파라미터,
    Figure 112020049024375-pat00050
    는 입력 데이터 확률분포 p(x)에 대한 기대함수, Px(X)는 저화질 데이터의 확률분포, Lc는 크로스 엔트로피 손실함수,
    Figure 112020049024375-pat00051
    는
    Figure 112020049024375-pat00052
    의 맑은 영상,
    Figure 112020049024375-pat00053
    는 입력 데이터 확률분포에서 샘플링된 값,
    Figure 112020049024375-pat00054
    는
    Figure 112020049024375-pat00055
    의 바이어스 레벨,
    Figure 112020049024375-pat00056
    는 Q라는 보조분포로부터의 바이어스 예측값, LB는 바이어스 분류(bias classification)를 위한 크로스 엔트로피, α, β, γ는 밸런스 함수로 0.05~0.2의 값을 가짐.
  4. 청구항 3에 있어서,
    상기 제1 손실값 내지 제4 손실값의 관계함수는 수식 3과 같이 표현되는 것을 특징으로 하는 영상 이미지 학습장치.
    [수식 3]
    Figure 112020049024375-pat00057

    여기서, T(x)는 오토인코더와 분류기 네트워크에 전달되는 전체 가중치를 의미함.
  5. 오토인코더를 이용한 영상 이미지 학습방법에 있어서,
    인코더가 입력 데이터에서 중요 특징들을 추출하고, 상기 인코더에서 추출된 중요 특징들을 디코더가 복원시켜 출력시키는 단계;
    손실 계산부에서 상기 입력 데이터가 상기 인코더와 디코더를 통과하여 복원될 때 발생 되는 제1 손실값을 계산하는 단계;
    상기 손실 계산부에서 상기 입력 데이터가 상기 인코더와 디코더를 통과하여 복원될 때 보존되어야 할 필수 보존 정보에 대한 제2 손실값을 계산하는 단계;
    상기 오토인코더가 상기 제1 손실값과 제2 손실값을 역전파하여 상기 인코더와 디코더의 가중치를 업데이트시키는 단계;
    분류기 네트워크에서 상기 인코더로부터 전달된 중요 특징들에 따라 현재 입력 데이터를 기상조건별로 분류하는 단계;
    상기 손실 계산부에서 상기 인코더와 분류기 네트워크를 통과하여 기상조건별로 입력 데이터가 분류될 때 발생 되는 제3 손실값을 계산하는 단계;
    상기 손실 계산부에서 기상조건별 입력 데이터 분류 시 보존되어야 할 필수 보존 정보에 대한 제4 손실값을 계산하는 단계;
    상기 오토인코더가 상기 제3 손실값을 역전파하여 상기 분류기 네트워크의 가중치를 업데이트시키는 단계; 및
    상기 오토인코더가 상기 제4 손실값을 역전파하여 상기 인코더의 가중치를 업데이트시키는 단계를 포함하는 것을 특징으로 하는 영상 이미지 학습방법.
  6. 청구항 5에 있어서,
    상기 제1 손실값 내지 제4 손실값은 수식 2와 같이 표현되는 것을 특징으로 하는 영상 이미지 학습방법.
    [수식 2]
    Figure 112020049024375-pat00058

    여기서, θf는 인코더 함수의 특징 파라미터, θg는 디코더 함수의 특징 파라미터, θh는 분류기 네트워크 함수의 특징 파라미터,
    Figure 112020049024375-pat00059
    는 입력 데이터 확률분포 p(x)에 대한 기대함수, Px(X)는 저화질 데이터의 확률분포, Lc는 크로스 엔트로피 손실함수,
    Figure 112020049024375-pat00060
    는
    Figure 112020049024375-pat00061
    의 맑은 영상,
    Figure 112020049024375-pat00062
    는 입력 데이터 확률분포에서 샘플링된 값,
    Figure 112020049024375-pat00063
    는
    Figure 112020049024375-pat00064
    의 바이어스 레벨,
    Figure 112020049024375-pat00065
    는 Q라는 보조분포로부터의 바이어스 예측값, LB는 바이어스 분류(bias classification)를 위한 크로스 엔트로피, α, β, γ는 밸런스 함수로 0.05~0.2의 값을 가짐.
  7. 청구항 6에 있어서,
    상기 제1 손실값 내지 제4 손실값의 관계함수는 수식 3과 같이 표현되는 것을 특징으로 하는 영상 이미지 학습방법.
    [수식 3]
    Figure 112020049024375-pat00066

    여기서, T(x)는 오토인코더와 분류기 네트워크에 전달되는 전체 가중치를 의미함.
KR1020200025785A 2020-03-02 2020-03-02 영상 이미지 학습장치 및 방법 Active KR102119687B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200025785A KR102119687B1 (ko) 2020-03-02 2020-03-02 영상 이미지 학습장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200025785A KR102119687B1 (ko) 2020-03-02 2020-03-02 영상 이미지 학습장치 및 방법

Publications (1)

Publication Number Publication Date
KR102119687B1 true KR102119687B1 (ko) 2020-06-05

Family

ID=71088668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200025785A Active KR102119687B1 (ko) 2020-03-02 2020-03-02 영상 이미지 학습장치 및 방법

Country Status (1)

Country Link
KR (1) KR102119687B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112820403A (zh) * 2021-02-25 2021-05-18 中山大学 一种基于多组学数据预测癌症患者预后风险的深度学习方法
KR102326840B1 (ko) * 2021-09-07 2021-11-17 주식회사 이지스마트팜 Ip타입 cctv의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치
WO2022004927A1 (ko) * 2020-07-03 2022-01-06 엘지전자 주식회사 오토 인코더를 이용하는 무선 통신 시스템에서 신호를 송수신하기 위한 방법 및 이를 위한 장치
KR102440752B1 (ko) * 2022-04-08 2022-09-07 주식회사 알고리고 다중 샘플링 센서 융합을 통한 생체 시그널 정보 이상 모니터링 장치 및 방법
KR102441763B1 (ko) * 2022-04-08 2022-09-14 주식회사 알고리고 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치 및 방법
KR102514531B1 (ko) * 2022-07-19 2023-03-27 정재호 열악한 날씨의 영상 개선 장치 및 방법
WO2023153726A1 (ko) * 2022-02-09 2023-08-17 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748780B1 (ko) 2016-12-02 2017-06-19 (주) 비전에스티 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
KR101836096B1 (ko) * 2016-12-02 2018-03-12 주식회사 수아랩 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
KR20190035465A (ko) * 2017-09-26 2019-04-03 삼성전자주식회사 이미지 디노이징 뉴럴 네트워크 학습 아키텍처 및 이미지 디노이징 뉴럴 네트워크를 학습시키는 방법
KR101998027B1 (ko) 2018-06-11 2019-07-08 인하대학교 산학협력단 악천후에서의 도로 객체 검출 기법 학습을 위한 안개 및 비 영상 합성 기법 및 시스템
KR20190128190A (ko) * 2017-03-17 2019-11-15 매직 립, 인코포레이티드 룸 레이아웃 추정 방법들 및 기술들
KR20190137913A (ko) * 2017-04-25 2019-12-11 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소
KR20190138238A (ko) * 2018-06-04 2019-12-12 삼성전자주식회사 딥 블라인드 전의 학습

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748780B1 (ko) 2016-12-02 2017-06-19 (주) 비전에스티 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
KR101836096B1 (ko) * 2016-12-02 2018-03-12 주식회사 수아랩 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
KR20190128190A (ko) * 2017-03-17 2019-11-15 매직 립, 인코포레이티드 룸 레이아웃 추정 방법들 및 기술들
KR20190137913A (ko) * 2017-04-25 2019-12-11 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소
KR20190035465A (ko) * 2017-09-26 2019-04-03 삼성전자주식회사 이미지 디노이징 뉴럴 네트워크 학습 아키텍처 및 이미지 디노이징 뉴럴 네트워크를 학습시키는 방법
KR20190138238A (ko) * 2018-06-04 2019-12-12 삼성전자주식회사 딥 블라인드 전의 학습
KR101998027B1 (ko) 2018-06-11 2019-07-08 인하대학교 산학협력단 악천후에서의 도로 객체 검출 기법 학습을 위한 안개 및 비 영상 합성 기법 및 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004927A1 (ko) * 2020-07-03 2022-01-06 엘지전자 주식회사 오토 인코더를 이용하는 무선 통신 시스템에서 신호를 송수신하기 위한 방법 및 이를 위한 장치
CN112820403A (zh) * 2021-02-25 2021-05-18 中山大学 一种基于多组学数据预测癌症患者预后风险的深度学习方法
CN112820403B (zh) * 2021-02-25 2024-03-29 中山大学 一种基于多组学数据预测癌症患者预后风险的深度学习方法
KR102326840B1 (ko) * 2021-09-07 2021-11-17 주식회사 이지스마트팜 Ip타입 cctv의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치
WO2023153726A1 (ko) * 2022-02-09 2023-08-17 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102440752B1 (ko) * 2022-04-08 2022-09-07 주식회사 알고리고 다중 샘플링 센서 융합을 통한 생체 시그널 정보 이상 모니터링 장치 및 방법
KR102441763B1 (ko) * 2022-04-08 2022-09-14 주식회사 알고리고 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치 및 방법
KR102514531B1 (ko) * 2022-07-19 2023-03-27 정재호 열악한 날씨의 영상 개선 장치 및 방법

Similar Documents

Publication Publication Date Title
KR102119687B1 (ko) 영상 이미지 학습장치 및 방법
Li et al. Single image dehazing via conditional generative adversarial network
CN111145112B (zh) 一种基于残差对抗细化网络的两阶段图像去雨方法及系统
KR102235745B1 (ko) 컨볼루션 순환 신경망을 훈련시키는 방법 및 훈련된 컨볼루션 순환 신경망을 사용하는 입력된 비디오의 의미적 세그먼트화 방법
CN111915531B (zh) 一种多层次特征融合和注意力引导的神经网络图像去雾方法
CN106600560B (zh) 一种适用于行车记录仪的图像去雾方法
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
CN111539888B (zh) 一种基于金字塔通道特征注意力的神经网络图像去雾方法
CN111861926B (zh) 一种基于空域组增强机制与长短时记忆网络的图像去雨方法
CN116721033B (zh) 一种基于随机掩码卷积和注意力机制的单幅图像去雾方法
KR102124497B1 (ko) 영상 개선 장치
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN114155165A (zh) 一种基于半监督的图像去雾方法
CN110136075A (zh) 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
CN113191971A (zh) 一种基于yuv颜色空间的无人机图像去雾方法
CN117726544A (zh) 一种面向复杂运动场景的图像去模糊方法和系统
CN118840286A (zh) 一种基于多阶段感受野增强的交通场景图像去雾方法
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN119027834A (zh) 一种航拍图像语义分割方法、系统、设备及介质
Du et al. Perceptually optimized generative adversarial network for single image dehazing
CN116543278A (zh) 一种雨天条件下的图像检测方法和系统
Yu et al. MsDA: Multi-scale domain adaptation dehazing network
CN118505581A (zh) 基于多尺度密集特征融合和门控跳跃连接的图像去雾方法
CN114066745B (zh) 一种基于区域线先验的图像去雾方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200302

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20200305

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20200302

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200403

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200520

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200601

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200601

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230613

Start annual number: 4

End annual number: 4