KR101141936B1 - 광류장 기반의 손 이미지 영역 검출 방법 및 그 검출 방법에 의한 손동작 인식 방법 - Google Patents

Abstract

본 발명은 광류장 기반의 손 이미지 검출에 의한 손동작 인식 방법에 관한 것으로, 특히 복수의 프레임을 가지는 입력 영상으로부터 상기 프레임 간의 변위 벡터를 계산하여 광류장을 산출하는 단계; 상기 산출된 광류장에 의해 손 이미지 영역을 판단하는 단계; 상기 손 이미지 영역으로부터 모션 특징 벡터를 추출하는 단계; 상기 손 이미지 영역으로부터 자세 특징 벡터를 추출하는 단계; 상기 모션 특징 벡터 및 상기 자세 특징 벡터로부터 각각 은닉 마르코프 모델의 심볼 시퀀스를 생성하는 단계; 상기 생성된 각 심볼 시퀀스를 결합하는 단계; 및 상기 결합된 심볼 시퀀스에 의해 손동작을 인식하는 단계;를 포함하는 것을 특징으로 한다.

Description

광류장 기반의 손 이미지 영역 검출 방법 및 그 검출 방법에 의한 손동작 인식 방법{Method of tracking the region of a hand based on the optical flow field and recognizing gesture by the tracking method}

본 발명은 컨테이너 항만 자동화 제어를 위한 손동작 인식 방법에 관한 것으로, 더욱 상세하게는 입력 영상에 대한 광류장을 계산하여 손 영역을 검출하고, 상기 검출된 손 영역의 움직임을 분석하여 손동작을 인식하는 광류장 기반의 손 검출 방법 및 그 검출 방법에 의한 손동작 인식 방법에 관한 것이다.

제스처(gesture)는 어떠한 의도를 가진 손이나 몸 등의 움직임을 의미하며, 대개 인간의 주요 대화 수단인 음성의 보조 역할로 사용되어 원활한 의사 소통을 보조하는 기능을 수행한다. 이러한. 제스처는 때에 따라서는 음성 이상의 표현력을 갖기도 하며, 수화나 수신호 등은 언어적인 특질을 가진 독립적인 대화 수단으로 사용되고 있어 키보드나 마우스 같은 난해한 입력 인터페이스를 대신할 수 있는 차세대 인터페이스로 활용이 예상된다.

특히, 손동작은 제스처 중에서도 가장 많이 사용되는 동작이며, 일반 가정 생활이나 발표 영역 등에서는 간단한 응용을 통해서도 사용자들에게 편리함을 줄 수 있는 인터페이스의 역할을 제공할 수 있다. 즉, 윈도우 시스템의 제어나 TV 채널의 조절, 컴퓨터를 이용한 발표 등의 인터페이스 역할을 제공할 수 있을 것으로 예상되며 가상 환경의 인터페이스 역할로서 사용될 것으로 예상된다. 아울러, 컨테이너 항만 자동화 제어를 위해 응용될 수도 있다.

또한, 손동작 인식은 특히 언어 장애인을 위한 사용자 인터페이스 제공을 위하여 많은 연구가 이루어지고 있다. 이러한 손동작 인식에 관해서 종래 기술로서는 다음과 같은 출원들이 존재한다.

우선 한국전자통신연구원에 의해서 1997년 5월 2일자로 출원되고, 1999년 11월 22일자로 등록된 "가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작방법"이라는 명칭의 특허등록번호 제10-0244523호에 따르면 센서 장갑을 통해 손의 움직임에 대한 실시간 정보를 컴퓨터로 보내어 다차원 정보를 분석하여 미리 분류된 손의 움직임 방향 및 손의 모양을 통하여 사람에 관계없이 손 제스처 인식을 할 수 있는 기술이 개시되어 있다.

또한, 한국전자통신연구원에 의해서 1998년 11월 13일자로 출원되고, 2000년 6월 15일자로 공개된 "장갑장치를 이용한 연속된 손제스처 명령어 생성방법"이라는 명칭의 특허공개번호 제10-2000-32308호에 따르면 장갑을 낀 손의 움직임 속도와 속도 변화 요소를 이용하여 이 기본 요소의 인식을 바탕으로 의미 해석을 함으로써 다양한 제스처의 인식 및 확장이 가능한 시스템 구현 방법이 개시되어 있다.

그러나 이러한 센서 부착 장갑 장치를 이용한 손 제스처 인식은, 제어 시스템과 연결되는 장갑 장치라는 별도의 장치가 필요하고, 상기 장갑 장치를 포함한 제어 시스템에 새로운 기술이 부가되는 경우 시스템 전체를 다시 구현해야 한다는 점에서 범용성 및 확장성에 있어 문제점을 가지고 있다.

따라서, 영상 분석에 의한 효과적인 손 인식 및 손동작 식별 방법의 필요성이 요구되고 있는 실정이다.

본 발명의 목적은 이동하는 물체의 영역에서 보다 민감한 광류를 기반으로 하여 손 검출 알고리즘을 구현함으로써 효과적인 손 검출이 가능한 광류장 기반의 손 이미지 영역 검출 방법 및 그 검출 방법에 의한 손동작 인식 방법을 제공함에 있다.

또한, 본 발명의 목적은 은닉 마르코프 모델을 이용하여 검출된 손 이미지의 동작을 식별함으로써 효과적인 손 동작의 식별이 가능한 광류장 기반의 손 이미지 영역 검출 방법 및 그 검출 방법에 의한 손동작 인식 방법을 제공함에 있다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 광류장 기반의 손 이미지 영역 검출 방법은 복수의 프레임을 가지는 입력 영상으로부터 상기 프레임 간의 변위 벡터를 계산하여 광류장을 산출하는 단계; 상기 산출된 광류장에서의 표본으로부터 동적인 군집을 계산하여 광류장을 분할하는 단계; 및 상기 분할된 광류장과 피부 색상 정보를 이용하여 손의 이미지 영역을 검출하는 단계;를 포함하는 것을 특징으로 한다.

이때, 상기 광류장을 분할하는 단계에서 동적인 군집을 계산하는 방법은 상기 산출된 광류장에서의 표본과 부분 공간의 표본 평균값의 유클리디언 거리를 산출하여 계산하는 것을 특징으로 한다.

한편, 상기 피부 색상 정보의 이용은 상기 입력 영상의 RGB 이미지를 정규화하고, 상기 정규화된 RGB 이미지를 YC_bC_r 이미지로 변환된 색상 값을 이용하는 것을 특징으로 한다.

또한, 상기한 목적을 달성하기 위하여, 본 발명에 따른 광류장 기반의 손 이미지 영역 검출 방법은 복수의 프레임을 가지는 입력 영상으로부터 상기 프레임 간의 변위 벡터를 계산하여 광류장을 산출하는 단계; 상기 산출된 광류장에서의 표본으로부터 동적인 군집을 계산하여 광류장을 분할하여 물체를 식별하는 단계; 상기 식별된 각 물체의 에지 복잡도를 산출하는 단계; 및 상기 산출된 각 물체의 에지 복잡도로부터 가장 큰 에지 복잡도를 가지는 물체의 영역을 손 이미지 영역으로 판단하는 단계;를 포함하는 것을 특징으로 한다.

이때, 상기 에지 복잡도는 상기 식별된 각 물체의 경계 에너지에 의해 산출하는 것을 특징으로 한다.

한편, 상기 에지 복잡도를 산출하는 단계 이후에 상기 산출된 경계 에너지를 증강 계수에 의해 증강시키는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 상기한 목적을 달성하기 위하여, 본 발명에 따른 광류장 기반의 손 이미지 검출에 의한 손동작 인식 방법은 복수의 프레임을 가지는 입력 영상으로부터 상기 프레임 간의 변위 벡터를 계산하여 광류장을 산출하는 단계; 상기 산출된 광류장에 의해 손 이미지 영역을 판단하는 단계; 상기 손 이미지 영역으로부터 특징 벡터를 추출하는 단계; 상기 추출된 특징 벡터를 공간 영역에서 주파수 영역으로 변환시키는 단계; 및 상기 주파수 영역으로 변환된 특징 벡터에 의해 손동작을 인식하는 단계;를 포함하는 것을 특징으로 한다.

이때, 상기 주파수 영역의 변환은, 푸리에 변환에 의해 변환하는 것을 특징으로 한다.

한편, 상기 특징 벡터에 의해 손동작을 인식하는 단계는, N차원의 특징 벡터를 K 차원으로 축소하여 차원을 감소시켜 산출하는 것을 특징으로 한다.

또한, 상기한 목적을 달성하기 위하여, 본 발명에 따른 광류장 기반의 손 이미지 검출에 의한 손동작 인식 방법은 복수의 프레임을 가지는 입력 영상으로부터 상기 프레임 간의 변위 벡터를 계산하여 광류장을 산출하는 단계; 상기 산출된 광류장에 의해 손 이미지 영역을 판단하는 단계; 상기 손 이미지 영역으로부터 모션 특징 벡터를 추출하는 단계; 상기 손 이미지 영역으로부터 자세 특징 벡터를 추출하는 단계; 상기 모션 특징 벡터 및 상기 자세 특징 벡터로부터 각각 은닉 마르코프 모델의 심볼 시퀀스를 생성하는 단계; 상기 생성된 각 심볼 시퀀스를 결합하는 단계; 및 상기 결합된 심볼 시퀀스에 의해 손동작을 인식하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 광류장 분할 및 피부 색상 정보에 의해 손의 이미지 영역을 검출함으로써 손동작 인식을 위한 보다 신뢰성 있는 이미지 검출이 가능하며, 광류에 의해 이미지를 분석함으로써 움직이는 영상에 대한 분석이 보다 효과적으로 가능하게 되어 신뢰도 높은 손동작 인식이 가능하게 되는 장점이 있다.

또한, 본 발명에 따르면, 음성 인식 기술에 효과적으로 사용되고 있는 은닉 마르코프 모델을 손동작 인식에 적용함으로써 보다 신뢰성 있는 동작 인식이 가능해지게 되는 장점이 있다.

도 1은 본 발명의 실시예에 따른 광류장 기반의 손 이미지 영역 검출 및 손동작 인식 절차를 나타내는 흐름도.
도 2는 본 발명에 적용되는 은닉 마르코프 모델의 구조를 나타내는 도면.
도 3은 본 발명의 실시예에 따른 은닉 마르코프 모델을 이용하여 손동작을 인식하는 절차를 나타내는 도면.
도 4는 본 발명의 실시예에 따른 손 영역 검출을 위한 원본 영상을 나타내는 도면.
도 5는 본 발명의 실시예에 따른 원본 영상으로부터 손 영역을 검출한 영상을 나타내는 도면.
도 6은 본 발명의 실시예에 따른 은닉 마르코프 모델에 입력된 관찰 심볼의 시퀀스를 나타내는 도면.
도 7은 본 발명의 실시예에 따른 테스트 시퀀스에 적용된 각 은닉 마르코프 모델의 최도 우도 출력의 결과를 나타내는 도면.

본 발명은 복잡한 배경에서도 높은 신뢰도를 가지는 손 이미지 추적 및 손동작 인식 방법을 제안한다. 본 발명의 실시예에 따라 손 추적은 광류(optical flow)를 기반으로 하고 손동작 인식은 은닉 마르코프 모델(Hidden Markov Model; HMM)을 기반으로 하는 방법을 사용한다. 한편, 본 발명의 실시예에 따른 광류(optical flow)를 기반으로 하는 손 검출 알고리즘은 정적인 배경에서는 둔감하지만 이동하는 물체의 영역에서는 민감하다. 따라서, 본 발명에 따라 손 이미지를 검출한 후, 손 동작을 판별함에 있어 보다 신뢰성 있는 결과를 가져오게 된다.

한편, 하나 이상의 물체가 움직인다고 하여 광류를 기반으로 하는 방법만으로는 손 부위 인지를 판단할 수 없다. 따라서, 본 발명의 실시예에서는 경계의 복잡도(boundary complexity)를 이용하여 손 영역 에지의 형태학적 특징을 효과적으로 표현함으로써 정확한 손 영역의 이미지를 식별할 수 있다.

이하 본 발명의 바람직한 실시 예에 따른 상세한 설명을 첨부된 도면들을 참조하여 설명한다. 하기에는 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

도 1은 본 발명의 실시예에 따른 광류장 기반의 손 이미지 영역 검출 및 손동작 인식 절차를 나타내는 흐름도이다. 먼저 입력 영상에서 광류(optical flow)를 계산(S101)한다. 그런 다음 광류가 발생한 영역에서 피부 영역을 검출(S102)한다.

다음으로, 각 영역에서의 경계 복잡도(boundary complexity)를 산출하고, 최대 경계 복잡도를 가진 영역을 손 영역으로 판단(S103)한다.

다음으로, 손동작의 시퀸스를 기록하기 위해, 푸리에 기술자를 이용하여 손의 특징 벡터를 선택(S104)한다. 이때, PCA(Principal components Analysis)방법을 이용하여 손의 광류 영역의 주요 성분을 추출(S105)한다.

마지막으로 은닉 마르코프 모델(HMM)을 이용하여 특징 벡터를 인식함으로써 손 동작을 인식(S106)한다.

이하, 본 발명의 실시예에 따라 상기 각 단계를 세부적으로 구현하는 방법을 상세히 설명한다.

<움직이는 물체를 검출하기 위한 광류(Optical Flow)의 계산>

시스템에서 물체의 운동은 물체의 위치와 추출에 대한 중요한 정보를 제공한다. 이때, 이동 정보를 구하기 위해서 입력 동작은 정지되지 않았다고 가정한다. 물체가 시공간에서 움직일 때, 물체의 광류장(optical flow field)을 검출하기 위한 움직임 검출부를 사용한다. 한편, 광류는 프레임간의 변위 벡터(flow velocity)를 계산함으로써 산출될 수 있다.

보다 구체적으로 설명하면, 그레이 스케일(gray scale) 변환선과 수직 방향의 변위 벡터(flow velocity)는 작은 단계에서 변화해야 한다. 따라서, 근접한 두 프레임의 광량 에너지(illumination energy)를 E(x, y, t ₁ ) 과 E(x, y, t ₂ ), 라고 정의하고, 본 발명에서는 E1 (X) 과 E2 (X)로 표기한다. 이때, X=(x,y) 이며, 광류의 기본 방정식은 하기 <수학식 1>과 같이 나타낼 수 있다.

이때, 상기 ∇E는 하기 <수학식 2>와 같이 나타낼 수 있다.

이때, 상기 E _x , E _y , E _t 는 점(x, y)에서 부분 미분 계수이고,

이다. 여기서, u, v 는 각각의 x, y 방향에서 시간 간격

의 변위이다. 또한, 상기에서 제약 조건은 u 와 v 에 하기 <수학식 3>과 같이 적용할 수 있다.

여기서, 상기 W는 무게 행렬이고, W=F/trace(F)이다.

상기 수학식은 영상 이미지에서 그레이 값(gray value)의 변화된 값에 따라 움직임 필드(moving field)에서 변화된 것을 보정한다. 이때, 상기 F 는 하기 <수학식 4>와 같이 나타낼 수 있다.

따라서, 광류장(optical flow field)의 계산은 하기 <수학식 5>와 같이 변환되어 풀이될 수 있다.

이때, 상기 <수학식 5>에서 α는 방정식을 풀이하는 스무딩(smoothing) 수준을 제어하는데 사용된다.

<C-Mean Cluster 방법을 기반으로 하는 광류장의 분할>

C-mean cluster 방법은 오차 제곱 합을 이용하여 동적인 군집을 계산하는 방법이다. 상기 방법은 하기 <수학식 6> 및 <수학식 7>과 같이 정의된다.

여기서 x _k 는 집합 X={x₁, x₂,..., x_n}의 표본이고, 표본 집합은 분리된 부분공간 c 로 집중된다. 이것은 n ₁ ,…, n _c 표본들을 포하며, m _j 는 j ^th 부분공간의 표본 평균 값이다.

한편, 광류장(optical flow field)을 분리하기 위해서, 광류장에서의 점의 위치를 표본이라고 정의한다. 이때, 오차 제곱 합은 상기 <수학식 6>에서와 같이 유클리디언 거리를 사용한다. 이와 같이, The C-Means 방법은 반복적인 과정을 통하여 군집 결과를 최적화하게 된다. 이에 따라, 최소값이 얻어지며, c 클래스를 얻기 위해 기준 함수 J _c 를 만들게 된다. 또한, 각각의 클래스의 표본 수를 비교하여 표본 수가 적으면 제거하게 된다. 이때, 만약 하나 이상의 클래스가 있다면 움직이는 물체가 있다고 간주 되며, 식별된 움직이는 물체가 분리되어 진다.

<피부 영역 분할>

본 발명에서는 색상 모델 간의 비교를 통해서 YC_bC_r 색상 모델이 적합함을 알 수 있다. 따라서, RGB 이미지를 YC_bC_r 색상 모델로 변환한다. 이때, 변환하기 전에 RGB 색상 공간에서 명도성분을 제거하기 위해 하기의 과정을 거쳐 정규화된 RGB값을 이용한다. 정규화된 RGB값은 광원에 의한 물체 표면의 변화를 줄여 주는 장점이 있다. 따라서, 정규화된 RGB값을 YC_bC_r 색상 공간으로 변환한다

이때, 임계값은 Cr 성분의 영상에서 하기 <수학식 8>로 산출될 수 있다.

이와 같이, 광류장 분할 결과와 피부 영역의 정보를 함께 이용함으로 피부색을 가진 움직이는 물체를 검출할 수 있었다. 이것은 손의 움직임 추적을 두 가지 정보형태를 결합시키는 AND 연산으로 하기 <수학식 9>와 같이 나타낼 수 있다.

상기 <수학식 9>에서 OF _i (x, y), S _i (x,y), 는 각각 optical flow와 피부 칼라 영역을 나타낸다. 또한, Hm _i (x, y) 는 검출되어진 손의 움직임 특징을 의미한다.

<영역의 경계 복잡도(Boundary Complexity) 계산>

본 발명에서 식별하고자 하는 손은 5개의 가늘고 긴 손가락으로 구성된다. 손을 펼쳤을 때 손 영역은 다른 어떤 피부 영역과 비교해 볼 때 복잡한 에지를 갖게 된다. 이러한 특징이 손 영역을 분리를 가능하게 해 준다. 본 발명의 실시예에서는 영상에서 물체의 에지 경계 에너지(edge boundary energy)를 측정할 수 있는 경계 에너지(boundary energy) 추정 방법을 제안한다.

물체의 면적과 둘레는 기하학적인 형태의 두 가지 중요한 속성이다. 하지만 이 두 가지 속성만으로 기하학적인 형태를 분류하는 것은 어렵다. 일반적으로 같은 면적을 가진 물체라도 둘레의 길이는 같지 않다. 이를 구분하기 위해 ‘원형도’라는 기하학적인 형태를 나타내는 특성을 사용한다. 만일 기하학적인 형태가 원이라고 하면 ‘원형도’는 가장 작은 값을 가진다. 그리고 물체가 복잡한 에지를 가진다면 그 값은 커질 것이다. ‘원형도’의 값은 에지의 복잡도를 나타낸다.

따라서, 원형도(C)와 에지 복잡도는 서로 비례하는 관계를 갖는다. 이 원형도, 즉 에지 복잡도를 경계 에너지(boundary energy)라고 한다. 물체의 둘레의 길이가 P 이고 시작점에서 임의의 에지점까지의 거리를 p 라고 가정하자. 어떤 점에서든지 에지는 곡률 반지름r(p) 를 갖는다. 에지점에서의 탄젠트 값은 원의 반지름이다. 따라서 p 점에서의 곡률 함수는 하기 <수학식 10>과 같다.

상기 <수학식 10>에서 K(p) 함수는 P 주기를 갖는 주기 함수이다. 하기 <수학식 11>식에 의해 경계(boundary) 길이의 평균 에너지(average energy)가 계산되어 진다.

예컨대, 원형의 경우는 하기 <수학식 12>와 같이 가장 작은 경계 에너지(boundary energy) 값을 갖게 된다.

상기 <수학식 12>에서 R 은 원의 반지름이며, 경계 에너지(boundary energy) 값은 에지 복잡도를 사람이 인지하는 것과 유사하게 나타낼 수 있다.

지금까지의 분석으로 사람의 손 영역은 영상의 많은 부분을 차지하고 또한 복잡한 에지를 가지고 있다. 따라서, 이와 같은 두 가지 특징을 하기 <수학식 13>에 의해 증강시킬 수 있다.

여기서, a 는 증강 계수이며, 그 결과값은 조정이 가능하다. 이를, 각각의 후보 영역에 적용하여 ω 값을 구한다. 이때, 가장 큰 값을 갖는 영역이 손 영역이 된다.

<손동작 특징 형태 추출 - 손형상 표현을 위한 특징 선택>

본 발명의 실시예에 따라 검출된 손 이미지 영역은 은닉 마르코프 모델(HMM)의 기본 원소인 기호로 변환되어 진다. 효과적이고 정확한 특징 벡터는 HMM의 모델 생성에 결정적인 역할을 한다. 따라서, 좋은 특징을 선택하기 위해서 다음와 같은 기준이 적용된다. 첫째, 특징은 회전, 평행이동, 비례축소에 적절하게 독립적이라야 한다. 둘째, 특징은 쉽게 계산할 수 있어야 한다. 셋째, 특징은 서로 복제하지 않도록 선택되어야 한다. 이 기준은 특징 벡터의 정보 내용의 효율적인 이용을 보장한다.

손 이미지 영상으로부터 획득한 특징은 공간적이고 일시적인 특징이다. 형태 특징을 추출하기 위해서는 손의 형태를 기술할 수 있는 푸리에 기술자(Fourier Descriptor; FD)를 이용한다. 손의 움직임과 관련해서는 손 동작을 기술할 수 있는 모든 특징을 추출할 수 있다.

이때, 손의 특징에 의한 손 형태를 공간 영역보다 주파수 영역에서 더 잘 기술할 수 있다. 노드의 국소적 특징의 속성은 그것의 푸리에 기술자(FD)로 표현된다. 손 형상이 외부의 경계점{x(m), (m)}에 의해 기술된다고 가정하면 경계 기술을 푸리에 기술자를 이용하여 표현할 수 있다. 경계점을 표현하기 위해서 x(m) 과 y(m) 의 푸리에 급수를 찾고 이는 a(n) 과 b(n) 으로 정의된다. 이때, 폐쇄된 경계선의 표현을 푸리에 기술자(FD)라고 명명한다. 또한, r(n)=[(a(n))² + (b(n))²]^1/2 (n=1,2,…)에서 벡터의 성분 S(n)=r(n)/r(1)를 유도할 수 있다.

<동작 분석>

다음으로 본 발명의 실시예에 따라 움직이는 손에 대해 손동작에 의한 광류장(optical flow field)을 분석한다. 광류장 분석을 통하여 손동작과 손동작 인식의 특징을 추출할 수 있다. 그러나, 이때 광류장의 차원을 계산하기에는 차원이 너무 높다. 또한, 광류장 데이터 안에 잡음 신호가 포함되어 있으므로 직접 추출된 데이터를 사용할 수 없다. 따라서, 첫 번째로 차원을 감소시키고 잡음을 제거해야 하며, 이를 위해서 PCA(Principal components Analysis) 방법을 사용한다.

PCA란 주성분 분석 또는 주요인 분석이라고 하며, 다른말로 KL(Karhunen-Loeve) 변화, 호텔링(Hotelling) 변환이라고도 한다. 다차원(N 차원)의 특징 벡터(feature vector)로 이루어진 데이터 x에 대해서, 최대한 원본의 정보를 유지하면서 낮은 차원(k차원)으로 차원을 축소시켜 데이터를 처리하는 방법 중 하나이다.

따라서, PCA 분석에 의해 N차원의 문제를 K차원으로 축소하여 해석할 수 있다. 즉, 데이터의 특징을 잘 나타내는 고유의 성분들을 추출하고 이 값들 중 특징 성분이 높은 값들만을 취함으로서 차원을 줄이되 원본의 정보와의 차이를 최소화 할 수 있으므로, 에러(error)를 최소화 할 수 있다.

본 발명에 적용되는 PCA 분석은 하기와 같은 단계로 수행된다.

1. 총 2초 이내, 60 프레임의 각각 손동작에 대해 , 32 * 20의 optical flow 특징을 찾을 수 있으며, 이것은 x와 y의 성분을 가지고 있기 때문이다. 따라서, 각각의 프레임에 대해, 열벡터로서 32 * 20 * 2 차원이 되며, 각각의 손동작에 대해서는, 60개의 optical flow field 시퀸스와 60 열벡터를 가지게 된다.

2. 40개 차원의 고유벡터를 추출하기 위해 PCA 방법을 적용한다.

3. 인식의 단계에서, 관측벡터로서 특징 계수를 구하기 위해서 각 광류를 특징 공간에 투사한다.

<HMM을 이용한 손 동작 인식>

은닉 마르코프 모델(HMM)은 미지의 파라미터들을 가진 마르코프 프로세스(Markov process)라고 추측되는 통계적인 모델이다. 관측 파라미터로부터 은닉된 파라미터를 결정하는 것은 어렵다. 추출되어진 모델의 파라미터들은 추가적인 분석을 하는데 사용될 수 있고, 그 예로 패턴 인식을 위한 응용프로그램이 될 수 있다. HMM은 단순한 동적 Bayesian network로 볼 수 있다. 따라서, HMM 방식은 특히 음성, 몸동작 인식, 생물정보학과 같은 일시적인 패턴인식의 응용에 사용된다.

또한, 단순성과 신뢰성 때문에 다양한 동작을 인식하기 위해 HMM을 이용한다. HMM은 단지 세 가지 파라미터를 사용한다. 초기상태 확률벡터, 상태-전이 확률 매트릭스, 그리고 관찰가능한 심볼 확률 메트릭스(observable symbol probability matrix)이다. 동적인 이미지의 분석은 하나의 정적인 이미지보다 더 정확한 인식을 자연스럽게 할 수 있다. 또한, 동작은 전체 이미지의 시퀸스의 길이의 순서와 관련하여 인식되어 진다.

도 2는 은닉 마르코프 모델의 구조를 나타낸다. 도 2를 참조하면, 각각의 타원형은 수많은 값을 적용할 수 있는 랜덤 변수를 나타낸다. 랜덤 변수 x(t)는 t 시간에 은닉 상태(10)다. 랜덤 변수 y(t)는 t 시간에 관측자(20)이다. 다이어그램의 화살표는 조건적 종속성을 나타낸다.

동작 인식 모델은 고립된 동작 HMM의 순환 망으로 설계된다. 비 동작 패턴은 하기 알고리즘에서 “F"로 표기된 filler 또는 garbage 모델에 의해 설명된다. 이때, 네트워크의 구조는 하기의 생성 규칙에 의해 기술될 수 있다.

1. <Gesture Motion> := <F> (<G><F>)*

2. <G> : = <G0> <G1><G2>……. <G9>

3. <F> : = <F1>……<Fk>

여기서, <Gi>는 손 I에 대한 동작 모델을 나타낸다. 그리고 <Fi>는 filler 모델을 의미한다. 이때, i=1 ,….,k 이고, k 는 filler 모델들의 숫자이다.

이와 같이 손 영역과 손 추적의 과정으로부터 추출된 특징들을 기반으로 하여 벡터를 생성할 수 있고, HMM의 입력 데이터로 사용할 수 있다. 은닉 모델의 이러한 출력은 인식을 원하는 동작이다. 본 발명의 실시예에 따라 손 동작 인식을 위한 HMM 심볼 생성 과정은 도 3에 도시된 바와 같다.

도 3을 참조하면 식별된 손 영상 이미지(S301)로부터 모션 특징 벡터(Motion Feature Vectors)(S302)와 자세 특징 벡터(Posture Feature Vectors)(S303)를 산출하고, 모션 인식을 위한 HMM 모델(S304) 및 자세 인식을 위한 HMM 모델(S305)을 적용함으로써 각 심볼 시퀀스 O1및 O2를 구하게 된다(S306, S307). 마지막으로, 상기 구해진 O1 및 O2를 결합(S308)함으로써 손 동작(gesture)를 판별(S309)하게 된다.

<실험 예>

본 기술의 성능 테스트를 위한 실험에서는 한 손만을 사용하여 손동작을 만들었다. 손동작 추적과 인식의 알고리즘을 평가하기 위하여 8종류의 손동작을 데이터베이스로 구축하고 이를 위해 20명이 3번씩 이를 수행하였다. 그래서 60개의 서로 다른 이미지 시퀸스를 각각의 동작에 대해 캡쳐하고 모두 480개의 이미지 시퀸스를 훈련하기 위해 사용하였다. 각각의 이미지 크기는 320*240이며, 프레임 비율은 30 frames/sec로 하였다, 손동작을 만들기 위해 약 1초의 시간을 사용하였다.

본 발명의 실시예에 따른 실시간 추적 시스템에서는 고정적인 배경 앞에서 움직이는 물체를 추적하고 구분할 수 있다. 손 영역의 검출은 피부색과 비슷한 영역에 의해 방해받을 수 있다. 정확한 검출은 정확한 손바닥 중심 위치의 결과에 의해 결정되며, 정확한 손 에지 정보와 손가락 검출 또한 손 영역을 검출하는 중요한 정보이다. 검출결과는 도 4 및 도 5와 같다.

도 4는 본 발명의 실시예에 따른 손 영역 검출을 위한 원본 영상을 나타내는 도면이며, 도 5는 본 발명의 실시예에 따른 원본 영상으로부터 손 영역을 검출한 영상을 나타내는 도면이다.

이때, 손 영역 검출 결과는 <표 1>과 같이 나타났다. <표 1>에서 CD 와 MD는 인식과 오인식을 각각 나타내며, DR은 검출률을 나타낸다.

Background Complexity	Test Image	CD	MD	DR
Simple without Face Region	200	198	2	99%
Simple with Face Region	200	192	8	96%
Complex without Face Region	200	186	14	93%
Complex with Face Region	200	179	21	89.5%

한편, 다른 손 형태와 동작 속도 때문에 다른 사람이 만든 같은 동작도 다르게 볼 수 있다. 강인한 인식 시스템을 설계하기 위해서는 훈련 데이터는 각각 개별적인 것을 위한 모든 가능한 손 형상을 커버하기 위해 선택되어 진다. 훈련 또는 인식 과정을 위한 HMM을 사용하기 전에 벡터 시퀸스는 관찰할 수 있는 심볼 시퀸스 O에 선행 처리된다. 코드북은 그들의 상응하는 훈련 데이터를 기반으로 만들어진다.

모두 480개의 이미지 시퀸스는 8개의 다른 동작으로 이루어지고 각각의 동작은 평균 60개의 시퀸스를 가진다. 실험에 대한 훈련 데이터를 사용하는 손 형상 인식률은 98%이다. 실험 데이터를 사용하는 인식 비율은 90.5%이다. 그리고 손의 움직임에 대해 움직임에 대한 정확한 기술을 얻기 위한 광류장의 PCA 특징을 추출한다. 손동작의 인식율은 실시간으로 약 93%이다. 마지막 손동작 인식율은 84.16%이다.

도 6 및 도 7은 첫 번째 동작의 인식 결과를 보여 준다. 도 6에서는 HMM에 입력된 관찰 심볼의 시퀸스를 보여주며, 도 7은 테스트 시퀸스에 적용된 각 HMM의 최대 우도 출력의 결과를 나타낸다. 총 8개의 HMM 인식 시스템에서 첫 번째 HMM에 가장 큰 최대 우도를 생성한다. 실험에서, 8명의 실험자로부터 8가지 서로 다른 동작을 실험하였다. HMM 모델의 좋은 추정치를 만들 수 있는 충분한 데이터를 확보할 경우 본 발명에 따른 식별 방법은 높은 신뢰도를 가질 수가 있게 된다.

한편, 본 발명의 실시 예에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

10 : 은닉 상태 20 : 관측자

Claims (16)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 복수의 프레임을 가지는 입력 영상으로부터 상기 프레임 간의 변위 벡터를 계산하여 광류장을 산출하는 단계;
    상기 산출된 광류장에 의해 손 이미지 영역을 판단하는 단계;
    상기 손 이미지 영역으로부터 모션 특징 벡터를 추출하는 단계;
    상기 손 이미지 영역으로부터 자세 특징 벡터를 추출하는 단계;
    상기 모션 특징 벡터 및 상기 자세 특징 벡터로부터 각각 은닉 마르코프 모델의 심볼 시퀀스를 생성하는 단계;
    상기 생성된 각 심볼 시퀀스를 결합하는 단계; 및
    상기 결합된 심볼 시퀀스에 의해 손동작을 인식하는 단계;를 포함하는 것을 특징으로 하는 광류장 기반의 손 이미지 검출에 의한 손동작 인식 방법.
    
11. 제10항에 있어서, 상기 산출된 광류장에 의해 손 이미지 영역을 판단하는 단계는,
    상기 산출된 광류장에서의 표본으로부터 동적인 군집을 계산하여 광류장을 분할하는 단계; 및
    상기 분할된 광류장과 피부 색상 정보를 이용하여 손의 이미지 영역을 검출하는 단계;를 더 포함하는 것을 특징으로 하는 광류장 기반의 손 이미지 검출에 의한 손동작 인식 방법.
    
12. 제11항에 있어서, 상기 광류장을 분할하는 단계에서 동적인 군집을 계산하는 방법은,
    상기 산출된 광류장에서의 표본과 부분 공간의 표본 평균값의 유클리디언 거리를 산출하여 계산하는 것을 특징으로 하는 광류장 기반의 손 이미지 검출에 의한 손동작 인식 방법.
    
13. 제11항에 있어서, 상기 피부 색상 정보의 이용은,
    상기 입력 영상의 RGB 이미지를 정규화하고, 상기 정규화된 RGB 이미지를 YC_bC_r 이미지로 변환된 색상 값을 이용하는 것을 특징으로 하는 광류장 기반의 손 이미지 검출에 의한 손동작 인식 방법.
    
14. 제10항에 있어서, 상기 산출된 광류장에 의해 손 이미지 영역을 판단하는 단계는,
    상기 산출된 광류장에서의 표본으로부터 동적인 군집을 계산하여 광류장을 분할하여 물체를 식별하는 단계;
    상기 식별된 각 물체의 에지 복잡도를 산출하는 단계; 및
    상기 산출된 각 물체의 에지 복잡도로부터 가장 큰 에지 복잡도를 가지는 물체의 영역을 손 이미지 영역으로 판단하는 단계;를 포함하는 것을 특징으로 하는 광류장 기반의 손 이미지 검출에 의한 손동작 인식 방법.
    
15. 제14항에 있어서, 상기 에지 복잡도는,
    상기 식별된 각 물체의 경계 에너지에 의해 산출하는 것을 특징으로 하는 광류장 기반의 손 이미지 검출에 의한 손동작 인식 방법.
    
16. 제15항에 있어서, 상기 에지 복잡도를 산출하는 단계 이후에,
    상기 산출된 경계 에너지를 증강 계수에 의해 증강시키는 단계;를 더 포함하는 것을 특징으로 하는 광류장 기반의 손 이미지 검출에 의한 손동작 인식 방법.
    

Images