KR20070057997A

KR20070057997A - 컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적시스템 및 방법

Info

Publication number: KR20070057997A
Application number: KR1020077009860A
Authority: KR
Inventors: 마르크 사가르; 레밍톤 스캇
Original assignee: 소니 픽쳐스 엔터테인먼트, 인크.; 소니 가부시끼 가이샤
Priority date: 2004-10-01
Filing date: 2005-09-29
Publication date: 2007-06-07
Anticipated expiration: 2025-09-29
Also published as: EP1797537A2; US7554549B2; EP1797537B1; WO2006039497A3; CA2582451C; JP2008515113A; AU2005291927B2; JP5662203B2; AU2005291927A1; KR100917486B1; NZ554589A; US20060071934A1; EP1797537A4; WO2006039497A2; JP2011108281A; JP5047798B2; CA2582451A1

Abstract

움직임 추적 시스템은 근육 움직임을 검출하기 위한 표면 근전도(EMG) 검출 방법 및 눈 움직임을 검출하기 위한 전기안구도(EOG) 검출 방법을 이용하여 미묘한 얼굴 및 눈 움직임을 정확하게 포착할 수 있다. 검출된 근육 및 눈 움직임에 대응하는 신호들은 행위자에 의해 수행되는 것과 동일한 움직임을 나타내기 위해 애니메이트된 캐릭터를 제어하는데 사용된다. 움직임 추적 애니메이션 시스템의 실시예는 각 근육에 대응하는 복수의 위치에서 행위자의 피부면에 부착된 복수의 EMG 전극 쌍을 포함하고, 프로세서는 복수의 EMG 전극 쌍에 연동 결합된다. 프로세서는 복수의 EMG 전극 쌍으로부터 EMG 데이터를 얻는 단계를 수행하기 위한 프로그래밍 명령어를 포함한다. EMG 데이터는 행위 동안 행위자의 근육 움직임에 대응하는 전기적 신호를 포함한다. 프로그래밍 명령어는 근육 움직임의 디지털 모델을 제공하기 위해 EMG 데이터를 처리하는 단계 및 디지털 모델을 애니메이트된 캐릭터로 맵핑하는 단계를 더 포함한다. 본 발명의 또 다른 실시예에서, 복수의 EOG 전극 쌍은 행위자의 눈에 인접한 위치에서 행위자의 피부면에 부착된다. 프로세서는 복수의 EOG 전극 쌍에 연동 결합되고, 복수의 EOG 전극 쌍으로부터 EOG 데이터를 획득하는 단계를 수행하기 위한 프로그래밍 명령어를 더 포함한다. EOG 데이터는 행위 동안 행위자의 눈 움직임에 대응하는 전기적 신호를 포함한다. 프로그래밍 명령어는 EOG 데이터를 처리하는 단계 및 처리된 EOG 데이터를 애니메이트된 캐릭터에 매핑하는 단계를 더 포함한다. 결과적으로, 애니메이트된 캐릭터는 행위자와 동일한 근육 및 눈 움직임을 나타낼 것이다.

근전도(electromyography; EMG) 전극, 전기안구도(electrooculogram; EOG) 전극, 움직임 추적 프로세서(motion tracking processor), 전극 인터페이스

Description

컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적 시스템 및 방법{SYSTEM AND METHOD FOR TRACKING FACIAL MUSCLE AND EYE MOTION FOR COMPUTER GRAPHICS ANIMATION}

본 특허 출원은 미국 특허법 119조(c)에 의거 다음의 임시 특허출원에 대한 우선권 주장을 수반한다: (a) 2004년 10월 4일 출원된 출원번호 60/616,049 "안면 및 눈 움직임을 포착하기 위한 시스템 및 방법(SYSTEM AND METHOD FOR CAPTURING FACIAL AND EYE MOTION)" (b) 2004년 10월 1일 출원된 출원번호 60/615,268 "가상의 얼굴 포착없이 안면 특성 움직임을 추적하는 방법(TRACKING OF FACIAL FEATURE MOVEMENTS WITHOUT VISUAL FACE CAPTURE)"

본 발명은 3차원 그래픽 및 애니메이션에 관한 것이고, 특히, 컴퓨터 그래픽 애니메이션 제작에 사용되는, 카메라를 사용하지 않고 행위자의 안면 및 눈 움직임의 포착을 가능하게 하는 움직임 추적 시스템에 관한 것이다.

움직임 포착 시스템은 실제 물체의 움직임을 포착하고 이를 컴퓨터 상의 물체로 맵핑하는데 사용된다. 이러한 시스템은, 동화상 및 비디오 게임의 제작에 종종 사용되어, 컴퓨터 그래픽(CG) 애니메이션을 제작하기 위해 소스 데이터로 사용되는 사람의 디지털 표현(representation)을 만들기 위한 도구로 이용되고 있다. 일반적인 시스템에서, 행위자는 다양한 위치에 부착된 마커(marker)를 가지는 (예컨대, 몸통 및 손발에 부착된 작은 반사 마커를 가지는) 옷을 입고, 디지털 카메라는 마커를 조명하는 동안 여러 각도에서 행위자의 움직임을 기록한다. 그 후, 이 시스템은 각 프레임에서의 행위자 옷에 있는 마커의 (예컨대, 공간 좌표와 같은) 위치 및 방위(orientation)를 판단하기 위해 영상 분석을 수행한다. 마커 위치를 추적함으로써, 시스템은 시간에 따른 마커의 공간 표현을 만들고 움직이는 행위자의 디지털 표현을 형성한다. 이러한 움직임이 디지털 모델에 적용되어, 행위자 및/또는 행위의 완벽한 CG 표현을 제작하기 위해 텍스쳐화(textured)되어 렌더링된다. 이러한 기술은 특수 효과 회사가, 인기있는 많은 영화들 속의 놀라울 정도로 현실적인 애니메이션을 제작하는데 사용되어 왔다.

움직임 추적 시스템은 행위자의 안면 움직임 및 표정(예컨대, 웃음, 울음, 미소 등)의 표현을 만들기 위해 행위자의 안면 움직임 특징을 추적하는데 또한 사용된다. 신체 움직임을 포착할 때와 같이, 마커는 행위자의 얼굴에 부착되고 카메라는 행위자의 표정을 기록한다. 안면 움직임은 신체 움직임과 관련된 큰 근육에 비해 상대적으로 작은 근육과 관련되므로, 안면 마커는 일반적으로 신체 마커보다 훨씬 작고, 카메라는 일반적으로 신체 움직임을 포착하는데 통상 사용되는 카메라보다 더 높은 해상도를 가진다. 일반적으로 카메라는 행위자의 물리적 움직임이 제한되는 공통 평면에 정렬되어, 카메라의 초점이 행위자의 얼굴에 맞춰져 유지된다. 안면 움직임 포착 시스템은, 균일하게 안면 마커를 조명하고 카메라와 얼굴 사이의 상대적 움직임 정도를 최소화하도록 하기 위해 행위자에 물리적으로 부착된 헬멧 또는 다른 기구에 합체될 수 있다.

키프레이밍(keyframing)과 같은 기존 애니메이션 기술에 비해 움직임 포착 시스템은 실시간 시각화(real-time visualization) 성능을 가지는 장점이 있다. 제작 팀은 행위자 움직임의 공간 표현을 실시간 또는 실시간에 가깝게 검토할 수 있고, 최적의 데이터를 포착하기 위해 행위자로 하여금 물리적 행동을 변경하도록 할 수 있다. 또한, 움직임 포착 시스템은 다른 애니메이션 기술을 사용해서는 쉽게 제작될 수 없는 미묘한 뉘앙스의 물리적 움직임을 검출하고, 실제 움직임을 좀 더 정확히 반영하는 데이터를 생산한다. 결과적으로, 움직임 포착 시스템을 이용하여 수집된 소스 재료를 이용하여 제작된 애니메이션은 좀 더 사실 같은 외관을 나타낸다.

이러한 움직임 포착 시스템의 장점에도 불구하고, 기존 움직임 포착 시스템의 단점은 눈 움직임을 포착할 수 없다는 점이다. 마커는 행위자의 눈에 부착될 수 없기 때문에, 눈 움직임은 움직임 포착 카메라에 검출되지 않는다. 이 눈 움직임은 따라서 후속의 CG 애니메이션 프로세스 동안 추가되어야 한다. 이로 인해 애니메이션 프로세스는 좀 더 어려워지고, 애니메이션 제작 결과는 행위 동안 발생하는 미묘한 눈 움직임을 포함하지 않기 때문에 덜 현실적이 된다.

카메라에 의존하는 기존 움직임 포착 시스템의 또 다른 단점은 행위자의 움직임 데이터가 다른 물체들, 이를 테면, 소품 또는 다른 행위자들의 방해로 차단될 수 있다는 점이다. 특히, 신체 또는 안면 마커의 일부가 디지털 카메라의 시야에서 가려진다면, 해당 신체 및 안면 부분에 대한 데이터는 수집되지 않는다. 그 결 과 움직임 데이터에 차단(occlusion) 또는 구멍이 생긴다. 이 차단된 부분은 기존 컴퓨터 그래픽 기술을 이용하여 추후의 제작 동안에 채워질 수 있지만, 채워진 데이터는 실제 움직임 데이터 질에 미치지 못하고, 관객이 식별할 수 있을 정도의 애니메이션 결함을 가져온다. 이러한 문제를 피하기 위해, 기존 움직임 포착 시스템은 한번에 포착될 수 있는 물체의 수를, 예컨대, 단일 행위자로 제한한다. 행위자가 행동하는 특성은 다른 행위자 및 물체들과의 상호작용에 종종 의존하기 때문에, 이러한 방법에서도 여전히 움직임 데이터는 덜 현실적으로 보이게 된다. 더욱이, 이러한 개별적인 행동들을 자연스럽게 보이는 형태로 합치는 것은 어렵다.

연예 산업 이외의 영역에서도, 시각 카메라에 의존하지 않고 안면 근육 및/또는 눈 움직임을 포착하거나 추적하는 것이 바람직한 많은 다른 상황이 있다. 예를 들어, 자동 언어 인식 장치, 액세스 제어 시스템, 개인 프로필에 대한 검색 시스템 및 전기적 저장소 및 의료/치과 스크리닝 시스템들은 이러한 분석 기술을 사용할 수 있다. 안면 특징의 분석을 활용하는 언어 인식 시스템은 청각 언어 인식만을 활용하기 힘든 시끄러운 환경, 예컨대, 군 항공기 또는 공장 안에서와 같은 곳에 널리 적용될 수 있다. 이러한 각각의 잠재적 응용 기술을 실현시키기에는 개별적인 안면 특징을 유용한 전자 데이터로 정확하게 변환하는 효과적인 수단이 현재 부족하다. 이것은 개개인이 검출 설비에 대한 안면 방위를 계속적으로 변화시키는 경우 특히 문제가 된다.

따라서, 이러한 문제들 및 종래 기술의 다른 단점들을 극복하는 움직임 추적 시스템을 마련할 필요가 있다. 특히, 카메라의 사용 없이도 행위자의 미묘한 안면 및 눈 움직임을 정확하게 포착할 수 있는 움직임 추적 시스템을 마련할 필요가 있다.

본 발명은 미묘한 안면 및 눈 움직임을 정확하게 포착할 수 있는 움직임 추적 시스템을 제공함으로써 종래 기술의 단점을 극복한다. 본 발명은 근육 움직임을 검출하기 위한 표면 근전도(electromyography: EMG) 검출 방법 및 눈 움직임을 검출하기 위한 전기안구도(electrooculogram: EOG) 검출 방법을 이용한다. 검출된 근육 및 눈 움직임에 대응하는 신호들은 행위자가 수행하는 것과 동일한 움직임을 나타내도록 애니메이트된 캐릭터를 제어하는데 사용된다.

특히, 움직임 추적 애니메이션 시스템의 실시예는 행위자의 피부면의 각 근육에 대응하는 복수의 위치에 부착된 복수의 근전도(EMG) 전극 쌍과, 복수의 EMG 전극 쌍에 연동 결합된 프로세서를 포함한다. 이 프로세서는 복수의 EMG 전극 쌍으로부터 EMG 데이터를 획득하는 기능을 수행하기 위한 프로그래밍 명령어들을 포함한다. EMG 데이터는 행위자가 행동하는 동안의 근육 움직임에 대응하는 전기적 신호를 포함한다. 프로그래밍 명령어는 근육 움직임의 디지털 모델을 제공하기 위해 EMG 데이터를 처리하는 단계 및 디지털 모델을 애니메이트된 캐릭터로 맵핑하는 단계를 더 포함한다. 결과적으로, 애니메이트된 캐릭터는 행위자와 동일한 근육 움직임을 보일 것이다.

본 발명의 일 실시예에서, 복수의 전기안구도(EOG) 전극 쌍은 행위자의 눈에 인접한 위치에서 행위자의 피부면에 부착된다. 프로세서는 복수의 EOG 전극 쌍에 연동 결합되고, 복수의 EOG 전극 쌍으로부터 EOG 데이터를 획득하는 단계를 수행하기 위한 프로그래밍 명령어들을 더 포함한다. EOG 데이터는 행위자가 행동하는 동안의 눈 움직임에 대응하는 전기적 신호를 포함한다. 프로그래밍 명령어는 EOG 데이터를 처리하는 단계 및 처리된 EOG 데이터를 애니메이트된 캐릭터로 맵핑하는 단계를 더 포함한다. 이로써 애니메이트된 캐릭터는 행위자와 동일한 눈 움직임을 보인다.

당업자라면 다음의 상세한 설명의 바람직한 실시예를 통해, 컴퓨터 그래픽 애니메이션 제작에 사용되는, 행위자의 안면 및 눈 움직임을 포착할 수 있는 움직임 추적 시스템을 완전히 이해할 수 있을 뿐만 아니라 추가적인 이점 및 목적을 알 수 있다. 우선 간략히 기술될 첨부된 도면에는 참조부가 매겨질 것이다.

도 1은 본 발명의 일 실시예에 따른 움직임 추적 시스템을 도시한 블록 다이어그램.

도 2는 예시적인 전극 배치 위치를 포함하는 사람 안면 근육 구조의 정면도.

도 3은 본 발명의 일 실시예에 따라 근전도(electromyography: EMG) 신호를 사용하여 애니메이션 프레임을 제작하는 방법을 나타낸 도면.

도 4는 EMG 신호를 처리하는 방법을 나타낸 도면.

도 5는 캘리브레이션 포즈(calibration pose)를 처리하는 방법을 나타낸 도면.

도 6은 각막(cornea) 및 안저(ocular fundus) 사이에 존재하는 전위차를 보 여주는 사람 눈의 측면 단면도.

도 7a 및 도 7b는 눈 움직임에 따른 전기장 측정을 보여주는 개략도.

도 8은 안면 근육 전극 및 눈 전위 전극이 부착된 행위자의 사진.

도 9는 도 8의 행위자로부터 얻어진 안면 근육 및 눈 움직임 데이터를 이용하여 표현된 애니메이트된 캐릭터(animated character)를 도시한 도면.

아래에서 더 기술되는 바와 같이, 본 발명은 카메라를 사용하지 않고 행위자의 미묘한 안면 및 눈 움직임을 정확히 포착할 수 있는 움직임 추적 시스템을 충족시킨다. 다음의 상세한 설명에서, 동일한 도면 부호는 하나 이상의 도면에 도시된 동일한 요소를 기술하는데 사용된다.

우선 도 1을 참조하면, 블록 다이어그램은 본 발명의 일 실시예에 따른 움직임 추적 시스템(100)을 도시한다. 움직임 추적 시스템(100)은 적합한 전극 인터페이스(112)를 통해 복수의 안면 근육 전극쌍 및 복수의 눈 움직임 전극쌍과 통신하도록 되어있는 움직임 추적 프로세서(108)를 포함한다. 움직임 추적 프로세서(108)는 관련 데이터 파일들을 저장할 수 있도록 되어있는 데이터 기억 장치(106)를 가지는 프로그램가능한 컴퓨터를 더 포함할 수 있다. 공지기술에서와 같이, 컴퓨터 그래픽 애니메이션을 만드는 과정에서 복수의 그래픽 아티스트들이 저장된 데이터 파일들을 가지고 작업을 할 수 있도록 하기 위해, 하나 이상의 컴퓨터 워크스테이션이 네트워크를 이용하여 움직임 추적 프로세서(108)에 결합될 수 있다. 움직임 추적 프로세서(108)는, Alias|Wavefront^TM에 의해 판매되는 Maya® 소프트웨어 제품 종류 또는 다른 유사 제품들과 같은, 엔터테인먼트 산업용의 3D 그래픽 및 애니메이션 제조를 가능하게 하는 상업적 소프트웨어 패키지가 제공하는 컴퓨터 그래픽 애니메이션 시스템을 더 포함할 수 있다. 컴퓨터 그래픽 애니메이션 시스템은 움직임 추적 프로세서(108)로부터 완전히 분리된 컴퓨터 하드웨어 및 소프트웨어 시스템을 포함할 수 있거나, 이와 달리, 공용 하드웨어 및 소프트웨어 시스템의 부분으로서 (예컨대, "플러그인"으로서) 움직임 추적 프로세서(108)와 함께 통합될 수 있다.

근육 전극 쌍은 각각의 전기적 컨덕터(116₁, 118₁ 부터 116_N, 118_N)를 통해 전극 인터페이스(112)에 결합되는 전극(120₁, 122₁ 부터 120_N, 122_N)을 포함한다. 또한 접지 전극(126)은 전기적 컨덕터(124)를 통해 전극 인터페이스(112)에 결합된다. 본 발명의 바람직한 실시예에서, 근육 전극 쌍은, 근육이 관절을 구부릴 때 발생하는, 근육 표면을 따라 이동하는 탈분극파(depolarization wave)에 기인한 전압차를 측정하는 표면 근전도(EMG) 전극을 포함한다. 표면 전극에 의해 검출되는 신호는 일반적으로 5㎷정도의 범위에 있다. 전극은 전기적 임펄스의 예상되는 방향과 정렬되어야(하거나 또는 제외되어야 하는 임펄스들과 수직이어야) 한다.

눈 움직임 전극 쌍은 각각의 전기적 컨덕터(136₁, 138₁ 부터 136₂, 138₂)를 통해 전극 인터페이스(112)에 결합되는 전극(132₁, 134₁ 부터 132₂, 134₂)을 포함한 다. 또한 접지 전극(144)은 전기 컨덕터(142)를 통해 전극 인터페이스(112)에 결합된다. 본 발명의 바람직한 실시예에서, 눈 움직임은 눈들로부터 전기안구도(electro-oculogram: EOG)를 측정하고 획득함으로써 검출된다.

도 2는 예시적으로 지정된 안면 근육 위치에 EMG 전극 쌍을 가지는 안면 근육 시스템을 나타내는 사람 해부 모델(200)이다. EMG 전극 쌍은 각 근육 그룹으로부터 데이터를 포착하는데 사용된다. 예를 들어, 전극 쌍 위치 1L은 왼쪽 안 이마를 올리는 담당을 하는 근육에 대응하고, 전극 쌍 위치 2L은 왼쪽 바깥 이마를 올리는 담당을 하는 근육에 대응하며, 전극 쌍 위치 3은 이마를 내리는 담당을 하는 근육에 대응한다. 전극 쌍은 화장 풀(cosmetic glue)을 사용하는 것과 같은 공지 방법에 의해 행위자의 피부 표면의 지정된 위치에 부착된다. 행위자에 의한 대응 근육들의 움직임은 대응 전극들에 의해 검출되는 관련 전기적 신호를 만든다. 사람들마다 근육들이 약간씩 다르기 때문에, 최적의 데이터 집합을 얻기 위해서는 각 행위자에 대한 전극들의 위치를 찾고 배치하는 실험이 어느 정도 필요하다.

의료 기술 분야에서 알려진 대로, 상단 안면 근육은 눈썹, 이마 및 눈꺼플의 위아래의 외관을 변경하는 것을 담당한다. 안면 상부의 전두근(frontalis muscles)은 두개골 상의 정적 삽입점(static insertion point)을 향해 등장으로(isotonically) 수축하여, 표면 세포 조직(즉, 피부)이 근육의 방향과 수직으로 모아지고 주름질 수 있게 된다. 하단 안면 근육은, 입술에서 광대뼈로의 각 방향으로 수축하는 큰광대근(Zygomaticus major muscles), 원형 또는 타원형이고 눈 주위에 있는 눈둘레근(Obicularis Oculi muscles), 입 주위에 있는 입둘레 근(Obicularis Oris muscles), 귀를 향해 수평으로 수축하는 볼근(Buccinator muscle), 여러가지 잡다한 동작을 제어하는 다른 근육들을 포함하는 여러 개의 별개의 그룹들로 이루어진다. 입의 근육은 특히 복잡한 근육 상호작용을 가진다. 입둘레근은 뼈에 연결되지 않은 괄약근이다. 세가지 주요 근육, 즉, 거근(M. Levator), 상순근(Labii Superioris), 비익근(Alaeque Nasi)이 이로부터 연결되며, 반면 협근(Buccinator)은 입의 주요 결절에 연결되고 수평으로 수축한다. 억제근(Depressor), 입꼬리내림금(Anguli Oris), 아래입술내림근(Depressor Labii Inferioris) 및 턱끝근(Mentalis) 각각은 비스듬하게 또는 수직으로 수축한다. 안면 표정은 이러한 상단 및 하단 안면 근육의 복잡하게 결합된 움직임에 의해 형성된다.

도 2는 또한 EOG 전극 쌍의 예시적으로 지정된 위치를 나타낸다. 눈에 인접한 전극 쌍 위치 EO1 및 EO2는 눈의 왼쪽/오른쪽 움직임과 관련된 신호를 검출하는데 적합하다. 한 쪽 눈의 위아래의 전극 쌍 위치 EO3 및 EO4는 눈의 위/아래 움직임과 관련된 신호를 검출하는데 적합하다. 접지 전극 위치 GD는 이마 위에 위치한다. 접지 전극은 목, 어깨, 팔꿈치 등과 같이, 안면 근육의 동작 및 적용에 방해를 하지 않는 몸의 임의의 부위에 부착될 수 있다. 이마는 안면 근육 동작을 방해하지 않고 다른 전극들에 근접해 있기 때문에, 접지 전극에 대해 알맞은 위치가 된다. 제2 접지 전극이 EMG 전극에 대해 필요할 수 있고, 이 제2 접지 전극은 EOG 접지 전극과 동일한 영역에 위치할 수 있다. 행위자의 두 눈을 표시하는 쌍극자들은 평행하게 움직이기 때문에, 한 쪽 눈으로부터만 위/아래 움직임을 수집하면 된 다. EMG 전극들과 마찬가지로, EOG 전극들은 화장 풀을 이용하는 것과 같은 공지방법으로 행위자의 피부 표면의 지정된 위치에 부착된다.

도 6을 간단히 참조하면, 사람 눈(600)의 측면 단면도가 도시되어 있다. 각막(602)은 눈의 전면에 위치하고, 물체로부터 반사된 광선을 투과시키는 표면을 제공한다. 광선은 각막(602), 수정체(604), 및 유리체(612)에 의해 구부러지고, 굴절되며, 모아진다. 안저(ocular fundus, 608)는 눈의 오목 내부를 제공하는데, 이는 망막(606)을 포함한다. 수정체(604)는 물체의 영상을 망막(606) 상에 초점을 맞추고, 망막은 광선을 전기적 임펄스로 변환하고 시신경(610)을 통해 뇌로 전송한다. 종래 기술에서 알 수 있듯이, 각막(602) 및 안저(608) 사이에 전위가 존재한다. 이 전위는 측정가능한 전기장을 방출하는 쌍극자를 포함하는데, 이 전기장의 변화는 눈의 움직임과 관련된다.

도 7a 및 7b는 전극 쌍(136₁, 138₁)에 의해 둘러싸인 두 개의 쌍극자를 도시한다. 두 쌍극자는 행위자의 눈(600L, 600R)에 각각 대응한다. 도 7a에서 표시된 바와 같이, 쌍극자(즉, 눈)들이 앞 방향(forward direction)으로 마주하고 있을 때, 전극(136₁, 138₁) 사이에서 측정된 전기장은 0이다. 도 7b에서 쌍극자들은 오른쪽으로 지향되고, 따라서 전극(136₁, 138₁) 사이에서 양의 전기장을 유도한다. 접지에 대한 전극(136₁, 138₁) 사이의 전기장 변화는 적절한 눈의 위치 정보를 제공한다. 전기장은 앞 방향으로부터 대략 ±20°의 범위의 눈 움직임에 대하여 상당히 선형적으로 된다.

도 1로 돌아와서, 움직임 추적 프로세서(108)는 EMG 및 EOG 전극에 의해 검출된 신호의 증폭 및 신호 처리를 제공한다. EMG 전극에 대하여, 신호 처리는 수신된 신호를 정류(rectification)하는 것을 포함한다. 원 신호(raw signal)는 이상(biphasic)이기 때문에, 이의 평균 값은 0이다. 정류에 의해 전류는 한쪽 방향으로만 흐르고, 음의 부분을 제로 축 위로 "뒤집어서(flip)", 전체 신호를 양으로 만든다. EOG 전극으로부터 수신된 신호의 위상 요소는 눈의 방향을 결정하는데 중요하고, 따라서 이들 신호를 정류하지 않는 일은 없다. 신호 처리는 또한 수신된 신호의 선형 포락선 검파(linear envelope detection) 및 필터링을 포함할 수 있다. EMG 신호는 실제로 여러 신호들 및 일부 잡음의 합성이다. 이러한 전압은 다양한 속도 또는 주파수로 오르내리면서 주파수 스펙트럼을 형성한다. 움직임 추적 프로세서(108)는 합성 신호를 필터링하고 움직임 아티팩트(artifact)와 같은 의미없고 불필요한 전기적 신호를 제거할 수 있다. 대부분의 EMG는 20에서 200㎐사이의 주파수 범위 내에 있다. 움직임 아티팩트는 10㎐ 미만의 주파수를 가지고, 잡음은 바람직한 EMG 범위보다 높은 주파수 범위를 가진다. 따라서, 움직임 아티팩트 및 잡음은 해당 신호를 대역통과 필터에 통과시킴으로써 제거될 수 있다. 전극 인터페이스(112) 및/또는 움직임 추적 프로세서(108)는 신호 처리에 적합한 정도가 되도록 수신된 신호를 증폭할 수 있다. 본 발명의 실시예에서, 전극 인터페이스는 Run Technologies에 의해 제작된 Myopac 시스템에 의해 제공될 수 있다.

도 3은 본 발명의 일 실시예에 따라 안면 추적 방법 구현 예를 도시한다. 이 방법은 단계(302)에서 EMG 신호를 얻는 것으로 개시되며, 이는 상기 논의된 바 와 같이 얼굴의 특정 부위에 전극을 배치하는 것을 포함한다. 예를 들어, 전극은 선택된 안면 근육 그룹들 위에 배치될 수 있다. 따라서, 행위자가 표정을 지으면, 관련 안면 근육들은 안면 근육의 움직임에 따른 근육 작동 전위(muscle action potential)를 발생시킨다. 얻어진 EMG 신호는 잘 동작하는 신호로 만들어지기 위해 단계(304)에서 처리된다. EMG 신호 처리는 안면 표정의 각 프레임에 대한 복수의 EMG 채널들을 처리하는 것을 포함한다. n 차원 "표정 공간(expression space)"을 정의하는 캘리브레이션 표정 또는 포즈의 집합(set of calibration expressions or poses)은 단계(306)에서 생성된다. 캘리브레이션 표정 또는 포즈는, 캘리브레이션 포즈 및 EMG 채널 값의 매트릭스 프로덕트(product)를 나타내는 매트릭스를 만들어 수학적으로 표현될 수 있다. 각 캘리브레이션 표정을 만들기 위해서, 행위자는 수집된 데이터를 캘리브레이션하기 위해 특정 분리된 근육 그룹들을 움직이게 한다. 예를 들어, 행위자가 눈썹을 위로 움직이고, 관련 EMG 전극으로부터의 신호를 측정한다. 대응하는 움직임의 디지털 모델을 달성하기 위해 캘리브레이션 인자(factor)가 검출된 신호에 가해질 수 있다. EMG 전극들의 위치는 좀 더 강한 신호를 검출하거나 인접한 EMG 센서와의 혼선을 피하기 위해 약간 변경될 수 있다. 각각의 다른 근육 그룹에 대하여 동일한 프로세스가 반복된다.

단계(308)에서 각 표정 구성요소에 대한 가중 계수들(weighted coefficients)을 생성하기 위해 계속적인 행동에 의한 EMG 신호는 캘리브레이션 표정에 맞추어진다. 가중 계수(x)들은 방정식 F(x)=B의 x값을 풀면 나오는데, 여기서 F는 단계(306)에서 생성된 캘리브레이션 표정의 집합이고, B는 단계(304)에서 처리된 각 프레임에 대한 복수의 EMG 채널이다. 단계(310)에서 각 얼굴 표정 구성요소에 대하여, 얼굴의 아날로그 3D 컴퓨터 그래픽 모델이 생성된다. 3D 컴퓨터 그래픽 모델은 여러 파라미터 집합을 이용하여 동일한 얼굴 표정을 나타낸다. 예컨대, 외형 좌표가 얼굴 표정을 나타내기 위한 파라미터로 사용될 수 있다. 또 다른 예로, 근육 세기가 얼굴 표정을 나타내기 위한 파라미터로 사용될 수 있다. 단계(312)에서 가중 구성요소가 3D 컴퓨터 그래픽 모델과 결합되면, 원래의 얼굴 표정 구조에 매칭되는 얼굴 표정 구조가 나온다. 단계(314)에서 얼굴 표정의 최종 외형은 파라미터 집합으로 구성된 3D 컴퓨터 그래픽 모델 및 가중 구성요소의 합으로 표현되고, 애니메이션 프레임으로 렌더링된다.

도 4는 상기 단계(304)에서 기술된 EMG 신호의 처리를 위한 전기적 회로를 좀 더 자세하게 도시하는 블록 다이어그램이다. 단계(402)에서 EMG 신호는 이를테면, 상기에서 실질적으로 기술된 바와 같이 안면 근육 상에 위치한 전극들을 이용하여 획득된다. 획득된 아날로그 EMG 신호는 A/D 컨버터(404)를 통해 디지털 신호로 전환된다. 고주파 통과 필터(406)는 EMG 신호를 필터링하고 정류기(408)는 EMG 신호를 정류한다. 잡음 제거 회로(410)를 통해 잡음은 정류된 EMG 신호에서 제거된다. 잡음이 감소된 신호는 적분기(412)에 의해 적분되고, 저주파 통과 필터(414)에 의해 필터링된다. 마지막으로, EMG 채널 값은 프로세서(416)에 의해 처리된다.

도 5는 상기 단계(306)에서 기술된 캘리브레이션 표정을 생성하기 위한 프로세스를 좀 더 자세히 도시한 흐름도이다. 단계(502)는 캘리브레이션 포즈를 위한 EMG 신호의 획득을 수행한다. 획득된 EMG 신호는 단계(504)에서 처리된다. 그리고 단계(506)는 n 차원 "표정 공간(expression space)"을 정의하는 캘리브레이션 표정 또는 포즈의 집합을 생성한다. 상기 언급된 바와 같이, 캘리브레이션 표정 또는 포즈는, 캘리브레이션 포즈 및 EMG 채널 값의 매트릭스 프로덕트를 나타내는 매트릭스를 만들어 수학적으로 표현될 수 있다.

도 8에, 복수의 EMG 및 EOG 전극들을 얼굴에 부착한 실제 행위자가 나타나 있다. 전극을 행위자의 얼굴에 부착한 채로, 행위자는 원하는 행위를 할 수 있다. 전극으로부터의 전기적 신호는 전극 인터페이스(112)에 의해 수신되고 처리되며, 도 9에 나타난 바와 같이, 애니메이션으로 처리하고 저장하기 위해 움직임 추적 프로세서(108)로 전달된다.

전극 컨덕터 다발은 행위자의 움직임을 편하게 하기 위해 함께 묶여 있을 수 있다. 전극 인터페이스(112)는 움직임 추적 프로세서(108)와 통신하기 위해 수많은 신호들을 단일 컨덕터로 다중 송신(multiplex)할 수 있다. 전극 인터페이스(112)가 전기 또는 광섬유 컨덕터에 의해 움직임 추적 프로세서(108)로 연결되거나, 행위자가 좀 더 자유롭게 움직일 수 있도록 무선 커넥션이 활용될 수 있다. 이와 달리, 전극 인터페이스(112)는 하드 디스크 드라이브 또는 플래시 메모리 모듈과 같은 기억 장치를 포함할 수 있는데, 이는 행위 데이터가 지역적으로(locally) 저장되고, 추후에 움직임 트래킹 프로세서(108)로 다운로드되게 한다. 본 발명의 실시예에서, 전극 컨덕터 다발이 행위자의 머리 뒤를 향하고 척추를 따라 아래로 전극 인터페이스(112)로 향한 채로, 전극 인터페이스(112)는 행위자의 등에 운반될 수 있다. 또 다른 대안으로, 전극 인터페이스(112)는 행위자가 쓴 모자에 운반될 수 있고, 이는 행위자가 전극 컨덕터 다발의 방해를 받지 않고 머리와 목을 자유롭게 움직일 수 있게 한다. 전극 및 컨덕터는 행위자의 얼굴에 딱 맞는 플렉서블(flexible) 마스크에 합쳐질 수 있다.

움직임 추적 프로세서는 공지 기술을 이용하여 애니메이션 캐릭터의 디지털 모델을 제작할 것이다. 디지털 모델은, 3차원(3D) 영상 파일 또는 디지털 모델을 제작하기 위해 함께 모아진, 다양한 각도에서 행위자를 찍은 복수의 디지털 사진들에 기초할 수 있다. 3D 영상 파일을 제작하기 위한 소프트웨어 툴은 상기 논의된 바와 같이 공지되어 있다. 예를 들어, 3D 안면 구조는, 각각 안면 구조의 일부 표면을 정의하는 복수의 스프라인(spline) 표면으로부터 생성될 수 있다. 스프라인 표면은 집합적으로 "와이어 프레임(wire frame)"으로 불리우는 개개의 라인 조각으로부터 형성된다. 안면 구조는 피부면 아래에 있는 서브-퍼시(sub-facie) 구조를 나타낸다. 애니메이트된 캐릭터를 제작하기 위한 계속적인 애니메이션 프로세스의 일 부분으로서, 원하는 텍스쳐(texture) 및 색을 가지는 외부 표면 조직은 이 서브-퍼시 구조에 가해진다. 안면 구조 모양은 애니메이트된 캐릭터에 의해 형성된 얼굴 표정을 제어할 것이다.

디지털 모델이 생성되면, 가상의 안면 근육 구조가 디지털 모델의 안면 구조에 오버레이(overlay)된다. 사람의 안면 근육 구조는 의학 분야에서 잘 알려져 있고, 각 근육의 위치 및 상호접속은 디지털 모델에 쉽게 맵핑될 수 있다. 근육 작용은, 복수의 대응 정점(vertex)을 재배치하도록 선택된 근육 벡터 또는 근육 벡터 그룹을 압축함으로써 디지털 모델에서 구현되고 따라서 디지털 모델의 표면을 고친다. 행위자로부터 포착된 안면 및 눈 움직임 데이터는 디지털 모델의 각 근육 벡터에 맵핑된다. 결과적으로, 애니메이트된 디지털 모델은 포착된 행위와 동일한 안면 및 눈 움직임을 나타낸다. 행위자의 동작 및 표정은 임의의 다른 종류의 애니메이트된 얼굴, 이를 테면, 아이, 동물, 또는 다르게 생긴 어른 얼굴에 맵핑될 수 있다.

상기 기재된 바와 같이, 움직임 추적 시스템은 안면 근육 및 눈 동작에 가까운 조정을 가능하게 할 것이다. 예를 들어, 눈 깜박임은 눈을 둘러싸고 있는 근육들에 대한 EMG 데이터의 스파이크(spike)로 검출될 것이다. 스파이크가 검출되었을 때, 애니메이션 프로세스는 이 데이터와 일치하도록 눈 깜박임을 집어넣을 수 있다. 이것은 애니메이션 결과의 사실성을 현저히 높인다. 본 발명의 구현은 카메라 또는 움직임 포착 용량을 필요로 하지 않기 때문에, 상기 기술된 움직임 추적 시스템은 기존의 안면 움직임 추적 시스템에 비해 장점을 가진다. 이것은 추적되어야 하는 얼굴이 시야에서 사라지더라도 구현을 할 수 있다는 것을 의미한다. 또한, 본 발명의 구현은, 최종 외형에 관계없이, 자동으로 포착 움직임을 근육 동작으로 파라미터화하고, 따라서 안면 움직임 포착 리-타겟팅(re-targeting)을 도와준다.

상기 기술은 안면 근육 움직임의 포착에 대해서만 설시하고 있지만, 신체 근육 움직임을 포착하는데 동일한 기술이 적용될 수 있다. 전극 쌍은 상기 안면 근육에 관해 기술된 것과 동일 방법으로 다양한 신체 근육 그룹에 부착될 수 있다. 마찬가지로, 행위자 신체에 전극을 부착시키는 것을 정확하고 쉽게 하기 위해, EMG 전극들이 배치된 몸에 맞는 신체 복장을 마련할 수 있다. 이러한 형태의 신체 근육 포착은, 관절의 회전에 더하여 근육 주름도 포착될 수 있다는 점에서, 시각 시스템을 이용하는 기존의 움직임 포착에 비해 훨씬 개선된 것이 될 수 있다. 이것은 사람 움직임의 좀더 실제 같은 애니메이션을 가져온다.

상기 기술된 눈 움직임 프로세스는 움직임을 포착하기 위해 시각 데이터를 사용하는 기존 움직임 포착 시스템과 함께 역시 사용될 수 있다. 눈 움직임은 시각적으로 포착된 신체와 동기화될 수 있고, 안면 움직임도 상기 기술된 것과 동일한 방법으로 동기화될 수 있다. 또한, 종래 시각 움직임 포착 시스템과 함께 사용되는 EMG 데이터 포착 시스템은 행위에 대하여 향상된 데이터를 제공하고, 행위 동안 시각 방해로 인해 시각 데이터가 제외된 경우 때때로 사용될 수 있다.

이상에서는 카메라의 사용없이 행위자의 안면 및 눈 움직임을 포착할 수 있는 시스템 및 방법의 바람직한 실시예를 기술하였으므로, 당업자라면 본 발명의 장점을 알 수 있을 것이다. 또한 본 발명의 범위 및 사상의 범위 내에서 다양한 수정, 변경, 및 대체 실시예를 고려할 수 있다. 본 발명은 다음의 청구항을 통해 정의된다.

Claims

움직임 추적 애니메이션(motion tracking animation) 시스템으로서,

행위자의 피부면의 각 근육들에 대응하는 복수의 위치에 부착된 복수의 근전도(electromyography: EMG) 전극 쌍; 및

상기 복수의 EMG 전극 쌍에 연동(operatively) 결합된 프로세서

를 포함하며,

상기 프로세서는

상기 복수의 EMG 전극 쌍으로부터 EMG 데이터를 획득하는 단계 - 상기 EMG 데이터는 상기 행위자가 행동하는 동안의 근육 움직임에 대응하는 전기적 신호를 포함함 -;

상기 근육 움직임의 디지털 모델을 제공하기 위해 상기 EMG 데이터를 처리하는 단계; 및

상기 디지털 모델을 애니메이트된 캐릭터(animated character)로 매핑하는 단계 - 상기 애니메이트된 캐릭터는 행위자와 동일한 근육 움직임을 보이게 됨 -

를 수행하기 위한 프로그래밍 명령어들을 포함하는, 움직임 추적 애니메이션 시스템.
제1항에 있어서,

상기 처리하는 단계는 상기 처리된 EMG 데이터에 부분적으로 기초하여 캘리브레이션 포즈 집합(set of calibration poses)을 생성하는 단계를 더 포함하는, 시스템.
제1항에 있어서,

상기 획득하는 단계는 상기 전기적 신호를 정류하거나 필터링하거나 또는 정류 및 필터링 모두를 수행하는 단계를 더 포함하는, 시스템.
제1항에 있어서,

상기 프로세서는 컴퓨터 그래픽 애니메이션 프로세서를 더 포함하는, 시스템.
제1항에 있어서,

상기 복수의 EMG 전극들에 결합된 전극 인터페이스를 더 포함하고, 상기 전극 인터페이스는 상기 프로세서에 합성(composite) 신호를 제공하는, 시스템.
제5항에 있어서,

상기 전극 인터페이스는 상기 행위자의 신체에 지니도록 되어있는, 시스템.
제5항에 있어서,

상기 전극 인터페이스는 상기 행위자의 신체에 지니도록 되어있는, 시스템.
제5항에 있어서,

상기 전극 인터페이스는 상기 프로세서로의 무선 접속부를 갖는, 시스템.
제1항에 있어서,

상기 행위자의 눈에 인접한 위치에서 상기 행위자의 피부면에 부착되도록 된 복수의 전기안구도(electrooculogram; EOG) 전극 쌍을 더 포함하고, 상기 프로세서는 상기 복수의 EOG 전극 쌍에 연동 결합되며,

상기 프로세서는

상기 복수의 EOG 전극 쌍으로부터 EOG 데이터를 획득하는 단계 - 상기 EOG 데이터는 상기 행위자가 행동하는 동안의 눈 움직임에 대응하는 전기적 신호를 포함함 -;

상기 EOG 데이터를 처리하는 단계; 및

상기 처리된 EOG 데이터를 상기 애니메이트된 캐릭터로 매핑하는 단계 - 상기 애니메이트된 캐릭터는 상기 행위자와 동일한 눈 움직임을 보이게 됨 -

를 수행하기 위한 프로그래밍 명령어들을 포함하는, 시스템.
제9항에 있어서,

상기 EOG 전극들은 눈 움직임에 의해 만들어진 전기장 변화를 검출하는, 시 스템.
움직임 추적을 이용한 애니메이팅(animating) 방법으로서,

행위자의 피부면의 각 근육에 대응하는 복수의 위치에 복수의 근전도(EMG) 전극 쌍을 부착시키는 단계;

상기 복수의 EMG 전극 쌍으로부터 EMG 데이터를 획득하는 단계 - 상기 EMG 데이터는 상기 행위자가 행동하는 동안의 근육 움직임에 대응하는 전기적 신호를 포함함 -;

상기 근육 움직임의 디지털 모델을 제공하기 위해 상기 EMG 데이터를 처리하는 단계; 및

상기 디지털 모델을 애니메이트된 캐릭터로 매핑하는 단계 - 상기 애니메이트된 캐릭터는 상기 행위자와 동일한 근육 움직임을 보이게 됨 -

를 포함하는, 움직임 추적을 이용한 애니메이팅 방법.
제11항에 있어서,

상기 처리하는 단계는 상기 처리된 EMG 데이터에 부분적으로 기초하여 캘리브레이션 포즈 집합을 생성하는 단계를 더 포함하는, 방법.
제11항에 있어서,

상기 획득하는 단계는 상기 전기적 신호를 정류하거나 필터링하거나 또는 정 류 및 필터링 모두를 수행하는 단계를 더 포함하는, 방법.
제11항에 있어서,

상기 복수의 EMG 전극에 연동 결합된 전극 인터페이스를 상기 행위자의 신체에 지니게 하는 단계를 더 포함하는, 방법.
제11항에 있어서,

상기 행위자의 피부면의 상기 행위자의 눈에 인접한 위치들에 복수의 전기안구도(EOG) 전극 쌍을 부착하는 단계를 더 포함하는, 방법.
제15항에 있어서,

상기 복수의 EOG 전극 쌍으로부터 EOG 데이터를 획득하는 단계 - 상기 EOG 데이터는 상기 행위자가 행동하는 동안의 눈 움직임에 대응하는 전기적 신호를 포함함 -;

상기 EOG 데이터를 처리하는 단계; 및

상기 처리된 EOG 데이터를 상기 애니메이트된 캐릭터로 매핑하는 단계 - 상기 애니메이트된 캐릭터는 상기 행위자와 동일한 눈 움직임을 보이게 됨 -

를 더 포함하는, 방법.