[go: up one dir, main page]

KR101815975B1 - 객체 자세 검색 장치 및 방법 - Google Patents

객체 자세 검색 장치 및 방법 Download PDF

Info

Publication number
KR101815975B1
KR101815975B1 KR1020110074546A KR20110074546A KR101815975B1 KR 101815975 B1 KR101815975 B1 KR 101815975B1 KR 1020110074546 A KR1020110074546 A KR 1020110074546A KR 20110074546 A KR20110074546 A KR 20110074546A KR 101815975 B1 KR101815975 B1 KR 101815975B1
Authority
KR
South Korea
Prior art keywords
posture
key joint
image
key
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110074546A
Other languages
English (en)
Other versions
KR20130013122A (ko
Inventor
유병인
최창규
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110074546A priority Critical patent/KR101815975B1/ko
Priority to PCT/KR2012/004909 priority patent/WO2013015528A1/en
Priority to CN201280034991.4A priority patent/CN103718175B/zh
Priority to JP2014522730A priority patent/JP6025845B2/ja
Priority to EP12817346.5A priority patent/EP2737418A4/en
Priority to US13/541,126 priority patent/US9098740B2/en
Publication of KR20130013122A publication Critical patent/KR20130013122A/ko
Application granted granted Critical
Publication of KR101815975B1 publication Critical patent/KR101815975B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

객체 자세 검색 장치 및 방법이 개시된다. 객체 자세 검색 방법은 객체의 키 조인트 데이터를 추출하고, 추출된 키 조인트 데이터를 이용하여 후보 자세를 생성하며, 생성된 후보 자세를 이용하여 데이터베이스를 이용하여 최대 유사 자세를 검색할 수 있다.

Description

객체 자세 검색 장치 및 방법{Apparatus and Method for Detecting Object Pose}
객체 자세를 검색하는 장치 및 방법에 관한 것이다.
일상 생활에서 인간은 두 눈을 이용하기 때문에, 원거리의 해상도가 낮은 인체 몸 자세(human body pose)일지라도 잘 인지할 수 있다. 그러나, 컴퓨터 비젼 시스템에서 인체 몸 자세(human body pose)를 인지하는 방법은 다양한 분야에서 요구되지만 잘 풀리지 않는 어려운 문제이다.
기존에 이를 해결하기 위해 주로 모델(Model)에 기반한 방법이 사용되었다. 그러나 기존의 방법은 요가나, 스트레칭과 같이 몸체 부분(Body parts)에 대한 맞물림(Occlusion)이 많고, 앉거나 누워서 수행하는 복잡한 자세(Complex Pose)의 추정(estimation)에는 적용하기 어려운 문제가 있다. 또한, 모델 기반의 종래 방법은 일반적으로 높은 계산(high computation)을 요구하기 때문에 임베디드(Embedded) 환경에 적용하기 어렵고, 빠른 동작의 경우 트래킹(Tracking)이 어려우며, 분할 에러(segmentation error)에도 로버스트(robust)하지 않은 단점이 있다.
일실시예에 따른 객체 자세 검색 장치는, 영상으로부터 객체의 키 조인트에 대한 키 조인트 데이터를 검색하는 키 조인트 검색부; 상기 객체와 연관된 객체 자세를 저장하는 데이터베이스; 및 상기 키 조인트 데이터에 기반하여, 상기 데이터베이스를 이용하여 상기 객체와 유사도가 가장 높은 최대 유사 자세(Most Likely Pose)를 검색하는 자세 검색부를 포함한다.
일실시예에 따른 객체 자세 검색 방법은, 영상으로부터 객체의 키 조인트에 대한 키 조인트 데이터를 검색하는 단계; 및 상기 키 조인트 데이터에 기반하여, 상기 객체와 연관된 객체 자세를 저장하는 데이터베이스를 이용하여 상기 객체와 유사도가 가장 높은 최대 유사 자세(Most Likely Pose)를 검색하는 단계를 포함한다.
객체에 대한 키 조인트 데이터를 추출하고, 추출된 키 조인트 데이터를 이용하여 후보 자세를 생성하며, 생성된 후보 자세를 이용하여 데이터베이스로부터 최대 유사 자세를 검색함으로써, 계산량(computation)을 줄이고, 임베디드 환경에도 적용이 될 수 있다.
또한, 키 조인트 데이터를 검색하는 다양한 방법을 제공함으로써, 복잡한 자세(Complex Pose)에 대해서도 인식률을 높일 수 있다.
또한, 키 조인트 데이터 및 데이터베이스를 이용함으로써, 별도의 자세 트래킹 과정을 포함하지 않고, 따라서, 빠른 동작에 대해서 최대 유사 자세를 쉽게 검색할 수 있고, 카메라 입력 속도보다 더 높은 속도로 객체 스켈레톤을 생성할 수 있다.
도 1은 일실시예에 따른 객체 자세 검색 장치의 구성을 나타내는 도면이다.
도 2 및 도 3은 일실시예에 따른 객체 및 키 조인트를 나타내는 도면이다.
도 4는 일실시예에 따른 객체 자세 검색 장치에 있어서, 키 조인트 검색부의 동작을 나타내는 도면이다.
도 5 및 도 6는 키 조인트 검색부의 다른 실시예들을 나타내는 도면이다.
도 7 및 도 8은 일실시예에 따른 객체 자세 검색 장치에 있어서 전처리부의 동작을 나타내는 도면이다.
도 9는 일실시예에 따른 객체 자세 검색 장치에 있어서, 자세 검색부의 동작을 나타내는 도면이다.
도 10 및 도 11은 일실시예에 따른 객체 스켈레톤을 나타내는 도면이다.
도 12는 일실시예에 따른 객체 자세 검색 장치에 있어서, 후처리부의 동작을 나타내는 도면이다.
도 13은 일실시예에 따른 객체 자세 검색 장치에 있어서, 모델 기반 트래킹부의 동작을 나타내는 도면이다.
도 14는 일실시예에 따른 객체 자세 검색 장치에 있어서, 자세 검색부가 가중치를 이용하여 최대 유사 자세를 검색하는 동작을 나타내는 도면이다.
도 15는 일실시예에 따른 객체 자세 검색 방법을 나타내는 흐름도이다.
이하에서, 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 객체 자세 검색 장치의 구성을 나타내는 도면이다. 도 1을 참조하면, 객체 자세 검색 장치는 깊이 영상(Depth Image)(102)으로부터 객체(101)의 키 조인트 데이터(Key Joint Data)를 검색할 수 있다. 또한, 객체 자세 검색 장치는 검색된 키 조인트 데이터에 기반하여, 데이터베이스(120)를 이용하여 객체(101)와 유사도가 가장 높은 최대 유사 자세(Most Likely Pose)를 검색할 수 있다. 따라서, 객체 자세 검색 장치는 객체(101)와 가장 유사한 자세를 검색할 수 있다. 이하, 일실시예에 따른 객체 자세 검색 장치의 각 구성의 동작에 대해서 상세히 설명한다.
일실시예에 따른 객체 자세 검색 장치는 키 조인트 검색부(110), 데이터베이스(120) 및 자세 검색부(130)를 포함한다. 키 조인트 검색부(Key Joint Detection Unit)(110)는 깊이 영상(Depth Image)(102)으로부터 객체(101)의 키 조인트 데이터(Key Joint Data)를 검색한다. 객체(101)는 카메라로부터 실시간으로 입력되는 실시간 영상 또는 미리 기록된 영상에 포함되는 사람, 물건 등을 나타낼 수 있다. 키 조인트는 객체(101)의 엔드 파트(End Part), 주요 관절, 연결 부위 등일 수 있다.
데이터베이스(120)는 객체와 연관된 객체 자세를 저장한다. 객체 자세는 객체가 일반적으로 취할 수 있는 자세에 대한 정보를 포함할 수 있다. 객체 자세는, 객체에 대하여 미리 설정된 디폴트 키 조인트(Default Key Joint)가 어느 하나 겹치지 않은 상태의 자세를 나타낼 수 있다. 디폴트 키 조인트는, 도 2를 참조하면, 객체의 머리(211), 양 손(212, 213) 및 양 발(214, 215)을 포함할 수 있다. 또 다른 실시예에 따라서는, 객체 자세는, 객체가 현실 세계에서 자주 취하는 자세 중 선정된 자세일 수 있고, 이 때, 객체 자세 검색 장치의 사용자는 선정된 자세를 객체 자세로 설정할 수 있다.
자세 검색부(Pose Retrieval Unit)(130)는 키 조인트 데이터에 기반하여, 데이터베이스(120)를 이용하여 객체(101)와 유사도가 가장 높은 최대 유사 자세(Most Likely Pose)를 검색한다.
자세 검색부(130)에서 최대 유사 자세를 검색하는 방법은 다양한 방법으로 실시 가능하다. 예를 들면, 자세 검색부(130)는 적어도 하나 이상의 후보 자세를 생성하고, 생성된 후보 자세를 이용하여 최대 유사 자세를 검색할 수 있다.
자세 검색부(130)에서 적어도 하나 이상의 후보 자세를 생성하는 실시예로는, 키 조인트 데이터에 제약 IK(Constraint Inverse Kinematics)을 적용하여 객체(101)에 대한 후보 자세(Candidate Pose)를 생성하는 방법과 키 조인트 데이터에 기반하여, 데이터베이스(120)로부터 객체(101)에 대한 후보 자세를 통계적으로 적어도 하나 이상을 추출하여 생성하는 방법을 들 수 있다. 후보 자세를 생성하는 구체적인 설명은 후술하기로 한다.
또한, 자세 검색부(130)에서 생성된 후보 자세를 이용하여 최대 유사 자세를 검색하는 방법의 실시예로서, 데이터베이스(120)를 이용하여 후보 자세와 유사도가 가장 높은 자세를 최대 유사 자세로 검색할 수 있으며, 또 다른 실시예로 가중치를 이용하여 생성된 후보 자세로부터 최대 유사 자세를 검색할 수 있다. 최대 유사 자세를 검색하는 구체적인 설명은 후술하기로 한다.
객체 자세 검색 장치는 전처리부(140)를 더 포함할 수 있다. 전처리부(140)는 카메라로부터 실시간으로 입력되는 실시간 영상 또는 미리 기록된 영상으로부터 객체를 추출할 수 있다.
또한, 객체 자세 검색 장치는 후처리부(150)를 더 포함할 수 있다. 후처리부(150)는, 자세 검색부(130)에 의해서 검색된 최대 유사 자세에 대하여 자세 와핑(Pose Warping)을 수행할 수 있다. 또한, 후처리부(150)는 자세 와핑이 된 최대 유사 자세에 대하여 고속 샘플링(high speed sampling)할 수 있다. 또 다른 실시예에 따라서는, 후처리부(150)는 객체에 대한 운동량을 산출할 수 있다.
또한, 객체 자세 검색 장치는 모델 기반 트래킹부(160)를 더 포함할 수 있다. 모델 기반 트래킹부(160)는 데이터베이스에 저장된 객체와 연관된 모델(Model)에 기반하여, 객체의 자세를 트래킹할 수 있다.
도 2 및 도 3은 일실시예에 따른 객체 및 키 조인트를 나타내는 도면이다. 도 2 및 도 3을 참조하면, 객체가 사람(210)인 경우, 키 조인트는 머리(211), 양 손(212, 213) 및 양 발(214, 215)일 수 있다. 실시예에 따라서는, 머리(211), 양 손(212, 213) 및 양 발(214, 215) 중 적어도 하나의 부분이 사람(210)의 다른 부분에 의해 가려진 경우, 키 조인트는 보이는 신체 부분 중 신체의 엔드 파트(예를 들어 무릎, 팔꿈치, 허리 등)이 될 수 있다. 예를 들어, 제1 자세(320)의 경우, 양 손(212, 213)과 머리(211)가 겹쳐지게 되기 때문에, 키 조인트는 팔꿈치(321)를 더 포함할 수 있다. 또한, 제2 자세(330)의 경우, 한 손(212)과 한 발(214)가 겹쳐지게 되기 때문에, 키 조인트는 무릎(331)을 더 포함할 수 있다. 또한, 제3 자세(340)의 경우, 양 손(212, 213)이 서로 겹쳐지고, 양 발(214, 215)이 서로 겹쳐지게 되기 때문에, 키 조인트는 엉덩이(341)를 더 포함할 수 있다. 또한, 제4 자세(350)의 경우, 양 손(212, 213)이 서로 겹쳐지고, 양 발(214, 215)이 서로 겹쳐지게 되기 때문에, 키 조인트는 무릎(351)을 더 포함할 수 있다.
도 2와 같이 키 조인트가 겹치지 않는 단순한 자세와 달리 객체는 도3과 같이 키 조인트가 겹치는 복잡한 자세(Complex Pose)도 포함할 수 있다. 예를 들어, 제1 자세(320), 제2 자세(330), 제3 자세(340) 및 제4 자세(350) 등과 같이, 손 또는 발이 한 곳에 모여 있어, 키 조인트가 겹치는 복잡한 자세의 경우, 보이는 신체 부분 중 기존의 키 조인트와 유사한 위치에 있는 신체의 엔드 파트를 새로운 키 조인트로 포함할 수 있다.
이하, 도 4 내지 도 14를 참조하여, 일실시예에 따른 객체 자세 검색 장치의 각 구성의 동작에 대해서 상세히 설명한다.
도 4는 일실시예에 따른 객체 자세 검색 장치에 있어서, 키 조인트 검색부(110)의 동작을 나타내는 도면이다. 도 4를 참조하면, 단계(410)는 객체(401)의 엔드 포인트(End Point)를 검색하는 동작을 나타낸다. 이 때, 단계(410)은 키 조인트 검색부(110)에서 수행될 수 있다. 실시예에 따라서는, 키 조인트 검색부(110)는 3차원 연결 구성요소(3D Connected Component)를 이용하여 객체(401)의 엔드 포인트를 검색할 수 있다. 엔드 포인트는 객체(401)의 신체의 끝 부분(예를 들어 정수리, 손끝, 발끝 등)을 의미할 수 있고, 또한, 엔드 파트는 엔드 포인트에 대응하는 신체의 부위(예를 들어, 머리, 손, 발 등)를 의미할 수 있다.
단계(412)는 엔드 포인트를 검색하는 동작을 반복 수행함으로써, 엔드 포인트의 검색률을 향상 시키는 동작을 나타낸다. 이 때, 단계(412)는 키 조인트 검색부(110)에서 수행될 수 있다. 예를 들어, 키 조인트 검색부(110)가 엔드 포인트를 검색하는 동작을 1회 수행한 경우의 영상(411)을 참조하면, 머리끝(정수리), 손끝, 발끝, 가랑이 외에도 옆구리, 어깨, 무릎 등의 부분도 엔드 포인트로 검색이 될 수 있다. 그러나, 키 조인트 검색부(110)가 엔드 포인트를 검색하는 동작을 반복 수행한 경우의 영상(413)을 참조하면, 머리끝, 손끝, 발끝, 가랑이 부분만이 엔드 포인트로 검색될 수 있어, 검색률이 향상될 수 있다.
단계(420)는 엔드 포인트에 대한 검색이 완료되면, 객채(401)의 깊이 영상으로부터 엔드 포인트에 대응하는 엔드 파트(End Part)에 대한 영상을 분할(Segment)하는 동작을 나타낸다. 이 때, 단계(420)는 키 조인트 검색부(110)에서 수행될 수 있다. 영상(421)은 깊이 영상으로부터 분할된 엔드 포인트에 대응하는 머리, 손, 발, 가랑이의 엔드 파트에 대한 영상의 실시예를 나타낸다.
단계(430)는 분할된 영상(421)에 대하여 정규화(Normalization) 작업을 수행하는 동작을 나타낸다. 이 때, 단계(430)는 키 조인트 검색부(110)에서 수행될 수 있다. 엔드 파트에 대한 분할된 영상(421)은, 동일한 엔드 파트일지라도, 객체(401)의 자세에 따라서 방향, 각도, 위아래 등이 상이할 수 있다. 예를 들어, 동일한 머리에 대한 영상인 경우라도, 객체(401)가 어떤 방향을 바라보고 있었느냐에 따라서 머리의 방향이 다를 수 있다. 따라서, 키 조인트 검색부(110)는, 엔드 파트에 대한 특징의 추출 정확도를 높이기 위하여, 분할된 영상(421)을 동일한 자세로 맞춰놓는 정규화 작업을 수행할 수 있다.
단계(440)는 정규화된 영상(431)으로부터 엔드 파트에 대한 특징(Feature)을 추출하는 동작을 나타낸다. 이 때, 단계(440)는 키 조인트 검색부(110)에서 수행될 수 있다. 실시예에 따라서는, 키 조인트 검색부(110)는 정규화된 영상(431)으로부터 엔드 파트에 대한 Haarlet, curvature, HoG(Histogram of Gradient) 등의 형상(Shape) 기반의 특징을 추출할 수 있다. 또 다른 실시예에 따라서는, 키 조인트 검색부(110)는 정규화된 영상(431)으로부터 엔드 파트에 대한 3D Haarlet, Level set feature 등과 같은 3차원 특징을 추출할 수 있다.
단계(450)는 키 조인트 데이터의 검색의 정확도를 높이기 위하여, 추출된 특징에 기반하여 엔드 파트에 대하여 분류(Classification) 작업을 수행하는 동작을 나타낸다. 이 때, 단계(450)는 키 조인트 검색부(110)에서 수행될 수 있다. 즉, 키 조인트 검색부(110)는, 추출된 특징에 기반하여, 엔드 파트가 어떠한 부위에 속하는지를 판단하여 분류할 수 있다. 예를 들어, 추출된 특징이 머리로 판단되는 경우, 키 조인트 검색부(110)는 엔드 파트를 머리로 분류할 수 있다. 실시예에 따라서는, 키 조인트 검색부(110)는 학습된 Adaboost, Decision tree, Random forest classifier 등을 이용하여 엔드 파트에 대한 분류 작업을 수행할 수 있다. 영상(451)은 분류된 엔드 파트의 실시예를 나타낸다.
단계(460)는 분류된 엔드 파트(451)의 3차원 위치를 산출하여 객체(401)에 대한 키 조인트 데이터를 검색하는 동작을 나타낸다. 이 때, 단계(460)는 키 조인트 검색부(110)에서 수행될 수 있다. 실시예에 따라서는, 키 조인트 검색부(110)는 central moment, spatial moment, mean-shift estimator 등을 이용해서, 분류된 엔드 파트(451)의 2차원 위치 또는 3차원 위치를 산출할 수 있다. 또한, 키 조인트 검색부(110)는 Kalman estimation 등과 같은 필터(filter)를 통하여, 산출된 3차원 위치를 보정할 수 있다.
도 5 및 도 6은 키 조인트 검색부(110)의 다른 실시예들을 나타내는 도면이다. 도 5 및 도 6을 참조하면, 키 조인트 검색부는 객체에 대한 특징을 추출하여 키 조인트 데이터를 검색한다.
도 5를 참조하면, 단계(510)는 객체(501)의 깊이 영상으로부터 객체(501)의 3차원 실루엣 특징(3D Silhouette Feature)을 추출하는 동작을 나타낸다. 이 때, 단계(510)는 키 조인트 검색부(110)에서 수행될 수 있으며, 또한, 후술할 단계(520) 내지 단계(540) 역시 키 조인트 검색부(110)에서 수행될 수 있다. 영상(511)은 객체(501)의 3차원 실루엣 특징의 실시예를 나타낸다.
단계(520)는 3차원 실루엣 특징(511)에 기반하여 객체(501)의 자세를 분류하는 동작을 나타낸다.
단계(530)는 분류된 자세에 대응하는 자세 클래스 ID(Pose Class ID)에 기반하여, 데이터 베이스(120)로부터 객체(501)에 대한 키 조인트 데이터를 검색하는 동작을 나타낸다. 예를 들어, 키 조인트 검색부(110)는 데이터 베이스(120)에 저장된 복수 개의 자세 중 분류된 자세에 대응하는 자세 클래스 ID를 갖는 자세를 검색하고, 검색된 자세로부터 키 조인트 데이터를 검색할 수 있다. 실시예에 따라서는, 키 조인트 검색부(110)는, 데이터 베이스(120) 외에 별도로 구현되는, 자세 클래스 ID 및 키 조인트 위치를 매칭(Matching)하여 저장하는 제2 데이터 베이스를 이용하여, 키 조인트 데이터를 검색할 수 있다.
단계(540)는 분류된 자세의 3차원 위치를 산출하여 객체(501)에 대한 키 조인트 데이터를 검색하는 동작을 나타낼 수 있다. 따라서, 상술한 단계(510) 내지 단계(540)을 수행함으로써, 키 조인트 검색부(110)는 객체(501)에 대한 키 조인트 데이터를 검색할 수 있다.
도 6을 참조하면, 단계(610)는 객체(601)의 깊이 영상으로부터 객체(601)에 대한 3차원 레벨 세트 특징(3D Level Set Feature)을 추출하는 동작을 나타낸다. 이 때, 단계(610)는 키 조인트 검색부(110)에서 수행될 수 있으며, 또한, 후술할 단계(620) 내지 단계(640) 역시 키 조인트 검색부(110)에서 수행될 수 있다. 영상(611)은 객체(601)에 대한 3차원 레벨 세트 특징의 실시예를 나타낸다.
단계(620)는 3차원 레벨 세트 특징(611)에 기반하여 객체(601)의 자세를 분류하는 동작을 나타낸다.
단계(630)는 분류된 자세에 대응하는 자세 클래스 ID(Pose Class ID)에 기반하여, 데이터 베이스(120)로부터 객체(601)에 대한 키 조인트 데이터를 검색하는 동작을 나타낸다. 예를 들어, 키 조인트 검색부(110)는 데이터 베이스(120)에 저장된 복수 개의 자세 중 분류된 자세에 대응하는 자세 클래스 ID를 갖는 자세를 검색하고, 검색된 자세로부터 키 조인트 데이터를 검색할 수 있다. 실시예에 따라서는, 키 조인트 검색부(110)는, 데이터 베이스(120) 외에 별도로 구현되는, 자세 클래스 ID 및 키 조인트 위치를 매칭(Matching)하여 저장하는 제2 데이터 베이스를 이용하여, 키 조인트 데이터를 검색할 수 있다.
단계(640)는 분류된 자세의 3차원 위치를 산출하여 객체(601)에 대한 키 조인트 데이터를 검색하는 동작을 나타낸다. 따라서, 상술한 단계(610) 내지 단계(640)을 수행함으로써, 키 조인트 검색부(110)는 객체(601)에 대한 키 조인트 데이터를 검색할 수 있다.
객체 자세 검색 장치의 키 조인트 검색부(110)는, 도 5 및 도 6에서 설명한 3차원 실루엣 특징(3D Silhouette Feature) 및 3차원 레벨 세트 특징(3D Level set Feature) 이외에, 객체의 깊이 영상으로부터 3D haarlet 특징을 추출할 수도 있다.
또한, 객체 자세 검색 장치의 키 조인트 검색부(110)는, 추출된 특징에 기반하여 객체의 자세를 분류(Classification)하는 방법으로 template matching, decision tree, neural network, random forest 등의 알고리즘을 이용할 수 있다.
도 4 내지 도 6에서 설명한 객체 자세 검색 장치의 키 조인트 검색부는 전처리부에서 추출된 객체를 이용하여, 객체에 대한 키 조인트 데이터를 검색할 수 있다. 이하, 도 7 및 도 8을 참조하여, 일실시예에 따른 객체 자세 검색 장치에 있어서, 전처리부의 동작에 대해서 상세히 설명한다.
전처리부(140)는 보다 정확한 자세를 검출하기 위해 키 조인트 검색부(110)에 입력되는 영상을 먼저 가공하는 기능을 수행한다. 예를 들어, 전처리부(140)는 배경과 전경(객체)이 함께 있는 영상에서 전경(객체)만을 분리하여 출력할 수 있으며, 또 다른 예로는 영상마다 각기 다른 스케일을 정규화하여 출력할 수 있다. 전자의 경우에 대해서는 도 7을 통해 설명하고, 후자의 경우에 대해서는 도 8을 통해 설명한다.
도 7을 참조하면, 단계(710)는 카메라로부터 실시간으로 입력되는 실시간 영상 또는 미리 기록된 영상(이하, '입력 영상'이라 함)(702)을 입력 받는 동작을 나타낸다. 이 때, 단계(710)는 전처리부(140)에서 수행될 수 있다. 또한, 후술할 단계(720) 및 단계(730) 역시 전처리부(140)에서 수행될 수 있다.
단계(720)는 입력 영상(702)으로부터 배경(Background)을 학습하는 동작을 나타낸다. 실시예에 따라서는, 전처리부(140)는 배경을 학습하기 위하여, 입력 영상(702)에 대한 일정 프레임 수의 깊이 시퀀스(Depth sequence)에서 평균 배경 깊이 맵(background depth map)을 기록할 수 있다. 또한, 전처리부(140)는 입력 영상(702)의 매 픽셀(pixel)마다 깊이 값이 카메라에 가까운지 여부를 판단하고, 픽셀의 깊이 값이 카메라에 가까운 것으로 판단되는 경우, 깊이 값이 카메라에 가까운 것으로 판단되는 픽셀을 전경 픽셀로 산출할 수 있다. 또한, 전처리부(140)는 학습된 배경을 데이터베이스(731)에 저장할 수 있다. 영상(732)는 학습된 배경의 실시예를 나타낸다.
단계(730)는 학습된 배경을 이용하여, 입력 영상(702)으로부터 전경(Foreground)을 구분하기 위하여, 배경을 공제(Background Subtraction)하는 동작을 나타낸다. 즉, 전처리부(140)는 학습된 배경을 이용하여, 입력 영상(702)으로부터 배경을 공제(Background Subtraction)하여, 전경(Foreground)인 객체(740)를 출력할 수 있다.
도 8을 참조하면, 단계(810)는 입력 영상(702)으로부터 출력된 객체(801)에 대한 노이즈(Noise)를 제거하는 동작을 나타낸다. 이 때, 단계(810)는 전처리부(140)에서 수행될 수 있고, 또한, 후술할 단계(820) 및 단계(830) 역시 전처리부(140)에서 수행될 수 있다. 실시예에 따라서는, 전처리부(140)는 Hole Filling 등의 디노이징(Denoising) 작업을 수행하여, 객체(801)에 대한 노이즈(Noise)를 제거할 수 있다. 또 다른 실시예에 따라서는, 전처리부(140)는 카메라의 FoV, 장애물(Obstacle) 등에 의해 잘려진 객체(801)의 신체 일부분을 복원할 수 있다. 영상(811)은 복원된 깊이 영상 형상의 일실시예를 나타낸다.
단계(820)는 복원된 영상(811)에 대하여 스케일 정규화(Scale Normalization)를 수행하는 동작을 나타낸다. 실시예에 따라서는, 전처리부(140)는 기준 비율(ratio) sX, sY에 맞추어서 복원된 영상(811)에 대하여 스케일 정규화를 수행할 수 있다. 따라서, 전처리부(140)의 스케일 정규화 수행에 의하여, 사용자는 사람의 신체 비율, 카메라로부터의 거리에 상관없이 동일한 센싱/인식 성능을 기대할 수 있다. 영상(821)은 스케일 정규화가 적용된 영상의 실시예를 나타낸다.
단계(830)는 스케일 정규화가 된 영상(821)에 대하여 로테이션 정규화(Rotation Normalization)를 수행하는 동작을 나타낸다. 실시예에 따라서는, 전처리부(140)는 스케일 정규화가 된 영상(821)의 메인 축(Main Axis)을 픽셀 벡터 공간(pixel vector space)을 대상으로 한 PCA(Primary Component Analysis)등의 적용을 통해 프라이머리 축(primary axis)을 산출하고, 기준 축에 맞추어 회전(rotation)하는 로테이션 정규화(rotation normalization)를 수행함으로써, 위치 및 방향에 상관없이 동일한 센싱/인식 성능을 기대할 수 있다. 영상(831)은 로테이션 정규화가 적용된 영상의 실시예를 나타낸다. 실시예에 따라서는, 영상(831)은 객체 자세 검색 장치의 키 조인트 검색부(110)로 입력될 수 있다.
도 9는 일실시예에 따른 객체 자세 검색 장치에 있어서, 자세 검색부의 동작을 나타내는 도면이다. 도 9를 참조하면, 단계(910)는 키 조인트 데이터에 기반하여 객체(901)에 대한 후보 자세(Candidate Pose)를 생성하는 동작을 나타낸다. 이 때, 단계(910)는 자세 검색부(130)에서 수행될 수 있고, 또한, 후술할 단계(920) 내지 단계(950) 역시 자세 검색부(130)에서 수행될 수 있다. 실시예에 따라서는, 자세 검색부(130)는 두 개 이상의 후보 자세를 생성할 수 있다.
자세 검색부(130)는 생성된 후보 자세로부터 최대 유사 자세를 검색할 수 있다. 예를 들어, 자세 검색부(130)는 생성된 후보 자세에 대한 자세 자연성값(Pose Naturalness Measurement Value)을 연산하는 과정을 통해서 최대 유사 자세를 검색할 수 있다. 또 다른 방법으로는, 자세 검색부(130)는 생성된 후보 자세에 대한 자세 우도값(Pose Likelihood Value)을 연산하는 과정을 통해서 최대 유사 자세를 검색할 수 있다. 또 다른 방법으로는, 자세 검색부(130)는 생성된 후보 자세에 대한 자세 자연성값 및 자세 우도값을 연산하고, 연산된 2가지의 값을 종합적으로 고려하여 최대 유사 자세를 검색할 수 있다. 자세 검색부(130)가 자세 우도값을 연산하여 최대 유사 자세를 검색하는 동작에 대해서는 단계(920)를 참조하여 후술한다. 또한, 자세 검색부(130)가 자세 자연성값을 연산하여 최대 유사 자세를 검색하는 동작에 대해서는 단계(930)를 참조하여 후술한다.
자세 검색부(130)가 복수 개의 후보 자세를 생성하는 경우, 자세 검색부(130)는 복수 개의 후보 자세를 가중치 합(weighted sum)하여 최대 유사 자세를 검색할 수 있다. 이 때, 가중치 합을 수행하여 최대 유사 자세를 검색하는 방법의 실시예로는, (1) 복수 개의 후보 자세 중 임계값 이상이 되는 후보 자세를 선별하고, 선별된 후보 자세를 가중치 합하여 최대 유사 자세를 검색하는 방법, (2) 복수 개의 후보 자세 모두에 대하여 기준값과의 차이를 연산하고, 연산된 차이를 가중치 합하여 최대 유사 자세를 검색하는 방법 등을 들 수 있다.
단계(920)는 생성된 후보 자세에 대한 자세 우도값을 연산하는 동작을 나타낸다. 실시예에 따라서는, 자세 검색부(130)는 연산된 자세 우도값이 가장 높은 후보 자세를 최대 유사 자세로 검색할 수 있다. 자세 검색부(130)는 하기 수식 1를 이용하여, 자세 우도값을 연산할 수 있다.
수식 1
Figure 112011058063301-pat00001
이 때, C: 생성된 후보 포즈의 Joint position 집합,
D: 입력 영상에서 후보 포즈의 Joint 위치의 깊이 값 집합,
L: 자세 우도값
수식 1을 참고하면, C 및 D 사이의 차이가 작을수록 자세 우도값 L은 1에 가깝고, 차이가 클수록 0에 가까운 값으로 연산된다.
단계(940)은 데이터베이스(930)에 기반하여, 후보 자세에 대한 자세 자연성값(Pose Naturalness Measurement Value)을 연산하는 동작을 나타낸다. 실시예에 따라서, 데이터베이스(930)는 도 1의 데이터베이스(120)와 동일한 데이터베이스일 수 있다. 자세 검색부(130)는 각 후보 자세 C에 대한 확률값을 데이터베이스(930)를 이용하여 연산할 수 있으며, 이러한 확률값을 자세 자연성값으로 간주할 수 있다. 후보 자세의 확률값 계산에 이용되는 데이터베이스(930)는 학습된 통계모델을 저장할 수 있으며, 특정 자세군의 통계 모델이 모여서 수십~수백개 이상의 자세군의 통계 모델을 저장할 수도 있다.
데이터베이스(930)에 저장된 통계모델은 일례로 Factor Analyzer(인자 분석기)일 수 있으며, 이 경우 수식 2와 같이 모델링 될 수 있다.
수식 2
Figure 112011058063301-pat00002
q: 자세의 실제 Joint 값을 갖는 D차원의 Vector
L: 특정 자세군 내의 대표 자세를 저장하고 있는 D x d 차원의 Vector(예를 들어, 특정 자세군 내의 대표 자세가 10가지이고, 각 대표 자세의 실제 Joint 값이 60개인 경우를 가정하면, D는 60이고, d는 10이 될 수 있다)
s: Factor Analyzer의 hidden factor로서, 학습에 의해 결정되는 d차원의 Vector(zero-mean Gaussian distribution N(0, I)로 가정될 수 있다)
n: Gaussian Random Variable로서 노이즈를 의미(Gaussian Distribution N(μ, ψ)으로 가정될 수 있다)
수식 2에 Gaussian Distribution Model(가우스 분배 모델)을 적용하면 수식3과 같이 표현 될 수 있다.
수식 3
Figure 112011058063301-pat00003
p(q): 자세의 확률값(자세자연성 값)
q: 자세의 Joint 실제 값을 갖는 D차원의 Vector
L: 자세군 내의 대표 자세를 저장하고 있는 D x d 차원의 Vector
μ: 모델링한 n의 mean vector
ψ: 모델링한 n의 variance matrix.
Factor Analyzer로 비선형적인 분포를 갖는 객체의 자세를 표현하기 어려울 경우, 또 다른 실시예로, 수식 4와 같이 여러 개의 선형 모델의 가중치 합(Weighted sum)으로 구성된 모델인 MFA(Mixture of Factor Analyzers)를 이용할 수 있다.
수식 4
Figure 112011058063301-pat00004
K: Factor Analyzer의 개수
wk: 특정 자세군 k의 가중치(weight)
p(q): 자세의 확률값(자세자연성 값)
q: 자세의 Joint 실제 값을 갖는 D차원의 Vector
Lk: 특정 자세군 k의 대표 자세를 저장하고 있는 D x d 차원의 Vector
μk: 특정 자세군 k의 모델링한 n의 mean vector
ψ: 모델링한 n의 variance matrix.
앞서 설명한 바와 같이 데이터베이스(930)에 저장된 통계모델은 학습된 통계 모델일 수 있다. MFA 통계 모델의 경우 모든 자세 정보를 입력으로 하여, 기대치 극대화(Expectation Maximization) 방법을 통해서 Lk, s, wk , μk, ψ 등을 학습할 수 있고, 이렇게 학습된 결과가 데이터베이스(930)에 갱신될 수 있다.
이러한 MFA 통계 모델이 저장된 데이터베이스를 이용하는 경우, 각 후보자세 C를 수식 4의 q로 입력하여 후보자세에 대한 확률값(자세 자연성 값) p(C)를 연산할 수 있으며, 실시예에 따라서는, 자세 검색부(130)는 연산된 확률값(자세 자연성값)이 가장 높은 후보 자세 C 를 최대 유사 자세로 검색할 수 있다.
또 다른 실시예에 따라서는, 자세 검색부(130)는 후보 자세에 대한 자세 우도값을 연산하고, 또한, 데이터베이스(930)에 기반하여 후보 자세에 대한 자세 자연성값을 연산한 이후, 연산된 자세 우도값 및 자세 자연성값을 종합적으로 판단하여 최대 유사 자세를 검색할 수 있다. 자세 검색부(130)가 자세 우도값 및 자세 자연성값을 종합적으로 판단하는 방법의 예로서, 두 값의 평균이 가장 높은 후보 자세를 최대 유사 자세로 검색하는 방법, 두 값의 가중치(weight)를 달리 두어 연산한 후 연산값이 가장 높은 후보 자세를 최대 유사 자세로 검색하는 방법 등을 들 수 있다. 또한, 이 외에도 자세 검색부(130)가 자세 우도값 및 자세 자연성값을 종합적으로 판단하여 최대 유사 자세를 검색하는 방법은 다양한 방법으로 변경 실시 가능하다.
단계(950)는 연산된 최대 유사 자세에 기반하여, 객체 스켈레톤(Object Skeleton)을 산출하는 동작을 나타낸다. 객체 스켈레톤은 객체의 형상을 스켈레톤 형태로 표현한 것을 나타낸다. 객체의 형상을 스켈레톤 형태로 표현함으로써, 객체의 자세 및 동작을 효과적으로 제어할 수 있다.
이하, 도 10 및 도 11을 참조하여, 일실시예에 따른 객체 스켈레톤에 대해서 설명한다. 도 10 및 도 11을 참조하면, 자세 검색부(130)는 복수 개의 조인트(1001 내지 1020)를 포함하는 스켈레톤 형태의 객체 스켈레톤을 산출할 수 있다.
실시예에 따라서는, 객체 스켈레톤은 Head(1001), Neck(1002), L_HAND_EFFECTOR(1003), L_FORCE_ARM(1004), L_UPPER_ARM(1005), L_CLAVICLE(1006), R_CLAVICLE(1007), R_UPPER_ARM(1008), R_FORCE_ARM(1009), R_HAND_EFFECTOR(1010), SPINE3(1011), SPINE2(1012), SPINE1(1013), L_THIGH(1014), L_CALF(1015), L_FOOT_EFFECTOR(1016), ROOT & Pelvis(1017), R_THIGH(1018), R_CALF(1019) 및 R_FOOT_EFFECTOR(1020)의 조인트를 포함할 수 있다.
도 11을 참조하면, 자세 검색부(130)는 객체 스켈레톤 및 객체 형상을 합성한 영상을 제공할 수 있다.
도 12는 일실시예에 따른 객체 자세 검색 장치에 있어서, 후처리부의 동작을 나타내는 도면이다. 도 12를 참조하면, 단계(1210)는 자세 검색부(130)에서 검색된 스켈레톤 형태의 최대 유사 자세(1201)에 대하여 자세 정렬(Pose alignment)을 수행하는 동작을 나타낸다. 이 때, 단계(1210)는 후처리부(150)에서 수행될 수 있고, 또한, 후술할 단계(1220) 및 단계(1230) 역시 후처리부(150)에서 수행될 수 있다. 단계(1210)에서는 객체 스켈레톤(1201)의 현재 자세와 이전 자세 사이의 루트 위치(Root Position) 및 방향을 일치시킬 수 있다.
단계(1220)는 자세 정렬이 된 현재 자세 및 이전 자세 사이의 보간(interpolation)을 통하여 중간 자세를 생성하는 자세 와핑(Pose Warping)을 수행하는 동작을 나타낸다. 실시예에 따라서는, 후처리부(150)는 시간 정보(Temporal information)를 고려한 이전 프레임의 자세 및 현재 프레임에서 공간 정보(Spatial information)가 고려된 다양하게 생성된 자세를 고려하여, 자세 와핑을 수행할 수 있다. 또 다른 실시예에 따라서는, 후처리부(150)는 이전 프레임에서 최종적으로 추정된 객체 스켈레톤과 현재 프레임에서 최종적으로 추정된 객체 스켈레톤의 신뢰도 값(confidence value)을 참고하여, 최종적인 객체 스켈레톤을 블렌딩(blending)할 수 있다. 후처리부(150)는 블렌딩을 수행함으로써, 객체의 자세와 더욱 유사한 자세를 검출할 수 있고, 또한, 고속으로 객체의 자세를 유추할 수 있다.
단계(1230)는 자세 와핑이 된 현재 자세 및 이전 자세 사이에 선형/비선형 보간(linear/non linear interpolation)을 통해 부드럽고 자연스러운 이행(transition)을 제공하고, 센싱/인식된 스켈레톤(skeleton) 사이의 중간 자세들을 고속 샘플링(high speed sampling)하는 동작을 나타낸다. 따라서, 일실시예에 따른 객체 자세 검색 장치는 영상 입력 속도보다 빠른 고속의 자세를 출력할 수 있다.
후처리부(150)는 객체에 대한 운동량을 산출할 수도 있다. 산출한 운동량은, 예를 들어, 사용자의 칼로리 소비량, 에너지 소비량 등을 연산하는데 활용될 수 있다. 후처리부(150)는 객체의 깊이 영상의 복수 개의 프레임 각각에 대하여 검색된 복수 개의 최대 유사 자세 사이의 거리 합을 객체에 대한 운동량으로 연산할 수 있다. 실시예에 따라서는, 후처리부(150)는 현재 프레임에 대한 복수 개의 키 조인트 및 이전 프레임에 대한 복수 개의 키 조인트에 대하여, 동일한 위치에 있는 키 조인트 사이의 거리를 각각 연산하고, 연산된 키 조인트 사이의 거리 중 임계값(Threshold) 이상이 되는 거리를 합하여 객체에 대한 운동량을 연산할 수 있다. 자세히 설명하면, 후처리부(150)는 수식 5 및 수식 6를 이용하여, 객체에 대한 운동량을 연산할 수 있다.
수식 5
Figure 112011058063301-pat00005
수식 6
Figure 112011058063301-pat00006
이 때, D : 거리 임계값(distance threshold),
I(x): 리콜 함수(recall function)(객체가 움직였는지 안움직였는지 여부를 판단하는 함수로서, D 이상 움직여야 1을 리턴함),
E: 최종 추정된 운동량(모든 joint n에 대해 입력된 모든 프레임 m 만큼을 누적시켜 값을 연산할 수 있음),
Px : 이전 프레임의 스켈레톤
Cx : 현재 프레임의 스켈레톤
도 13은 일실시예에 따른 객체 자세 검색 장치에 있어서, 모델 기반 트래킹부의 동작을 나타내는 도면이다. 도 13을 참조하면, 단계(1310)는 객체(1301)의 깊이 영상과 저장된 이전 프레임(1302)의 깊이 영상 간 차이(difference)를 연산하는 동작을 나타낸다. 이 때, 단계(1310)는 모델 기반 트래킹부(Model Based Tracking Unit)(160)에서 수행될 수 있고, 또한, 후술할 단계(1320) 내지 단계(1340) 역시 모델 기반 트래킹부(160)에서 수행될 수 있다.
단계(1320)는 연산된 차이를 이용하여 3차원 모델(1321)을 피팅(Fitting)하는 동작을 나타낸다. 또한, 단계(1330)는 입력된 객체(1301)를 이전 영상으로 데이터베이스에 저장하는 동작을 나타낸다. 또한, 단계(1340)는 객체(1301)에 대한 객체 자세(Object Pose)를 산출하는 동작을 나타낸다. 객체 스켈레톤(1350)은 산출된 객체 자세의 실시예를 나타낸다. 객체 자세 검색 장치는, 상술한 단계(1310) 내지 단계(1340)의 동작을 추가적으로 수행함으로써, 객체의 최대 유사 자세의 검색 효율을 높일 수 있다.
실시예에 따라서는, 후처리부(150)는, 모델 기반 트래킹부(160)로부터 추정된 객체 스켈레톤(1350) 및 자세 검색부(130)에서 검색된 최대 유사 자세를 비교하여, 추정 정확도가 높은 객체 스켈레톤에 가중치(weight)를 부여할 수 있다. 따라서, 후처리부(150)는 객체 스켈레톤(1350) 및 자세 검색부(130)에서 검색된 최대 유사 자세를 하나의 객체 스켈레톤으로 블렌딩(blending)할 수 있다. 또한, 후처리부(150)는 가중치(weight)를 부여함으로써, 객체 스켈레톤(1350) 및 자세 검색부(130)에서 검색된 최대 유사 자세 중 가중치가 부여된 자세를 선택하여, 최종적으로 추정된 객체 스켈레톤으로 출력할 수 있다.
도 14는 일실시예에 따른 객체 자세 검색 장치에 있어서, 자세 검색부(130)가 가중치를 이용하여 최대 유사 자세를 검색하는 동작을 나타내는 도면이다. 도 14를 참조하면, 단계(1401)는 키 조인트 데이터가 적용된 자세(1410) 및 후보 자세(1420) 사이의 차이를 연산하는 동작을 나타낸다. 이 때, 단계(1401)는 자세 검색부(130)에서 수행될 수 있다. 후보 자세(1420)는 둘 이상일 수도 있다.
또한, 자세 검색부(130)는 연산된 차이에 기반하여 후보 자세(1420)에 대한 가중치(wi)를 연산할 수 있다. 실시예에 따라서는, 자세 검색부(130)는 수식 7를 이용하여, 가중치를 연산할 수 있다.
수식 7
Figure 112011058063301-pat00007

이 때, P: 키 조인트 데이터가 적용된 자세(1410),
Pi: 후보 자세(1420)
단계(1402)는 연산된 가중치에 기반하여, 후보 자세(1420)를 가중치 합(Weighted Sum)하는 동작을 나타낸다. 이 때, 단계(1402)는 자세 검색부(130)에서 수행될 수 있다. 실시예에 따라서는, 자세 검색부(130)는 수식 8을 이용하여, 가중치를 합하여 생성된 자세(1430)를 연산할 수 있다.
수식 8
Figure 112011058063301-pat00008
이 때, Pi: 후보 자세(1420)
P*: 가중치를 합하여 생성된 자세(1430)
자세 검색부(130)는 가중치 합하여 생성된 자세(1430)를 최대 유사 자세로 검색할 수 있다.
도 15는 일실시예에 따른 객체 자세 검색 방법을 나타내는 흐름도이다.
도 15를 참조하면, 일실시예에 따른 객체 자세 검색 방법은 객체(Object)의 깊이 영상(Depth Image)으로부터 객체의 키 조인트(Key Joint)의 키 조인트 데이터(Key Joint Data)를 검색할 수 있다(1510). 객체는 카메라로부터 실시간으로 입력되는 실시간 영상 또는 미리 기록된 영상에 포함되는 사람, 물건 등을 나타낼 수 있다. 키 조인트는 객체의 엔드 파트(End Part), 주요 관절, 연결 부위 등일 수 있다.
일실시예에 따른 객체 자세 검색 방법은 키 조인트 데이터에 기반하여, 데이터베이스를 이용하여 객체와 유사도가 가장 높은 최대 유사 자세(Most Likely Pose)를 검색할 수 있다(1520). 일실시예에 따른 데이터베이스는 객체와 연관된 객체 자세를 저장할 수 있으며, 객체 자세는 객체가 일반적으로 취할 수 있는 자세에 대한 정보를 포함할 수 있다.
객체 자세 검색 방법이 최대 유사 자세를 검색하는 방법은 다양한 방법으로 변경 실시 가능하다. 예를 들면, 객체 자세 검색 방법은 적어도 하나 이상의 후보 자세를 생성하고, 생성된 후보 자세를 이용하여 최대 유사 자세를 검색할 수 있다.
객체 자세 검색 방법이 적어도 하나 이상의 후보 자세를 생성하는 실시예로는, 키 조인트 데이터에 제약 IK(Constraint Inverse Kinematics)을 적용하여 객체에 대한 후보 자세(Candidate Pose)를 생성하는 방법과 키 조인트 데이터에 기반하여, 데이터베이스로부터 객체에 대한 후보 자세를 통계적으로 적어도 하나 이상을 추출하여 생성하는 방법을 들 수 있다. 또한, 객체 자세 검색 방법이 생성된 후보 자세를 이용하여 최대 유사 자세를 검색하는 방법의 실시예로서, 데이터베이스로부터 후보 자세와 유사도가 가장 높은 자세를 최대 유사 자세로 검색할 수 있으며, 또 다른 실시예로 가중치를 이용하여 생성된 후보 자세로부터 최대 유사 자세를 검색할 수 있다.
상세한 객체 자세 검색 방법은 앞서 설명하였기에 이하 생략한다.
앞서 설명한 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 객체
102: 깊이 영상
110: 키 조인트 검색부
120: 데이터베이스
130: 자세 검색부
140: 전처리부
150: 후처리부
160: 모델 기반 트래킹부

Claims (19)

  1. 영상으로부터 객체의 키 조인트에 대한 키 조인트 데이터를 검색하는 키 조인트 검색부;
    상기 객체와 연관된 객체 자세를 저장하는 데이터베이스; 및
    상기 키 조인트 데이터에 기반하여, 상기 데이터베이스를 이용하여 상기 객체와 유사도가 가장 높은 최대 유사 자세(Most Likely Pose)를 검색하는 자세 검색부
    를 포함하고,
    상기 자세 검색부는
    상기 키 조인트 데이터에 기반하여, 상기 객체에 대한 적어도 하나의 후보 자세를 생성하고,
    상기 데이터베이스에 기반하여, 상기 적어도 하나의 후보 자세에 대한 자세 자연성값(Pose Naturalness Measurement Value)을 연산하며,
    상기 자세 자연성값이 가장 높은 후보 자세를 상기 최대 유사 자세로 검색하는 객체 자세 검색 장치.
  2. 제1항에 있어서,
    상기 영상은
    상기 객체의 깊이 영상인 객체 자세 검색 장치.
  3. 제1항에 있어서,
    상기 키 조인트 검색부는
    상기 객체의 엔드 포인트(End Point)를 검색하고,
    상기 영상으로부터 상기 엔드 포인트에 대한 특징(Feature)을 추출하고,
    상기 추출된 특징에 기반하여 상기 엔드 포인트에 대하여 분류(Classification) 작업을 수행하고,
    상기 분류된 엔드 포인트의 위치를 산출하여 상기 키 조인트 데이터를 검색하는 객체 자세 검색 장치.
  4. 영상으로부터 객체의 키 조인트에 대한 키 조인트 데이터를 검색하는 키 조인트 검색부;
    상기 객체와 연관된 객체 자세를 저장하는 데이터베이스; 및
    상기 키 조인트 데이터에 기반하여, 상기 데이터베이스를 이용하여 상기 객체와 유사도가 가장 높은 최대 유사 자세(Most Likely Pose)를 검색하는 자세 검색부
    를 포함하고,
    상기 키 조인트 검색부는
    상기 객체의 엔드 포인트(End Point)를 검색하고,
    상기 영상으로부터 상기 엔드 포인트에 대응하는 엔드 파트(End Part)에 대한 영상을 분할(Segment)하고,
    상기 분할된 영상에 대하여 정규화(Normalization) 작업을 수행하며,
    상기 정규화된 영상으로부터 상기 엔드 파트에 대한 특징(Feature)을 추출하고,
    상기 추출된 특징에 기반하여 상기 엔드 파트에 대하여 분류(Classification) 작업을 수행하고,
    상기 분류된 엔드 파트의 위치를 산출하여 상기 키 조인트 데이터를 검색하는 객체 자세 검색 장치.
  5. 제1항에 있어서,
    상기 키 조인트 검색부는
    상기 영상으로부터 상기 객체에 대한 특징을 추출하고,
    상기 추출된 특징에 기반하여 상기 객체의 자세를 분류하며,
    상기 분류된 자세에 기반하여, 상기 데이터베이스로부터 상기 키 조인트 데이터를 검색하는 객체 자세 검색 장치.
  6. 제5항에 있어서,
    상기 키 조인트 검색부는
    상기 영상으로부터 상기 객체에 대한 3차원 실루엣 특징(3D Silhouette Feature)을 추출하고,
    상기 3차원 실루엣 특징에 기반하여 상기 객체의 자세를 분류하며,
    상기 분류된 자세에 대응하는 자세 클래스 ID(Pose Class ID)에 기반하여, 상기 데이터베이스로부터 상기 키 조인트 데이터를 검색하는 객체 자세 검색 장치.
  7. 제5항에 있어서,
    상기 키 조인트 검색부는
    상기 영상으로부터 상기 객체에 대한 3차원 레벨 세트 특징(3D Level Set Feature)을 추출하고,
    상기 3차원 레벨 세트 특징에 기반하여 상기 객체의 자세를 분류하며,
    상기 분류된 자세에 대응하는 자세 클래스 ID(Pose Class ID)에 기반하여, 상기 데이터베이스로부터 상기 키 조인트 데이터를 검색하는 객체 자세 검색 장치.
  8. 제1항에 있어서,
    상기 자세 검색부는
    상기 키 조인트 데이터에 제약 IK(Constraint Inverse Kinematics)을 적용하여 상기 객체에 대한 적어도 하나의 후보 자세(Candidate Pose)를 생성하는 객체 자세 검색 장치.
  9. 제8항에 있어서,
    상기 자세 검색부는
    상기 키 조인트 데이터가 적용된 자세 및 상기 적어도 하나의 후보 자세 사이의 차이를 연산하고,
    상기 연산된 차이에 기반하여 상기 적어도 하나의 후보 자세에 대한 가중치를 연산하며,
    상기 연산된 가중치에 기반하여 상기 적어도 하나의 후보 자세를 가중치 합(Weighted Sum)하고,
    상기 가중치 합하여 생성된 자세를 상기 최대 유사 자세로 검색하는 객체 자세 검색 장치.
  10. 삭제
  11. 제1항에 있어서,
    상기 자세 검색부는
    상기 최대 유사 자세에 기반하여, 상기 객체에 대한 객체 스켈레톤(Object Skeleton)을 산출하는 객체 자세 검색 장치.
  12. 영상으로부터 객체의 키 조인트에 대한 키 조인트 데이터를 검색하는 키 조인트 검색부;
    상기 객체와 연관된 객체 자세를 저장하는 데이터베이스;
    상기 키 조인트 데이터에 기반하여, 상기 데이터베이스를 이용하여 상기 객체와 유사도가 가장 높은 최대 유사 자세(Most Likely Pose)를 검색하는 자세 검색부; 및
    상기 객체에 대한 운동량을 연산하는 후처리부
    를 더 포함하고,
    상기 후처리부는
    상기 영상의 복수 개의 프레임 각각에 대하여 검색된 복수 개의 상기 최대 유사 자세 사이의 거리 합을 상기 운동량으로 연산하는 객체 자세 검색 장치.
  13. 제12항에 있어서,
    상기 후처리부는
    현재 프레임에 대한 복수 개의 키 조인트 및 이전 프레임에 대한 복수 개의 키 조인트에 대하여, 동일한 위치에 있는 키 조인트 사이의 거리를 각각 연산하고,
    상기 연산된 키 조인트 사이의 거리 중 임계값(Threshold) 이상이 되는 거리를 합하여 상기 운동량을 연산하는 객체 자세 검색 장치.
  14. 객체 자세 검색 장치의 객체 자세 검색 방법에 있어서,
    영상으로부터 객체의 키 조인트에 대한 키 조인트 데이터를 검색하는 단계; 및
    상기 키 조인트 데이터에 기반하여, 상기 객체와 연관된 객체 자세를 저장하는 데이터베이스를 이용하여 상기 객체와 유사도가 가장 높은 최대 유사 자세(Most Likely Pose)를 검색하는 단계
    를 포함하고,
    상기 최대 유사 자세(Most Likely Pose)를 검색하는 단계는
    상기 키 조인트 데이터에 기반하여, 상기 객체에 대한 적어도 하나의 후보 자세를 생성하는 단계;
    상기 데이터베이스에 기반하여, 상기 적어도 하나의 후보 자세에 대한 자세 자연성값(Pose Naturalness Measurement Value)을 연산하는 단계; 및
    상기 자세 자연성값이 가장 높은 후보 자세를 상기 최대 유사 자세로 검색하는 단계
    를 포함하는 객체 자세 검색 방법.
  15. 제14항에 있어서,
    상기 영상은
    상기 객체의 깊이 영상인 객체 자세 검색 방법.
  16. 제14항에 있어서,
    상기 키 조인트 데이터를 검색하는 단계는,
    상기 객체의 엔드 포인트(End Point)를 검색하는 단계;
    상기 영상으로부터 상기 엔드 포인트에 대한 특징(Feature)을 추출하는 단계;
    상기 추출된 특징에 기반하여 상기 엔드 포인트에 대하여 분류(Classification) 작업을 수행하는 단계; 및
    상기 분류된 엔드 포인트의 3차원 위치를 산출하여 상기 키 조인트 데이터를 검색하는 단계
    를 포함하는 객체 자세 검색 방법.
  17. 제14항에 있어서,
    상기 키 조인트 데이터를 검색하는 단계는,
    상기 영상으로부터 상기 객체에 대한 특징을 추출하는 단계;
    상기 추출된 특징에 기반하여 상기 객체의 자세를 분류하는 단계; 및
    상기 분류된 자세에 기반하여, 상기 데이터베이스로부터 상기 키 조인트 데이터를 검색하는 단계
    를 포함하는 객체 자세 검색 방법.
  18. 삭제
  19. 제14항 내지 제17항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020110074546A 2011-07-27 2011-07-27 객체 자세 검색 장치 및 방법 Active KR101815975B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020110074546A KR101815975B1 (ko) 2011-07-27 2011-07-27 객체 자세 검색 장치 및 방법
PCT/KR2012/004909 WO2013015528A1 (en) 2011-07-27 2012-06-21 Apparatus, method, and medium detecting object pose
CN201280034991.4A CN103718175B (zh) 2011-07-27 2012-06-21 检测对象姿势的设备、方法和介质
JP2014522730A JP6025845B2 (ja) 2011-07-27 2012-06-21 オブジェクト姿勢検索装置及び方法
EP12817346.5A EP2737418A4 (en) 2011-07-27 2012-06-21 DEVICE, METHOD AND MEDIUM FOR DETECTING AN OBJECT SITUATION
US13/541,126 US9098740B2 (en) 2011-07-27 2012-07-03 Apparatus, method, and medium detecting object pose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110074546A KR101815975B1 (ko) 2011-07-27 2011-07-27 객체 자세 검색 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130013122A KR20130013122A (ko) 2013-02-06
KR101815975B1 true KR101815975B1 (ko) 2018-01-09

Family

ID=47597273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110074546A Active KR101815975B1 (ko) 2011-07-27 2011-07-27 객체 자세 검색 장치 및 방법

Country Status (6)

Country Link
US (1) US9098740B2 (ko)
EP (1) EP2737418A4 (ko)
JP (1) JP6025845B2 (ko)
KR (1) KR101815975B1 (ko)
CN (1) CN103718175B (ko)
WO (1) WO2013015528A1 (ko)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104984B2 (en) * 2008-11-13 2015-08-11 Sony Corporation Method and device relating to information management
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
WO2014147542A1 (en) * 2013-03-21 2014-09-25 Koninklijke Philips N.V. View classification-based model initialization
CN103714340B (zh) * 2014-01-09 2017-01-25 西安电子科技大学 基于图像分块的自适应特征提取方法
CN103745218B (zh) * 2014-01-26 2017-02-15 清华大学 一种深度图像中的姿势识别方法及装置
US9087176B1 (en) * 2014-03-06 2015-07-21 Kla-Tencor Corporation Statistical overlay error prediction for feed forward and feedback correction of overlay errors, root cause analysis and process control
KR102256057B1 (ko) * 2014-03-17 2021-05-25 에스케이플래닛 주식회사 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10576603B2 (en) * 2014-04-22 2020-03-03 Kla-Tencor Corporation Patterned wafer geometry measurements for semiconductor process controls
CN105336005B (zh) * 2014-06-27 2018-12-14 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
US9552070B2 (en) * 2014-09-23 2017-01-24 Microsoft Technology Licensing, Llc Tracking hand/body pose
US9878447B2 (en) * 2015-04-10 2018-01-30 Microsoft Technology Licensing, Llc Automated collection and labeling of object data
CN105631919B (zh) * 2015-07-09 2019-01-29 腾讯科技（深圳）有限公司 一种数据处理方法和装置
US20170076629A1 (en) * 2015-09-14 2017-03-16 Electronics And Telecommunications Research Institute Apparatus and method for supporting choreography
WO2017092615A1 (zh) * 2015-11-30 2017-06-08 上海联影医疗科技有限公司 一种计算机辅助诊断系统及方法
CN105513136B (zh) * 2015-11-30 2018-05-04 东北大学 一种基于水平集中心聚类的3d角色模型骨架提取方法
KR102565485B1 (ko) * 2016-01-11 2023-08-14 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
WO2018073829A1 (en) * 2016-10-20 2018-04-26 Robo-Team Home Ltd. Human-tracking robot
US10642368B2 (en) * 2016-11-21 2020-05-05 Htc Corporation Body posture detection system, suit and method
US10163033B2 (en) * 2016-12-13 2018-12-25 Caterpillar Inc. Vehicle classification and vehicle pose estimation
US20230107110A1 (en) * 2017-04-10 2023-04-06 Eys3D Microelectronics, Co. Depth processing system and operational method thereof
EP3624051A4 (en) * 2017-05-12 2020-03-25 Fujitsu Limited DISTANCE IMAGE PROCESSING DEVICE, DISTANCE IMAGE PROCESSING SYSTEM, DISTANCE IMAGE PROCESSING METHOD AND DISTANCE IMAGE PROCESSING PROGRAM
CN110651298B (zh) * 2017-05-12 2023-07-25 富士通株式会社 距离图像处理装置以及距离图像处理系统
KR101963556B1 (ko) 2017-07-04 2019-04-01 주식회사 알고리고 인공 신경망을 이용한 시계열적 자세 예측 장치
EP3460756B1 (en) * 2017-07-24 2021-02-17 HTC Corporation Tracking system and method thereof
CN111263953B (zh) * 2017-10-27 2024-03-01 株式会社爱世克私 动作状态评估系统及其装置、服务器、方法以及存储介质
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
WO2019108250A1 (en) * 2017-12-03 2019-06-06 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
US10733431B2 (en) 2017-12-03 2020-08-04 Facebook, Inc. Systems and methods for optimizing pose estimation
US10796452B2 (en) 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling
US10565729B2 (en) * 2017-12-03 2020-02-18 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
US10913454B2 (en) * 2017-12-13 2021-02-09 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent
US11127189B2 (en) * 2018-02-23 2021-09-21 Canon Kabushiki Kaisha 3D skeleton reconstruction from images using volumic probability data
KR102153591B1 (ko) * 2018-05-08 2020-09-09 한국전자통신연구원 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
JP2020014051A (ja) * 2018-07-13 2020-01-23 ローランド株式会社 情報処理方法、及び情報処理装置
CN109902548B (zh) * 2018-07-20 2022-05-31 华为技术有限公司 一种对象属性识别方法、装置、计算设备及系统
WO2020068104A1 (en) 2018-09-28 2020-04-02 Hewlett-Packard Development Company, L.P. Generating spatial gradient maps for a person in an image
JP7014304B2 (ja) * 2018-10-22 2022-02-01 富士通株式会社 認識方法、認識プログラム、認識装置および学習方法
KR102031983B1 (ko) 2019-03-22 2019-10-14 주식회사 알고리고 복수의 lstm을 이용한 시계열적 자세 예측 장치
KR102239953B1 (ko) * 2019-05-09 2021-04-14 (주)도넛시스템엘에스아이 운동칼로리 산출 서비스 방법
CN110785753B (zh) * 2019-09-27 2024-06-11 京东方科技集团股份有限公司 用于搜索图像的方法、装置及存储介质
JP7556556B2 (ja) 2019-10-31 2024-09-26 日本電気株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR102357117B1 (ko) * 2020-01-09 2022-01-27 주식회사 엘지유플러스 다중 영상 재생 방법 및 장치
KR20210106763A (ko) * 2020-02-21 2021-08-31 삼성전자주식회사 객체의 움직임을 추적하는 전자 장치 및 방법
CA3172248A1 (en) * 2020-03-20 2021-09-23 Dongwook Cho Joint rotation inferences based on inverse kinematics
WO2021224994A1 (ja) * 2020-05-08 2021-11-11 日本電気株式会社 画像選択装置、画像選択方法、及びプログラム
WO2021229750A1 (ja) 2020-05-14 2021-11-18 日本電気株式会社 画像選択装置、画像選択方法、およびプログラム
WO2021229751A1 (ja) 2020-05-14 2021-11-18 日本電気株式会社 画像選択装置、画像選択方法、およびプログラム
WO2021234935A1 (ja) * 2020-05-22 2021-11-25 日本電気株式会社 画像選択装置、画像選択方法、およびプログラム
US12182197B2 (en) 2020-06-10 2024-12-31 Nec Corporation Image processing apparatus, image processing method, and non-transitory storage medium
CN111695520A (zh) * 2020-06-13 2020-09-22 德沃康科技集团有限公司 一种高精度的儿童坐姿检测与矫正方法及装置
US20230244713A1 (en) * 2020-07-01 2023-08-03 Nec Corporation Image processing apparatus, image processing method, and non-transitory storage medium
US20230245342A1 (en) * 2020-07-06 2023-08-03 Nec Corporation Image selection apparatus, image selection method, and non-transitory computer-readable medium
WO2022009327A1 (ja) 2020-07-08 2022-01-13 日本電気株式会社 画像選択装置、画像選択方法、及びプログラム
CN112200074B (zh) * 2020-10-09 2024-12-17 广州健康易智能科技有限公司 一种姿态对比的方法和终端
JP7589744B2 (ja) * 2020-10-13 2024-11-26 日本電気株式会社 画像選択装置、画像選択方法、及びプログラム
KR102416825B1 (ko) * 2020-10-14 2022-07-06 (주)유디피 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
KR102531287B1 (ko) * 2020-12-23 2023-05-12 한국과학기술연구원 자세 인식 기반의 영상 초상권 보호 방법 및 장치
US11593944B2 (en) 2021-01-06 2023-02-28 Tencent America LLC System and method for instance segmentation in pathological images using object-guided framework
US20240071084A1 (en) * 2021-01-15 2024-02-29 Hewlett-Packard Development Company, L.P. Determination of person state relative to stationary object
WO2022188056A1 (zh) * 2021-03-10 2022-09-15 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质
CN113052083B (zh) * 2021-03-26 2024-06-11 陕西大步实业有限公司 一种多近邻图约束矩阵分解的动作行为分割方法
WO2022249331A1 (ja) 2021-05-26 2022-12-01 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム
CN113762129A (zh) * 2021-09-01 2021-12-07 北京理工大学 实时2d人体姿势估计系统中的姿势稳定系统和方法
CN115841639A (zh) * 2021-09-18 2023-03-24 富士通株式会社 动作识别装置和方法以及电子设备
KR102369152B1 (ko) * 2021-11-04 2022-03-02 아이픽셀 주식회사 인공지능을 이용한 실시간 자세 동작 인식 시스템 및 인식 방법
WO2023089690A1 (ja) * 2021-11-17 2023-05-25 日本電気株式会社 検索装置、検索方法、およびプログラム
US11843829B1 (en) * 2022-05-24 2023-12-12 Rovi Guides, Inc. Systems and methods for recommending content items based on an identified posture
CN114821006B (zh) * 2022-06-23 2022-09-20 盾钰（上海）互联网科技有限公司 交互式间接推理的孪生体态检测方法及系统
KR102706055B1 (ko) * 2024-04-09 2024-09-11 국립한국해양대학교산학협력단 라이다 장착 스마트 기기를 활용한 3차원 인체 골격 정보 추출 방법
CN118502639B (zh) * 2024-07-16 2024-09-24 好瑞圣(常州)科技有限公司 姿态差异识别方法、装置、电子设备、介质和程序产品
KR102897733B1 (ko) 2025-02-25 2025-12-09 주식회사 피트인 고속 객체의 3d 자세 추적 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065714A (ja) 2008-12-10 2009-03-26 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化方法
US20110301934A1 (en) * 2010-06-04 2011-12-08 Microsoft Corporation Machine based sign language interpreter

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100305591B1 (ko) * 1998-07-22 2001-11-30 오길록 관절점기반동작정보를사용한동영상검색방법
KR100605050B1 (ko) * 1999-09-08 2006-07-26 주식회사 팬택앤큐리텔 인간의 3차원 자세 검색방법 및 장치
US6771818B1 (en) * 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
KR20050065198A (ko) 2003-12-24 2005-06-29 한국전자통신연구원 사용자의 움직임을 이용한 3차원 동작명령 인식기
JP4686595B2 (ja) * 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
WO2007102537A1 (ja) * 2006-03-07 2007-09-13 Osaka University 姿勢推定装置および方法
CN101657825B (zh) * 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US7965886B2 (en) * 2006-06-13 2011-06-21 Sri International System and method for detection of multi-view/multi-pose objects
JP4148281B2 (ja) * 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
KR100858087B1 (ko) * 2007-02-14 2008-09-10 삼성전자주식회사 객체 포즈 정규화 방법과 장치 및 객체 인식 방법
CN101079103A (zh) * 2007-06-14 2007-11-28 上海交通大学 基于稀疏贝叶斯回归的人脸姿势识别方法
WO2009031155A2 (en) 2007-09-06 2009-03-12 Yeda Research And Development Co. Ltd. Modelization of objects in images
KR100933957B1 (ko) 2008-05-16 2009-12-28 전남대학교산학협력단 단일 카메라를 이용한 삼차원 인체 포즈 인식 방법
WO2010019925A1 (en) 2008-08-15 2010-02-18 Brown Technology Partnerships Method and apparatus for estimating body shape
US8267781B2 (en) * 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
CA2748037C (en) * 2009-02-17 2016-09-20 Omek Interactive, Ltd. Method and system for gesture recognition
WO2010099034A1 (en) * 2009-02-25 2010-09-02 Honda Motor Co., Ltd. Capturing and recognizing hand postures using inner distance shape contexts
KR101591779B1 (ko) * 2009-03-17 2016-02-05 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
US8755569B2 (en) 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US20110025834A1 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and apparatus of identifying human body posture
CN101989326B (zh) * 2009-07-31 2015-04-01 三星电子株式会社 人体姿态识别方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065714A (ja) 2008-12-10 2009-03-26 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化方法
US20110301934A1 (en) * 2010-06-04 2011-12-08 Microsoft Corporation Machine based sign language interpreter

Also Published As

Publication number Publication date
US9098740B2 (en) 2015-08-04
JP2014522035A (ja) 2014-08-28
KR20130013122A (ko) 2013-02-06
EP2737418A4 (en) 2015-10-14
JP6025845B2 (ja) 2016-11-16
CN103718175A (zh) 2014-04-09
CN103718175B (zh) 2018-10-12
WO2013015528A1 (en) 2013-01-31
US20130028517A1 (en) 2013-01-31
EP2737418A1 (en) 2014-06-04

Similar Documents

Publication Publication Date Title
KR101815975B1 (ko) 객체 자세 검색 장치 및 방법
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
KR101933921B1 (ko) 포즈 추정 방법 및 장치
KR101588254B1 (ko) 3차원 근거리 상호작용
CN103942577B (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN101894278B (zh) 基于变结构多模型的人体运动跟踪方法
CN111797791A (zh) 人体姿态识别方法及装置
CN103886589A (zh) 面向目标的自动化高精度边缘提取方法
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN111144165A (zh) 一种步态信息识别方法、系统及存储介质
Sun et al. Human recognition for following robots with a Kinect sensor
Vili et al. Texture based description of movements for activity analysis
CN111862147A (zh) 视频中多车辆和多行人目标的跟踪方法
Shaikh et al. Gait recognition using partial silhouette-based approach
CN108154176A (zh) 一种针对单一深度图像的3d人体姿态估计算法
CN120088854A (zh) 一种图像时序识别的舞蹈动作图像分析方法、系统及设备
CN116665246B (zh) 一种结合显著性检测的小目标姿态估计方法
KR102683444B1 (ko) Cgam을 이용한 스포츠 동영상 내 활동 인식 장치 및 그 방법
Ginhoux et al. Model-based object tracking using stereo vision
Brauer et al. Generative 2d and 3d human pose estimation with vote distributions
Kerdvibulvech et al. 3d human motion analysis for reconstruction and recognition
KR102488560B1 (ko) 근감소증 진단 및 훈련 장치 및 방법
Huang et al. Human body pose recognition from a single-view depth camera
Li et al. Vision-based human pose estimation for pervasive computing
CN111144170A (zh) 一种步态信息注册方法、系统及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9