[go: up one dir, main page]

KR20030036747A - 원래 영상에 사용자 영상을 수퍼임포징하는 방법 및 장치 - Google Patents

원래 영상에 사용자 영상을 수퍼임포징하는 방법 및 장치 Download PDF

Info

Publication number
KR20030036747A
KR20030036747A KR20037003187A KR20037003187A KR20030036747A KR 20030036747 A KR20030036747 A KR 20030036747A KR 20037003187 A KR20037003187 A KR 20037003187A KR 20037003187 A KR20037003187 A KR 20037003187A KR 20030036747 A KR20030036747 A KR 20030036747A
Authority
KR
South Korea
Prior art keywords
actor
image
person
original image
replacing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR20037003187A
Other languages
English (en)
Inventor
구타스리니바스브이알
콜멘아레즈안토니오
트라지코빅미로슬라브
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030036747A publication Critical patent/KR20030036747A/ko
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

사용자가 주어진 콘텐트 선택에 참여하거나 상기 콘텐트 선택에서 액터들 또는 캐릭터들 중 어느 것을 교체하게 하는 영상 처리 시스템이 개시되어 있다. 사용자는 액터의 영상을 대응하는 사용자(또는 제3자)의 영상으로 교체함으로써 영상을 변경한다. 교체될 액터와 연관된 여러 파라미터들은 각 프레임에 대해 추정된다. 정적인 모델은 사용자(또는 선택된 제3자)에서 얻어진다. 얼굴 합성 기술은 선택된 액터와 연관된 추정 파라미터들에 따라 사용자 모델을 변경한다. 비디오 인티그레인션 스테이지는 원래 액터의 위치에서 사용자(또는 선택된 제3자)를 포함하는 출력 비디오 시퀀스를 생성하도록 원래 영상 시퀀스에서의 액터 위에 변경된 사용자 모델을 수퍼임포징한다.

Description

원래 영상에 사용자 영상을 수퍼임포징하는 방법 및 장치{Method and apparatus for superimposing a user image in an original image}
소비자 시장은 다양한 미디어와 엔터테인먼트 취사선택들을 제공한다. 예를 들어, 여러 미디어 플레이어들은 여러 미디어 형식들을 지원하는 데에 이용할 수 있고, 실질적으로 무한한 양의 미디어 콘텐트를 사용자들에게 제공할 수 있다. 또한, 여러 비디오게임 시스템들은 여러 형식들을 지원하고 사용자들이 실질적으로 무한한 양의 비디오게임들을 하게 하는 데에 이용할 수 있다. 그럼에도 불구하고, 다수의 사용자들은 그러한 전통적인 미디어 및 엔터테인먼트 취사선택들에 빨리 지루해할 수 있다.
다수의 콘텐트 취사선택들이 있을 수도 있지만, 주어진 콘텐트 선택은 일반적으로 액터(actor)들의 고정된 캐스트나 애니메이트된 캐릭터들을 가진다. 따라서, 다수의 사용자들은 종종 주어진 콘텐트 선택에서 액터들의 캐스트 또는 캐릭터를 시청하는 동안 관심을 잃게 되는데, 특히 액터들 또는 캐릭터들이 사용자에게 알려져 있지 않을 때다. 또한, 다수의 사용자들은 주어진 콘텐트 선택에 참여하고싶어하거나 액터들 또는 캐릭터들의 대안적인 세트를 갖는 콘텐트 선택을 시청하고 싶어한다. 그러나, 지금 현재 사용자가 주어진 콘텐트 선택에 참여하거나 상기 콘텐트 선택에서 액터들 또는 캐릭터들 중 어느 것을 교체하게 하는데 이용할 수 있는 기계장치는 존재하지 않는다.
따라서, 사용자의 영상을 포함하도록 영상 시퀀스를 변경하는 방법 및 장치의 필요성이 나타나게 된다. 사용자가 영상 시퀀스에 참여하게 하도록 영상 시퀀스를 변경하는 방법 및 장치의 다른 필요성이 나타나게 된다.
본 발명은 영상 처리 기술들에 관한 것으로, 특히 사용자가 영상 시퀀스에 참여하게 하도록 영상 시퀀스를 변경하는 방법 및 장치에 관한 것이다.
도 1은 본 발명에 따른 영상 처리 시스템을 도시하는 도면.
도 2는 본 발명에 따라 실행되는 동작들의 전체적인 뷰(global view)를 도시하는 도면.
도 3은 도 1의 얼굴 분석 처리의 전형적인 구현을 설명하는 플로우 차트.
도 4는 도 1의 얼굴 분석 처리의 전형적인 구현을 설명하는 플로우 차트.
도 5는 도1의 비디오 인티그레이션 처리의 전형적인 구현을 설명하는 플로우 차트.
통상적으로, 사용자가 주어진 콘텐트 선택에 참여하거나 상기 콘텐트 선택에서 액터들 또는 캐릭터들 중 어느 것을 교체하게 하는 영상 처리 시스템이 개시된다. 본 발명은 사용자가 대응하는 사용자(또는 선택된 제3자)의 영상을 갖는 원래 영상 시퀀스에서 액터의 영상을 교체함으로써 영상 또는 영상 시퀀스를 변경하게 한다.
원래 영상 시퀀스는 초기에 액터의 헤드 포즈(head pose), 얼굴 표정(facial expression) 및 조명 특성들과 같은 각 프레임에 대해 교체될 액터와 연관된 여러 파라미터들을 추정하도록 분석된다. 또한 정적인 모델이 사용자(또는 선택된 제3자)에서 얻어진다. 얼굴 합성 기술(face synthesis technique)은 선택된 액터와 연관된 추정 파라미터들에 따라 사용자 모델을 변경하여, 액터가 주어진 헤드 포즈 및 얼굴 표정을 갖는다면, 그에 따라서 정적인 사용자 모델이 변경된다. 비디오 인티그레이션 스테이지(video integration stage)는 원래 액터의 위치에서 사용자(또는 선택된 제3자)를 포함하는 출력 비디오 시퀀스를 생성하도록 원래 영상 시퀀스에서의 액터 위에 변경된 사용자 모델을 수퍼임포징(superimposing)한다.
하기의 상세한 설명 및 도면을 참조로 하여 본 발명의 다른 특징들 및 이점들뿐만 아니라 본 발명의 보다 완벽한 이해를 얻을 수 있다.
도 1은 본 발명에 따른 영상 처리 시스템(100)을 도시한다. 본 발명의 제 1 양상에 따르면, 영상 처리 시스템(100)은 하나 또는 그 이상의 사용자들이 원래 영상 시퀀스에서 액터의 영상(또는 액터의 얼굴과 같은 그것의 일부)을 대응하는 사용자의 영상(또는 사용자의 얼굴과 같은 그것의 일부)으로 교체함으로써, 비디오 시퀀스 또는 비디오게임 시퀀스와 같은 영상 또는 영상 시퀀스에 참여하게 한다. 교체될 액터는 영상 시퀀스로부터 사용자에 의해 선택될 수도 있고, 또는 미리 정해지거나 동적으로 결정될 수도 있다. 한 변형에 있어서, 영상 처리 시스템(100)은입력 영상 시퀀스를 분석할 수 있고, 예를 들어 액터들이 출연하는 프레임들의 수나 액터가 클로즈업되는 프레임들의 수에 근거하여 그 안에 포함된 액터들을 등급을 정할 수 있다.
원래 영상 시퀀스는 초기에 액터의 헤드 포즈, 얼굴 표정 및 조명 특성들과 같은 각 프레임에 대해 교체될 액터와 연관된 여러 파라미터들을 추정하도록 분석된다. 또한, 정적인 모델은 사용자(또는 제3자)에서 얻어진다. 사용자(또는 제3자)의 정적인 모델은 얼굴들의 데이터베이스로부터 얻어질 수도 있고, 또는 사용자의 헤드의 2 또는 3차원 영상이 얻어질 수도 있다. 예를 들어, 펜실베니아주 뉴타운의 "사이버스캔 테크놀로지"로부터 구입할 수 있는 사이버스캔 광학 측정 시스템(Cyberscan optical measurement system)이 정적인 모델들을 얻는데 이용될 수 있다. 이어서, 선택된 액터와 연관된 추정 파라미터들에 따라 사용자 모델을 변경하는데 얼굴 합성 기술이 채용된다. 보다 구체적으로, 사용자 모델은 액터 파라미터들에 의해 구동되어, 액터가 주어진 헤드 포즈 및 얼굴 표정을 갖는다면, 그에 따라서 정적인 사용자 모델이 변경된다. 마지막으로, 비디오 인티그레이션 스테이지는 원래 액터의 위치에서 사용자를 포함하는 출력 비디오 시퀀스를 생성하도록 원래 영상 시퀀스에서의 액터 위에 변경된 사용자 모델을 오버레이(overlay)하거나 수퍼임포징한다.
영상 처리 시스템(100)은 중앙처리장치(CPU)와 같은 처리기(150) 및 RAM 및 ROM과 같은 메모리(160)를 포함하는, 개인용 컴퓨터 또는 워크스테이션과 같은 소정의 계산 장치로 구현될 수도 있다. 다른 실시예에서, 본원에 개시된 영상 처리시스템(100)은 예를 들어 비디오 처리 시스템 또는 디지털 텔레비전의 일부와 같은 주문형 집적 회로(ASIC)로서 구현될 수 있다. 도 1에 도시되고 도 3 내지 도 5와 관련하여 각각 하기에 논의되는 바와 같이, 영상 처리 시스템(100)의 메모리(160)는 얼굴 분석 처리(300), 얼굴 합성 처리(400) 및 비디오 인티그레이션 처리(500)를 포함한다.
통상, 얼굴 분석 처리(300)는 액터의 헤드 포즈, 얼굴 표정 및 조명 특성들과 같은 교체될 액터와 연관된 여러 관심 파라미터들을 추정하도록 원래 영상 시퀀스(110)를 분석한다. 얼굴 합성 처리(400)는 얼굴 분석 처리(300)에 의해 생성된 파라미터들에 따라 사용자 모델을 변경한다. 마지막으로, 비디오 인티그레이션 처리(500)는 원래 액터의 위치에서 사용자를 포함하는 출력 비디오 시퀀스(180)를 생성하도록 원래 영상 시퀀스(110)에서의 액터 위에 변경된 사용자 모델을 수퍼임포징한다.
기술적으로 공지된 바와 같이, 본원에서 논의된 방법들 및 장치는 컴퓨터 판독가능 코드 수단이 구현되는 컴퓨터 매체를 자체적으로 포함하는 제조물로서 공급될 수도 있다. 컴퓨터 판독가능 프로그램 코드 수단(computer readable program code means)은 컴퓨터 시스템과 관련하여, 모든 또는 일부의 단계들을 실행하여 본원에 논의된 방법들을 수행하거나 장치들을 생성하도록 동작할 수 있다. 컴퓨터 판독가능 매체는 기록가능 매체(예를 들어, 플로피 디스크들, 하드 드라이브들, 콤팩트디스크들 또는 메모리 카드들)일 수 있거나, 또는 전송 매체(예를 들어, 광섬유를 포함하는 네트워크, 월드와이드웹, 케이블들, 또는 시분할 다중 접근, 코드분할다중 접근을 이용한 무선 채널 또는 무선주파수 채널)일 수도 있다. 컴퓨터 시스템에의 이용에 적합할 정보를 저장할 수 있는 공지되어 있거나 개발되는 소정 매체가 이용될 수도 있다. 컴퓨터 판독가능 코드 수단은 컴퓨터가 자기 매체 상의 자기 변동들 또는 콤팩트디스크의 표면상의 높이 변동들과 같은 명령들 및 데이터를 판독하게 하는 소정의 메커니즘이다.
메모리(160)는 본원에 개시되는 방법들, 단계들 및 기능들을 구현하도록 처리기(150)를 형성할 것이다. 메모리(160)는 분배 또는 국부적일 수 있고, 처리기는 분배 또는 단일일 수 있다. 메모리(160)는 전기, 자기 또는 광학 메모리이거나, 이들의 소정 조합 또는 다른 형태의 저장장치들로서 구현될 수 있다. 용어 "메모리"는 처리기(150)에 의해 액세싱되는 어드레스가능 공간에서 어드레스로부터 판독되거나 어드레스에 기록될 수 있는 소정 정보를 에워싸도록 널리 충분하게 해석되어야 한다. 이러한 정의한 함께, 네트워크상의 정보는 여전히 영상 처리 시스템(100)의 메모리(160) 내에 있는데, 그 이유는 처리기(150)가 네트워크에서 정보를 검색할 수 있기 때문이다.
도 2는 본 발명에 의해 실행된 동작들의 전체적인 뷰를 도시한다. 도 2에 도시된 바와 같이, 원래 영상 시퀀스(210)의 각 프레임은 초기에 액터의 헤드 포즈, 얼굴 표정 및 조명 특성들과 같은 교체될 액터에 대한 여러 관심의 파라미터들을 추정하도록, 하기에 도 3과 관련하여 논의되는 얼굴 분석 처리(300)에 의해 분석된다. 또한, 정적인 모델(230)은 예를 들어, 사용자에 포커싱되는 카메라(220-1)로부터 또는 얼굴들의 데이터베이스(220-2)로부터의 사용자(또는 제3자)에서 얻어진다.정적인 모델(230)이 생성되는 방식은 "헤드/얼굴의 3D 모델" 절 제목에서 하기에 논의된다.
다음으로, 도 4와 관련하여 하기에 논의되는 얼굴 합성 처리(400)는 어굴 분석 처리(300)에 의해 생성된 액터 파라미터들에 따라 사용자 모델(230)을 변경한다. 따라서, 사용자 모델(230)은 액터 파라미터들에 의해 구동되어, 액터가 주어진 헤드 포즈 및 얼굴 표정을 갖는다면, 그에 따라서 정적인 사용자 모델이 변경된다. 도 2에 도시된 바와 같이, 비디오 인티그레이션 처리(500)는 원래 액터의 위치에서 사용자를 포함하는 출력 비디오 시퀀스(250)를 생성하도록 원래 영상 시퀀스(210)에서의 액터 위에 변경된 사용자 모델(230')을 수퍼임포징한다.
도 3은 얼굴 분석 처리(300)의 전형적인 구현을 설명하는 플로우 차트이다. 앞서 기술한 바와 같이, 얼굴 분석 처리(300)는 액터의 헤드 포즈, 얼굴 표정 및 조명 특성들과 같은 교체될 액터와 연관된 여러 관심의 파라미터들을 추정하도록 원래 영상 시퀀스(110)를 분석한다.
도 3에 도시된 바와 같이, 얼굴 분석 처리(300)는 초기에 단계(310)동안 교체될 액터의 사용자 선택을 수신한다. 앞서 기술한 바와 같이, 디폴트 액터 선택(default actor selection)이 채용될 수 있고, 또는 교체될 액터가 예를 들어, 영상 시퀀스(110)에서의 출현의 주파수에 근거하여 자동적으로 선택될 수도 있다. 그후, 얼굴 분석 처리(300)는 단계(320)동안 영상에서의 모든 액터들을 식별하도록 현재 영상 프레임에 대한 얼굴 검출을 실행한다. 얼굴 검출은 예를 들어, 본 발명의 양수인에게 양도된, 각각 본원에 참조문헌으로서 포함되는, Damian Lyons 및Daniel Pellectier에 의한 "Gesture'99" 85-96 프랑스(1999년)의 "제스처에 기초한 옵션 선택을 위한 방법 및 시스템"; Ming-Hsuan Yang 및 Narendra Ahuja에 의한 "Proc. of the 1998 IEEE Int'l Conf. on Image Processing(ICIP 98)" Vol. 127-130(1998년 10월)의 "인간 신체 특성들을 식별하는 라인스캔 컴퓨터 버전 알고리즘" 및 I.Haritaoglu, D. Harwood, L.Davis에 의한 "Computer Vision and Pattern Recognitions, Second Workshop of video Surveillance(CVPR,1999년)"의 "하이드라:실루엣들을 이용하여 다수의 사람들 검출 및 트랙킹" 제목의 국제 특허 WO09932959에 기재된 기술들과 관련하여 실행될 수 있다.
이후, 얼굴 인식 기술들은 단계(330)동안 사전 단계에서 검출된 얼굴들 중 하나에 대해 실행된다. 얼굴 인식은 본원에 참조로 포함되는, Antonio Colmenarez 및 Thomas Huang에 의한 "2nd Int'l Conf. on Face and Gesture Recognition, Killington, Vermont(October 14-16,1996)"의 "최대 가능도 얼굴 검출" 또는 Srinivas Gutta 등에 의한 "2d Int'l Conf. on Face and Gesture Recognition, 164-169, Killington, Vermont(October 14-16,1996)"의 "하이브리드 분류기들을 이용하는 얼굴 및 제스처 인식"에 기재된 기술들에 따라 실행될 수 있다.
인식된 얼굴이 교체될 액터와 매칭하는지를 결정하도록 단계(340)동안 테스트가 실행된다. 단계(340)동안 현재 얼굴이 교체될 액터와 매칭하지 않는다고 결정되면, 다음에 테스트될 영상에서 그 밖의 검출된 액터가 있는지를 결정하도록 단계(350)동안 다른 테스트가 실행된다. 단계(350)동안 테스트될 영상에서 그 밖의 검출된 액터가 있다고 결정되면, 다음에 프로그램 제어는 상술된 방식으로 그 밖의검출된 얼굴을 처리하도록 되돌아간다. 그러나, 단계(350)동안 테스트될 영상에서 부가적으로 검출된 액터들이 없다고 결정되면, 다음에 프로그램 제어가 종료한다.
단계(340)동안 현재 얼굴이 교체될 액터와 매칭한다고 결정되면, 다음에 액터의 헤드 포즈는 단계(360)동안 추정되고, 얼굴 표정은 단계(370)동안 추정되며, 조명은 단계(380)동안 추정된다. 액터의 헤드 포즈는 예를 들어, 본원에 참조문헌으로서 포함되는 Srinivas Gutta 등에 의한 "IEEE Transactions on Neural Networks, 11(4), 948-960(July 2000)"의 "성의 분류, 인종 혈통 및 사람 얼굴들의 포즈의 분류를 위한 전문가들의 혼합"에 기재된 기술들에 따라 단계(360)동안 추정될 수 있다. 액터의 얼굴 표정은 예를 들어, 본원에 참조문헌으로서 포함되는 Antonio Colmenarea 등에 의한 "Vol.I, 592-597, IEEE Conference on Computer Vision and Pattern Recognition, Fort Collins, Colorado (June 23-25, 1999)"의 "임베딩된 얼굴 및 얼굴 표정 인식을 위한 가망성의 프레임워크"에 기재된 기술들에 따라 단계(370)동안 추정될 수 있다. 액터의 조명은 예를 들어, 본원에 참조문헌으로서 포함되는 J.Stauder에 의한 "COST 211 European Workshop on New Techniques for Coding of Video Signals at Very Low Bitrates, Hanover, Germany, 4.5.1-4.5.6(December 1-2, 1993)"의 "분석 합성 코딩에 기초한 3D 오브젝트를 위한 조명 추정 방법"에 기재된 기술들에 따라 단계(380)동안 추정될 수 있다.
헤드/얼굴의 3D 모델
앞서 기술한 바와 같이, 사용자의 정적인 모델(230)은 예를 들어, 사용자에포커싱되는 카메라(220-1) 또는 얼굴들의 데이터베이스(220-2)로부터 얻어진다. 2차원 사용자 모델들을 생성하는 보다 상세한 논의에 대해서는 예를 들어, 본원에 참조문헌으로서 포함되는 Lawrence S.Chen 및 Jorn Ostermann에 의한 "Proc. of 1997 Workshop of Multimedia Signal Processing, 274-279, Princeton, NJ(June 23-25, 1997)"의 "인간화된 3D 헤드 모델을 갖는 애니메이터된 트래킹 헤드"를 참조한다. 또한, 앞서 기술한 바와 같이, 펜실베니아주, 뉴타운의 "사이버스캔 테크놀로지"로부터 구입할 수 있는 사이버스캔 광학 측정 시스템은 정적인 모델들을 얻는데 이용될 수 있다.
통상, 기하학 모델은 3차원들에서 사용자의 헤드의 형상을 포착한다. 기학학 모델은 통상적으로 범위 데이터(range data)의 형태에 있다. 출현 모델은 사용자의 헤드의 표면의 텍스처 및 컬러를 포착한다. 출현 모델은 통상적으로 컬러 데이터의 형태에 있다. 마지막으로, 출현 모델은 얼굴 표정, 입술 동작 및 그 밖의 정보를 전달하는 사용자의 얼굴의 경직되지 않은 변형(non-rigid deformation)을 포착한다.
도 4는 얼굴 합성 처리(400)의 전형적인 구현을 설명하는 플로우 차트이다. 앞서 기술한 바와 같이, 얼굴 합성 처리(400)는 얼굴 분석 처리(300)에 의해 생성된 파라미터들에 따라 사용자 모델(230)을 변경한다. 도 4에 도시된 바와 같이, 얼굴 합성 처리(400)는 초기에 단계(410)동안 얼굴 분석 처리(30)에 의해 생성된 파라미터들을 검색한다.
다음이로, 얼굴 합성 처리(400)는 단계(420)동안 헤드 포즈 파라미터들을 이용하고, 정적인 모델(230)을 회전, 트랜스플레이트 및/또는 리스케일(rescale)하여, 입력 영상 시퀀스(110)에서 교체될 액터의 위치를 맞춘다. 다음에, 얼굴 합성 처리(400)는 단계(430)동안 얼굴 표정 파라미터들을 이용하고, 정적인 모델(230)을 변형시켜 입력 영상 시퀀스(110)에서 교체될 액터의 얼굴 표정과 매칭시킨다. 마지막으로, 얼굴 합성 처리(400)는 단계(440)동안 조명 파라미터들을 이용하고, 컬러, 세기, 대조, 노이즈 및 섀도우와 같은 정적인 모델(230)의 영상의 다수의 특성들을 조정하여, 입력 영상 시퀀스(110)의 특성들과 매칭시킨다. 그후, 프로그램 제어는 종료한다.
도 5는 비디오 인티그레이션 처리(500)의 전형적인 구현을 설명하는 플로우 차트이다. 앞서 기술한 바와 같이, 비디오 인티그레이션 처리(500)는 원래 액터의 위치에서 사용자를 포함하는 출력 비디오 시퀀스(180)를 생성하도록 원래 영상 시퀀스(110)에서의 액터 위에 변경된 사용자 모델을 수퍼임포징한다. 도 5에 도시한 바와 같이, 비디오 인티그레이션 처리(500)는 초기에 단계(510)동안 원래 영상 시퀀스(110)를 얻는다. 다음에, 비디오 인티그레이션 처리(500)는 단계(520)동안 얼굴 합성 처리(400)로부터 사용자의 변경된 정적인 모델(230)을 얻는다.
그후, 비디오 인티그레이션 처리(500)는 액터의 위치, 포즈 및 얼굴 표정을 갖는 사용자를 포함한 출력 영상 시퀀스(180)를 생성하도록 단계(530) 동안 원래 영상(110)에서 액터의 영상 위에 사용자의 변경된 정적인 모델(230)을 수퍼임포징한다.
본원에 예시되고 기술된 실시예들 및 변형예들은 본 발명의 원리들을 단지설명하기 위한 것일 뿐이며, 다양한 수정예들이 본 발명의 범위 및 정신에서 벗어나지 않고 본 기술의 숙련자 자에 의해 구현될 수 있다는 것을 이해할 수 있을 것이다.

Claims (12)

  1. 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 방법에 있어서,
    상기 액터의 적어도 하나의 파라미터를 결정하도록 상기 원래 영상(210)을 분석하는 단계;
    상기 제 2 사람의 정적인 모델(230)을 얻는 단계;
    상기 결정된 파라미터에 따라 상기 정적인 모델(230)을 변경하는 단계; 및
    상기 영상에서의 상기 액터의 적어도 대응하는 일부 위에 상기 변경된 정적인 모델(230)을 수퍼임포징하는 단계를 포함하는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 방법.
  2. 제1항에 있어서,
    상기 수퍼임포즈된 영상(250)은 상기 액터의 위치에서 상기 제 2 사람의 적어도 대응하는 일부를 포함하는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 방법.
  3. 제1항에 있어서,
    상기 파라미터는 상기 액터의 헤드 포즈(head pose)를 포함하는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 방법.
  4. 제1항에 있어서,
    상기 파라미터는 상기 액터의 얼굴 표정(facial expression)을 포함하는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 방법.
  5. 제1항에 있어서,
    상기 파라미터는 상기 원래 영상(210)의 조명 특성들을 포함하는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 방법.
  6. 제1항에 있어서,
    상기 정적인 모델(230)은 얼굴들의 데이터베이스(220-2)로부터 얻어지는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 방법.
  7. 제1항에 있어서,
    상기 정적인 모델(230)은 상기 제 2 사람의 하나 또는 그 이상의 영상들로부터 얻어지는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 방법.
  8. 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 방법에 있어서,
    상기 액터의 적어도 하나의 파라미터를 결정하도록 상기 원래 영상(210)을분석하는 단계; 및
    상기 영상에서의 상기 액터의 적어도 일부를 제 2 사람의 정적인 모델(230)로 교체하는 단계를 포함하며,
    상기 정적인 모델(230)은 상기 결정된 적어도 하나의 파라미터에 따라 변경되는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 방법.
  9. 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 시스템(100)에 있어서,
    컴퓨터 판독가능 코드를 저장하는 메모리(160); 및
    상기 메모리(160)에 동작하게 결합되는 처리기(150)로서, 상기 처리기(150)는 상기 컴퓨터 판독가능 코드를 구현하도록 구성되고, 상기 컴퓨터 판독가능 코드는 상기 액터의 적어도 하나의 파라미터를 결정하도록 상기 원래 영상(210)을 분석하고, 상기 제 2 사람의 정적인 모델(230)을 얻고, 상기 결정된 파라미터에 따라 상기 정적인 모델(230)을 변경하고, 상기 영상에서의 상기 액터의 적어도 대응하는 일부에 상기 변경된 정적인 모델(230)을 수퍼임포징하도록 구성되는, 상기 처리기(150)를 포함하는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 시스템(100).
  10. 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 시스템(100)에 있어서,
    컴퓨터 판독가능 코드를 저장하는 메모리(160); 및
    상기 메모리(160)에 동작하게 결합되는 처리기(150)로서, 상기 처리기(150)는 상기 컴퓨터 판독가능 코드를 구현하도록 구성되고, 상기 컴퓨터 판독가능 코드는 상기 액터의 적어도 하나의 파라미터를 결정하도록 상기 원래 영상(210)을 분석하고, 상기 영상에서의 상기 액터의 적어도 일부를 제 2 사람의 정적인 모델(230)로 교체하도록 구성되며, 상기 정적인 모델(230)은 상기 미리 결정된 파라미터들에 따라 변경되는, 상기 처리기(150)를 포함하는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 시스템(100).
  11. 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 제조물에 있어서,
    컴퓨터 판독가능 코드 수단이 구현되는 컴퓨터 판독가능 매체로서, 상기 컴퓨터 판독가능 프로그램 코드 수단은,
    상기 액터의 적어도 하나의 파라미터를 결정하도록 상기 원래 영상(210)을 분석하는 단계;
    상기 제 2 사람의 정적인 모델(230)을 얻는 단계;
    상기 미리 결정된 파라미터에 따라 상기 정적인 모델(230)을 변경하는 단계; 및
    상기 영상에서의 상기 액터의 적어도 대응하는 일부 상에 상기 변경된 정적인 모델(230)을 수퍼임포징하는 단계를 포함하는, 상기 컴퓨터 판독가능 매체를 포함하는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 제조물.
  12. 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 제조물에 있어서,
    컴퓨터 판독가능 코드 수단이 구현되는 컴퓨터 판독가능 매체로서, 상기 컴퓨터 판독가능 프로그램 코드 수단은,
    상기 액터의 적어도 하나의 파라미터를 결정하도록 상기 원래 영상(210)을 분석하는 단계; 및
    상기 영상에서의 상기 액터의 적어도 일부를 제 2 사람의 정적인 모델(230)로 교체하는 단계를 포함하는, 상기 컴퓨터 판독 가능 매체를 포함하며,
    상기 정적인 모델(230)은 상기 미리 결정된 파라미터들에 따라 변경되는, 원래 영상(210)에서의 액터를 제 2 사람의 영상으로 교체하는 제조물.
KR20037003187A 2001-07-03 2002-06-21 원래 영상에 사용자 영상을 수퍼임포징하는 방법 및 장치 Withdrawn KR20030036747A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/898,139 2001-07-03
US09/898,139 US20030007700A1 (en) 2001-07-03 2001-07-03 Method and apparatus for interleaving a user image in an original image sequence
PCT/IB2002/002448 WO2003005306A1 (en) 2001-07-03 2002-06-21 Method and apparatus for superimposing a user image in an original image

Publications (1)

Publication Number Publication Date
KR20030036747A true KR20030036747A (ko) 2003-05-09

Family

ID=25409000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20037003187A Withdrawn KR20030036747A (ko) 2001-07-03 2002-06-21 원래 영상에 사용자 영상을 수퍼임포징하는 방법 및 장치

Country Status (6)

Country Link
US (1) US20030007700A1 (ko)
EP (1) EP1405272A1 (ko)
JP (1) JP2004534330A (ko)
KR (1) KR20030036747A (ko)
CN (1) CN1522425A (ko)
WO (1) WO2003005306A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7977612B2 (en) 2008-02-02 2011-07-12 Mariean Levy Container for microwaveable food
KR20180130911A (ko) * 2017-05-30 2018-12-10 배재대학교 산학협력단 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법
KR102188991B1 (ko) * 2020-03-31 2020-12-09 (주)케이넷 이엔지 얼굴 이미지 변환 장치 및 방법
KR20200145730A (ko) * 2019-06-19 2020-12-30 (주) 애니펜 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1370075B1 (en) * 2002-06-06 2012-10-03 Accenture Global Services Limited Dynamic replacement of the face of an actor in a video movie
US7734070B1 (en) * 2002-12-31 2010-06-08 Rajeev Sharma Method and system for immersing face images into a video sequence
WO2004100535A1 (en) * 2003-05-02 2004-11-18 Allan Robert Staker Interactive system and method for video compositing
US7212664B2 (en) * 2003-08-07 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Constructing heads from 3D models and 2D silhouettes
KR101105916B1 (ko) * 2005-06-08 2012-01-17 톰슨 라이센싱 대체 영상/비디오 삽입을 위한 방법, 장치 및 시스템
US20070005422A1 (en) * 2005-07-01 2007-01-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Techniques for image generation
US20070263865A1 (en) * 2005-07-01 2007-11-15 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Authorization rights for substitute media content
US20090037243A1 (en) * 2005-07-01 2009-02-05 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Audio substitution options in media works
US20080052161A1 (en) * 2005-07-01 2008-02-28 Searete Llc Alteration of promotional content in media works
US20100154065A1 (en) * 2005-07-01 2010-06-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for user-activated content alteration
US9583141B2 (en) * 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US20070266049A1 (en) * 2005-07-01 2007-11-15 Searete Llc, A Limited Liability Corportion Of The State Of Delaware Implementation of media content alteration
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US20070276757A1 (en) * 2005-07-01 2007-11-29 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Approval technique for media content alteration
US20080013859A1 (en) * 2005-07-01 2008-01-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Implementation of media content alteration
US20080086380A1 (en) * 2005-07-01 2008-04-10 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Alteration of promotional content in media works
US9092928B2 (en) * 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US20090300480A1 (en) * 2005-07-01 2009-12-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media segment alteration with embedded markup identifier
US20090151004A1 (en) * 2005-07-01 2009-06-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for visual content alteration
US20070005651A1 (en) * 2005-07-01 2007-01-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Restoring modified assets
US20090210946A1 (en) * 2005-07-01 2009-08-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for promotional audio content
US8203609B2 (en) * 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
US20080052104A1 (en) * 2005-07-01 2008-02-28 Searete Llc Group content substitution in media works
US8126938B2 (en) * 2005-07-01 2012-02-28 The Invention Science Fund I, Llc Group content substitution in media works
US9065979B2 (en) * 2005-07-01 2015-06-23 The Invention Science Fund I, Llc Promotional placement in media works
US20090150444A1 (en) * 2005-07-01 2009-06-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for audio content alteration
US20080028422A1 (en) * 2005-07-01 2008-01-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Implementation of media content alteration
US20090235364A1 (en) * 2005-07-01 2009-09-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for promotional content alteration
US20090150199A1 (en) * 2005-07-01 2009-06-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Visual substitution options in media works
US20090204475A1 (en) * 2005-07-01 2009-08-13 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for promotional visual content
US20070294720A1 (en) * 2005-07-01 2007-12-20 Searete Llc Promotional placement in media works
US9426387B2 (en) 2005-07-01 2016-08-23 Invention Science Fund I, Llc Image anonymization
JP2009515375A (ja) 2005-09-16 2009-04-09 フリクサー，インコーポレーテッド ビデオを個人化する操作
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
JP2007281680A (ja) * 2006-04-04 2007-10-25 Sony Corp 画像処理装置および画像表示方法
US8781162B2 (en) * 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
US8572642B2 (en) 2007-01-10 2013-10-29 Steven Schraga Customized program insertion system
US20080180539A1 (en) * 2007-01-31 2008-07-31 Searete Llc, A Limited Liability Corporation Image anonymization
US20080244755A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Authorization for media content alteration
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
US8139899B2 (en) 2007-10-24 2012-03-20 Motorola Mobility, Inc. Increasing resolution of video images
US20090135177A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for voice personalization of video content
SG152952A1 (en) * 2007-12-05 2009-06-29 Gemini Info Pte Ltd Method for automatically producing video cartoon with superimposed faces from cartoon template
WO2010033233A1 (en) * 2008-09-18 2010-03-25 Screen Test Studios, Llc Interactive entertainment system for recording performance
JP5423379B2 (ja) * 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8693789B1 (en) * 2010-08-09 2014-04-08 Google Inc. Face and expression aligned moves
US8818131B2 (en) 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
CN102196245A (zh) * 2011-04-07 2011-09-21 北京中星微电子有限公司 一种角色互动的视频播放方法和视频播放装置
US8923392B2 (en) 2011-09-09 2014-12-30 Adobe Systems Incorporated Methods and apparatus for face fitting and editing applications
CN102447869A (zh) * 2011-10-27 2012-05-09 天津三星电子有限公司 一种角色替代方法
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20140198177A1 (en) * 2013-01-15 2014-07-17 International Business Machines Corporation Realtime photo retouching of live video
KR102013331B1 (ko) * 2013-02-23 2019-10-21 삼성전자 주식회사 듀얼 카메라를 구비하는 휴대 단말기의 이미지 합성 장치 및 방법
US9886622B2 (en) * 2013-03-14 2018-02-06 Intel Corporation Adaptive facial expression calibration
KR102047704B1 (ko) * 2013-08-16 2019-12-02 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN103702024B (zh) * 2013-12-02 2017-06-20 宇龙计算机通信科技(深圳)有限公司 图像处理装置和图像处理方法
US9878828B2 (en) * 2014-06-20 2018-01-30 S. C. Johnson & Son, Inc. Slider bag with a detent
CN104123749A (zh) * 2014-07-23 2014-10-29 邢小月 一种图像处理方法及系统
KR101726844B1 (ko) * 2015-03-25 2017-04-13 네이버 주식회사 만화 데이터 생성 시스템 및 방법
US10217242B1 (en) * 2015-05-28 2019-02-26 Certainteed Corporation System for visualization of a building material
WO2017088340A1 (zh) 2015-11-25 2017-06-01 腾讯科技（深圳）有限公司 图像信息处理方法、装置和计算机存储介质
CN105477859B (zh) * 2015-11-26 2019-02-19 北京像素软件科技股份有限公司 一种基于用户颜值的游戏控制方法及装置
US10437875B2 (en) 2016-11-29 2019-10-08 International Business Machines Corporation Media affinity management system
CN107316020B (zh) * 2017-06-26 2020-05-08 司马大大（北京）智能系统有限公司 人脸替换方法、装置及电子设备
CN109936775A (zh) * 2017-12-18 2019-06-25 东斓视觉科技发展（北京）有限公司 宣传影片的制作方法及设备
US11195324B1 (en) 2018-08-14 2021-12-07 Certainteed Llc Systems and methods for visualization of building structures
WO2020037681A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 视频生成方法、装置及电子设备
CN109462922A (zh) * 2018-09-20 2019-03-12 百度在线网络技术（北京）有限公司 照明设备的控制方法、装置、设备及计算机可读存储介质
CN110969673B (zh) * 2018-09-30 2023-12-15 西藏博今文化传媒有限公司 一种直播换脸交互实现方法、存储介质、设备及系统
CN110933503A (zh) * 2019-11-18 2020-03-27 咪咕文化科技有限公司 视频处理方法、电子设备及存储介质
US11425317B2 (en) * 2020-01-22 2022-08-23 Sling Media Pvt. Ltd. Method and apparatus for interactive replacement of character faces in a video device
US11676390B2 (en) 2020-10-23 2023-06-13 Huawei Technologies Co., Ltd. Machine-learning model, methods and systems for removal of unwanted people from photographs
CN114973349B (zh) * 2021-08-20 2025-07-15 腾讯科技（深圳）有限公司 面部图像处理方法和面部图像处理模型的训练方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US5553864A (en) * 1992-05-22 1996-09-10 Sitrick; David H. User image integration into audiovisual presentation system and methodology
DE69636695T2 (de) * 1995-02-02 2007-03-01 Matsushita Electric Industrial Co., Ltd., Kadoma Bildverarbeitungsvorrichtung
EP0729271A3 (en) * 1995-02-24 1998-08-19 Eastman Kodak Company Animated image presentations with personalized digitized images
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US6283858B1 (en) * 1997-02-25 2001-09-04 Bgk International Incorporated Method for manipulating images
NL1007397C2 (nl) * 1997-10-30 1999-05-12 V O F Headscanning Werkwijze en inrichting voor het met een gewijzigd uiterlijk weergeven van tenminste een deel van het menselijk lichaam.
EP1107166A3 (en) * 1999-12-01 2008-08-06 Matsushita Electric Industrial Co., Ltd. Device and method for face image extraction, and recording medium having recorded program for the method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7977612B2 (en) 2008-02-02 2011-07-12 Mariean Levy Container for microwaveable food
KR20180130911A (ko) * 2017-05-30 2018-12-10 배재대학교 산학협력단 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법
KR20200145730A (ko) * 2019-06-19 2020-12-30 (주) 애니펜 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20220049501A (ko) * 2019-06-19 2022-04-21 (주) 애니펜 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102188991B1 (ko) * 2020-03-31 2020-12-09 (주)케이넷 이엔지 얼굴 이미지 변환 장치 및 방법

Also Published As

Publication number Publication date
CN1522425A (zh) 2004-08-18
WO2003005306A1 (en) 2003-01-16
US20030007700A1 (en) 2003-01-09
JP2004534330A (ja) 2004-11-11
EP1405272A1 (en) 2004-04-07

Similar Documents

Publication Publication Date Title
KR20030036747A (ko) 원래 영상에 사용자 영상을 수퍼임포징하는 방법 및 장치
Thies et al. Neural voice puppetry: Audio-driven facial reenactment
JP4335449B2 (ja) 表情の３ｄジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム
JP5073670B2 (ja) 立体画像表示方法、２次元画像データの入力から３次元画像データを生成する方法及び装置
Radke Computer vision for visual effects
WO2022248862A1 (en) Modification of objects in film
Pan et al. Renderme-360: A large digital asset library and benchmarks towards high-fidelity head avatars
US10484599B2 (en) Simulating depth of field
KR20000064110A (ko) 얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법
Camurri et al. Kansei analysis of dance performance
JPH09502586A (ja) データ分析方法及び装置
Wu et al. Palettenerf: Palette-based color editing for nerfs
CN114782596A (zh) 语音驱动的人脸动画生成方法、装置、设备及存储介质
WO2022248863A1 (en) Modification of objects in film
Li Musical instrument performance in augmented virtuality
Rossoni et al. Physically based rendering of animated point clouds for extended reality
CN113822849B (zh) 识别码检测方法及装置、电子设备和存储介质
CN119625132A (zh) 图像的生成方法、装置、设备、介质及产品
JPH10126687A (ja) すり替え編集システム
Yang et al. An interactive facial expression generation system
Cho et al. Depth image processing technique for representing human actors in 3DTV using single depth camera
Fidaleo et al. Analysis of co‐articulation regions for performance‐driven facial animation
Chen et al. Capture to Rendering Pipeline for Generating Dynamically Relightable Virtual Objects with Handheld RGB-D Cameras
US20070076978A1 (en) Moving image generating apparatus, moving image generating method and program therefor
CN118351249B (zh) 基于神经网络的3d效果图智能生成方法及系统

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20030303

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid