[go: up one dir, main page]

KR102701038B1 - 홀로그램 디스플레이 시스템 및 그 제어방법 - Google Patents

홀로그램 디스플레이 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR102701038B1
KR102701038B1 KR1020230179097A KR20230179097A KR102701038B1 KR 102701038 B1 KR102701038 B1 KR 102701038B1 KR 1020230179097 A KR1020230179097 A KR 1020230179097A KR 20230179097 A KR20230179097 A KR 20230179097A KR 102701038 B1 KR102701038 B1 KR 102701038B1
Authority
KR
South Korea
Prior art keywords
hand
image
dimensional
user
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230179097A
Other languages
English (en)
Inventor
김희연
Original Assignee
에이아이다이콤 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이아이다이콤 (주) filed Critical 에이아이다이콤 (주)
Priority to KR1020230179097A priority Critical patent/KR102701038B1/ko
Priority to PCT/KR2023/020835 priority patent/WO2024144035A1/ko
Application granted granted Critical
Publication of KR102701038B1 publication Critical patent/KR102701038B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 손 동작을 감지하여 디스플레이 장치를 통해 표시된 홀로그램 영상을 비 접촉 방식으로 제어할 수 있는 홀로그램 디스플레이 시스템 및 그 제어방법에 관한 것이다.

Description

홀로그램 디스플레이 시스템 및 그 제어방법{Hologram Display System And Control Method Of The Same}
본 발명은 홀로그램 디스플레이 시스템 및 그 제어방법에 관한 것이다. 보다 상세하게, 본 발명은 사용자의 손 동작을 감지하여 디스플레이 장치를 통해 표시된 홀로그램 영상을 비 접촉 방식으로 제어할 수 있는 홀로그램 디스플레이 시스템 및 그 제어방법에 관한 것이다.
3차원 디스플레이 기술의 발달에 힘입어 다양한 산업 분야에서 3차원 영상을 활용하고 있다. 특히, 빛의 간섭현상을 이용하여 오브젝트를 실물처럼 재현하는 홀로그램 기술을 의료 분야에 접목하려는 연구가 활발히 진행되고 있다.
기존 엑스레이(X-ray), 컴퓨터 단층 촬영(Computed Tomography; CT), 자기공명영상(Magnetic Resonance Imaging; MRI) 방법으로 촬영된 이미지는 2차원 이미지이므로 병환 부위에서 종양의 크기나 위치 등을 파악하기 어려운 문제가 있었다.
이를 해결하기 위하여 홀로그램 시스템을 이용하는 경우, 환자의 신체 장기나 병환 부위 등을 3차원 영상으로 구현 가능하여 입체 형태의 병변을 효율적으로 이해할 수 있으며 수술을 집도하는 의사에게 공감각적 정보를 효과적으로 제공하여 수술 성공률을 높일 수 있는 장점이 있다.
한편, 이와 같은 홀로그램 시스템에서 구현된 3차원 의료 영상을 제어하고자 터치 스크린, 컴퓨터 모니터, 마우스 등의 제어 장치를 직접 손으로 터치하는 방식으로 제어하는 경우 직접적인 접촉을 통해 병균이 전파되어 감염병이 발생할 위험이 존재한다.
따라서, 수술실과 같이 멸균 공간에서 홀로그램 영상을 제어하거나 홀로그램 영상과 상호작용하기 위하여, 사용자의 제어하고자 하는 손 동작을 감지하여 홀로그램 영상을 비 접촉 방식으로 제어할 수 있는 홀로그램 디스플레이 시스템 및 그 제어방법이 절실히 요구된다.
본 발명은 사용자의 손 동작을 감지하여 디스플레이 장치를 통해 표시된 홀로그램 영상을 비 접촉 방식으로 제어할 수 있는 홀로그램 디스플레이 시스템 및 그 제어방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상기 과제를 해결하기 위하여, 본 발명은 홀로그램 영상이 투사되어 표시되는 디스플레이 장치; 사용자의 손 동작을 촬영하여 이미지를 획득하는 촬영장치; 및 미리 학습된 인공지능 알고리즘으로 상기 촬영장치에서 획득된 이미지로부터 사용자의 손 동작을 인식하고, 상기 인식된 손 동작으로부터 손 동작에 대한 3차원 공간 정보를 획득하고, 상기 획득된 3차원 공간 정보로부터 상기 디스플레이 장치의 제어 신호를 생성하여 상기 제어 신호에 따라 상기 디스플레이 장치에 표시된 홀로그램 영상을 제어하기 위한 제어장치;를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 시스템을 제공할 수 있다.
이 경우, 상기 제어장치는 상기 촬영장치에서 전송된 이미지로부터 3차원 이미지를 획득하는 3차원 이미지 획득부; 상기 3차원 이미지의 3차원 공간 정보로부터 손 모양 정보와 손 동작 정보를 획득하여 사용자의 손 동작을 인식하는 손 동작 인식부; 상기 홀로그램 영상을 제어하기 위하여 제스처를 취하는 손의 3차원 위치 좌표를 상기 홀로그램 영상이 표시되는 가상의 3차원 패널에 지정하는 손 위치 지정부; 및 상기 3차원 패널에 지정된 3차원 좌표 정보를 사용하여 제어 신호를 생성하는 제어 신호 생성부;를 포함할 수 있다.
그리고, 상기 촬영장치는 사용자의 손 동작에 대한 RGB 이미지 및 깊이(Depth) 이미지를 획득하기 위한 RGB-D 카메라를 포함할 수 있다.
여기서, 상기 손 동작 인식부에서 상기 인공지능 알고리즘은 상기 3차원 이미지에서 손의 골격을 이루는 복수 개의 특징점을 획득하고, 상기 획득된 복수 개의 특징점을 기반으로 손 모양 정보를 획득하도록 학습될 수 있다.
또한, 상기 손 위치 지정부에서 제어 동작 제스처를 취하는 사용자의 손이 상기 3차원 패널과 교차하는 교차점에 대한 3차원 위치 좌표는 제1 손 위치 지정 방법으로 지정된 제1 위치 좌표와 제2 손 위치 지정 방법으로 지정된 제2 위치 좌표를 기반으로 결정될 수 있다.
또한, 상기 제1 손 위치 지정 방법은 손바닥 기준점과 손가락의 끝점을 연결하는 손가락 벡터와 상기 3차원 패널이 서로 교차하는 지점의 3차원 위치 좌표를 상기 제1 교차점 위치 좌표로 지정하고, 상기 제2 손 위치 지정 방법은 손바닥 기준점을 상기 3차원 패널에 투사(project)한 지점의 3차원 위치 좌표를 상기 제2 교차점 위치 좌표로 지정할 수 있다.
이 경우, 상기 손 위치 지정부에서 상기 제어 동작 제스처를 취하는 손의 3차원 위치 좌표는 상기 3차원 패널 상에 지정된 상기 제1 서브 위치 좌표와 상기 제2 서브 위치 좌표 사이를 연결하는 연결선 상에 지정될 수 있다.
그리고, 상기 디스플레이 장치는 홀로그램 영상의 음향 신호를 출력하기 위한 스피커가 구비될 수 있다.
여기서, 사용자의 음성을 인식하여 음성 기반 제어 명령을 분석하는 음성 신호 분석장치;를 더 포함하되, 상기 제어장치는 상기 음성 신호 분석장치에서 분석된 사용자의 음성 신호에 따라 상기 디스플레이 장치의 홀로그램 영상을 제어할 수 있다.
또한, 상기 과제를 해결하기 위하여, 전술한 홀로그램 디스플레이 시스템을 사용한 홀로그램 영상 제어방법에 있어서, 상기 촬영장치에서 촬영된 손 동작 이미지로부터 3차원 이미지를 획득하는 단계; 상기 3차원 이미지를 사용하여 사용자의 손 모양 정보와 손 동작 정보를 획득하여 손 동작을 인식하는 단계; 상기 디스플레이 장치를 통해 상기 홀로그램 영상이 표시되는 가상의 3차원 패널 상에 제어 동작 제스처를 취하는 사용자의 손과 상기 3차원 패널이 교차하는 지점의 3차원 위치 좌표를 지정하는 단계; 및 상기 3차원 패널 상에 지정된 위치 좌표에 기반하여 제어 신호를 생성하고 상기 제어 신호에 따라 상기 홀로그램 영상이 제어되는 단계;를 포함하는 홀로그램 디스플레이 시스템 제어방법을 제공할 수 있다.
또한, 사용자의 음성을 인식하고, 인식된 음성을 분석하여 상기 홀로그램 영상을 제어하기 위한 제어 신호를 생성하는 단계;를 더 포함할 수 있다.
이 경우, 사용자의 음성 기반 제어 명령에 기반하여 제어 신호를 생성하고, 상기 제어 신호에 따라 상기 홀로그램 영상이 제어되는 단계;를 포함할 수 있다.
본 발명에 따른 홀로그램 디스플레이 시스템 및 그 제어방법에 의하면, RGB-D 카메라에서 획득된 3차원 이미지에서 사용자의 손 모양 정보 및 손 동작 정보를 획득하여 사용자의 손 동작을 인식하고, 제어 동작 제스처를 취하는 해당 손의 3차원 위치 좌표를 홀로그램 영상이 표시되는 3차원 패널 상에 지정함으로써 디스플레이 장치를 통해 표시된 홀로그램 영상을 비 접촉 방식으로 제어할 수 있다.
도 1은 본 발명에 따른 홀로그램 디스플레이 시스템의 전체 구성도를 도시한다.
도 2는 본 발명에 따른 홀로그램 디스플레이 시스템의 인공지능 알고리즘을 사용하여 3차원 이미지에서 손 모양 정보와 손 동작 정보를 획득하는 과정을 도시한다.
도 3은 상기 인공지능 알고리즘을 사용하여 손 모양 정보와 손 동작 정보를 획득하는 과정의 다른 실시예를 도시한다.
도 4는 상기 인공지능 알고리즘을 사용하여 손 모양 정보와 손 동작 정보를 획득하는 과정의 또 다른 실시예를 도시한다.
도 5는 본 발명에 따른 홀로그램 디스플레이 시스템에서 디스플레이 장치에 표시된 홀로그램 영상을 제어하기 위한 다양한 손 동작을 도시한다.
도 6은 본 발명에 따른 홀로그램 디스플레이 시스템에서 홀로그램 영상을 제어하기 위한 손의 3차원 위치 좌표를 3차원 패널 상에 지정하는 방법을 도시한다.
도 7은 본 발명에 따른 홀로그램 디스플레이 시스템 제어방법의 순서도를 도시한다.
도 8은 본 발명에 따른 홀로그램 디스플레이 시스템을 사용하여 손 동작으로 디스플레이 장치에 표시된 홀로그램 영상을 회전시키는 상태를 도시한다.
도 9는 본 발명에 따른 홀로그램 디스플레이 시스템을 사용하여 손 동작으로 디스플레이 장치에 표시된 홀로그램 영상을 확대시키는 상태를 도시한다.
도 10은 본 발명에 따른 홀로그램 디스플레이 시스템을 사용하여 손 동작으로 디스플레이 장치에 표시된 홀로그램 영상을 이동시키는 상태를 도시한다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명하기로 한다. 그러나, 본 발명은 여기서 설명된 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록, 그리고 당업자에게 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 명세서 전체에 걸쳐서 동일한 참조 번호들은 동일한 구성요소들을 나타낸다.
도 1은 본 발명에 따른 홀로그램 디스플레이 시스템의 전체 구성도를 도시한다.
본 발명에 따른 홀로그램 디스플레이 시스템은 홀로그램 영상을 제어하고자 하는 사람(이하, '사용자'라 함)의 손 동작을 인공지능 알고리즘이 자동으로 감지하여 홀로그램 영상을 비 접촉 방식으로 제어할 수 있도록 구성된다.
도 1에 도시된 바와 같이, 본 발명에 따른 홀로그램 디스플레이 시스템은 홀로그램 영상이 투사되어 표시되는 디스플레이 장치(100), 사용자의 손 동작을 촬영하여 이미지를 획득하는 촬영장치(200) 및 미리 학습된 인공지능 알고리즘으로 상기 촬영장치(200)에서 획득된 이미지로부터 손 동작에 대한 3차원 공간 정보를 획득하고, 상기 획득된 3차원 공간 정보로부터 상기 디스플레이 장치(100)의 제어 신호를 생성하여 상기 제어 신호에 따라 상기 디스플레이 장치(100)에 표시된 홀로그램 영상을 제어하기 위한 제어장치(300);를 포함하여 구성된다.
본 발명에 따른 홀로그램 디스플레이 시스템의 디스플레이 장치(100)는 상기 시스템이 의료 영상 진단 분야에 적용되는 경우 환자의 장기, 예를 들면 심장, 위, 간 등에서 병변 위치 부위나 진단 대상 부위 또는 환자의 치아 구조물 등에 관한 홀로그램 영상을 표시할 수 있다. 물론, 상기 디스플레이 장치(100)를 통해 표시되는 홀로그램 영상은 상기에 국한되지 않으며 시스템의 적용 분야에 따라 다양하게 변경될 수 있다.
상기 촬영장치(200)는 상기 디스플레이 장치(100)에 구현된 홀로그램 영상을 제어하기 위하여 제스처를 취하는 사용자의 손 동작을 촬영하기 위한 장치이다.
상기 촬영장치(200)는 사용자의 손 동작에 대한 컬러(RGB) 이미지 및 깊이(Depth) 이미지를 각각 획득하기 위한 RGB-D 카메라를 포함할 수 있다.
여기서, 상기 RGB-D 카메라는 사용자의 손 동작에 대한 컬러 정보와 깊이 정보를 모두 측정할 수 있는 카메라로서, 예를 들면 스테레오 방식 카메라, 라이다(LiDAR) 방식 카메라, TOF(Time of Flight) 방식 카메라 등을 사용할 수 있으며, 바람직하게는 스테레오 방식 카메라가 사용될 수 있다.
상기 RGB-D 카메라로서 스테레오 방식 카메라를 적용하는 경우, 높은 수준의 해상도, 시야각(angle of view, field of view, FOV) 및 초당 프레임(fps)를 구현 가능하면서도 손 동작에 관한 깊이 정보를 우수하게 감지 및 측정할 수 있는 장점이 있다.
상기 촬영장치(200)의 RGB-D 카메라를 통해 획득된 컬러(RGB) 이미지와 깊이(Depth) 이미지는 상기 제어장치(300) 측으로 전송된다.
이를 위해, 본 발명에 따른 홀로그램 디스플레이 시스템은 상기 RGB-D 카메라에서 획득된 이미지 데이터를 상기 제어장치(300)로 전송하기 위한 유무선 통신수단(미도시)이 구비될 수 있다.
상기 제어장치(300)는 상기 촬영장치(200)에서 획득된 이미지로부터 사용자의 손 동작에 대한 3차원 공간 정보를 획득하고, 상기 획득된 3차원 공간 정보를 사용하여 디스플레이 장치(100)에 표시된 홀로그램 영상을 제어하기 위한 제어 신호를 생성하기 위한 인공지능 알고리즘이 프로그래밍 될 수 있다.
구체적으로, 상기 제어장치(300)는 상기 촬영장치(200)에서 전송된 이미지로부터 3차원 이미지를 획득하는 3차원 이미지 획득부(310), 상기 3차원 이미지로부터 손 모양 정보와 손 동작 정보를 획득하여 사용자의 손 동작을 인식하는 손 동작 인식부(320), 상기 홀로그램 영상을 제어하기 위하여 제스처를 취하는 손의 위치 좌표를 상기 홀로그램 영상이 표시되는 가상의 3차원 패널에 지정하는 손 위치 지정부(330) 및 상기 3차원 패널에 지정된 3차원 위치 좌표를 사용하여 상기 홀로그램 영상을 제어하기 위한 제어 신호를 생성하는 제어 신호 생성부(340)를 포함하여 구성된다.
상기 제어장치(300)의 3차원 이미지 획득부(310)는 상기 촬영장치(200)에서 전송된 RGB 이미지와 깊이(depth) 이미지를 결합하여 3차원 이미지를 획득하고, 획득된 3차원 이미지(30)는 상기 손 동작 인식부(320) 측으로 전송된다.
상기 제어장치(300)의 손 동작 인식부(320)는 상기 3차원 이미지(30)에서 3차원 공간 정보를 획득하고, 상기 획득된 3차원 공간 정보를 분석하여 사용자의 손 동작을 인식할 수 있다.
구체적으로, 상기 제어장치(300)의 손 동작 인식부(320)는 RGB-D 카메라를 통해 획득된 깊이(Depth) 이미지를 기반으로 사용자의 손 동작에 대한 3차원 깊이 정보, 즉 Z 좌표값을 산출한다. 상기 깊이(Depth) 이미지는 각 픽셀마다 Z 좌표값을 가진다.
또한, 상기 제어장치(300)의 손 동작 인식부(320)는 RGB-D 카메라를 통해 획득된 RGB 이미지를 기반으로 사용자의 손 영역(30h)을 인식하고, 손 영역 내에서 2차원 정보, 즉 X 좌표값과 Y 좌표값을 RGB 픽셀 단위로 산출한다. 상기 손 동작 인식부(320)는 RGB 이미지에서 나타난 색상 정보를 통해 손의 경계 영역과 각 손가락의 끝점, 그리고 팔의 경계 영역을 인식하고, 이들을 직선 연결하여 사용자의 손 영역(30h)에서 손바닥과 손가락을 각각 구분할 수 있다.
따라서, 상기 제어장치(300)의 손 동작 인식부(320)는 깊이(Depth) 이미지에서 각 픽셀에서 Z좌표값을 획득하고, 깊이(Depth) 이미지의 픽셀에 대응하는 RGB 이미지의 픽셀에서 X좌표값 및 Y좌표값을 획득하여, 해당 픽셀에 대한 XYZ 좌표값을 산출하여 이미지의 각 픽셀에 대한 3차원 공간 정보가 획득될 수 있다.
상기 제어장치(300)는 기 학습된 인공지능 알고리즘을 이용하여 3차원 이미지(30)로부터 손 모양 정보와 손 동작 정보를 획득하여 제어 동작을 수행하는 사용자의 손 동작을 인식하고, 홀로그램 영상을 제어하기 위하여 특정 제스처를 취하는 손의 위치를 3차원 공간 상에서 감지하여 제어 신호를 생성한다.
도 2 내지 도 4는 본 발명에 따른 홀로그램 디스플레이 시스템의 인공지능 알고리즘을 사용하여 3차원 이미지를 기반으로 사용자의 손 모양 정보와 손 동작 정보를 획득하는 과정에 관한 여러 실시예를 도시한다.
상기 인공지능 알고리즘은 학습용 데이터로서 RGB-D 카메라로 획득된 3차원 이미지(30)를 사용하고, 상기 3차원 이미(30)지의 3차원 공간 정보를 사용하여 손의 골격을 이루는 복수 개의 특징점(31,32)을 획득하고, 상기 획득된 복수 개의 특징점(31,32)을 기반으로 손 모양 정보와 손 동작 정보를 획득하도록 반복 학습된다.
도 2는 인공지능 알고리즘을 사용하여 손 모양 정보와 손 동작 정보를 획득하는 하나의 실시예의 구체적인 과정을 도시한다.
도 2를 참조하면, 인공지능 알고리즘은 3차원 이미지(30)에서 각각의 손가락 영역으로부터 재1 특징점(31)과 제2 특징점(32)이 획득되고, 상기 제1 및 제2 특징점(31,32)에 대한 좌표 정보를 획득한다. 상기 제1 특징점(31)에 대한 좌표 정보는 손가락 끝점에서 획득될 수 있고, 제2 특징점(32)에 대한 좌표 정보는 손가락과 손바닥의 경계 영역에서 획득될 수 있다.
인공지능 알고리즘은 손가락 영역들 각각에서 획득된 상기 제1 및 제2 특징점(31, 32)에 대한 좌표 정보를 통해 해당 손가락의 접힘 또는 펼침 상태를 인식할 수 있다. 구체적으로, 상기 제1 및 제2 특징점(31, 32)에 대한 좌표 정보를 잇는 선분의 길이와 이들의 길이 차이를 비교하여 개별 손가락의 접힘 또는 펼침 상태를 인식할 수 있다. 이러한 방법으로 사용자의 손 모양 정보를 획득할 수 있다.
그리고 인공지능 알고리즘은 상기 제1 및 제2 특징점(31, 32)에 대한 좌표 정보가 갖는 X좌표값, Y좌표값, 그리고 Z좌표값을 상기 3차원 이미지(30)의 프레임별로 추적하여 손 동작 정보를 획득할 수 있다.
도 3은 인공지능 알고리즘을 사용하여 손 모양 정보와 손 동작 정보를 획득하는 다른 실시예의 구체적인 과정을 도시한다.
도 3을 참조하면, 인공지능 알고리즘은 3차원 이미지(30)로부터 손 영역(30h)을 인식한다. 손 영역(30h)은 앞에서 설명한 바와 같이, 손의 경계 영역과 각 손가락의 끝점, 그리고 팔의 경계 영역을 통해 인식한다. 인공지능 알고리즘은 손 영역(30h)에서 기준점(A), 교차점(C1 내지 C4), 그리고 손목 기준점(D1, D2)을 도출한다.
기준점(A)은 손 바닥 영역에서 인식한다. 일 예에 의하면, 기준점(A)은 손 바닥 영역의 중심점이 될 수 있다.
교차점(C1 내지 C4)은 손가락들 사이에서 추출된다. 구체적으로, 5개의 손가락 중 인접한 손가락 영역의 끝점(B1 내지 B5)끼리 연결하여 연결선(L1)을 도출하고, 연결선(L1)과 인접한 손가락 영역의 경계선(L2)으로 이루어진 닫힘 영역(E) 내에서 교차점(C1)을 추출한다. 일 예에 의하면, 교차점(C1)은 인접한 손가락 영역의 끝점(B1, B2) 각각에서 거리가 가장 먼 지점일 수 있다. 다른 예에 의하면, 연결선(L1)에 수직한 방향으로 연결선(L1)으로부터 거리가 가장 먼 지점일 수 있다. 교차점(C1)은 손가락 사이에서 골의 깊이가 가장 깊은 지점을 나타내며, 최대 4개(C1 내지 C4) 추출될 수 있다.
손목 기준점(D1, D2)은 손과 팔의 경계 영역에서 추출된다. 구체적으로, 인공지능 알고리즘은 손의 경계선과 팔의 경계선이 만나는 지점에서 두 개의 손목 기준점(D1, D2)을 추출한다.
인공지능 알고리즘은 5개의 손가락의 끝점(B1 내지 B5)과 기준점(A)을 각각 연결하고, 4개의 교차점(C1 내지 C4)과 기준점(A)을 각각 연결하고, 손목 기준선(D1, D2)과 기준점(A)을 각각 연결한다. 인공지능 알고리즘은 상술한 점들을 연결한 연결선들의 사이 각도 및 길이를 이용하여 손 모양 정보와 손가락 벡터(finger vector) 정보를 추출할 수 있다. 그리고 상술한 기준점(A), 손가락의 끝점(B1 내지 B5), 교차점(C1 내지 C4), 그리고 손목 기준점(D1, D2)들 각각의 X좌표값, Y좌표값, 그리고 Z좌표값을 이미지 프레임별로 추적하여 사용자의 손 동작 정보를 획득할 수 있다.
도 4는 인공지능 알고리즘을 사용하여 손 모양 정보와 손 동작 정보를 획득하는 또 다른 실시예의 구체적인 과정을 도시한다.
도 4를 참조하면, 인공지능 알고리즘은 3차원 이미지(30)로부터 손 영역(30h)을 인식하고, 컨투어(contour)를 통해 각 손가락의 끝점(B1 내지 B5)을 추출한다. 그리고 각 손가락의 끝점(B1 내지 B5)을 기준으로 손가락 벡터(finger vector)를 추출한다. 구체적으로, 인공지능 알고리즘은 손가락 끝점(B1 내지 B5)을 중심으로 제1반경 (r1)의 제1 기준원(K1)을 그리고, 제1 기준원(K1)과 교차하는 손가락의 경계선에서 한 쌍의 제1 경계점(E1, E2)을 추출한다. 그리고 한 쌍의 제1 경계점(E1, E2)을 잇는 선분을 이등분하는 지점에서 제1 기준점(F1)을 추출한다.
그리고 손가락 끝점(B3)을 중심으로 제1 반경(r1)보다 큰 제2 반경(r2)의 제2 기준원(K2)을 그리고, 제2 기준원(K 2)과 교차하는 손가락의 경계선에서 한 쌍의 제2 경계점(E3, E4)을 추출한다. 그리고 한 쌍의 제2 경계점(E3, E 4)을 잇는 선분을 이등분하는 지점에서 제2기준점(F2)을 추출한다. 상술한 과정으로, 인공지능 알고리즘은 기준원의 반경을 증가시키면서 손가락 영역 내에서 복수 개의 기준점(F1, F2, F3 등)들을 추출한다. 기준점(F1, F2, F3 등)들의 추출은 기준점(F1, F2, F3 등)이 손가락과 손바닥 경계 영역에 도달할 때까지 반복된다. 추출되는 기준점(F1, F2, F3 등)들의 수와 기준점(F1, F2, F3 등)들의 사이 간격은 사용자에 의해 설정될 수 있다. 추출되는 기준점(F1, F2, F3 등)들의 수와 기준점(F1, F2, F3 등)들이 사이 간격이 좁을수록 손가락 벡터의 정확도는 향상될 수 있다.
인공지능 알고리즘은 추출된 기준점(F1, F2, F3 등)들을 통해 손가락 벡터를 산출한다. 일 예에 의하면, 인공지능 알고리즘은 선형 회귀 분석(linear regression analysis)을 통해 상기 기준점(F1, F2, F3 등)들로부터 손가락 벡터를 산출할 수 있다. 인공지능 알고리즘은 손가락들 각각에 대해 손가락 벡터를 산출하여 사용자의 손 모양 정보를 산출할 수 있다.
또한, 인공지능 알고리즘은 기준점(F1, F2, F3 등)들의 X좌표값, Y좌표값, 그리고 Z좌표값을 3차원 이미지(30)의 프레임별로 추적하여 손 동작 정보를 획득할 수 있다.
상기 제어장치(300)는 상술한 과정으로 획득된 사용자의 손 모양 정보와 손 동작 정보에 따라 홀로그램 영상의 제어 동작을 수행하는 사용자의 다양한 손 동작을 인식할 수 있다.
도 5는 본 발명에 따른 홀로그램 디스플레이 시스템에서 디스플레이 장치에 표시된 홀로그램 영상을 제어하기 위한 다양한 손 동작(gesture)를 도시한다.
도 5의 (A)를 참조하면, 사용자가 5개 손가락 모두를 쫙 펼칠 경우, 개별 제어 모드가 활성화될 수 있다.
도 5의 (B)를 참조하면, 사용자가 5개의 손가락을 전방으로 펼친 상태에서 좌우 방향으로 손을 이동할 경우, 디스플레이 장치(100)에 표시된 홀로그램 영상이 다른 영상으로 변경될 수 있다.
도 5의 (C)를 참조하면, 사용자가 엄지손가락과 검지손가락의 붙였다 손가락 사이를 벌릴 경우, 디스플레이 장치(100)에 표시된 홀로그램 영상이 확대될 수 있고, 반대로 엄지손가락과 검지손가락을 다시 모을 경우 디스플레이 장치(100)에 표시된 홀로그램 영상이 축소될 수 있다.
도 5의 (D)를 참조하면, 사용자가 검지손가락을 펼친 상태에서 손을 이동하는 경우 디스플레이 장치(100)에 표시된 홀로그램 영상이 검지손가락의 방향을 따라 소정 거리 이동될 수 있다.
도 5의 (E)를 참조하면, 사용자가 5개의 손가락을 펼친 상태에서 손바닥을 좌우방향으로 회전시킬 경우, 디스플레이 장치(100)에 표시된 홀로그램 영상은 소정 각도로 회전될 수 있다.
도 5를 참조하여 설명한 손 동작 이외에도 디스플레이 장치(100)에 표시된 홀로그램 영상은 미리 결정되어 저장된 특정 손 동작에 대응하여 다양한 제어 기능이 수행될 수 있다. 예를 들면, 영상의 확대 축소 제어방법도 전술한 방법 외에 검지 손가락을 시계방향 또는 반시계 방향으로 그리는 동작에 대응하여, 상기 디스플레이 장치(100)를 통해 표시된 홀로그램 영상은 확대되거나 축소될 수 있다.
이와 같이, 도 5의 (A) 내지 (E)를 참조하여 홀로그램 영상 제어를 위한 다양한 손 동작에 관해 설명하였으나, 상기 도시된 예들은 다양한 손 제어 동작 중 예시일 뿐 이에 한정되지는 않는다.
또한, 디스플레이 장치(100)의 전원 온오프 제어 역시 미리 결정된 손동작, 예를 들면 주먹 쥐기와 손가락 펴기 등의 동작으로 제어되도록 할 수 있다.
상기 손 위치 지정부(330)는 앞서 살펴본 바와 같이 사용자가 다양한 손 동작을 취하는 경우 해당 손의 위치에 대응하는 3차원 위치 좌표를 상기 홀로그램 영상이 표시되는 가상의 3차원 패널(40)에 지정하고, 상기 3차원 패널(40)에 지정된 위치 좌표에 따라 제어 신호를 생성한다.
도 6은 본 발명에 따른 홀로그램 디스플레이 시스템에서 홀로그램 영상을 제어하기 위한 손의 3차원 위치 좌표를 3차원 패널 상에 지정하는 방법을 도시한다.
도 6을 참조하면, 상기 손 위치 지정부(330)는 제어 동작 제스처를 취하는 사용자의 손과 상기 3차원 패널(40)이 교차하는 교차점(T)에 대한 3차원 위치 좌표(Tc)를 제1 손 위치 지정 방법으로 지정된 제1 교차점 위치 좌표(Ic)와 제2 손 위치 지정 방법으로 지정된 제2 교차점 위치 좌표(A'c)를 사용하여 결정할 수 있다.
구체적으로, 상기 손 위치 지정부(330)의 제1 손 위치 지정 방법은 아래 [수학식 1]를 사용하여, 손바닥 영역의 중심점에 대응하는 손바닥 기준점(A)과 손가락의 끝점(B)을 연결하는 손가락 벡터(finger vector)와 상기 3차원 패널(40)이 교차하는 제1 교차점(I)에 대한 3차원 위치 좌표를 상기 제1 교차점 위치 좌표(Ic)로 지정한다.
[수학식 1]
여기서, 는 제1 교차점 위치 좌표, 는 손바닥 기준점(A)의 위치 좌표, 는 손바닥 기준점(A)과 제1 교차점(I) 사이의 거리 정보, 는 손가락 벡터이다.
또한, 상기 제2 손 위치 지정 방법은 기준점은 손바닥 영역의 중심점에 대응하는 손바닥 기준점(A)을 상기 3차원 패널(40) 상에 수직 방향으로 투사(project)하였을 때 투사점에 대응하는 제2 교차점(A')에 대한 3차원 위치 좌표를 상기 제2 교차점 위치 좌표(A'c)로 지정한다.
구체적으로, 상기 손 위치 지정부(330)의 상기 제2 손 위치 지정 방법은 아래 [수학식 2]를 사용하여 상기 3차원 패널(40) 상에 상기 제2 교차점 위치 좌표(A'c)를 지정할 수 있다.
[수학식 2]
여기서, 는 제2 교차점 위치 좌표, 는 손바닥 기준점(A)의 위치 좌표, 는 손바닥 기준점(A)과 상기 제2 교차점(A') 사이의 거리 정보, 은 3차원 패널(40) 상에서의 법선 벡터(normal vector)이다.
그리고, 상기 손 위치 지정부(330)는 최종적으로 제어 동작을 취하는 사용자의 손과 상기 3차원 패널(40)이 교차하는 교차점(T)에 대한 3차원 위치 좌표를 상기 3차원 패널(40) 상에 지정된 제1 교차점 위치 좌표(Ic)와 제2 교차점 위치 좌표(A'c) 사이를 연결하는 연결선 상에 지정할 수 있다.
여기서, 상기 손 위치 지정부(330)는 전술한 방법으로 상기 3차원 패널(40) 상에 지정된 제1 교차점 위치 좌표(Ic)와 상기 제2 교차점 위치 좌표(A'c)에 민감성 계수(f, sensitive coefficient)를 적용하여, 제어 동작 제스처를 취하는 사용자의 손과 상기 3차원 패널(40)이 교차하는 교차점(T)에 대한 3차원 위치 좌표(Tc)를 결정할 수 있다.
구체적으로, 상기 손 위치 지정부(330)는 민감성 계수(f, sensitive coefficent)를 기반으로 아래 [수학식 3]를 통하여 상기 3차원 패널(40) 상에 지정된 3차원 위치 좌표(Tc)를 산출할 수 있다.
[수학식 3]
여기서, 는 상기 교차점(T)에 대한 3차원 위치 좌표, f는 민감성 계수, 는 제1 교차점 위치 좌표, 는 제2 교차점 위치 좌표이다.
이와 같이, 상기 손 위치 지정부(330)는 0 이상 1 이하를 갖는 민감성 계수(f)의 값을 조정하여 상기 제1 교차점 위치 좌표(Ic)와 상기 제2 교차점 위치 좌표(A'c)사이에서 보간 정도를 조절할 수 있다.
즉, 상기 손 위치 지정부(330)는 사용자의 손 동작에 따라 자유로운 사용성을 갖는 제1 손 위치 지정 방법을 통해 획득한 제1 교차점 위치 좌표()와 안정성을 갖는 제2 손 위치 지정 방법을 통해 획득한 제2 교차점 위치 좌표()의 상호 보완적인 관계를 이용하여 상기 가상의 3차원 패널(40)과 제어 동작 제스처를 취하는 손이 교차하는 교차점(T)에 관한 좌표 정보(Tc)를 최종적으로 지정할 수 있다.
상기 제어 신호 생성부(340)는 앞서 설명한 방법으로 상기 3차원 패널(40)에 지정된 3차원 좌표 정보(Tc)를 사용하여 제어 신호를 생성한다.
그리고, 상기 디스플레이 장치(100)를 통해 표시된 홀로그램 영상은 상기 제어 신호 생성부(340)에서 전송된 제어 신호에 대응하여 홀로그램 영상의 제어 기능을 수행한다.
예를 들면, 상기 제어 신호 생성부(340)는 홀로그램 영상의 확대 기능, 축소 기능, 회전 기능, 이동 기능, 다른 영상으로 전환 기능, 모드 선택 기능, 밝기 조절 기능 중 적어도 하나의 기능을 수행하기 위한 제어 신호를 생성한다.
한편, 도 1을 참조하면, 상기 디스플레이 장치(100)는 홀로그램 영상 외에 음향을 함께 출력하기 위한 적어도 하나의 스피커(100s)가 더 구비될 수 있다. 상기 스피커(100s)는 상기 디스플레이 장치(100)와 연동되어 음향을 출력할 수 있다.
이 경우, 상기 제어 신호 생성부(340)는 사용자의 손 동작 제스처에 대응하여 상기 디스플레이 장치(100)에 표시된 홀로그램 영상이 음향 정보를 포함하는 경우 음향 출력을 위한 제어신호를 생성할 수 있다.
상기 제어 신호 생성부(340)는 사용자의 특정 손 동작을 인식하여 홀로그램 영상의 음향을 확대, 증폭 또는 축소하거나 음향 파일을 변경 또는 선택하는 기능을 수행할 수 있다.
예를 들면, 사용자가 검지 손가락을 펼친 상태에서 검지 손가락을 시계 방향으로 회전시킬 경우 볼륨 업(volume up)으로 인식되어, 스피커(100s)에서 출력되는 소리가 커질 수 있다. 소리는 검지 손가락의 회전 속도에 비례하여 커지는 속도가 조절될 수 있다.
반면, 사용자가 검지 손가락을 펼친 상태에서 검지 손가락을 반시계 방향으로 회전시킬 경우 볼륨 다운(volume down)으로 인식되어, 스피커(100s)에서 출력되는 소리가 작아질 수 있다. 소리는 검지 손가락의 회전 속도에 비례하여 작아지는 속도가 조절될 수 있다.
나아가, 도 1을 참조하면, 본 발명에 따른 홀로그램 디스플레이 시스템은 사용자의 음성을 인식하여 음성 기반 제어 명령을 분석하는 음성 신호 분석장치(400)를 더 포함하되, 상기 제어장치(300)는 상기 음성 신호 분석장치(400)에서 분석된 사용자의 음성 신호에 따라 상기 디스플레이 장치(100)에 표시된 홀로그램 영상을 제어할 수 있다.
구체적으로, 상기 음성 신호 분석장치(400)는 사용자의 음성을 감지하여 전기적 신호로 변환하는 마이크(410) 및 상기 마이크(410)에 감지된 사용자의 음성을 인식하고, 인식된 음성을 분석하여 제어 명령으로 도출하는 분석부(420)를 포함하여 구성된다.
상기 음성 신호 분석장치(400)의 분석부(420)는 사용자의 음성에 포함된 메시지의 의도를 식별하기 위하여 음성 인식 기술 또는 자연어 처리 기술((Natural Language Processing; NLP) 등을 적용할 수 있다.
상기 제어장치(300)의 제어 신호 생성부(340)는 상기 음성 신호 분석장치(400)에서 제어 명령이 수신되면, 전송된 제어 신호를 기반으로 홀로그램 영상을 제어하기 위한 제어 신호를 생성한다.
앞서 기술한 사용자의 손 동작을 사용한 제어 프로세스와 마찬가지로, 상기 음성 신호 분석장치(400)는 사용자의 음성을 인식하여 이를 기반으로 제어 명령을 생성하고 상기 제어 명령에 따라 상기 디스플레이 장치(100)를 통해 구현된 홀로그램 영상의 각종 제어 기능이 수행될 수 있다.
마찬가지로, 상기 디스플레이 장치(100)를 통해 표시된 홀로그램 영상은 상기 제어 신호 생성부(340)에서 전송된 제어 명령에 대응하여 제어신호를 발생시켜 홀로그램 영상의 확대 기능, 축소 기능, 회전 기능, 이동 기능, 다른 영상으로 전환 기능, 모드 선택 기능 이외에도 손동작 명령으로 구분이 쉽지 않은 홀로그램 영상의 밝기, 채도 또는 콘트라스트 등의 조절 등의 다양한 제어 기능을 수행하도록 구성될 수 있다.
만약, 사용자가 “다음 영상 파일”이라고 말하면, 상기 음성 신호 분석장치(400)는 사용자의 음성을 인식 및 분석하고, 제어 신호를 전송하여 상기 홀로그램 영상을 다음 영상으로 전환할 수 있다.
또는 사용자가 “어둡게”라고 말하면, 상기 음성 신호 분석장치(400)는 사용자의 음성을 인식 및 분석하고, 제어 신호를 전송하여 상기 홀로그램 영상의 밝기를 낮출 수 있다.
그리고, 상기 제어 신호 생성부(340)에서 전송된 음성 기반 제어 신호 역시 상기 디스플레이 장치(100)의 스피커를 통해 출력되는 음향 출력을 제어할 수 있음은 물론이다.
예를 들어, 사용자가 “볼륨 크게”라고 말하면, 상기 음성 신호 분석장치(400)는 사용자의 음성을 인식 및 분석하고, 제어 명령을 전송하여 상기 스피커(100s)를 통해 출력되는 홀로그램 영상의 음향 출력의 볼륨을을 높일 수 있다.
이와 같이, 본 발명에 따른 홀로그램 디스플레이 시스템은 사용자의 손 동작뿐만 아니라 사용자의 음성을 인식하여 홀로그램 영상을 제어할 수 있으므로 사용 편리성이 향상된다.
또한, 본 발명은 상기 홀로그램 디스플레이 시스템을 사용한 홀로그램 영상 제어방법을 제공할 수 있다.
도 7은 본 발명에 따른 홀로그램 디스플레이 시스템 제어방법의 순서도를 도시한다.
도 7을 참조하여, 본 발명에 따른 홀로그램 영상 제어방법은 상기 촬영장치(200)에서 촬영된 이미지로부터 3차원 이미지(30)를 획득하는 단계(S100); 상기 3차원 이미지(30)를 사용하여 사용자의 손 모양 정보와 손 동작 정보를 획득하여 손 동작을 인식하는 단계(S200); 상기 디스플레이 장치(100)를 통해 상기 홀로그램 영상이 표시되는 3차원 패널(40) 상에 제어 동작 제스처를 취하는 사용자의 손과 상기 3차원 패널(40)이 교차하는 지점의 3차원 위치 좌표를 지정하는 단계(S300); 및 상기 3차원 패널(40) 상에 지정된 위치 좌표에 기반하여 제어 신호를 생성하고 상기 제어 신호에 따라 상기 홀로그램 영상이 제어되는 단계(S400);를 포함한다.
나아가, 본 발명에 따른 홀로그램 디스플레이 시스템 제어방법은 사용자의 음성을 인식하고, 인식된 음성을 분석하여 상기 홀로그램 영상을 제어하기 위한 제어 명령을 신호를 생성하는 단계(S500);를 더 포함할 수 있다.
이 경우, 본 발명에 따른 홀로그램 디스플레이 시스템 제어방법은 사용자가 손 동작 제스처를 취할 수 없는 상황에서도 사용자의 음성 기반 제어 명령에 기반하여 제어 신호를 생성할 수 있으며, 이후 상기 제어 신호에 따라 상기 홀로그램 영상이 제어되는 단계(S400);가 마찬가지로 수행될 수 있다.
도 8 내지 도 10는 본 발명에 따른 홀로그램 디스플레이 시스템 및 홀로그램 영상 제어방법을 통해 홀로그램 영상이 제어되는 다양한 상태를 도시한다.
도 8 내지 도 10에 도시된 실시예에서 상기 디스플레이 장치(100)는 내부에 홀로그램 영상(H)이 표시되는 공간이 형성되는 프레임부(110), 상기 프레임부(110)의 상부에 구비되며 홀로그램 영상(H)의 근간이 되는 2차원 이미지 정보를 투사하는 투사부(120); 및 상기 투사부(120)에서 투사된 2차원 이미지 정보를 반사시켜 입체적인 홀로그램 영상(H)으로 생성하는 반사부(130);를 포함하여 구성될 수 있다.
상기 디스플레이 장치(100)의 투사부(120)는 상기 프레임부(110)의 내부 공간에서 중앙을 향해 배치될 수 있으며, 2차원 이미지 정보를 투사하기 위한 반사부(130)가 설치될 수 있다.
상기 반사부(130)는 상기 투사부(120)와 대향되는 공간에 배치될 수 있으며, 상기 반사부(130)는 피라미드 형상의 사면체로 구성되어 홀로그램 영상(H)이 투영되는 4개의 반사면을 형성할 수 있다.
상기 촬영장치(200)는 상기 프레임부(110)의 전방에 설치될 수 있으며, 홀로그램 영상을 제어하는 사용자의 손 동작을 촬영할 수 있다. 일 예에 의하면, 상기 촬영장치(300)는 스테레오 렌즈와 일반 렌즈를 구비한 RGB-D 카메라를 구비하여 사용자의 손 동작에 대한 컬러(RGB) 이미지와 깊이(Depth) 이미지를 각각 생성한다.
상기 홀로그램 영상장치(300)는 컬러(RGB) 이미지와 깊이(Depth) 이미지를 결합하여 획득한 3차원 이미지(30)를 사용하므로 사용자의 손 동작을 감지하여 제어 신호를 생성할 수 있다.
예를 들면, 도 8을 참조하면, 본 발명은 사용자의 손이 회전하는 제스처를 감지 및 손의 위치를 인식하여 상기 디스플레이 장치(100)에 표시된 홀로그램 영상(H), 예를 들면 심장 등의 의료용 영상이 상기 제어 동작 제스처의 회전 방향 또는 회전 속도에 따라 회전되도록 제어할 수 있다.
또한, 도 9를 참조하면, 본 발명은 사용자의 검지손가락과 엄지손가락 사이 거리가 좁아졌다 늘어졌다 하는 제스처를 감지 및 손의 위치를 인식하여 상기 디스플레이 장치(100)에 표시된 홀로그램 영상(H), 예를 들면 심장 등의 의료용 영상이 상기 제어 동작 제스처에 따라 확대 또는 축소되도록 제어할 수 있다.
또한, 도 10을 참조하면, 본 발명은 사용자의 검지손가락이 이동하는 제스처를 감지 및 손의 위치를 인식하여 상기 디스플레이 장치에 표시된 홀로그램 영상(H), 예를 들면 심장 등의 의료용 영상이 상기 손가락의 방향을 짜라 이동되도록 제어할 수 있다.
또한, 상기 디스플레이 장치(100)는 상기 프레임부(110) 근방에 홀로그램 영상(H)의 음향을 출력하기 위한 스피커(100s)가 구비될 수 있다. 본 발명은 사용자의 특정 손 동작 또는 음성을 인식하여 홀로그램 영상의 음향 크기 등을 제어하고, 상기 제어된 홀로그램 영상의 음향 신호는 상기 스피커(100s)를 통해 외부로 출력된다.
나아가, 상기 디스플레이 장치(100)는 사용자의 음성을 감지하기 위한 마이크(410)가 구비될 수 있다. 이를 통해, 본 발명은 사용자의 음성을 기반으로 홀로그램 영상(H) 또는 음성 출력을 제어할 수 있도록 구성된다.
이와 같이, 본 발명에 따른 홀로그램 디스플레이 시스템 및 그 제어방법은 RGB-D 카메라에서 획득된 3차원 이미지(30)에서 사용자의 손 모양 정보 및 손 동작 정보를 획득하여 사용자의 손 동작을 인식하고, 제어 동작 제스처를 취하는 해당 손의 3차원 위치 좌표를 홀로그램 영상(H)이 표시되는 3차원 패널(40) 상에 지정함으로써 디스플레이 장치(100)를 통해 표시된 홀로그램 영상(H)의 영상 정보 및 소리 정보를 비 접촉 방식으로 제어할 수 있다.
본 명세서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 당업자는 이하에서 서술하는 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경 실시할 수 있을 것이다. 그러므로 변형된 실시가 기본적으로 본 발명의 특허청구범위의 구성요소를 포함한다면 모두 본 발명의 기술적 범주에 포함된다고 보아야 한다.
100 : 디스플레이 장치
200 : 촬영장치
300 : 제어장치

Claims (12)

  1. 홀로그램 영상이 투사되어 표시되는 디스플레이 장치;
    사용자의 손 동작을 촬영하여 이미지를 획득하는 촬영장치; 및
    미리 학습된 인공지능 알고리즘으로 상기 촬영장치에서 획득된 이미지로부터 사용자의 손 동작을 인식하고, 상기 인식된 손 동작으로부터 손 동작에 대한 3차원 공간 정보를 획득하고, 상기 획득된 3차원 공간 정보로부터 상기 디스플레이 장치의 제어 신호를 생성하여 상기 제어 신호에 따라 상기 디스플레이 장치에 표시된 홀로그램 영상을 제어하기 위한 제어장치;를 포함하고,
    상기 제어장치는 상기 홀로그램 영상을 제어하기 위하여 제스처를 취하는 사용자의 손의 3차원 위치 좌표를 상기 홀로그램 영상이 표시되는 가상의 3차원 패널에 지정하고,
    상기 3차원 위치 좌표는 손바닥 기준점과 손가락의 끝점을 연결하는 손가락 벡터와 상기 3차원 패널이 서로 교차하는 지점을 위치 좌표로 하는 제1 손 위치 지정 방법으로 지정된 제1 교차점 위치 좌표와 손바닥 기준점을 상기 3차원 패널에 투사(project)한 지점을 위치 좌표로 하는 제2 손 위치 지정 방법으로 지정된 제2 교차점 위치 좌표를 기반으로 결정되는 것을 특징으로 하는 홀로그램 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 제어장치는 상기 촬영장치에서 전송된 이미지로부터 3차원 이미지를 획득하는 3차원 이미지 획득부;
    상기 3차원 이미지의 3차원 공간 정보로부터 손 모양 정보와 손 동작 정보를 획득하여 사용자의 손 동작을 인식하는 손 동작 인식부;
    상기 제1 교차점 위치 좌표와 상기 제2 교차점 위치 좌표를 기반으로 결정된 3차원 위치 좌표를 상기 홀로그램 영상이 표시되는 가상의 3차원 패널에 지정하는 손 위치 지정부; 및
    상기 3차원 패널에 지정된 3차원 좌표 정보를 사용하여 제어 신호를 생성하는 제어 신호 생성부;를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 시스템.
  3. 제1항에 있어서,
    상기 촬영장치는 사용자의 손 동작에 대한 RGB 이미지 및 깊이(Depth) 이미지를 획득하기 위한 RGB-D 카메라를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 시스템.
  4. 제2항에 있어서,
    상기 손 동작 인식부에서 상기 인공지능 알고리즘은 상기 3차원 이미지에서 손의 골격을 이루는 복수 개의 특징점을 획득하고, 상기 획득된 복수 개의 특징점을 기반으로 손 모양 정보를 획득하도록 학습되는 것을 특징으로 하는 홀로그램 디스플레이 시스템.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 손 위치 지정부에서 상기 제어 동작 제스처를 취하는 손의 3차원 위치 좌표는 상기 3차원 패널 상에 지정된 상기 제1 교차점 위치 좌표와 상기 제2 교차점 위치 좌표 사이를 연결하는 연결선 상에 지정되는 것을 특징으로 하는 홀로그램 디스플레이 시스템.
  8. 제1항에 있어서
    상기 디스플레이 장치는 홀로그램 영상의 음향 신호를 출력하기 위한 스피커가 구비되는 것을 특징으로 하는 홀로그램 디스플레이 시스템.
  9. 제1항에 있어서,
    사용자의 음성을 인식하여 음성 기반 제어 명령을 분석하는 음성 신호 분석장치;를 더 포함하되,
    상기 제어장치는 상기 음성 신호 분석장치에서 분석된 사용자의 음성 신호에 따라 상기 디스플레이 장치의 홀로그램 영상을 제어하는 것을 특징으로 하는 홀로그램 디스플레이 시스템.
  10. 제1항 내지 제4항 및 제7항 내지 제9항 중 어느 한 항의 홀로그램 디스플레이 시스템을 사용한 홀로그램 디스플레이 시스템의 제어방법에 있어서,
    상기 촬영장치에서 촬영된 손 동작 이미지로부터 3차원 이미지를 획득하는 단계;
    상기 3차원 이미지를 사용하여 사용자의 손 모양 정보와 손 동작 정보를 획득하여 손 동작을 인식하는 단계;
    상기 디스플레이 장치를 통해 상기 홀로그램 영상이 표시되는 가상의 3차원 패널 상에 제어 동작 제스처를 취하는 사용자의 손과 상기 3차원 패널이 교차하는 지점의 3차원 위치 좌표를 지정하는 단계; 및
    상기 3차원 패널 상에 지정된 위치 좌표에 기반하여 제어 신호를 생성하고 상기 제어 신호에 따라 상기 홀로그램 영상이 제어되는 단계;를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 시스템의 제어방법.
  11. 제10항에 있어서,
    사용자의 음성을 인식하고, 인식된 음성을 분석하여 상기 홀로그램 영상을 제어하기 위한 제어 신호를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 홀로그램 디스플레이 시스템의 제어방법.
  12. 제11항에 있어서,
    사용자의 음성 기반 제어 명령에 기반하여 제어 신호를 생성하고, 상기 제어 신호에 따라 상기 홀로그램 영상이 제어되는 단계;를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 시스템의 제어방법.
KR1020230179097A 2022-12-28 2023-12-11 홀로그램 디스플레이 시스템 및 그 제어방법 Active KR102701038B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020230179097A KR102701038B1 (ko) 2023-12-11 2023-12-11 홀로그램 디스플레이 시스템 및 그 제어방법
PCT/KR2023/020835 WO2024144035A1 (ko) 2022-12-28 2023-12-15 홀로그램 디스플레이 시스템 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230179097A KR102701038B1 (ko) 2023-12-11 2023-12-11 홀로그램 디스플레이 시스템 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR102701038B1 true KR102701038B1 (ko) 2024-08-30

Family

ID=92587038

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230179097A Active KR102701038B1 (ko) 2022-12-28 2023-12-11 홀로그램 디스플레이 시스템 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR102701038B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016524262A (ja) * 2013-07-10 2016-08-12 リアル ビュー イメージング リミテッド ３次元ユーザインタフェース
KR20180043216A (ko) * 2018-04-09 2018-04-27 전자부품연구원 공간터치장치 및 이를 포함하는 디스플레이 장치
KR20220036146A (ko) * 2020-09-15 2022-03-22 광운대학교 산학협력단 손 제스처 인식에 기초한 인터랙션 홀로그램 디스플레이 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016524262A (ja) * 2013-07-10 2016-08-12 リアル ビュー イメージング リミテッド ３次元ユーザインタフェース
KR20180043216A (ko) * 2018-04-09 2018-04-27 전자부품연구원 공간터치장치 및 이를 포함하는 디스플레이 장치
KR20220036146A (ko) * 2020-09-15 2022-03-22 광운대학교 산학협력단 손 제스처 인식에 기초한 인터랙션 홀로그램 디스플레이 방법 및 시스템

Similar Documents

Publication Publication Date Title
JP5992448B2 (ja) 画像システム及び方法
JP2014512550A6 (ja) 画像システム及び方法
JP7606685B2 (ja) ロボット・アームを誘導するための方法、誘導システム
JP2025515300A (ja) ヘッドマウントディスプレイと電気解剖学的システムとの間の双方向通信
CN110913786B (zh) 用于与虚拟模型进行交互的触摸屏用户界面
US11141226B2 (en) Method of graphically tagging and recalling identified structures under visualization for robotic surgery
US20160299565A1 (en) Eye tracking for registration of a haptic device with a holograph
JP2017146758A (ja) 重畳画像表示システム
Krapichler et al. VR interaction techniques for medical imaging applications
CN114649083A (zh) 一种三维模型处理方法、系统、装置及存储介质
US20220101533A1 (en) Method and system for combining computer vision techniques to improve segmentation and classification of a surgical site
US20220270247A1 (en) Apparatus for moving a medical object and method for providing a control instruction
KR102701038B1 (ko) 홀로그램 디스플레이 시스템 및 그 제어방법
JP2023543010A (ja) ツール追跡のための方法及びシステム
US20220022964A1 (en) System for displaying an augmented reality and method for generating an augmented reality
CN112241996B (zh) 用于对体积绘制图像进行着色的方法和系统
KR101611484B1 (ko) 의료영상의 제공방법
US12350112B2 (en) Creating surgical annotations using anatomy identification
CN113648073B (zh) 对增强现实和/或虚拟现实的调整
Indraccolo et al. Augmented reality and MYO for a touchless interaction with virtual organs
KR102674408B1 (ko) 비 접촉식 의료 영상 제어 시스템
JP6142462B1 (ja) 重畳画像表示システム
US20250391125A1 (en) Ultrasound landmark registration in an augmented reality environment
Xiao et al. Interactive System Based on Leap Motion for 3D Medical Model
Krapichler et al. Human-machine interface for a VR-based medical imaging environment

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20231211

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20240116

Comment text: Request for Examination of Application

PA0302 Request for accelerated examination

Patent event date: 20240125

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240320

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240822

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240827

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240827

End annual number: 3

Start annual number: 1

PG1601 Publication of registration