KR102728725B1 - 가상 공간 내 메모 객체를 제어하는 전자 시스템 및 그 동작 방법 - Google Patents

Abstract

가상 공간 내 메모 객체를 제어하는 전자 시스템 및 그 동작 방법이 개시된다. 개시된 전자 시스템은 사용자로부터의 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지하는 전자 장치 및 사용자의 시점에 대응하는 가상 공간의 장면을 표시해서 사용자로 제공하고, 기준 객체가 장면에 포함되는 경우에 응답하여 전자 장치로부터 전달된 정보에 기초하여 쓰는 동작에 따른 필기를 기준 객체 상에 표시하는 디스플레이 장치를 포함하고, 가상 공간에서 기준 객체는 전자 장치의 표면에 배치되고, 사용자의 두 손 중 적어도 하나가 트랙킹되어 가상 공간에 표시되고, 사용자의 트랙킹된 손에 의해 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행된다.

Description

가상 공간 내 메모 객체를 제어하는 전자 시스템 및 그 동작 방법{ELECTRONIC SYSTEM FOR CONTROLLING MEMO OBJECT IN VIRTUAL SPACE AND OPERATING METHOD THEREOF}

아래의 설명은 가상 공간 내 메모 객체를 제어하는 전자 시스템 및 그 동작 방법에 관한 것이다.

떼었다 붙였다 할 수 있는 접착제가 붙은 메모지는 적은 양의 정보를 담기에 적합한 크기로 다양한 표면에 쉽게 부착될 수 있고, 또한 쉽게 떼어내어 여러 번 다시 부착해도 흔적이 남지 않는다는 특성을 가진다. 이러한 특성 덕분에 메모지는 갑자기 떠오른 생각을 빠르게 받아 적거나, 문서에서 중요한 내용을 강조하거나, 또는 해야 할 일을 상기할 때 유용한 생활 및 사무용품으로 널리 자리매김하였다.

또한, 해당 메모지는 효과적인 문제 해결 도구이다. 여러 사람이 큰 벽 앞에 모여 메모지를 사용한 회의를 진행하면, 짧은 시간 안에 많은 정보와 아이디어를 모을 수 있고, 이를 효과적으로 정리하고 이 안에 존재하는 복잡한 관계를 시각화함으로써, 효율적으로 구체적인 솔루션을 결정할 수 있다. 다만, 물리적인 메모지에는 다음과 같은 여러 문제들이 존재한다.

먼저, 메모지를 붙일 수 있는 표면의 크기가 한정적이므로, 활용 가능한 메모지도 제한적일 수 밖에 없으며, 결국에는 새로운 공간을 마련해야 하는 점에서 원활한 회의 진행이 어려울 수 있다.

또한, 메모지를 재배열하는 작업이 노동집약적이다. 기존 메모지의 배치나 정렬 순서를 바꾸거나, 기존 메모지들 사이에 새로운 메모지를 배치하고자 한다면, 주변의 많은 메모지들을 일일이 떼었다 붙여야 한다. 메모지가 많을수록 작업 난이도가 올라가며, 이는 새로운 방식으로 아이디어를 정리하는 것을 주저하게 만들 수 있다.

마지막으로, 물리적인 메모지로 정리한 결과물을 문서화하거나 보관하기 어렵다. 결과물을 공유하기 전에 디지털 도표로 변환하는 데에는 많은 시간과 노력이 필요하다. 나아가, 이 과정에서 중요한 메모지를 누락하거나 잃어버리기 쉽다.

이러한 문제들은 물리적인 메모지를 사용하는 한 피하기 어렵다.

본 발명은 VR(virtual reality)을 활용한 메모 객체 제어 기반 전자 시스템 및 그 동작 방법을 제공함으로써, 물리적인 메모지를 사용할 때 불가피하게 발생하는 여러 문제점들을 효과적으로 해결할 수 있다.

본 발명은 물리적인 메모지의 효과적인 문제 해결 도구 특성을 가지면서도 앞서 설명한 문제점들을 극복한 메모 객체 제어 기반 전자 시스템 및 그 동작 방법을 제공할 수 있다.

본 발명은 복잡한 생각 과정을 돕기 위해 많은 메모지가 배치되고, 정리되고, 연결됨으로써 다양한 문제를 해결하는 장점을 유지하면서도 물리적인 메모지로 인한 단점을 효과적으로 보완할 수 있다.

다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.

일 실시예에 따른 전자 시스템은 사용자로부터의 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지하는 전자 장치 및 상기 사용자의 시점에 대응하는 가상 공간의 장면을 표시해서 상기 사용자로 제공하고, 상기 기준 객체가 상기 장면에 포함되는 경우에 응답하여 상기 전자 장치로부터 전달된 정보에 기초하여 상기 쓰는 동작에 따른 필기(handwriting)를 상기 기준 객체 상에 표시하는 디스플레이 장치를 포함하고, 상기 가상 공간에서 상기 기준 객체는 상기 전자 장치의 표면에 배치되고, 상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행된다.

상기 가상 공간에 존재하는 하나 이상의 객체들 각각은 쓰여진 필기를 유지한 상태로 상기 사용자의 트랙킹되는 손에 의해 제어될 수 있다.

상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 하나 이상의 객체들 중 대상 객체를 잡고 이동시킨 후 놓는 동작을 수행하면, 상기 대상 객체는 상기 이동하는 동작에 따라 상기 가상 공간에서 이동되고, 상기 놓는 동작이 수행된 위치에 대응하는 상기 가상 공간 상에 배치될 수 있다.

상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 하나 이상의 객체들 중 대상 객체를 구긴 후 해당 대상 객체를 놓는 동작을 수행하면, 상기 대상 객체는 상기 구기는 동작에 따라 상기 가상 공간에서 구겨지고, 상기 놓는 동작에 따라 상기 가상 공간에서 바닥으로 떨어질 수 있다.

상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 구겨진 대상 객체를 펴는 동작을 수행하면, 상기 대상 객체는 상기 펴는 동작에 따라 상기 가상 공간에서 펼쳐져서 상기 대상 객체에 적힌 필기를 표시할 수 있다.

상기 사용자가 트랙킹되는 두 손으로 미리 정해진 거리 내에서 주먹을 쥐는 동작 또는 상기 두 손으로 미리 정해진 거리 내에서 주먹을 쥔 후 상기 두 손을 서로 멀어지도록 이동시키는 동작을 수행하면, 상기 가상 공간에서 두 손의 거리에 따른 크기의 평면이 생성되고, 상기 사용자가 트랙킹되는 두 손으로 주먹을 쥔 채 두 손의 거리를 조절하는 동작을 수행하면, 상기 가상 공간에서 생성된 상기 평면의 크기가 상기 두 손의 거리에 따라 제어될 수 있다.

상기 사용자가 트랙킹되는 두 손 또는 한 손으로 상기 가상 공간에서 평면을 잡고 이동시킨 후 놓는 동작을 수행하면, 상기 평면은 상기 이동하는 동작에 따라 상기 가상 공간에서 이동되고, 상기 놓는 동작이 수행된 위치에 대응하는 상기 가상 공간 상에 배치될 수 있다.

상기 사용자가 트랙킹되는 두 손으로 상기 가상 공간에서 평면을 잡고 두 손의 거리를 미리 정해진 거리 이하로 줄이는 동작을 수행하면, 상기 평면에 부착된 객체가 없는 경우에 응답하여 상기 평면은 상기 가상 공간에서 삭제되고, 상기 평면에 부착된 객체가 있는 경우에 응답하여 상기 평면은 상기 부착된 객체의 가장자리 크기보다 축소되지 않는다.

상기 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후 다른 손으로 핀치 제스처를 수행하면, 상기 가상 공간에서 상기 두 손을 잇는 무방향성 링크가 생성될 수 있다.

상기 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후 다른 손을 일 방향으로 움직이면서 핀치 제스처를 수행하면, 상기 가상 공간에서 상기 두 손을 이으며 상기 다른 손에 대응하는 부분에 화살표 표시가 있는 방향성 링크가 생성될 수 있다.

상기 무방향성 링크 또는 상기 방향성 링크가 생성된 상태에서 상기 사용자가 트랙킹되는 두 손으로 상기 가상 공간에 배치된 두 타겟 객체들에 미리 정해진 거리 내에서 핀치 제스처를 해제하면, 상기 무방향성 링크 또는 상기 방향성 링크는 상기 가상 공간에서 상기 두 타겟 객체들을 연결할 수 있다.

상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 두 타겟 객체들을 잇는 링크를 잡고 미리 정해진 거리 이상으로 잡아당기는 동작을 수행하면, 상기 링크는 상기 가상 공간에서 삭제될 수 있다.

상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 태그 객체를 잡아서 두 타겟 객체들을 잇는 링크에 미리 정해진 거리 내로 이동시킨 후 놓는 동작을 수행하면, 상기 태그 객체는 상기 놓는 동작에 따라 상기 링크에 미리 정해진 각도로 정렬되어 배치될 수 있다.

상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 복수의 객체들 중 대상 객체를 잡고 다른 객체에 미리 정해진 거리 내로 이동시키는 동작을 수행해서 상기 대상 객체와 상기 다른 객체가 미리 정해진 각도 내로 정렬된 후 대상 객체를 놓는 동작을 수행하면, 상기 가상 공간에서 상기 대상 객체와 상기 다른 객체가 부착되는 평면이 생성될 수 있다.

상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 타겟 객체를 잡고 평면에 미리 정해진 거리 내로 이동시키는 동작을 수행하면, 상기 가상 공간에서 상기 타겟 객체에 대응하는 피드 포워드(feed forward)가 평면 상에 표시되고, 상기 사용자가 상기 타겟 객체를 놓는 동작을 수행하면, 상기 가상 공간에서 상기 평면에 표시된 상기 피드 포워드의 위치에 상기 타겟 객체가 부착될 수 있다.

상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 평면 내 타겟 객체를 평면 상에서 이동시키는 동작을 수행하면, 상기 타겟 객체는 상기 가상 공간 내 상기 평면 상에서 상기 사용자의 동작에 따라 이동될 수 있다.

상기 사용자가 트랙킹되는 두 손 중 한 손으로 상기 가상 공간에 배치된 평면 내 타겟 객체를 터치한 채 다른 손으로 다른 객체를 상기 평면 상에서 상기 타겟 객체에 정렬되도록 이동시키는 동작을 수행하면, 상기 다른 객체는 상기 가상 공간 내 상기 평면 상에서 상기 타겟 객체에 정렬될 수 있다.

상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 제1 평면을 잡고 하나 이상의 객체들이 부착된 제2 평면을 미리 정해진 방향으로 관통시키는 동작을 수행하면, 상기 사용자의 동작으로 상기 제2 평면 중에서 상기 제1 평면에 의해 관통되는 영역 내 객체가 상기 제2 평면에서 상기 제1 평면으로 이동될 수 있다.

상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 제1 평면을 잡고 하나 이상의 객체들이 부착된 제2 평면에 미리 정해진 거리 내로 접근시키는 동작을 수행하면, 상기 가상 공간에서 상기 제2 평면 중 상기 제1 평면에 대응하는 영역 내 객체가 상기 제1 평면에 투사되고, 상기 사용자가 상기 제1 평면에 투사된 객체를 터치하는 동작을 수행하면, 상기 가상 공간에서 상기 터치하는 동작에 대응하는 객체가 상기 제1 평면에 복사될 수 있다.

상기 가상 공간에 존재하는 객체들 중 적어도 하나는 상기 가상 공간에 접속한 복수의 사용자들 중 하나 이상에 의해 제어될 수 있다.

일 실시예에 따른 전자 시스템은 사용자의 시점에 대응하는 가상 공간의 장면을 표시해서 상기 사용자로 제공하고, 상기 가상 공간에 배치된 객체들 중 상기 장면에 포함된 객체를 해당 객체에 적힌 필기와 함께 표시하는 디스플레이 장치 및 상기 사용자의 두 손 중 적어도 하나를 트래킹하는 센서를 포함하고, 상기 센서에 의해 상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행된다.

일 실시예에 따른 전자 시스템의 동작 방법은 사용자로부터 전자 장치로 전달되는 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지하는 동작 및 상기 사용자의 시점에 대응하는 가상 공간의 장면에 상기 기준 객체가 포함되는 경우에 응답하여, 상기 감지된 쓰는 동작에 따른 필기를 상기 기준 객체 상에 표시해서 상기 사용자로 디스플레이 장치를 통해 제공하는 동작을 포함하고, 상기 가상 공간에서 상기 기준 객체는 상기 전자 장치의 표면에 배치되고, 상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행된다.

일 실시예에 따르면, 물리적인 메모리를 사용할 때의 손 동작과 매우 유사한 제스처를 이용함으로써, 복잡한 메뉴 버튼이나 위젯 없이 사용자가 가상 공간에서 직관적으로 손쉽게 메모 객체를 제어할 수 있다. 사용자는 물리적인 제약에 구애 받지 않고 아이디어를 자유롭게 메모 객체에 필기하고, 객체를 배치하고, 필요 시 한 번에 많은 객체를 옮기거나 복제하는 등 아이디어 결과물을 손쉽게 관리할 수 있다.

일 실시예에 따르면, 현실과 매우 유사한 다양한 한 손 또는 양손 제스처로 가상 공간 내 메모 객체를 생성, 제어, 삭제하고, 가상 공간 내 평면을 이용하여 여러 메모 객체를 한 번에 이동시키거나, 복제하거나, 졍렬시킬 수 있다.

도 1은 일 실시예에 따라 전자 시스템을 설명하기 위한 도면이다.
도 2 및 도 3은 일 실시예에 따른 가상 공간을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 객체 필기 및 배치 관련 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 객체 삭제 및 복구 관련 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 평면 수동 생성, 크기 조절 및 배치 관련 동작을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 평면 삭제 관련 동작을 설명하기 위한 도면이다.
도 8 및 도 9는 일 실시예에 따른 무방향성 링크 및 방향성 링크 생성 관련 동작을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 링크 부착 및 삭제 관련 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 태그 부착 관련 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 평면 자동 생성 및 평면 스냅 관련 동작을 설명하기 위한 도면이다.
도 13은 일 실시예에 다른 평면 내 객체 정렬 관련 동작을 설명하기 위한 도면이다.
도 14 및 도 15는 일 실시예에 따른 평면 간 복수의 객체 이동 및 복제 관련 동작을 설명하기 위한 도면이다.
도 16는 일 실시예에 따른 다중 사용자 관련 동작을 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 전자 시스템의 동작 방법을 나타낸 도면이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시예에 따라 전자 시스템을 설명하기 위한 도면이다.

일 실시예에 따르면, 전자 시스템(100)은 사용자(140)의 움직임(예: 손 제스처, 터치 입력 등) 및/또는 펜 입력에 기반하여 3차원 가상 공간에 객체를 생성하거나, 객체에 필기하거나, 또는 객체를 제어할 수 있다. 객체는 가상 공간에서 생성되고, 배치되는 가상 객체로서, 앞서 설명한 물리적인 메모지에 대응할 수 있다. 사용자(140)는 가상 공간에서 문자, 숫자, 심볼, 그림 등을 객체 상에 필기할 수 있고, 쓰여진 필기를 유지한 상태로 객체를 가상 공간에서 제어할 수 있다. 가상 공간에 대해서는 도 2 및 도 3을 통해 상세히 설명한다.

전자 시스템(100)은 디스플레이 장치(110) 및 전자 장치(120)를 포함할 수 있다. 전자 시스템(100)은 사용자(140)의 두 손 중 적어도 하나를 트랙킹하는 센서(도면 미도시) 및 사용자(140)의 시선 방향 및/또는 위치를 감지하는 센서(도면 미도시) 중 적어도 하나를 더 포함할 수 있다.

디스플레이 장치(110)는 사용자(140)의 시점에 대응하는 가상 공간의 장면을 표시해서 사용자(140)로 제공하는 장치일 수 있다. 디스플레이 장치(110)는 사용자(140)에 의해 착용될 수 있으나, 전술하거나 도 1에 도시된 예에 한정되지 않으며, 사용자(140)의 시점에 대응하는 가상 공간의 장면을 표시해서 사용자(140)로 제공할 수 있는 장치라면 그 형태나 종류에 한정되지 않는다. 예를 들어, 디스플레이 장치(110)가 사용자(140)의 머리에 착용되는 HMD(head mounted display)라면, 디스플레이 장치(110)는 사용자(140)로 제공할 가상 공간의 장면을 결정하기 위해 사용자(140)의 시점 방향을 감지하기 위한 하나 이상의 센서들을 이용할 수 있다. 또는, 별도의 처리 장치(예: 서버 등)(도면 미도시)가 사용자(140)의 시점 방향 및/또는 위치를 감지하는 하나 이상의 센서들을 이용하여 사용자(140)의 시점 방향 및/또는 위치에 따른 가상 공간의 장면을 생성하고, 디스플레이 장치(110)는 생성된 장면을 수신하여 사용자(140)로 제공할 수도 있다.

전자 장치(120)는 사용자(140)가 가상 공간에서 객체 상에 필기를 하기 위한 장치로서, 사용자(140)의 필기 동작을 도울 수 있는 형태(예: 평평한 표면 등)를 가질 수 있다. 예를 들어, 전자 장치(120)는 휴대폰, 스마트 폰, 태블릿, 전자북 장치, 랩탑과 같은 다양한 컴퓨팅 장치를 포함할 수 있으나, 전술한 예에 한정되지 않는다.

일례로, 사용자(140)는 펜(130)을 이용하여 전자 장치(120)의 표면에 필기하는 동작을 할 수 있다. 전자 장치(120)는 펜(130)을 통해 사용자(140)로부터의 입력을 감지할 수 있다. 예를 들어, 펜(130)이 전자 장치(120)의 터치 스크린에 접촉하거나, 미리 정해진 거리 내로 접근하면, 전자 장치(120)는 이를 감지하여 사용자(140)로부터의 필기 입력을 결정할 수 있다.

다른 일례로, 사용자(140)는 펜(130)을 이용하지 않고, 직접 손으로 전자 장치(120)의 터치 스크린에 필기를 할 수 있다. 전자 장치(120)는 터치 스크린에 입력되는 사용자(140)의 터치를 감지하여 사용자(140)로부터의 필기 입력을 결정할 수 있다.

전자 장치(120)는 직접 디스플레이 장치(110)로 또는 별도의 처리 장치를 통해 디스플레이 장치(110)로 사용자(140)의 필기 입력을 전송할 수 있고, 디스플레이 장치(110)는 필기되는 객체가 사용자(140)의 시점에 들어오는 경우에 응답하여 객체와 해당 객체에 포함된 필기를 표시하여 사용자(140)로 제공할 수 있다.

전자 장치(120)의 위치는 내장된 센서(예: 뎁스 카메라(depth camera) 등)에 기반하여 결정될 수 있다. 또는, 별도의 센서(도면 미도시)에 기반하여 전자 장치(120)의 위치가 결정될 수도 있다. 전자 장치(120)의 위치에 기반하여 결정된 전자 장치(120)와 사용자(140) 간 상대적인 위치에 따라, 전자 장치(120)가 가상 공간에 표시될 수 있다.

추후 자세히 설명하겠으나, 사용자(140)는 두 손 중 적어도 하나를 이용하여 가상 공간에 배치된 객체에 대한 제어를 수행할 수 있다. 예를 들어, 사용자(140)는 객체에 대한 배치, 삭제, 복구, 평면 내 정렬, 다른 평면으로의 이동 및 복제, 객체가 부착된 평면에 대한 수동 생성 크기 조절, 배치, 삭제, 자동 생성 및 스냅 및 두 객체들을 잇는 링크에 대한 생성, 부착 및 삭제 중 하나 이상을 수행할 수 있으며, 이에 대해서는 이하 도면들을 참고하여 상세히 설명한다.

도 2 및 도 3은 일 실시예에 따른 가상 공간을 설명하기 위한 도면이다.

도 2를 참조하면, 가상 공간에서 사용자가 전자 장치(210)와 펜(220)을 이용하여 기준 객체(230)에 필기하는 장면의 예시가 도시된다. 설명의 편의를 위해 가상 공간에 배치된 복수의 객체들과 구별하기 위해 사용자가 필기하고 있는 객체를 기준 객체(230)로 지칭할 수 있다.

도 2에 예시적으로 도시된 것처럼, 가상 공간에서 전자 장치(210), 펜(220) 및 두 손(240, 250)이 표시될 수 있다. 기준 객체(230)는 전자 장치(210) 상에 놓일 수 있으며, 두 손(240, 250)은 각각 전자 장치(210)와 펜(220)을 쥘 수 있다. 도 2에 도시된 가상 공간의 장면은 도 1의 현실 상황(이를테면, 사용자가 펜(130)으로 전자 장치(120) 상에 필기를 수행)에 대응할 수 있다. 기준 객체(230)는 전자 장치(210) 일면의 일부 또는 전부에 배치될 수 있으며, 펜(220)으로 적힌 필기가 기준 객체(230) 상에 표시될 수 있다. 도 2에서는 왼손(240)으로 전자 장치(210)를 들고, 오른손(250)으로 펜(220)을 잡은 예시가 도시되어 있으나, 이는 설명의 편의를 위한 것으로 사용자에 따라 두 손(240, 250)의 역할이 바뀔 수 있다.

또한, 가상 공간에는 하나 이상의 객체들이 배치될 수 있으며, 사용자의 시점에 대응하는 가상 공간 장면에 포함된 객체들이 표시될 수 있다. 각 객체들은 사용자에 의해 쓰여진 다양한 형태의 필기를 포함할 수 있다. 또한, 일부 객체는 전자 시스템에 의해 정해진 형태의 필기를 포함할 수도 있다. 예를 들어, 특정 문서에 대해 미리 정해진 키워드들이 각각 전자 시스템에 의해 객체에 포함되거나, 회의 안건들이 각각 전자 시스템에 의해 객체에 포함되어, 관련 회의나 미팅이 원활히 진행되는 것을 도울 수 있으나, 전술한 예에 한정되지 않는다.

도 2에 도시되지는 않았지만, 가상 공간에 배치된 복수의 객체들 중 일부는 다른 객체와 다른 크기, 다른 모양(예: 직사각형, 세모, 동그라미, 별 등) 및/또는 다른 색상을 가질 수 있다. 예를 들어, 가상 공간의 특정 영역에 배치된 객체들을 대표하는 객체(예: 안건, 키워드를 포함한 객체)는 다른 객체보다 더 크거나, 독특한 모양을 가지거나, 다른 색상을 가짐으로써 시각적으로 쉽게 인지될 수 있게끔 결정될 수 있다.

도 3을 참조하면, 현실 공간(310)에서 사용자가 한 손(311)으로 객체를 잡는 동작에 대응하여, 가상 공간(320)에서도 사용자의 트랙킹된 한 손(321)이 객체(323)를 잡을 수 있으며, 잡힌 객체(323)는 다른 객체와 다르게 시각적으로 표시(예: 굵은 테두리)됨으로써 현재 잡힌 객체(323)가 어떤 것인지 등 직관적인 피드백을 사용자로 제공할 수 있다. 도 3에서는 한 손(311)이 오른손으로 도시되어 있으나, 이는 설명의 편의를 위한 것으로 한 손(311)이 왼손인 경우도 적용될 수 있다.

현실 공간(310)에서 사용자가 취하는 동작들은 하나 이상의 센서들을 통해 감지되어 가상 공간(320)에 즉각적으로 반영될 수 있다. 이처럼, 가상 공간에서 메모 객체에 필기하고, 필기한 객체를 가상 공간에 배치함으로써, 물리적인 공간 제약에서 벗어나 현실과 유사한 다양한 양손 제스처로 메모 객체를 제어할 수 있다. 이하 도면들을 참조하여 객체 제어를 위한 다양한 제스처에 대해 상세히 설명한다.

도 4는 일 실시예에 따른 객체 필기 및 배치 관련 동작을 설명하기 위한 도면이다.

도 4에 도시된 각 단계들(410 내지 440)은 가상 공간의 한 장면을 나타내는 것으로, 손, 펜 및 객체가 표시될 수 있다. 여기서, 손과 펜은 현실 공간에 존재하는 사용자의 손과 펜에 대응하는 것으로, 현실 공간에서 하나 이상의 센서들에 의해 트랙킹되어 가상 공간에 표시될 수 있다.

도 4를 참조하면, 단계(410)를 통해 객체 필기 동작을 설명하고, 단계(420) 내지 단계(440)를 통해 객체 배치 동작을 설명한다.

단계(410)에서, 사용자는 가상 공간에서 제1 손으로 필기할 객체를 잡고, 제2 손으로 잡은 펜을 이용해서 해당 객체에 필기를 할 수 있다. 이에 대응하는 현실 공간에서는, 사용자는 제1 손으로 전자 장치를 잡고, 제2 손으로 잡은 펜을 이용하여 전자 장치 상에 필기를 할 수 있다. 제1 손은 사용자의 왼손이고, 제2 손은 사용자의 오른손일 수 있으나, 전술한 예에 한정되지 않으며, 경우에 따라서는 제1 손이 오른손이고, 제2 손이 왼손에 해당할 수도 있다.

단계(410)에 예시적으로 도시된 가상 공간에서는 미표시되었으나, 현실 공간의 전자 장치의 위치나 방향이 감지되어 가상 공간에 표시되고, 객체는 가상 공간에 표시된 전자 장치의 표면에 배치될 수 있다. 전자 장치의 위치나 방향은 별도의 센서를 통해 감지되거나, 또는 전자 장치 내 구비된 센서(예: 자이로 센서, 가속도 센서 등)에 의해 감지될 수도 있다. 객체에 수행되는 필기는 펜에 의해 전자 장치의 터치 스크린에 제공되는 터치 입력에 기반하여 감지되거나, 펜과 전자 장치 간 통신(예: 블루투스 연결 등)에 기반하여 감지될 수 있다. 감지된 필기는 가상 공간에서 객체 상에 표시될 수 있다.

단계(420)에서, 사용자가 가상 공간에서 객체에 미리 정해진 거리 내로 손을 근접시킨 후 핀치 제스처를 취하면 해당 객체가 핀치 제스처에 고정될 수 있다. 객체를 사용자의 손에 고정시키는 제스처는 핀치 제스처 외에도 사용자나 시스템에 의해 다양하게 설정될 수 있다. 단계(430)에서, 사용자가 가상 공간에서 핀치 제스처를 유지한 채 손을 움직이면, 객체가 손 움직임에 따라 이동할 수 있다. 단계(440)에서, 사용자가 가상 공간에서 손을 원하는 위치로 옮긴 후 핀치 제스처를 해제하면 객체가 해당 위치에 배치될 수 있다.

다시 말해, 단계(420) 내지 단계(440)에서, 사용자가 트랙킹되는 손으로 가상 공간에서 객체를 잡고 이동시킨 후 놓는 동작을 수행하면, 해당 객체는 해당 이동하는 동작에 따라 가상 공간에서 이동되고, 놓는 동작이 수행된 위치에 대응하는 가상 공간 상에 배치될 수 있다. 이때 해당 객체에 쓰여진 필기는 그대로 유지될 수 있다. 또한, 실시예에 따라서는, 가상 공간에서 핀치 제스처로 잡힌 객체는 그 테두리가 두껍게 표시되거나, 다른 색상으로 표시됨으로써, 어떤 객체가 핀치 제스처로 잡힌 것인지, 또는 사용자가 의도한 객체가 핀치 제스처로 잘 잡혔는지 등이 시각적인 피드백으로 사용자로 제공될 수 있다.

도 5는 일 실시예에 따른 객체 삭제 및 복구 관련 동작을 설명하기 위한 도면이다.

도 5에 도시된 각 단계들(510 내지 540)은 가상 공간의 한 장면을 나타내는 것으로, 손 및 객체가 표시될 수 있다. 여기서, 손은 현실 공간에 존재하는 사용자의 손에 대응하는 것으로, 현실 공간에서 하나 이상의 센서들에 의해 트랙킹되어 가상 공간에 표시될 수 있다. 이러한 사항은 도 6 내지 도 15에 대해서도 마찬가지로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

도 5를 참조하면, 단계(510) 및 단계(520)를 통해 객체 삭제 동작을 설명하고, 단계(530) 및 단계(540)를 통해 객체 복구 동작을 설명한다.

단계(510)에서, 사용자는 가상 공간에 배치된 하나 이상의 객체들 중 삭제하고자 하는 객체에 미리 정해진 거리 내로 손을 근접시킬 수 있다. 실시예에 따라서는, 사용자의 트랙킹되는 손이 미리 정해진 거리 내로 접근한 객체는 그렇지 않은 객체와 시각적으로 다르게 표시될 수 있으며, 예를 들어, 테두리가 굵게 표시되거나, 객체의 색상이 다르게 변할 수 있다. 가상 공간에 배치된 하나 이상의 객체들 중에서 사용자의 손이 미리 정해진 거리 내로 근접된 객체가 다른 객체와 시각적으로 다르게 표시됨으로써, 사용자는 제어하고자 하는 객체가 정확히 선택되었는지를 직관적으로 알 수 있어, 사용자 의도에 따른 정확한 제어가 가능할 수 있다.

사용자가 가상 공간에서 객체에 근접시킨 손으로 해당 객체를 구기는 동작, 다시 말해 주먹을 쥐는 동작을 수행하면, 가상 공간에서 해당 객체가 구겨지는 시각적인 피드백이 사용자로 제공될 수 있다. 객체가 구겨짐에 따라 객체에 적힌 필기가 더 이상 표시되지 않을 수 있으나, 전술한 예에 한정되는 것은 아니다.

단계(520)에서, 사용자는 주먹을 다시 펴는 동작이나 객체를 쥔 손을 펴는 동작을 수행하면, 해당 객체가 가상 공간에서 바닥으로 떨어짐으로써, 객체가 삭제될 수 있다. 객체가 삭제되는 시각적 효과는 이외에도 다양하게 적용될 수 있으며, 예를 들어, 객체가 가상 공간에 배치된 휴지통 속으로 이동하는 시각적 효과 등이 제한 없이 적용될 수 있다.

단계(530)에서, 사용자가 가상 공간에서 구겨진 객체를 잡는 동작을 수행하면, 해당 객체는 잡는 동작을 수행하는 사용자의 손에 고정될 수 있다. 예를 들어, 사용자는 가상 공간에서 구겨진 상태로 바닥에 떨어져 있는 객체를 잡거나, 휴지통 속에 구겨져 잇는 객체를 잡을 수 있다.

단계(540)에서, 사용자가 가상 공간에서 구겨진 객체를 펴는 동작을 수행하면, 해당 객체는 펴는 동작에 따라 가상 공간에서 펼쳐져서 복구될 수 있다. 예를 들어, 펴는 동작은 사용자가 구겨진 객체를 잡은 양손을 서로 반대되는 방향으로 이동시키는 동작에 해당할 수 있으나, 전술한 예에 한정되지 않는다. 복구된 객체에는 다시 필기가 표시될 수 있다.

도 6은 일 실시예에 따른 평면 수동 생성, 크기 조절 및 배치 관련 동작을 설명하기 위한 도면이다.

도 6을 참조하면, 단계(610) 및 단계(620)를 통해 평면 수동 생성 및 크기 조절 동작을 설명하고, 단계(630) 및 단계(640)를 통해 평면 배치 동작을 설명한다. 가상 공간에 표시되는 평면은 하나 이상의 객체들을 부착할 수 있는 레이어로서, 사용자는 평면을 이용하여 여러 객체들에 대한 제어를 손쉽게 수행할 수 있다.

단계(610)에서, 사용자가 트랙킹되는 두 손을 미리 정해진 거리 내로 근접시킨 상태에서 주먹을 쥐는 동작을 수행하면, 가상 공간에서 두 손의 거리에 따른 크기의 평면이 표시될 수 있다. 이때 가상 공간에서 표시되는 평면은 아직 생성되기 전 상태로 생성 후 상태의 평면과 시각적으로 다르게 표시될 수 있으며, 예를 들어, 생성 전 상태의 평면은 생성 후 상태보다 투명도가 높으며 테두리가 점선으로 표시될 수 있다.

한편, 평면을 생성하는 제스처와 도 5의 단계(510)에서 설명한 객체를 삭제하는 제스처는 모두 주먹을 쥐는 동작을 활용하는 점에서 유사하다고 볼 수 있으나, 다음과 같은 차이점이 존재할 수 있다. 객체 삭제를 위해서는 우선 삭제하고자 하는 대상인 객체가 존재하여야 하며, 해당 객체에 사용자의 손이 근접한 상태에서 해당 손으로 주먹을 쥐는 동작이 수행될 수 있다. 반면, 평면 생성을 위해서는 두 손이 서로 근접한 상태에서 두 손으로 주먹을 쥐는 동작이 수행될 수 있다. 나아가, 평면 생성 시 주먹을 쥐는 두 손에는 근접한 객체가 존재하지 않는 조건이 실시예에 따라 추가될 수 있으나, 전술한 예에 한정되지는 않는다. 앞서 설명한 조건적인 차이점으로 인해 평면 생성 제스처와 객체 삭제 제스처가 혼동될 가능성을 효율적이고, 직관적으로 배제시킬 수 있다.

단계(620)에서, 사용자가 주먹을 쥔 두 손을 서로 멀어지도록 이동시키는 동작을 수행하면, 가상 공간에서 두 손의 거리에 따른 크기로 평면이 조절되고, 사용자가 주먹을 쥔 두 손을 놓으면, 가상 공간에서 두 손의 거리에 따른 크기의 평면이 생성될 수 있다.

단계(630)에서, 사용자가 트랙킹되는 두 손 또는 한 손으로 가상 공간에서 평면을 잡고 이동시키는 동작을 수행하면, 가상 공간에서 평면이 트랙킹되는 손을 따라 이동될 수 있다.

단계(640)에서, 사용자가 가상 공간에서 평면을 잡은 손을 놓는 동작을 수행하면, 평면이 놓는 동작이 수행된 위치에 대응하는 가상 공간 상에 배치될 수 있다. 가상 공간 상에 배치된 평면의 방향은 놓는 동작을 수행하는 손의 방향에 따라 결정될 수 있으나, 전술한 예에 한정되지 않는다.

도 7은 일 실시예에 따른 평면 삭제 관련 동작을 설명하기 위한 도면이다.

도 7을 참조하면, 단계(710) 내지 단계(740)를 통해 평면 삭제 동작을 설명한다.

단계(710)에서, 사용자가 트랙킹되는 두 손으로 가상 공간에 배치된 평면을 잡을 수 있다. 이때, 평면은 어떤 객체도 부착되지 않은 것일 수 있다. 실시예에 따라서는, 가상 공간에서 사용자의 손에 잡힌 평면은 다른 평면과 시각적으로 다르게 표시될 수 있고, 예를 들어, 그 테두리가 두껍게 표시되거나, 다른 색상으로 표시될 수 있다.

단계(720)에서, 사용자가 가상 공간에서 평면을 잡은 두 손의 거리를 미리 정해진 거리 이하로 줄이는 동작을 하면, 부착된 객체가 없는 평면은 가상 공간에서 삭제될 수 있다.

단계(730)에서, 사용자가 트랙킹되는 두 손으로 가상 공간에 배치된 평면을 잡을 수 있다. 이때, 평면은 하나 이상의 객체가 부착된 것일 수 있다. 마찬가지로, 실시예에 따라 가상 공간에서 사용자의 손에 잡힌 평면은 다른 평면과 시각적으로 다르게 표시될 수 있고, 예를 들어, 그 테두리가 두껍게 표시되거나, 다른 색상으로 표시될 수 있다.

단계(740)에서, 사용자가 가상 공간에서 평면을 잡은 두 손의 거리를 미리 정해진 거리 이하로 줄이는 동작을 하더라도, 부착된 객체가 있는 평면은 가상 공간에서 부착된 객체의 가장자리 크기보다 더 축소되지 않고, 삭제되지도 않을 수 있다. 부착된 객체가 하나라면, 해당 객체 크기 이하로 해당 평면이 축소되지 않고, 부착된 객체가 둘 이상이라면, 해당 객체들을 모두 포함할 수 있는 최소 크기로 해당 평면이 축소될 뿐 그 이상으로 축소되지 않은다. 이는 평면 삭제로 의도하지 않은 객체까지 삭제되는 것을 방지하기 위한 것일 수 있다.

도 8 및 도 9는 일 실시예에 따른 무방향성 링크 및 방향성 링크 생성 관련 동작을 설명하기 위한 도면이다.

도 8을 참조하면, 단계(810) 및 단계(820)를 통해 무방향성 링크 생성 동작을 설명하고, 단계(830) 및 단계(840)를 통해 방향성 링크 생성 동작을 설명한다. 도 8에서는 설명의 편의를 위해 왼손으로 첫 번째 핀치 제스처를 한 후 오른손으로 두 번째 핀치 제스처를 수행하는 것으로 도시되어 있으나, 전술한 예에 한정되지 않으며, 오른손으로 첫 번째 핀치 제스처를 한 후 왼손으로 두 번째 핀치 제스처를 수행하는 경우에도 아래의 설명이 마찬가지로 적용될 수 있다.

단계(810)에서, 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후, 단계(820)에서, 다른 한 손도 핀치 제스처를 수행하면, 가상 공간에서 두 손을 잇는 무방향성 링크가 생성될 수 있다. 무방향성 링크는 특정 방향을 나타내지 않고 단순히 두 지점을 연결하는 링크일 수 있다. 실시예에 따라서는, 보다 정확한 사용자 의도 감지를 위해 링크 생성을 위한 추가적인 조건이 있을 수도 있다. 예를 들어, 두 손이 미리 정해진 거리 이내에서 핀치 제스처를 각각 취해야 하는 조건이나, 핀치 제스처를 취하는 두 손이 각각 서로를 향하는 조건 등이 추가적으로 요구될 수 있으나, 전술한 예에 한정되지는 않는다.

단계(830)에서, 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후, 단계(840)에서, 다른 손을 일 방향으로 움직이면서 핀치 제스처를 수행하면, 가상 공간에서 두 손을 이으며 다른 손에 대응하는 부분에 화살표 표시가 잇는 방향성 링크가 생성될 수 있다. 방향성 링크는 특정 방향을 나타내면서 두 지점을 연결하는 링크로서, 특정 방향, 다시 말해 다른 손으로 핀치 제스처를 수행할 때 움직이는 방향을 가리키는 화살표가 존재할 수 있다. 실시예에 따라서는, 방향성 링크 생성에도 보다 정확한 사용자 의도 감지를 위한 추가적인 조건이 적용될 수 있다. 예를 들어, 핀치 제스처를 수행하는 다른 손의 이동 속도 및/또는 이동 거리가 미리 정해진 임계치 이상인 조건이나, 두 손이 미리 정해진 거리 이내에서 핀치 제스처를 각각 취해야 하는 조건이나, 핀치 제스처를 취하는 두 손이 각각 서로를 향하는 조건 등이 추가적으로 요구될 수 있으나, 전술한 예에 한정되지는 않는다.

도 9를 참조하면, 무방향성 링크를 생성하는 제스처를 사용자가 취했을 때 현실 공간(910)과 가상 공간(920)이 예시적으로 도시된다. 현실 공간(910)에서는 사용자가 디스플레이 장치를 착용한 상태로 공중에 두 손을 올린 채 핀치 제스처를 취하고 있고, 이에 대응하여 사용자로 제공되는 가상 공간(920)의 장면에서는 무방향성 링크가 두 손을 연결하도록 생성되고, 사용자의 시점에 대응하는 장면에 포함된 객체들이 함께 표시될 수 있다.

도 10은 일 실시예에 따른 링크 부착 및 삭제 관련 동작을 설명하기 위한 도면이다.

도 10을 참조하면, 단계(1010) 및 단계(1020)를 통해 링크 부착 동작을 설명하고, 단계(1030) 및 단계(1040)를 통해 링크 삭제 동작을 설명한다. 도 10에서는 설명의 편의를 위해 무방향성 링크를 기준으로 설명하지만 실시예가 이에 한정되지 않으며, 방향성 링크에 대해서도 아래의 설명이 마찬가지로 적용될 수 있다.

단계(1010)에서, 링크가 생성된 상태에서 사용자가 트랙킹되는 두 손을 가상 공간에 배치된 두 객체들에 미리 정해진 거리 내로 근접시키고, 단계(1020)에서, 그 상태에서 두 손의 핀치 제스처를 해제하면, 링크는 가상 공간에서 두 객체들을 연결할 수 있다. 실시예에 따라서는, 사용자가 핀치 제스처를 하고 있는 손을 객체에 근접시키면, 가장 근접한 객체가 시각적으로 다르게 표시(예: 굵은 테두리 및/또는 다른 색상으로 표시)됨으로써, 핀치 제스처 해제 시 링크가 어느 객체에 연결되는 것임을 사용자에게 직관적으로 피드백할 수 있다.

단계(1030)에서, 사용자가 트랙킹되는 손으로 가상 공간에 배치된 두 타겟 객체들을 잇는 링크를 잡고, 단계(1040)에서, 미리 정해진 거리 이상으로 잡아당기는 동작을 수행하면, 해당 링크는 가상 공간에서 삭제될 수 있다.

도 11은 일 실시예에 따른 태그 부착 관련 동작을 설명하기 위한 도면이다.

도 11을 참조하면, 단계(1110) 및 단계(1120)를 통해 두 객체들을 연결하는 링크에 태그 객체를 부착하는 동작을 설명한다. 도 11에서는 설명의 편의를 위해 무방향성 링크를 기준으로 설명하지만 실시예가 이에 한정되지 않으며, 방향성 링크에 대해서도 아래의 설명이 마찬가지로 적용될 수 있다.

태그 객체는 두 객체들을 잇는 링크에 부착되는 객체로서, 두 객체들의 관계 등을 나타내는 필기를 포함할 수 있다. 실시예에 따라서는, 태그 객체는 앞서 설명한 일반적인 객체와 다른 크기, 모양, 색상을 가짐으로써, 사용자가 태그 객체임을 직관적으로 인지할 수 있게 도울 수 있다.

단계(1110)에서, 사용자가 트랙킹되는 손으로 가상 공간에서 태그 객체(1111)를 잡아서 두 객체들을 잇는 링크에 미리 정해진 거리 내로 이동시키는 동작을 수행하면, 가상 공간에서 태그 객체(1111)가 부착될 위치(1113)가 시각적으로 표시될 수 있다. 위치(1113)는 링크에 기초하여 결정될 수 있다. 예를 들어, 위치(1113)는 링크의 중간 위치에 대응하고, 링크에 평행하게 결정될 수 있으나, 전술한 예에 한정되지 않는다.

단계(1120)에서, 사용자가 가상 공간에서 태그 객체를 놓는 동작을 수행하면, 태그 객체(1121)는 단계(1110)에서 표시된 위치(1113)에 부착될 수 있다.

도 12는 일 실시예에 따른 평면 자동 생성 및 평면 스냅 관련 동작을 설명하기 위한 도면이다.

도 12를 참조하면, 단계(1210) 및 단계(1220)를 통해 평명 자동 생성 동작을 설명하고, 단계(1230) 및 단계(1240)를 통해 평면 스냅 동작을 설명한다.

단계(1210)에서, 사용자가 트랙킹되는 손으로 가상 공간에 배치된 복수의 객체들 중 대상 객체를 잡고 다른 객체에 미리 정해진 거리 내로 이동시키는 동작을 수행해서 대상 객체와 다른 객체가 미리 정해진 각도 내로 정렬되면, 가상 공간에서 대상 객체와 다른 객체가 부착될 평면이 시각적으로 표시될 수 있다. 이때, 대상 객체가 다른 객체와 나란한 위치에 미리 정해진 각도 내로 정렬되는 조건이 요구될 수 있다.

단계(1220)에서, 사용자가 대상 객체를 놓는 동작을 수행하면, 가상 공간에서 대상 객체와 다른 객체가 부착되는 평면이 생성되고, 대상 객체와 다른 객체는 생성된 평면에 부착될 수 있다.

단계(1230)에서, 사용자가 트랙킹되는 손으로 가상 공간에서 객체를 잡고 기 생성된 평면에 미리 정해진 거리 내로 이동시키는 동작을 수행하면, 가상 공간에서 객체에 대응하는 피드 포워드가 평면 상에 표시될 수 있다. 피드 포워드는 이후 사용자가 객체를 놓는 동작을 수행했을 때 해당 객체가 부착될 위치를 나타낼 수 있다. 실시예에 따라서는, 보다 정확한 사용자 의도 감지를 위해 평면 스냅을 위한 추가적인 조건이 존재할 수도 있다. 예를 들어, 사용자의 손에 잡힌 객체가 평면에 미리 정해진 거리 내에서 평면에 미리 정해진 각도 내에서 평행한 조건이 추가로 만족해야 피드 포워드가 평면 상에 표시될 수도 있다. 이때, 평면에 평행한 것으로 판단되는 미리 정해진 각도는 단계(1210)에서 요구되는 미리 정해진 각도보다 넓은 범위를 가질 수 있다. 다시 말해, 평면 생성을 위해 대상 객체가 다른 객체와 평행해야 하는 조건이 평면 스냅을 위해 요구되는 평행 조건과 다른 기준으로 판단될 수 있다. 실시예에 따라서는 평면 생성을 위해 대상 객체가 다른 객체와 평행해야 하는 조건이 평면 스냅을 위해 요구되는 평행 조건보다 더 엄격할 수 있으나, 전술한 예에 한정되지 않는다.

단계(1240)에서, 사용자가 객체를 놓는 동작을 수행하면, 가상 공간에서 평면에 표시된 피드 포워드의 위치에 객체가 부착될 수 있다.

도 13은 일 실시예에 다른 평면 내 객체 정렬 관련 동작을 설명하기 위한 도면이다.

도 13을 참조하면, 단계(1310) 및 단계(1320)를 통해 평면 내 객체를 이동시키는 동작을 설명하고, 단계(1330) 및 단계(1340)를 통해 평면 내 객체 정렬 동작을 설명한다.

단계(1310)에서, 사용자는 트랙킹되는 손으로 가상 공간에 배치된 평면 내 객체를 터치하는 동작을 수행하면, 가상 공간에서 사용자에 의해 터치된 객체가 시각적으로 다르게 표시될 수 있다. 예를 들어, 터치된 객체는 그 테두리가 굵게 표시되거나, 다른 색상으로 표시될 수 있다. 단계(1320)에서, 사용자는 터치한 객체를 평면 상에서 이동시키는 동작을 수행하면, 해당 객체는 가상 공간 내 평면 상에서 사용자의 동작에 따라 이동될 수 있다.

단계(1330)에서, 사용자는 트랙킹되는 두 손 중 한 손으로 가상 공간에 배치된 평면 내 타겟 객체를 터치한 채 다른 손으로 평면 상에서 타겟 객체에 정렬시키고자 하는 다른 객체를 터치하면, 해당 평면 상에서 타겟 객체를 기준으로 하는 가이드 선이 표시될 수 있다. 가이드 선은 타겟 객체를 기준으로 하는 세로 선 또는 가로 선일 수 있고, 세로선 및 가로선 중 다른 객체를 정렬시키고자 하는 방향의 수직하는 선이 가이드 선으로 결정되어 평면 상에 표시될 수 있다. 예를 들어, 다른 객체를 수평으로 이동시켜 타겟 객체에 수직 방향으로 정렬시키고자 하는 경우에는 타겟 객체를 기준으로 하는 세로선이 평면에 가이드 선으로 표시될 수 있다. 또는, 다른 객체를 수평으로 이동시키기 위해 손을 펴서 손날(hand blade)을 다른 객체에 접근시키면, 손날에 평행하거나 손날의 각도에 유사한 세로선이 타겟 객체를 기준으로 표시되고, 손날을 수평으로 이동시킴에 따라 다른 객체도 손날의 움직임을 따라 수평으로 이동될 수도 있다. 다만, 실시예가 이에 한정되는 것은 아니며, 이외에도 정렬을 위한 다양한 가이드 선이 평면 상에 표시될 수 있다. 이를테면, 앞선 설명은 가이드 선이 세로선 또는 가로선인 실시예를 기준으로 하였지만, 경우에 따라서는, 가이드 선이 다양한 각도의 사선일 수도 있다.

단계(1340)에서, 사용자가 다른 객체를 평면 상에서 타겟 객체에 정렬되도록 이동시키는 동작을 수행하면, 다른 객체는 가상 공간 내 평면 상에서 타겟 객체에 정렬될 수 있다. 이때, 다른 객체는 타겟 객체를 제외한 평면에 부착된 객체들 중 사용자가 터치한 하나 이상의 객체일 수 있다.

도 14 및 도 15는 일 실시예에 따른 평면 간 복수의 객체 이동 및 복제 관련 동작을 설명하기 위한 도면이다.

도 14를 참조하면, 단계(1410) 및 단계(1420)를 통해 평면 간 객체 이동 동작을 설명하고, 단계(1430) 및 단계(1440)를 통해 평면 간 객체 복제 동작을 설명한다.

단계(1410)에서, 사용자가 트랙킹되는 손으로 가상 공간에서 제1 평면을 하나 이상의 객체들이 부착된 제2 평면 뒤에 위치시킬 수 있다. 단계(1420)에서, 사용자가 제1 평면을 잡고 제2 평면을 미리 정해진 방향(예: 제2 평면 뒤에서 앞으로)으로 관통시키는 동작을 수행하면, 사용자의 동작으로 제2 평면 중에서 제1 평면에 의해 관통되는 영역 내 객체가 제2 평면에서 제1 평면으로 이동될 수 있다. 마치 채를 사용하는 듯한 제스처를 통해, 제1 평면에서 제2 평면으로의 객체 이동이 직관적으로 수행될 수 있다. 도 14에 예시적으로 도시된 단계(1420)에서, 사용자가 양손으로 잡은 제1 평면은 제2 평면에서 왼편을 관통하므로, 제2 평면에서 왼편에 위치한 객체들이 제1 평면으로 이동되는 반면, 오른편에 위치한 객체들은 제2 평면에 그대로 위치할 수 있다.

미리 정해진 방향은 실시예에 따라 다양하게 변형될 수 있다. 예를 들어, 제1 평면이 제2 평면 앞에서 뒤로 이동하는 실시예, 제1 평면이 제2 평면 앞에서 뒤로 이동하였다가 다시 앞으로 이동하는 실시예 등이 제한 없이 적용될 수 있다.

단계(1430)에서, 사용자가 트랙킹되는 손으로 가상 공간에서 제1 평면을 잡고 하나 이상의 객체들이 부착된 제2 평면에 미리 정해진 거리 내로 접근시키는 동작을 수행하면, 가상 공간에서 제2 평면 중 제1 평면에 대응하는 영역 내 객체가 제1 평면에 투사될 수 있다. 도 14에 예시적으로 도시된 단계(1430)에서, 사용자가 손으로 잡은 제1 평면은 그 뒤에 배치된 제2 평면 중 오른편에 대응할 수 있고, 따라서 제2 평면 중 오른편에 위치한 객체들이 제1 평면에 투사되는 반면, 제2 평면 중 왼편에 위치한 객체들은 제1 평면에 투사되지 않는다. 투사되는 형태는 실시예에 따라 다양할 수 있으며, 어느 특정한 형태로 제한되지 않는다.

단계(1440)에서, 사용자가 제1 평면에 투사된 객체를 터치하는 동작을 수행하면, 가상 공간에서 터치하는 동작에 대응하는 객체가 제1 평면에 복사될 수 있다.

도 15를 참조하면, 평면 간 객체를 제스처를 사용자가 취했을 때 현실 공간(1510)과 가상 공간(1520)이 예시적으로 도시된다. 현실 공간(1510)에서는 사용자가 디스플레이 장치를 착용한 상태로 공중에 두 손을 올린 채 오른손으로 주먹을 쥐고, 왼손으로 터치 제스처를 취하고 있고, 이에 대응하여 사용자로 제공되는 가상 공간(1520)의 장면에서는 오른손으로 잡은 제1 평면(1530)이 제2 평면(1540) 앞에 위치해 있으며, 왼손으로 제1 평면(1530)에 투사된 객체를 터치하는 것이 표시될 수 있다.

제1 평면(1530)의 제1 객체(1531)는 제2 평면(1540)의 제1 객체(1541)가 투사된 것으로, 아직 복제되기 전 상태로 투명하게 표시될 수 있다. 제1 평면(1530)의 제2 객체(1533)는, 사용자 손에 의해 터치됨으로써 제2 평면(1540)의 제2 객체(1543)가 제1 평면(1530)으로 복제된 것으로, 사용자 터치에 의해 그 테두리가 굵게 표시됨으로써 사용자로 터치 제스처가 인식되었음을 피드백할 수 있다. 제1 평면(1530)의 제3 객체(1535)는, 제2 평면(1540)의 제3 객체(1545)로부터 기 복제된 것을 나타낼 수 있다.

도 16는 일 실시예에 따른 다중 사용자 관련 동작을 설명하기 위한 도면이다.

도 16을 참조하면, 복수의 사용자들(1610, 1620)이 가상 공간에 접속한 예시가 도시된다. 복수의 사용자들(1610, 1620)은 동시에 가상 공간에 접속해서 앞서 설명한 제어들을 통해 가상 공간에 객체를 배치하고 이동시키고 삭제할 수 있다. 또한, 복수의 사용자들(1610, 1620) 각각이 앞서 설명한 제어들을 독립적으로 수행할 수도 있으나, 실시예에 따라서는 앞서 설명한 제어들을 함께 수행할 수도 있다. 예를 들어, 도 6에서 설명한 평면 수동 생성 및 크기 조절 동작은 두 손이 요구되는데, 복수의 사용자들(1610, 1620) 각각이 하나의 손을 활용하여 평면 수동 생성 및 크기 조절 동작을 수행할 수도 있다. 이처럼, 복수의 사용자들(1610, 1620)이 한 평면을 함께 잡고 제어를 수행할 수도 있고, 나아가, 한 객체에 대해서도 함께 제어를 수행할 수도 있다.

복수의 사용자들(1610, 1620)이 물리적인 제약이 없는 가상 공간에서 메모리 객체를 사용해 아이디어를 도출하고 정리할 수 있다. 도 16에서는 2명의 사용자가 도시되어 있으나, 이는 설명의 편의를 위한 것으로 가상 공간에 접속하는 사용자 수가 전술한 예에 제한되지 않다.

도 17은 일 실시예에 따른 전자 시스템의 동작 방법을 나타낸 도면이다.

동작(1710)에서, 전자 시스템은 사용자로부터 전자 장치로 전달되는 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지한다. 동작(1720)에서, 전자 시스템은 사용자의 시점에 대응하는 가상 공간의 장면에 기준 객체가 포함되는 경우에 응답하여, 감지된 쓰는 동작에 따른 필기를 기준 객체 상에 표시해서 사용자로 디스플레이 장치를 통해 제공한다. 가상 공간에서 기준 객체는 전자 장치의 표면에 배치되고, 사용자의 두 손 중 적어도 하나가 트랙킹되어 가상 공간에 표시되고, 사용자의 트랙킹된 손에 의해 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행된다.

또한, 전자 시스템은 사용자의 시점에 대응하는 가상 공간의 장면을 결정해서 사용자로 제공하고, 가상 공간에 배치된 객체에 대한 제어를 사용자의 손을 트랙킹함으로써 입력 받으며, 사용자의 트랙킹된 손에 따라 객체를 제어하는 과정을 시각적으로 사용자로 제공한다. 가상 공간의 장면은 가상 공간에 배치된 객체들 중 장면에 포함된 객체를 해당 객체에 적힌 필기와 함께 표시한다.

도 17에 도시된 각 단계들에는 도 1 내지 도 16을 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (22)

1. 전자 시스템에 있어서,
   사용자로부터의 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지하는 전자 장치; 및
   상기 사용자의 시점에 대응하는 가상 공간의 장면을 표시해서 상기 사용자로 제공하고, 상기 기준 객체가 상기 장면에 포함되는 경우에 응답하여 상기 전자 장치로부터 전달된 정보에 기초하여 상기 쓰는 동작에 따른 필기(handwriting)를 상기 기준 객체 상에 표시하는 디스플레이 장치
   를 포함하고,
   상기 가상 공간에서 상기 기준 객체는 상기 전자 장치의 표면에 배치되고,
   상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행되고,
   상기 가상 공간에서 상기 사용자가 상기 필기가 포함된 상기 기준 객체를 잡고 이동시킨 후 놓는 동작을 수행하면, 상기 기준 객체는 상기 필기를 유지한 채 상기 가상 공간 상에서 상기 전자 장치의 표면으로부터 이동하여 상기 놓는 동작이 수행된 위치에 배치되는,
   전자 시스템.
   
2. 제1항에 있어서,
   상기 가상 공간에 존재하는 하나 이상의 객체들 각각은 쓰여진 필기를 유지한 상태로 상기 사용자의 트랙킹되는 손에 의해 제어되는,
   전자 시스템.
   
3. 제1항에 있어서,
   상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 하나 이상의 객체들 중 대상 객체를 잡고 이동시킨 후 놓는 동작을 수행하면, 상기 대상 객체는 상기 이동하는 동작에 따라 상기 가상 공간에서 이동되고, 상기 놓는 동작이 수행된 위치에 대응하는 상기 가상 공간 상에 배치되는,
   전자 시스템.
   
4. 제1항에 있어서,
   상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 하나 이상의 객체들 중 대상 객체를 구긴 후 해당 대상 객체를 놓는 동작을 수행하면, 상기 대상 객체는 상기 구기는 동작에 따라 상기 가상 공간에서 구겨지고, 상기 놓는 동작에 따라 상기 가상 공간에서 바닥으로 떨어지는,
   전자 시스템.
   
5. 제1항에 있어서,
   상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 구겨진 대상 객체를 펴는 동작을 수행하면, 상기 대상 객체는 상기 펴는 동작에 따라 상기 가상 공간에서 펼쳐져서 상기 대상 객체에 적힌 필기를 표시하는,
   전자 시스템.
   
6. 제1항에 있어서,
   상기 사용자가 트랙킹되는 두 손으로 미리 정해진 거리 내에서 주먹을 쥐는 동작 또는 상기 두 손으로 미리 정해진 거리 내에서 주먹을 쥔 후 상기 두 손을 서로 멀어지도록 이동시키는 동작을 수행하면, 상기 가상 공간에서 두 손의 거리에 따른 크기의 평면이 생성되고,
   상기 사용자가 트랙킹되는 두 손으로 주먹을 쥔 채 두 손의 거리를 조절하는 동작을 수행하면, 상기 가상 공간에서 생성된 상기 평면의 크기가 상기 두 손의 거리에 따라 제어되는,
   전자 시스템.
   
7. 제1항에 있어서,
   상기 사용자가 트랙킹되는 두 손 또는 한 손으로 상기 가상 공간에서 평면을 잡고 이동시킨 후 놓는 동작을 수행하면, 상기 평면은 상기 이동하는 동작에 따라 상기 가상 공간에서 이동되고, 상기 놓는 동작이 수행된 위치에 대응하는 상기 가상 공간 상에 배치되는
   전자 시스템.
   
8. 제1항에 있어서,
   상기 사용자가 트랙킹되는 두 손으로 상기 가상 공간에서 평면을 잡고 두 손의 거리를 미리 정해진 거리 이하로 줄이는 동작을 수행하면,
   상기 평면에 부착된 객체가 없는 경우에 응답하여 상기 평면은 상기 가상 공간에서 삭제되고,
   상기 평면에 부착된 객체가 있는 경우에 응답하여 상기 평면은 상기 부착된 객체의 가장자리 크기보다 축소되지 않는,
   전자 시스템.
   
9. 제1항에 있어서,
   상기 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후 다른 손으로 핀치 제스처를 수행하면, 상기 가상 공간에서 상기 두 손을 잇는 무방향성 링크가 생성되는,
   전자 시스템.
   
10. 제1항에 있어서,
    상기 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후 다른 손을 일 방향으로 움직이면서 핀치 제스처를 수행하면, 상기 가상 공간에서 상기 두 손을 이으며 상기 다른 손에 대응하는 부분에 화살표 표시가 있는 방향성 링크가 생성되는,
    전자 시스템.
    
11. 제9항 또는 제10항에 있어서,
    무방향성 링크 또는 방향성 링크가 생성된 상태에서 상기 사용자가 트랙킹되는 두 손으로 상기 가상 공간에 배치된 두 타겟 객체들에 미리 정해진 거리 내에서 핀치 제스처를 해제하면, 상기 무방향성 링크 또는 상기 방향성 링크는 상기 가상 공간에서 상기 두 타겟 객체들을 연결하는,
    전자 시스템.
    
12. 제1항에 있어서,
    상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 두 타겟 객체들을 잇는 링크를 잡고 미리 정해진 거리 이상으로 잡아당기는 동작을 수행하면, 상기 링크는 상기 가상 공간에서 삭제되는,
    전자 시스템.
    
13. 제1항에 있어서,
    상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 태그 객체를 잡아서 두 타겟 객체들을 잇는 링크에 미리 정해진 거리 내로 이동시킨 후 놓는 동작을 수행하면, 상기 태그 객체는 상기 놓는 동작에 따라 상기 링크에 미리 정해진 각도로 정렬되어 배치되는,
    전자 시스템.
    
14. 제1항에 있어서,
    상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 복수의 객체들 중 대상 객체를 잡고 다른 객체에 미리 정해진 거리 내로 이동시키는 동작을 수행해서 상기 대상 객체와 상기 다른 객체가 미리 정해진 각도 내로 정렬된 후 대상 객체를 놓는 동작을 수행하면, 상기 가상 공간에서 상기 대상 객체와 상기 다른 객체가 부착되는 평면이 생성되는,
    전자 시스템.
    
15. 제1항에 있어서,
    상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 타겟 객체를 잡고 평면에 미리 정해진 거리 내로 이동시키는 동작을 수행하면, 상기 가상 공간에서 상기 타겟 객체에 대응하는 피드 포워드(feed forward)가 평면 상에 표시되고,
    상기 사용자가 상기 타겟 객체를 놓는 동작을 수행하면, 상기 가상 공간에서 상기 평면에 표시된 상기 피드 포워드의 위치에 상기 타겟 객체가 부착되는,
    전자 시스템.
    
16. 제1항에 있어서,
    상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 평면 내 타겟 객체를 평면 상에서 이동시키는 동작을 수행하면, 상기 타겟 객체는 상기 가상 공간 내 상기 평면 상에서 상기 사용자의 동작에 따라 이동되는,
    전자 시스템.
    
17. 제1항에 있어서,
    상기 사용자가 트랙킹되는 두 손 중 한 손으로 상기 가상 공간에 배치된 평면 내 타겟 객체를 터치한 채 다른 손으로 다른 객체를 상기 평면 상에서 상기 타겟 객체에 정렬되도록 이동시키는 동작을 수행하면, 상기 다른 객체는 상기 가상 공간 내 상기 평면 상에서 상기 타겟 객체에 정렬되는,
    전자 시스템.
    
18. 제1항에 있어서,
    상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 제1 평면을 잡고 하나 이상의 객체들이 부착된 제2 평면을 미리 정해진 방향으로 관통시키는 동작을 수행하면, 상기 사용자의 동작으로 상기 제2 평면 중에서 상기 제1 평면에 의해 관통되는 영역 내 객체가 상기 제2 평면에서 상기 제1 평면으로 이동되는,
    전자 시스템.
    
19. 제1항에 있어서,
    상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 제1 평면을 잡고 하나 이상의 객체들이 부착된 제2 평면에 미리 정해진 거리 내로 접근시키는 동작을 수행하면, 상기 가상 공간에서 상기 제2 평면 중 상기 제1 평면에 대응하는 영역 내 객체가 상기 제1 평면에 투사되고,
    상기 사용자가 상기 제1 평면에 투사된 객체를 터치하는 동작을 수행하면, 상기 가상 공간에서 상기 터치하는 동작에 대응하는 객체가 상기 제1 평면에 복사되는,
    전자 시스템.
    
20. 제1항에 있어서,
    상기 가상 공간에 존재하는 객체들 중 적어도 하나는 상기 가상 공간에 접속한 복수의 사용자들 중 하나 이상에 의해 제어되는,
    전자 시스템.
    
21. 삭제
22. 전자 시스템의 동작 방법에 있어서,
    사용자로부터 전자 장치로 전달되는 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지하는 동작; 및
    상기 사용자의 시점에 대응하는 가상 공간의 장면에 상기 기준 객체가 포함되는 경우에 응답하여, 상기 감지된 쓰는 동작에 따른 필기를 상기 기준 객체 상에 표시해서 상기 사용자로 디스플레이 장치를 통해 제공하는 동작
    을 포함하고,
    상기 가상 공간에서 상기 기준 객체는 상기 전자 장치의 표면에 배치되고,
    상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행되고
    상기 가상 공간에서 상기 사용자가 상기 필기가 포함된 상기 기준 객체를 잡고 이동시킨 후 놓는 동작을 수행하면, 상기 기준 객체는 상기 필기를 유지한 채 상기 가상 공간 상에서 상기 전자 장치의 표면으로부터 이동하여 상기 놓는 동작이 수행된 위치에 배치되는,
    전자 시스템의 동작 방법.

Images