[go: up one dir, main page]

KR20160033721A - 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템 - Google Patents

정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템 Download PDF

Info

Publication number
KR20160033721A
KR20160033721A KR1020167003627A KR20167003627A KR20160033721A KR 20160033721 A KR20160033721 A KR 20160033721A KR 1020167003627 A KR1020167003627 A KR 1020167003627A KR 20167003627 A KR20167003627 A KR 20167003627A KR 20160033721 A KR20160033721 A KR 20160033721A
Authority
KR
South Korea
Prior art keywords
information
unit
image
display
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020167003627A
Other languages
English (en)
Inventor
아츠나리 츠다
토시카즈 우치야마
히토미 와카미야
마사히데 다카노
Original Assignee
세이코 엡슨 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013147420A external-priority patent/JP2015019679A/ja
Priority claimed from JP2014067406A external-priority patent/JP6311393B2/ja
Application filed by 세이코 엡슨 가부시키가이샤 filed Critical 세이코 엡슨 가부시키가이샤
Publication of KR20160033721A publication Critical patent/KR20160033721A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G06F19/3406—
    • G06F19/321—
    • G06F19/3481—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Urology & Nephrology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

정보 처리 장치는, 복수의 의료용 장치로부터 취득된 복수의 정보인 복수의 의료용 장치 정보를 취득하는 취득부와, 취득부에 의해 취득된 복수의 의료용 장치 정보의 적어도 일부를 포함하는 제시용 정보를 생성하는 생성부와, 복수의 화상 표시 장치로, 생성된 제시용 정보를 출력하는 제공부를 구비한다.

Description

정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING SYSTEM}
본 발명은, 정보 처리 장치에 관한 것이다.
두부에 장착하는 표시 장치인 두부 장착형 표시 장치(헤드 마운트 디스플레이(Head Mounted Display, HMD))가 알려져 있다. 두부 장착형 표시 장치는, 예를 들면, 액정 디스플레이와 광원을 이용하여 화상을 위한 화상광을 생성하고, 생성된 화상광을 투사 광학계나 도광판 등을 이용하여 사용자의 눈으로 유도함으로써, 사용자에게 허상을 인식시킨다.
특허문헌 1에는, 이러한 두부 장착형 표시 장치를 이용함으로써, 의료 환경에 있어서의 정보의 표시를 개선하기 위한 시스템이 기재되어 있다. 특허문헌 1에 기재된 기술에서는, 쿼리에 기초하여 복수의 정보원으로부터 정보가 취득된다. 취득된 정보는, 규칙에 기초하여 필터 처리되고, 안경 헤드셋식 뷰어의 접안 렌즈로 투영된다. 특허문헌 1에 기재된 기술에서는, 두부 장착형 표시 장치의 장착자의 시선에 기초하여, 고정된 대형 디스플레이의 정보의 표시에 대한 제어권이나 우선권이 결정된다. 특허문헌 2에는, 의료용 안면 장착형 영상 표시 장치(두부 장착형 표시 장치)가 기재되어 있다. 특허문헌 2에 기재된 기술에서는, 내시경 검사 또는 내시경 수술시에 내시경과 함께 사용되는 내시경 주변 기기의 동작 상태 정보가, 두부 장착형 표시 장치에 표시된다. 특허문헌 3, 4에는, 두부 장착형 표시 장치에 있어서, 증강 현실(augmented reality) 기술을 응용함으로써, 치과 수술에 있어서의 정보의 표시를 행하기 위한 방법이 기재되어 있다. 특허문헌 3, 4에 기재된 기술에서는, 수술부의 실제 화상에 대하여, 수술부의 수술 전 화상, 시뮬레이션 화상 등이 중첩되어 표시된다.
일본공개특허공보 2006-102495호 일본공개특허공보 2001-104331호 일본공개특허공보 2010-259497호 일본공개특허공보 2013-34764호
의학의 진보와 전자 기기의 진보에 의해, 현재의 의료의 현장은 급속한 진화를 이루고 있다. 의료의 현장에서는, 심전도, 심박수계, 혈압계, 펄스옥시미터, 혈당값계, X-선, 내시경과 같은 다양한 의료용의 장치(이후 "의료용 장치"라고 함)가 사용되고 있다. 이러한 다양한 의료용 장치의 정보를 파악하여, 작업을 행하는 것은, 의료의 현장에 종사하는 사람에게 있어서 큰 부담이 된다. 이 때문에, 다양한 의료용 장치의 정보를 일원화할 수 있는 시스템이 요망되고 있었다. 특허문헌 1에 기재된 기술에서는, 복수의 정보원(의료용 장치)으로부터 정보를 취득할 수 있기는 하지만, 취득한 정보를, 복수의 두부 장착형 표시 장치에 대하여, 어떻게 표시시킬지에 대해서는 하등 언급되어 있지 않았다. 특허문헌 2∼4에 기재된 기술에서는, 대상으로 하고 있는 의료용 장치가 한정되어 있기 때문에, 다양한 의료용 장치의 정보를 일원화할 수 없다는 과제가 있었다.
이러한 과제는, 두부 장착형 표시 장치에 한정하지 않고, 두부 장착형 표시 장치와 같은 화상 표시 장치에 표시시키기 위한 정보를 생성하는 정보 처리 장치 전반에 공통되는 과제였다. 이와 같이, 다양한 의료용 장치의 정보를 일원화할 수 있고, 복수의 화상 표시 장치에 있어서의 정보의 표시를 제어하는 것이 가능한 정보 처리 장치가 요망되고 있었다. 부가하여, 정보 처리 장치에는, 범용성의 향상, 편리성의 향상, 제조 비용의 저감, 신뢰성의 향상과 같은, 여러 가지의 요망이 있었다.
본 발명은, 전술한 과제의 적어도 일부를 해결하기 위해 이루어진 것이며, 이하의 형태로서 실현하는 것이 가능하다.
(1) 본 발명의 일 형태는, 정보 처리 장치를 제공한다. 이 정보 처리 장치는, 복수의 의료용 장치로부터 취득된 정보인 복수의 의료용 장치 정보를 취득하는 취득부와, 상기 취득부에 의해 취득된 상기 복수의 의료용 장치 정보의 적어도 일부를 각각 포함하는 복수의 제시용 정보를 생성하는 생성부와, 복수의 화상 표시 장치에 대하여, 생성된 상기 제시용 정보를 출력하는 제공부를 구비한다. 이 형태의 정보 처리 장치에 의하면, 생성부는, 취득부에 의해 취득된 복수의 의료용 장치 정보를 이용하여 제시용 정보를 생성하기 때문에, 정보 처리 장치에 접속되어 있는 다양한 의료용 장치의 정보(의료용 장치 정보)를 일원화할 수 있다. 제공부는, 복수의 화상 표시 장치로, 생성된 제시용 정보를 출력하기 때문에, 제공부는 복수의 화상 표시 장치에 있어서의 표시를 제어할 수 있다. 이 결과, 다양한 의료용 장치의 정보를 일원화할 수 있고, 복수의 화상 표시 장치에 있어서의 표시를 제어하는 것이 가능한 정보 처리 장치를 실현할 수 있다.
(2) 상기 형태의 정보 처리 장치는, 상기 생성부가, 상기 복수의 화상 표시 장치에 대하여 공통되는 상기 제시용 정보를 생성하는 제1 모드와, 상기 복수의 화상 표시 장치에 각각 대응하는 복수의 상기 제시용 정보를 생성하는 제2 모드를 갖도록 구성되어도 좋다. 이 형태의 정보 처리 장치에 의하면, 생성부는, 일원화되어 있는 의료용 장치 정보를 이용하여, 복수의 화상 표시 장치에 대하여 공통되는 제시용 정보를 생성하는 제1 모드와, 복수의 화상 표시 장치에 각각 대응하는 복수의 제시용 정보를 생성하는 제2 모드를 갖는다. 정보 처리 장치는, 생성부에 있어서의 이들 모드를 구분하여 사용함으로써, 복수의 화상 표시 장치에 있어서의 표시를 제어할 수 있다.
(3) 상기 형태의 정보 처리 장치는, 상기 생성부가, 상기 제1 모드에 있어서, 특정의 화상 표시 장치의 사용자에 의해 선택된 상기 의료용 장치 정보를 적어도 포함하는, 공통의 상기 제시용 정보를 생성하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 생성부는, 특정의 화상 표시 장치의 사용자에 의해 선택된 의료용 장치 정보를 적어도 포함하는 공통의 제시용 정보를 생성하고, 제공부는, 복수의 화상 표시 장치로, 생성된 공통의 제시용 정보를 출력한다. 이 결과, 정보 처리 장치는, 복수의 화상 표시 장치에 있어서의 표시를, 특정의 화상 표시 장치의 사용자의 선택에 기초하여 제어하는 것이 가능해진다.
(4) 상기 형태의 정보 처리 장치는, 추가로, 상기 복수의 화상 표시 장치를 각각 식별하기 위한 정보와, 당해 화상 표시 장치가 상기 특정의 화상 표시 장치인지 아닌지를 나타내는 정보를 관련지어 기억하는 장치 간 관계 기억부를 구비하고, 상기 생성부는, 상기 제1 모드에 있어서, 상기 장치 간 관계 기억부를 이용하여 상기 특정의 화상 표시 장치를 식별하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 생성부는, 장치 간 관계 기억부를 이용하여 간편하게, 복수의 화상 표시 장치로부터 특정의 화상 표시 장치를 식별할 수 있다.
(5) 상기 형태의 정보 처리 장치는, 상기 생성부가, 상기 제2 모드에 있어서, 상기 복수의 화상 표시 장치의 사용자에 의해 각각 선택된 취득한 상기 의료용 장치 정보를 적어도 각각 포함하는, 상기 복수의 제시용 정보를 생성하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 생성부는, 복수의 화상 표시 장치의 사용자에 의해 각각 선택된 복수의 의료용 장치 정보를 적어도 각각 포함하는, 복수의 제시용 정보를 생성한다. 제공부는, 복수의 화상 표시 장치로, 생성된 복수의 제시용 정보를 출력한다. 이 결과, 정보 처리 장치는, 복수의 화상 표시 장치에 있어서의 표시를, 각 화상 표시 장치의 사용자의 선택에 기초하여 개별적으로 제어하는 것이 가능해진다.
(6) 상기 형태의 정보 처리 장치는, 상기 생성부가, 상기 제2 모드에 있어서, 상기 사용자의 각각의 역할에 기초하여 상기 의료용 장치로부터 취득한 상기 복수의 의료용 장치 정보를 적어도 각각 포함하는, 상기 복수의 제시용 정보를 생성하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 생성부는, 사용자의 각각의 역할에 기초하여 의료용 장치로부터 취득한 복수의 의료용 장치 정보를 적어도 각각 포함하는, 복수의 제시용 정보를 생성한다. 제공부는, 복수의 화상 표시 장치로, 생성된 복수의 제시용 정보를 출력한다. 이 결과, 정보 처리 장치는, 복수의 화상 표시 장치에 있어서의 표시를, 각 화상 표시 장치의 사용자의 역할에 기초하여 별개로 제어하는 것이 가능하여, 화상 표시 장치의 각 사용자의 편리성을 향상시킬 수 있다.
(7) 상기 형태의 정보 처리 장치는, 추가로, 상기 복수의 화상 표시 장치를 서로 식별하기 위한 정보를, 당해 화상 표시 장치의 사용자의 역할과 관련지어 기억하는 역할 기억부를 구비하고, 상기 생성부는, 상기 제2 모드에 있어서, 상기 역할 기억부를 이용하여 상기 사용자의 역할을 식별하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 생성부는, 역할 기억부를 이용하여 간편하게 각 사용자의 역할을 식별할 수 있다.
(8) 상기 형태의 정보 처리 장치는, 상기 생성부가, 상기 제2 모드에 있어서, 추가로, 생성된 상기 복수의 제시용 정보를 함께 결합한 결합 정보를 생성하고, 상기 제공부는, 상기 특정의 화상 표시 장치에 대하여, 생성된 상기 결합 정보를 출력하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 생성부는, 생성된 복수의 제시용 정보를 함께 결합한 결합 정보를 생성하고, 제공부는, 특정의 화상 표시 장치에 대하여 생성된 결합 정보를 출력한다. 이 결과, 특정의 화상 표시 장치의 사용자는, 정보 처리 장치에 접속되어 있는 복수의 화상 표시 장치에 있어서, 어떠한 제시용 정보가 표시되어 있는지를 알 수 있다. 이 결과, 특정의 화상 표시 장치의 사용자의 편리성을 향상시킬 수 있다.
(9) 상기 형태의 정보 처리 장치는, 상기 생성부가, 상기 제시용 정보를 생성할 때에, 상기 생성부를 상기 의료용 장치 정보에 포함되는 화상의 종횡비를 유지한 채로, 상기 화상을 확대 또는 축소하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 생성부는, 의료용 장치 정보에 포함되는 화상의 종횡비를 유지한 채로, 화상을 확대 또는 축소하기 때문에, 제시용 정보가 생성될 때에, 의료용 장치에 의해 취득된 의료용 장치 정보에 예기치 않은 왜곡을 억제할 수 있다.
(10) 상기 형태의 정보 처리 장치는, 상기 정보 처리 장치에, 상기 화상 표시 장치로서, 사용자가 허상과 외경(outside scene)을 시인 가능한 두부 장착형 표시 장치가 접속되도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 다양한 의료용 장치의 정보를 일원화할 수 있고, 복수의 두부 장착형 표시 장치에 있어서의 표시를 제어하는 것이 가능한 정보 처리 장치를 실현할 수 있다.
(11) 상기 형태의 정보 처리 장치는, 상기 제공부가, 상기 두부 장착형 표시 장치로부터, 상기 두부 장착형 표시 장치를 장착한 사용자의 시계(visual field) 방향의 화상을 추가로 취득하고, 상기 제공부는 취득된 상기 시계 방향의 화상을 인식함으로써 외경에 포함되는 물체의 특징을 추가로 추출하고, 상기 제공부는 추출한 상기 특징에 기초하여 생성부에 의해 생성된 상기 제시용 정보를 추가로 보정하고, 보정된 상기 제시용 정보를 출력하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 제공부는, 두부 장착형 표시 장치의 사용자의 시계 방향의 화상을 인식함으로써 외경에 포함되는 물체의 특징을 추출하고, 제공부는 추출한 특징에 기초하여, 생성된 제시용 정보를 보정한다. 이 때문에, 제시용 정보에, CT 화상, MRI 화상, X-선 화상 등의 불가시부 정보(invisible part information)가 포함되는 경우에 있어서, 외경에 포함되는 물체(예를 들면, 환자의 몸 등)에 불가시부 정보를 일치시킬 수 있다. 이 결과, 두부 장착형 표시 장치의 사용자의 편리성을 향상시킬 수 있다. 또한, 두부 장착형 표시 장치는, 보정 후의 제시용 정보를 수신할 수 있기 때문에, 두부 장착형 표시 장치는, 수신한 제시용 정보를 그대로 표시하면 좋다. 이 결과, 두부 장착형 표시 장치의 구성을 간단하게 할 수 있다.
(12) 상기 형태의 정보 처리 장치는, 상기 정보 처리 장치가, 추가로, 미리 정해진 공정에 대한 정보를 상기 생성부에 송신하는 공정 관리부로서, 상기 취득부에 의해 취득된 상기 복수의 의료용 장치 정보에 기초하여, 송신하는 상기 공정을 변경하는 공정 관리부를 구비하고; 상기 생성부는, 수신한 상기 공정을 포함하는 상기 제시용 정보를 생성하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 공정 관리부는, 미리 정해진 공정에 대한 정보를 생성부에 송신하고, 생성부는, 수신한 공정을 포함하는 제시용 정보를 생성한다. 이 때문에, 정보 처리 장치는, 미리 정해진 공정을, 정보 처리 장치에 접속되어 있는 복수의 화상 표시 장치에 표시시킬 수 있다. 공정 관리부는, 취득부에 의해 취득된 복수의 의료용 장치 정보에 기초하여 송신하는 공정을 변경한다. 이 때문에, 정보 처리 장치는, 복수의 의료용 장치로부터 취득된 복수의 의료용 장치 정보에 기초하여, 복수의 화상 표시 장치에 표시시키는 공정을 변경할 수 있다. 이 결과, 의료용 장치 정보에 기초하여 미리 정해진 공정을 유연하게 변경하고, 이러한 공정을 화상 표시 장치의 사용자에게 안내하는 것이 가능한 정보 처리 장치를 제공할 수 있다.
(13) 상기 형태의 정보 처리 장치는, 상기 공정 관리부가, 상기 복수의 의료용 장치 정보를 반복하여 취득하고, 최신의 상기 복수의 의료용 장치 정보에 기초하여, 상기 생성부에 송신하는 상기 공정을 변경하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 공정 관리부는, 복수의 의료용 장치 정보를 반복하여 취득하고, 최신의 복수의 의료용 장치 정보에 기초하여, 생성부에 송신하는 공정을 변경한다. 이 때문에, 정보 처리 장치는, 복수의 의료용 장치로부터 취득된 복수의 의료용 장치 정보에 기초하여, 복수의 화상 표시 장치에 표시시키는 공정을 실시간 변경할 수 있다.
(14) 상기 형태의 정보 처리 장치는, 상기 공정 관리부가, 복수의 상기 공정으로 이루어지는, 미리 정해진 일련의 공정에 대한 정보를 상기 생성부에 송신하고, 상기 공정 관리부는, 상기 일련의 공정에 대하여, 새로운 공정의 추가와, 상기 일련의 공정 중 적어도 일부의 공정의 삭제와, 상기 일련의 공정 중 적어도 일부의 공정의 대체 중 적어도 어느 하나를 실시함으로써, 상기 공정을 변경하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 공정 관리부는, 일련의 공정에 대하여, 새로운 공정의 추가와, 일련의 공정 중 적어도 일부의 공정의 삭제와, 일련의 공정 중 적어도 일부의 공정의 대체 중 적어도 어느 하나를 실시함으로써, 공정을 변경할 수 있다.
(15) 상기 형태의 정보 처리 장치는, 상기 공정 관리부가, 복수의 상기 공정으로 이루어지는, 미리 정해진 일련의 공정을, 1의 공정씩 순차 상기 생성부에 송신하고, 상기 공정 관리부는, 상기 1의 공정의 송신을 중지함으로써 상기 공정을 변경하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 공정 관리부는, 공정의 송신을 중지함으로써 공정을 변경할 수 있다.
(16) 상기 형태의 정보 처리 장치는, 상기 공정 관리부가, 상기 제1 모드에 있어서, 상기 특정의 상기 화상 표시 장치의 사용자를 위한 상기 공정을 상기 생성부에 송신하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 공정 관리부는, 제1 모드에 있어서, 특정의 화상 표시 장치의 사용자를 위한 공정을 생성부에 송신한다. 이 때문에, 정보 처리 장치는, 복수의 화상 표시 장치에 대하여, 공통된 "특정의 화상 표시 장치의 사용자를 위한 공정"을 표시시킬 수 있다.
(17) 상기 형태의 정보 처리 장치는, 상기 공정 관리부가, 상기 제2 모드에 있어서, 상기 사용자의 각각의 역할에 대응하는 상기 공정을 상기 생성부에 송신하도록 구성해도 좋다. 이 형태의 정보 처리 장치에 의하면, 공정 관리부는, 제2 모드에 있어서, 사용자의 각각의 역할에 대응하는 공정을 생성부에 송신한다. 이 때문에, 정보 처리 장치는, 복수의 화상 표시 장치에 대하여, 개별로 "화상 표시 장치의 사용자의 각각의 역할에 대응하는 공정"을 표시시킬 수 있다.
(18) 본 발명의 다른 형태는, 정보 처리 시스템을 제공한다. 이 정보 처리 시스템은, 복수의 의료용 장치와, 정보 처리 장치와, 복수의 두부 장착형 표시 장치로서, 각각에서 사용자가 허상과 외경을 시인 가능한 두부 장착형 표시 장치를 구비한다. 상기 정보 처리 장치는, 상기 복수의 의료용 장치로부터 취득된 복수의 의료용 장치 정보를 취득하는 취득부와, 상기 취득부에 의해 취득된 상기 복수의 의료용 장치 정보의 적어도 일부를 포함하는 제시용 정보를 생성하는 생성부와, 상기 복수의 두부 장착형 표시 장치로, 생성된 상기 제시용 정보를 출력하는 제공부를 구비한다. 상기 두부 장착형 표시 장치는, 상기 정보 처리 장치로부터 상기 제시용 정보를 취득하는 제시용 정보 취득부와, 취득된 상기 제시용 정보를 상기 허상으로서 상기 두부 장착형 표시 장치의 사용자에 시인시키는 화상 표시부를 구비한다. 이 형태의 정보 처리 시스템에 의하면, 다양한 의료용 장치의 정보(의료용 장치 정보)를 정보 처리 장치를 사용하여 일원화할 수 있고, 복수의 두부 장착형 표시 장치에 있어서의 표시를 제어하는 것이 가능한 정보 처리 시스템을 실현할 수 있다.
전술한 본 발명의 각 형태가 갖는 복수의 구성 요소는 모두가 필수의 것은 아니다. 전술의 과제의 일부 또는 전부를 해결하기 위해, 혹은, 본 명세서에 기재된 효과의 일부 또는 전부를 달성하기 위해, 적절히, 상기 복수의 구성 요소의 일부의 구성 요소의 변경, 삭제, 새로운 구성 요소로의 전환 또는 한정 내용의 일부 삭제를 행하는 것이 가능하다. 또한, 전술의 과제의 일부 또는 전부를 해결하기 위해, 혹은, 본 명세서에 기재된 효과의 일부 또는 전부를 달성하기 위해, 전술한 본 발명의 일 형태에 포함되는 기술적 특징의 일부 또는 전부를 전술한 본 발명의 다른 형태에 포함되는 기술적 특징의 일부 또는 전부와 조합하거나 또는 본 발명의 독립된 일 형태로 하는 것도 가능하다.
예를 들면, 본 발명의 일 형태는, 취득부와, 생성부와, 제공부의 3개의 요소 중 일부 또는 전부를 구비한 장치로서 실현 가능하다. 즉, 이 장치는, 취득부를 갖고 있어도 좋고, 갖고 있지 않아도 좋다. 이 장치는, 생성부를 갖고 있어도 좋고, 갖고 있지 않아도 좋다. 이 장치는, 제공부를 갖고 있어도 좋고, 갖고 있지 않아도 좋다. 이러한 장치는, 예를 들면 정보 처리 장치로서 실현할 수 있지만, 정보 처리 장치 외의 다른 장치로서도 실현 가능하다. 전술한 정보 처리 장치의 각 형태의 기술적 특징의 일부 또는 전부는, 모두 이 장치에 적용하는 것이 가능하다.
본 발명은, 여러 가지의 형태로 실현되는 것이 가능하다. 예를 들면, 정보 처리 장치, 정보 처리 방법, 정보 처리 시스템, 두부 장착형 표시 장치, 두부 장착형 표시 장치의 제어 방법, 두부 장착형 표시 시스템, 이들의 방법, 장치 및 시스템의 기능을 실현하기 위한 컴퓨터 프로그램, 그 컴퓨터 프로그램을 기록한 기록 매체 등의 형태로 본 발명을 실현할 수 있다.
도 1은 본 발명의 일 실시 형태에 있어서의 정보 처리 시스템의 개략 구성을 나타내는 설명도이다.
도 2는 정보 처리 장치의 기능적 구성을 나타내는 블록도이다.
도 3은 공통 영상 사양의 일 예를 나타내는 설명도이다.
도 4는 관리 테이블의 일 예를 나타내는 설명도이다.
도 5는 헤드 마운트 디스플레이의 기능적 구성을 나타내는 블록도이다.
도 6은 제시용 정보 생성 처리의 순서를 나타내는 플로우 차트이다.
도 7a는 제시용 정보의 생성 방법을 설명하기 위한 도이다.
도 7b는 제시용 정보의 생성 방법을 설명하기 위한 도이다.
도 8은 제시용 정보의 생성 방법을 설명하기 위한 도이다.
도 9a는 제시용 정보의 제1예를 나타내는 도이다.
도 9b는 제시용 정보의 제1예를 나타내는 도이다.
도 10a는 제시용 정보의 제2예를 나타내는 도이다.
도 10b는 제시용 정보의 제2예를 나타내는 도이다.
도 11은 제시용 정보의 제3예를 나타내는 도이다.
도 12는 복수의 헤드 마운트 디스플레이에 있어서 제시용 정보가 허상으로서 표시되어 있는 상태를 나타내는 도이다.
도 13은 상이한 위치에 있는 복수의 헤드 마운트 디스플레이에 있어서 제시용 정보가 허상으로서 표시되어 있는 상태를 나타내는 도이다.
도 14는 스텝 S122∼S134가 2회 실행된 후에 복수의 헤드 마운트 디스플레이에 있어서 제시용 정보가 허상으로서 표시되어 있는 상태를 나타내는 도이다.
도 15는 제2 실시 형태에 있어서의 정보 처리 장치의 기능적 구성을 나타내는 블록도이다.
도 16은 결합 정보 생성 처리의 순서를 나타내는 플로우 차트이다.
도 17은 결합 정보의 생성 방법을 설명하는 도이다.
도 18은 헤드 마운트 디스플레이에 있어서 결합 정보가 허상으로서 표시되어 있는 상태를 나타내는 도이다.
도 19는 제3 실시 형태에 있어서의 정보 처리 장치의 기능적 구성을 나타내는 블록도이다.
도 20은 공정 정보의 일 예를 나타내는 개략동이다.
도 21은 긴급 대응 정보의 일 예를 나타내는 테이블이다.
도 22는 공정 관리 처리의 순서를 나타내는 플로우 차트이다.
도 23a는 변형예에 있어서의 각 헤드 마운트 디스플레이의 외부의 구성을 나타내는 도이다.
도 23b는 변형예에 있어서의 각 헤드 마운트 디스플레이의 외부의 구성을 나타내는 도이다.
(발명을 실시하기 위한 형태)
A. 제1 실시 형태:
A-1. 정보 처리 시스템의 구성:
도 1은, 본 발명의 일 실시 형태에 있어서의 정보 처리 시스템(1000)의 개략 구성을 나타내는 설명도이다. 정보 처리 시스템(1000)은, 복수의 의료용 장치(501∼50n)와, 정보 처리 장치(300)와, 화상 표시 장치(100)를 구비하고 있다. 정보 처리 시스템(1000)은, 의료의 현장에 있어서 사용되는 시스템이다. 정보 처리 장치(300)는, 복수의 의료용 장치(501∼50n)로부터 정보를 취득하여 일원화하고, 화상 표시 장치(100)에 표시시키기 위한 제시용 정보를 생성한다. 의료용 장치(501∼50n)와, 화상 표시 장치(100)는, 유선 접속 또는 무선 접속에 의해, 정보 처리 장치(300)와 접속되어 있다. 이후에서는 "임의의 복수"를 나타내는 문자로서 "n"을 이용한다. n은 1 이상의 정수이다.
본 실시 형태에서는, 의료의 현장으로서, 수술실에 있어서의 수술 현장을 예시하고 있다. 그러나, 정보 처리 시스템(1000)은, 진찰실, 처치실, 치료실, 분만실 등에서 사용되어도 좋다. 본 실시 형태에서는, 화상 표시 장치(100)로서, 두부 장착형 표시 장치를 예시하고 있다. 그러나, 화상 표시 장치(100)는, 고정형의 디스플레이, 휴대 가능한 디스플레이, 스마트폰 등이라도 좋다. 이후, 두부 장착형 표시 장치(100)를 "헤드 마운트 디스플레이(100)(Head Mounted Display, HMD)"라고도 한다. 도 1에서는, 1대의 헤드 마운트 디스플레이(100)를 도시하고 있다. 그러나, 후술하는 도 2와 같이, 복수대의 헤드 마운트 디스플레이(100a∼100n)가 정보 처리 장치(300)에 접속되어 있어도 좋다.
이후의 설명에 있어서, 헤드 마운트 디스플레이(100a∼100n)를 특별히 구별하지 않고 총괄적으로 설명하는 경우는, 헤드 마운트 디스플레이(100a~100n)는 단순히 "헤드 마운트 디스플레이(100)"라고 한다. 마찬가지로, 의료용 장치(501∼50n)를 특별히 구별하지 않고 총괄적으로 설명하는 경우는, 의료용 장치(501~50n)를 단순히"의료용 장치(500)"라고 한다.
의료용 장치(501∼50n)는, 의료 용도로 사용되는 여러 가지의 장치이다. 의료용 장치(501∼50n)로서는, 예를 들면, 실내외의 정지 화상 및 동영상을 촬영하기 위한 가시광 카메라, 수술부의 정지 화상 및 동영상을 촬영하기 위한 가시광 카메라, 심전도 검사 장치, 수술용 타이머, 생체 모니터, 심박수계, 맥박계, 혈압계, 초음파 검사 장치, 펄스옥시미터, 혈당값계, CT(Computed Tomography) 화상 촬영 장치, MRI(Magnetic Resonance Imaging) 화상 촬영 장치, X-선 화상 촬영 장치, 투시 화상 촬영 장치, 내시경 화상 촬영 장치, 서모그래피 화상 촬영 장치 등을 사용할 수 있다.
A-2. 정보 처리 장치의 구성:
도 2는, 정보 처리 장치(300)의 기능적 구성을 나타내는 블록도이다. 정보 처리 장치(300)는, 제1 입출력부(310)와, ROM(320)과, RAM(330)과, 통신 인터페이스(340)와, CPU(350)와, 외부 기억 장치(380)를 구비한다. 각 부는 버스에 의해 서로 접속되어 있다.
취득부로서의 제1 입출력부(310)는, 복수의 제1 입출력부(311∼31n)를 구비하고 있다. 제1 입출력부(311∼31n)는, 예를 들면, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), VGA(Video Graphics Array), 컴포지트(composite), RS-232 C(Recommended Standard 232), 적외선, 근거리 무선 통신(예를 들면 Bluetooth(등록상표)), 무선 LAN(예를 들면 IEEE802.11), 유선 LAN(예를 들면 IEEE802.3) 등의 통신 규격에 준거한 입출력 인터페이스이다. 제1 입출력부(311∼31n)는, 각각 접속되어 있는 의료용 장치(501∼50n)로부터 입력되는 정보를 각각 취득한다. 의료용 장치로부터 입력되는 정보란, 의료용 장치에 의해 측정 또는 촬상된 정보이다. 이후에서는 "의료용 장치 정보"라고도 한다.
본 실시 형태에서는, 제1 입출력부(311)는 DVI에 준거하는 입출력 인터페이스이다. 제1 입출력부(312)는 HDMI에 준거하는 입출력 인터페이스이다. 제1 입출력부(313)는 HDMI에 준거하는 입출력 인터페이스이다. 제1 입출력부(31n)는 무선 LAN에 준거한 입출력 인터페이스이다. 도 2에 있어서, 제1 입출력부(311)에는, 의료용 장치(501)와 고정식의 디스플레이(700)가 접속되어 있다. 마찬가지로, 제1 입출력부(312)에는 의료용 장치(502)가 접속되어 있다. 제1 입출력부(313)에는 의료용 장치(503)가 접촉되어 있다. 제1 입출력부(31n)에는 의료용 장치(50n)가 접속되어 있다. 이와 같이, 제1 입출력부(310)는, 상이한 종류의 통신 규격에 준거한 제1 입출력부(311∼31n)에 의해 구성되어 있다. 이 때문에, 제1 입출력부(310)에는, 여러 가지 통신 규격에 준거한 의료용 장치를 접속하는 것이 가능해져, 정보 처리 장치(300)의 범용성을 향상시킬 수 있다. 제1 입출력부(310)는, 입력된 신호를, 디스플레이(700) 등의 표시 장치로 그대로 출력할 수도 있다.
통신 인터페이스(I/F)(340)는, 유선 LAN의 인터페이스이다. 통신 인터페이스(340)는, 인터넷(INT)의 회선을 통하여, 외부 시설의 의사(PR)와 정보 처리 장치(300)를 통신 가능하게 접속한다. 통신 인터페이스(340)는, 인트라넷을 통하여 병원 내 LAN에 접속되어 있는 데이터베이스(OD)와 정보 처리 장치(300)를 통신 가능하게 접속한다. 의사(PR)는, 예를 들면, 정보 처리 장치(300)에 접속되어 있는 헤드 마운트 디스플레이(100)의 사용자를 지도하는 의사 또는 외부의 전문의로 상정된다. 데이터베이스(OD)에는, 수술 등의 처치의 순서를 나타내는 순서 정보, 전자 카르테 시스템, 전자화된 학술서 등이 기억되어 있다.
CPU(350)는, ROM(320)에 저장되어 있는 컴퓨터 프로그램을 RAM(330)에 전개하여 실행함으로써, 정보 처리 장치(300)를 제어한다. CPU(350)는, 생성부(360) 및 제2 입출력부(370)의 기능을 실현한다. 생성부(360)는, 후술의 제시용 정보 생성 처리를 실행함으로써, 헤드 마운트 디스플레이(100)에 표시시키기 위한 제시용 정보를 생성한다. 본 실시 형태의 생성부(360)는, 제시용 정보 생성 처리에 있어서의 처리의 모드로서, 이하에 나타내는 2개의 모드를 갖는다.
(1) 공통의 제시용 정보를 생성하는 제1 모드
(2) 헤드 마운트 디스플레이(100a∼100n)에 각각 대응하는 복수의 제시용 정보를 생성하는 제2 모드
제공부로서의 제2 입출력부(370)는, 복수의 제2 입출력부(371∼37n)를 구비하고 있다. 제2 입출력부(371∼37n)는, 제1 입출력부(310)와 동일하게, 여러 가지 통신 규격에 준거한 입출력 인터페이스이다. 그 상세는 제1 입출력부(310)와 동일하기 때문에 설명을 생략한다.
본 실시 형태에서, 제2 입출력부(371)와 제2 입출력부(372)는 무선 LAN에 준거하는 입출력 인터페이스이다. 제2 입출력부(373)는 USB에 준거하는 입출력 인터페이스이다. 제2 입출력부(37n)는 DVI에 준거한 입출력 인터페이스이다. 도 2에 있어서, 제2 입출력부(371)에는, 화상 표시 장치로서의 헤드 마운트 디스플레이(100a)가 접속되어 있다. 마찬가지로, 제2 입출력부(372)에는 헤드 마운트 디스플레이(100b)가 접속되어 있고, 제2 입출력부(373)에는 헤드 마운트 디스플레이(100c)가 접속되어 있다. 제2 입출력부(37n)에는 헤드 마운트 디스플레이(100n)가 접속되어 있다. 이와 같이, 제2 입출력부(370)는, 상이한 종류의 통신 규격에 준거한 제2 입출력부(371∼37n)에 의해 구성되어 있다. 이 때문에, 제2 입출력부(370)에는, 여러 가지 통신 규격에 준거한 헤드 마운트 디스플레이를 접속하는 것이 가능해져, 정보 처리 장치(300)의 범용성을 향상시킬 수 있다.
외부 기억 장치(380)는, 도시하지 않는 ROM, RAM, DRAM, 하드 디스크, 플래시 메모리 등에 의해 구성되어 있다. 외부 기억 장치(380)는, 공통 영상 사양(381)과, 관리 테이블(382)과, 불가시부 정보 기억부로서의 불가시부 정보(383)와, 수술의 기록(384)과, 동작 모드(385)를 포함한다.
도 3은, 공통 영상 사양(381)의 일 예를 나타내는 테이블이다. 공통 영상 사양(381)은, 제시용 정보의 영상 신호에 대한, 표준적인 사양을 규정하기 위한 테이블이다. 공통 영상 사양(381)은, 제시용 정보 생성 처리에 있어서, 생성부(360)가 제시용 정보를 생성할 때에 사용된다.
본 실시 형태의 공통 영상 사양(381)에는, 영상 신호의 사양으로서, 영상 신호에 포함되는 화상의 화소수와, 종횡비와, 해상도와, 화상 압축 방법과, 화상 부호화 방법이 포함되어 있다. 공통 영상 사양(381)은, 미리 정해져 외부 기억 장치(380) 내에 기억되어 있다. 공통 영상 사양(381)을 정할 때는, 제2 입출력부(370)에 접속되어 있는 헤드 마운트 디스플레이(100a∼100n)에 있어서 채용되어 있는 영상 신호의 사양을 고려하는 것이 바람직하다.
도 4는, 관리 테이블(382)의 일 예를 나타내는 테이블이다. 역할 기억부 및 장치 간 관계 기억부로서의 관리 테이블(382)은, 제2 입출력부(370)에 접속되어 있는 헤드 마운트 디스플레이(100)의 정보를 관리하기 위해, 보다 구체적으로는, 제2 입출력부(371∼37n)에 각각 접속되어 있는 헤드 마운트 디스플레이(100a∼100n)의 정보를 관리하기 위한 테이블이다. 관리 테이블(382)은, 제시용 정보 생성 처리에 있어서 생성부(360)가 제시용 정보를 생성할 때에 사용되며, 제2 입출력부(371∼37n)가 헤드 마운트 디스플레이(100a∼100n)로 제시용 정보를 송신할 때에도 사용된다.
본 실시 형태의 관리 테이블(382)에는, 식별자와, 장치 간 관계와, 역할과, 영상 사양이 관련지어져 기억되어 있다. "식별자"에는, 제2 입출력부(370)에 접속되어 있는 헤드 마운트 디스플레이(100)를 개별적으로 식별하기 위한 각각 고유한 식별자가 기억되어 있다. "장치 간 관계"에는, 제2 입출력부(370)에 접속되어 있는 복수의 헤드 마운트 디스플레이(100a∼100n)의 마스터(master)/슬레이브(slave) 관계를 나타내는 문자열이 저장되어 있다. 본 실시 형태에서는, 1대의 헤드 마운트 디스플레이(100)를 마스터로 설정하고, 다른 헤드 마운트 디스플레이(100)를 슬레이브로 설정한다. "역할"에는, 식별자에 의해 식별되는 헤드 마운트 디스플레이(100)의 사용자가, 의료의 현장에 있어서 담당하는 역할을 나타내는 문자열이 저장되어 있다. "영상 사양"에는, 식별자에 의해 식별되는 헤드 마운트 디스플레이(100)에 있어서의 영상 신호의 사양(영상 신호에 포함되는 화상의 화소수, 종횡비, 해상도, 화상 압축 방법, 화상 부호화 방법 등)의 패턴을 나타내는 문자열이 저장되어 있다.
도 4의 예에서는, 식별자 "1"에 의해 식별되는 헤드 마운트 디스플레이(100)의 사용자는 "집도의"이며, 당해 헤드 마운트 디스플레이(100)의 영상 사양은 "사양 A"인 것을 알 수 있다(엔트리 E01). 마찬가지로, 식별자 "n"에 의해 식별되는 헤드 마운트 디스플레이(100)의 사용자는 "간호사"이며, 당해 헤드 마운트 디스플레이(100)의 영상 사양은 "사양 E"인 것을 알 수 있다(엔트리 E0n). 도 4의 예에서는, 식별자 "1"에 의해 식별되는 헤드 마운트 디스플레이(100)가 마스터이며, 다른 식별자에 의해 식별되는 헤드 마운트 디스플레이(100)는 슬레이브인 것을 알 수 있다(엔트리 E01∼E0n).
관리 테이블(382)은, 미리 정해져 외부 기억 장치(380)에 기억되어 있어도 좋다. 또는 정보 처리 장치(300)에 헤드 마운트 디스플레이(100)가 접속되었을 때에, 초기 처리에서 관리 테이블(382)이 자동적으로 생성되어도 좋다. 구체적으로는, 예를 들면, 생성부(360)가, 제2 입출력부(370)에 대한 헤드 마운트 디스플레이(100)의 접속을 검출했을 때에, 생성부(360)는 당해 헤드 마운트 디스플레이(100)에 대하여 고유의 식별자를 부여하고, 헤드 마운트 디스플레이(100)로부터, 마스터/슬레이브의 지정과, 사용자의 역할과, 영상 사양을 취득한다. 생성부(360)는, 부여한 식별자와, 마스터/슬레이브의 지정과, 취득한 역할과, 영상 사양을 관리 테이블(382)에 기억한다. 제2 입출력부(370)에 대하여 헤드 마운트 디스플레이(100a∼100n)가 각각 접속될 때마다, 상기와 같은 초기 처리를 행함으로써, 생성부(360)는 관리 테이블(382)을 자동적으로 생성할 수 있다.
관리 테이블(382) 중 "장치 간 관계"는, 전술한 바와 같이, 헤드 마운트 디스플레이(100)로부터 취득한다. 또한, 예를 들면, "장치 간 관계"는 이하와 같은 방법으로 결정되어도 좋다.
* "장치 간 관계"는 헤드 마운트 디스플레이(100)로부터 취득한 역할에 기초하여 결정한다. 예를 들면, 생성부(360)는, 집도의의 헤드 마운트 디스플레이(100)를 마스터로 설정하고, 집도의 이외의 사용자의 헤드 마운트 디스플레이(100)를 슬레이브로 설정한다.
* "장치 간 관계"는 헤드 마운트 디스플레이(100)의 현재 위치 정보의 취득 및 각 헤드 마운트 디스플레이의 위치 관계에 기초하여 결정한다. 예를 들면, 생성부(360)는, 헤드 마운트 디스플레이(100)의 현재 위치 정보를 취득한다. 생성부(360)는 수술대의 중앙에 가장 근접한 위치에 있는 헤드 마운트 디스플레이(100)를 마스터로 설정하고, 다른 헤드 마운트 디스플레이(100)를 슬레이브로 설정한다.
* "장치 간 관계"는 헤드 마운트 디스플레이(100)의 하드웨어 및 소프트웨어 구성의 상이에 기초하여 결정한다. 예를 들면, 생성부(360)는, 헤드 마운트 디스플레이(100)의 형번(model number)을 취득한다. 특정의 형번의 헤드 마운트 디스플레이(100)를 마스터로 설정하고, 다른 헤드 마운트 디스플레이(100)를 슬레이브로 설정한다.
관리 테이블(382) 중 "역할"은, 전술한 바와 같이, 헤드 마운트 디스플레이(100)로부터 취득한다. 또한 "역할"은, 예를 들면, 이하와 같은 방법으로 결정되어도 좋다.
* "역할"은 헤드 마운트 디스플레이(100)의 현재 위치 정보에 기초하여 결정한다. 예를 들면, 정보 처리 장치(300)의 외부 기억 장치(380)에는, 수술실 내에 있어서의 설비(수술대 및 의료용 장치(500))의 레이아웃과, 수술실 내에 있어서의 역할에 기초하여 스태프의 서 있는 위치의 레이아웃을 포함하는 레이아웃 정보를 미리 기억해 둔다. 생성부(360)는, 헤드 마운트 디스플레이(100)의 현재 위치 정보를 취득하고, 취득한 현재 위치 정보를 레이아웃 정보와 비교함으로써, 당해 헤드 마운트 디스플레이(100)의 사용자의 역할을 결정한다.
* "역할"은 헤드 마운트 디스플레이(100)의 사용자의 시계 방향의 화상(외경 화상)에 기초하여 결정한다. 생성부(360)는, 헤드 마운트 디스플레이(100)로부터 외경 화상을 취득하고, 외경 화상을 인식한다. 따라서, 사용자가 보고 있는 의료용 장치(500)의 종류, 수술실 내의 설비의 종류, 환자의 몸의 부분 등을 특정한다. 생성부(360)는, 특정한 이들 정보에 기초하여, 당해 헤드 마운트 디스플레이(100)의 사용자의 역할을 결정한다.
도 2의 불가시부 정보(383)(불가시부 정보 기억부)에는, 물체의 외관에 나타나지 않는 불가시부 정보가 기억되어 있다. 불가시부 정보는, 물체의 구조를 나타낸 화상이나 문자 정보이다. 물체가 생체인 경우, 불가시부 정보는 예를 들면, CT 화상, MRI 화상, X-선 화상, 형광 투시 화상, 초음파 진단 화상, 내시경 화상, 또는 서모그래피 화상 및, 이들에 부수하는 문자 정보이다. 불가시부 정보는, 미리 촬영되어, 불가시부 정보(383)에 기억되어 있다.
도 2의 수술의 기록(384)은, 정보 처리 장치(300)가 취득한 의료용 장치 정보와 정보 처리 장치(300)가 생성한 제시용 정보를, 그 정보가 취득되거나 또는 생성된 날짜와 시간과 대응지어 기록하기 위한 기록부이다. 정보 처리 장치(300)가 취득한 의료용 장치 정보란, 정보 처리 장치(300)가, 제1 입출력부(311∼31n)에 각각 접속되어 있는 복수의 의료용 장치(501∼50n)로부터 취득한 의료용 장치 정보를 의미한다. 정보 처리 장치(300)가 생성한 제시용 정보란, 제시용 정보 생성 처리에 있어서, 생성부(360)가 생성한 모든 제시용 정보를 의미한다. 정보 처리 장치(300)가 취득하고, 생성한 정보의 기록은, 수술(진찰, 처치, 치료)의 로그와 거의 동일하게 볼 수 있다. 따라서, 이와 같이 하면, 수술 등이 종료한 후에 있어서, 수술의 로그를, 수술 내용의 분석, 연수, 학술 목적 등으로 이용할 수 있다.
도 2의 동작 모드(385)에는, 생성부(360)의 제시용 정보 생성 처리에 있어서의 처리의 모드(즉, 생성부(360)의 동작 모드)가 기억되어 있다. 동작 모드(385)의 내용은, 정보 처리 장치(300)가 구비하지만 도시되지 않는 입력 디바이스에 의해 변경 가능하다. 동작 모드(385)의 내용은 헤드 마운트 디스플레이(100)로부터의 변경 지시에 따라서도 변경 가능하다.
A-3. 두부 장착형 표시 장치의 구성:
도 5는, 헤드 마운트 디스플레이(100a)의 기능적 구성을 나타내는 블록도이다. 이후에서는, 헤드 마운트 디스플레이(100)의 구성의 일 예로서 헤드 마운트 디스플레이(100a)를 예시하여 설명한다. 헤드 마운트 디스플레이(100a)는, 사용자가, 허상을 봄과 동시에 외경도 직접 보는 것이 가능한 광학 투과형의 두부 장착형 표시 장치이다. 정보 처리 장치(300)로부터 취득한 제시용 정보를 허상으로서 헤드 마운트 디스플레이(100a) 상에 표시한다. 헤드 마운트 디스플레이(100a)는, 사용자의 두부에 헤드 마운트 디스플레이(100a)가 장착된 상태에 있어서 사용자에게 허상을 시인시키는 화상 표시부(20)와, 화상 표시부(20)를 제어하는 제어부(10)를 구비하고 있다. 화상 표시부(20)와 제어부(10)는, 케이블(40)을 통하여 각종 신호의 전송을 행한다.
A-3-1. 제어부의 구성:
제어부(10)는, 터치 패드, 십자 키, 풋 스위치, 제스쳐, 마이크로폰 등의 입력 디바이스에 대한 조작 입력을 취득하는 입력 정보 취득부(110)와, ROM이나 하드 디스크 등에 의해 구성되는 기억부(120)와, 헤드 마운트 디스플레이(100a)의 각 부에 전력을 공급하는 전원(130)과, 무선 LAN이나 Bluetooth 등의 소정의 무선 통신 규격에 준거하여 다른 기기와 무선 통신을 행하는 무선 통신부(132)와, 현재 위치 취득부(134)와, CPU(140)와, 정보 처리 장치(300)나 여러 가지의 외부 기기(OA)를 접속하는 인터페이스(180)와, 송신부(Tx)(51, 52)를 구비한다. 각 부는 도시하지 않는 버스에 의해 서로 접속되어 있다. 현재 위치 취득부(134)는, GPS 위성으로부터의 신호를 수신함으로써, 헤드 마운트 디스플레이(100a)의 사용자의 현재 위치를 검출하고, 사용자의 현재 위치를 나타내는 현재 위치 정보를 생성한다. 현재 위치 취득부(134)는, 복수의 기지국으로부터 전파를 수신하고, 수신한 전파의 강약을 판정함으로써 현재 위치 정보를 생성해도 좋다. 현재 위치 정보는, 예를 들면 위도/경도를 나타내는 좌표에 의해 실현할 수 있다. 인터페이스(180)는, 정보 처리 장치(300)의 제1 입출력부(310)와 동일하게, 여러 가지 통신 규격에 준거할 수 있다.
CPU(140)는, 기억부(120)에 기억되어 있는 컴퓨터 프로그램을 읽어내어 실행함으로써, 오퍼레이팅 시스템(OS)(150), 화상 처리부(160), 음성 신호를 오른쪽 이어폰(32)의 스피커와 왼쪽 이어폰(34)의 스피커로 공급하는 음성 처리부(170), 표시 제어부(190)로서 기능한다. 화상 처리부(160)는, 제시용 정보 취득부로서의 인터페이스(180)나 무선 통신부(132)를 통하여 입력되는 제시용 정보의 영상 신호에 기초하여 신호를 생성한다. 화상 처리부(160)는, 생성한 신호를, 송신부(51, 52)와, 케이블(40)을 통하여 화상 표시부(20)에 공급함으로써, 화상 표시부(20)에 있어서의 표시를 제어한다. 화상 표시부(20)에 공급하기 위한 신호는, 주지의 아날로그 신호 혹은 디지털 신호일 수 있다. 표시 제어부(190)는, 화상 표시부(20)의 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)를 제어하는 제어 신호를 생성하고, 그 제어 신호는 송신부(51, 52)를 통하여 송신한다. 제어 신호란, 오른쪽 LCD 제어부(211)에 의한 오른쪽 LCD(241)의 구동 ON/OFF, 오른쪽 백 라이트 제어부(201)에 의한 오른쪽 백 라이트(221)의 구동 ON/OFF, 왼쪽 LCD 제어부(212)에 의한 왼쪽 LCD(242)의 구동 ON/OFF, 왼쪽 백 라이트 제어부(202)에 의한 왼쪽 백 라이트(222)의 구동 ON/OFF를 행하는 개별 신호이다.
A-3-2. 화상 표시부의 구성:
화상 표시부(20)는, 사용자의 두부에 장착되는 장착체이다. 본 실시 형태에서는 화상 표시부(20)는 안경 형상을 갖는다. 화상 표시부(20)는, 화상을 위한 화상광을 생성하여 사출하는 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)와, 화상광을 사용자의 양 눈으로 유도하는 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)(도2)와, 화상 취득부로서의 카메라(61)와, 9축 센서(66)를 포함한다.
오른쪽 표시 구동부(22)는, 수신부(Rx)(53)와, 광원으로서 기능하는 오른쪽 백 라이트(BL) 제어부(201) 및 오른쪽 백 라이트(BL)(221)와, 표시 소자로서 기능하는 오른쪽 LCD(Liquid Crystal Display) 제어부(211) 및 오른쪽 LCD(241)와, 오른쪽 투사 광학계(251)를 포함한다. 오른쪽 백 라이트 제어부(201)는, 수신부(53)를 통하여 입력된 제어 신호에 기초하여, 오른쪽 백 라이트(221)를 구동한다. 오른쪽 백 라이트(221)는, 예를 들면, LED나 일렉트로루미네선스(EL) 등의 발광체이다. 오른쪽 LCD 제어부(211)는, 입력된 영상 신호에 기초하여 오른쪽 LCD(241)를 구동한다. 오른쪽 LCD(241)는, 복수의 화소를 매트릭스 형상으로 배치한 투과형 액정 패널이다. 오른쪽 LCD(241)는, 매트릭스 형상으로 배치된 각 화소 위치의 액정을 구동한다. 따라서, 오른쪽 LCD(241)를 투과하는 빛의 투과율을 변화시켜, 오른쪽 백 라이트(221)로부터 조사되는 조명광을, 화상을 위한 유효한 화상광으로 변조한다. 오른쪽 투사 광학계(251)는, 오른쪽 LCD(241)로부터 사출된 화상광을 평행 상태의 광빔으로 변환하는 콜리메이트 렌즈를 갖도록 구성된다. 왼쪽 표시 구동부(24)는, 오른쪽 표시 구동부(22)와 동일한 구성을 갖고, 오른쪽 표시 구동부(22)와 동일하게 동작한다.
오른쪽 광학상 표시부(26)와 왼쪽 광학상 표시부(28)는, 사용자가 화상 표시부(20)를 장착했을 때에 사용자의 좌우의 눈 앞에 위치하도록 배치되어 있다(도 2 참조). 오른쪽 광학상 표시부(26)는, 광투과성의 수지 재료 등에 의해 형성된 오른쪽 도광판(261)을 포함한다. 오른쪽 도광판(261)은, 오른쪽 표시 구동부(22)로부터 출력된 화상광을, 소정의 광로를 따라 반사시키면서 사용자의 우안(RE)으로 유도한다. 오른쪽 도광판(261)에는, 회절 격자 또는 반투과 반사막을 이용해도 좋다. 왼쪽 광학상 표시부(28)는, 오른쪽 광학상 표시부(26)와 동일한 구성을 갖고, 오른쪽 광학상 표시부(26)와 동일하게 동작한다. 이와 같이 하여, 헤드 마운트 디스플레이(100a)의 사용자의 양 눈에 유도된 화상광이 사용자의 망막에 결상함으로써, 사용자는 허상을 볼 수 있다. 본 실시 형태의 헤드 마운트 디스플레이(100a)의 사용자는, 시야 중 허상이 표시된 부분에 대해서는, 허상과, 허상의 배후의 외경을 동시에 볼 수 있다. 시야 중 허상이 표시되어 있지 않은 부분에 대해서는, 사용자는 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)를 투과하여, 외경을 직접 볼 수 있다.
9축 센서(66)는, 가속도(3축), 각속도(3축), 지자기(3축)를 검출하는 모션 센서이다. 9축 센서(66)는, 화상 표시부(20)가 사용자의 두부에 장착되어 있을 때에는, 헤드 마운트 디스플레이(100a)의 사용자의 두부의 움직임을 검출하는 움직임 검출부로서 기능한다. 여기에서, 두부의 움직임이란, 두부의 속도, 가속도, 각속도, 방향 및 방위에서의 변화를 포함한다. 또한, 두부의 방위를 "방위 정보"라고도 한다. 시계 화상 취득부로서의 카메라(61)는, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 미간에 대응하는 위치에 배치되어 있다. 카메라(61)는, 화상 표시부(20)의 표측 방향, 환언하면, 사용자가 헤드 마운트 디스플레이(100a)를 장착한 상태에 있어서의 사용자의 시계 방향의 외경의 화상을 촬상하고, 카메라(61)는 외경 화상을 취득한다. 카메라(61)는 소위 가시광 카메라이다. 본 실시 형태에 있어서의 카메라(61)는 단안 카메라이지만, 스테레오 카메라를 채용해도 좋다.
A-4. 제시용 정보 생성 처리:
도 6은, 제시용 정보 생성 처리의 순서를 나타내는 플로우 차트이다. 제시용 정보 생성 처리는, 헤드 마운트 디스플레이(100)에 표시시키기 위한 제시용 정보를 생성하는 처리이며, 정보 처리 장치(300)(도2 참조)의 생성부(360)가 실행한다. 제시용 정보 생성 처리는, 공통의 제시용 정보를 생성하는 제1 모드와, 헤드 마운트 디스플레이(100a∼100n)에 각각 대응하는 복수의 제시용 정보를 생성하는 제2 모드로 나누어져 있다. 제2 모드에 있어서 실행되는 처리는, 스텝 S120∼S134의 초기 처리와, 스텝 S136∼S142의 개별 처리로 대별할 수 있다.
생성부(360)는, 동작 모드(385)에 기억되어 있는 내용을 참조하여, 생성부(360)의 동작 모드를 확인한다(스텝 S100).
A-4-1. 제1 모드:
동작 모드가 "제1 모드"인 경우(스텝 S100: 제1 모드), 생성부(360)는, 관리 테이블(382)로부터, 마스터 헤드 마운트 디스플레이(100)를 검색한다(스텝 S110). 구체적으로는, 생성부(360)는, 관리 테이블(382)을 참조하여, "장치 간 관계"에 마스터로서 기억되어 있는 엔트리를 검색하고, 생성부(360)는 검색된 엔트리의 "식별자"를 취득한다.
생성부(360)는, 마스터 헤드 마운트 디스플레이(100)로부터 정보원의 선택 요구를 취득한다(스텝 S112). 구체적으로는, 생성부(360)는, 스텝 S110에 있어서 취득한 식별자를 갖는 헤드 마운트 디스플레이(100)에 대하여, 정보원의 선택 요구를 송신하도록 요구한다. 여기에서, 정보원의 선택 요구란, 예를 들면 이하 a1∼a6에 열거하는 요구 중 어느 하나를 가르킨다.
(a1) 의료용 장치(500)에 의해 취득된 의료용 장치 정보의 열람 요구
(a2) 외부 시설의 의사(PR)와의 통화 요구
(a3) 병원 내 데이터베이스(OD)에 기록되어 있는 데이터의 열람 요구
(a4) 불가시부 정보(383)에 기록되어 있는 데이터의 열람 요구
(a5) 수술의 기록(384)에 기록되어 있는 데이터의 열람 요구
(a6) 헤드 마운트 디스플레이(100)의 사용자에 의해 표시부를 보기가 곤란한 의료용 장치(500)의 의료용 장치 정보의 열람 요구
요구 a1의 정보원은 의료용 장치(500)이다. 마찬가지로, 요구 a2의의 정보원은 의사(PR)이며, 요구 a3의 정보원은 데이터베이스(OD)이며, 요구 a4의 정보원은 불가시부 정보(383)이며, 요구 a5의 정보원은 수술의 기록(384)이며, 요구 a6의 정보원은 사용자에 의해 표시부를 보기가 곤란한 의료용 장치(500)이다. 여기에서, "사용자에 의해 표시부를 보기가 곤란한 의료용 장치(500)"란, 예를 들면, 이하와 같은 의료용 장치(500)의 총칭이다.
* 의료용 장치(500)가 사용자의 사각에 있기 때문에, 사용자로부터 표시부(디스플레이 등)를 볼 수 없는, 또는 보기가 어려운 의료용 장치(500).
* 의료용 장치(500)가 사용자로부터 떨어진 장소에 있기 때문에, 사용자로부터 표시부를 볼 수 없는, 또는 보기가 어려운 의료용 장치(500).
* 의료용 장치(500)는 사용자의 사각에 있지도 않고, 사용자로부터 가까운 장소에 있지만, 사용자의 시선과 표시부가 대향하고 있지 않기 때문에, 사용자로부터 표시부를 볼 수 없는, 또는 보기가 어려운 의료용 장치(500).
상기의 요구 a1∼a6은, 단독으로 발행되어도 좋고, 조합되어도 좋다. 그러나, 본 실시 형태에 있어서는, 정보원의 취득 요구에는, 적어도 요구 a1을 포함한다. 정보원의 선택 요구는, 헤드 마운트 디스플레이(100)의 사용자의 조작에 기초하여 적절히 발행된다.
헤드 마운트 디스플레이(100)는, 예를 들면, 이하의 순서 b1∼b5에 의해, 정보 처리 장치(300)에 대하여 정보원의 선택 요구를 송신할 수 있다.
(b1) 헤드 마운트 디스플레이(100)의 사용자는, 헤드 마운트 디스플레이(100)의 입력 디바이스(터치 패드, 십자 키, 풋 스위치, 제스쳐, 마이크로폰 등)를 통하여, 희망하는 정보원과, 정보원 내의 정보를 특정하기 위한 정보를 입력한다. 입력 방법으로서, 마이크로폰을 통한 음성 입력을 채용하면, 의료의 현장에 있어서 사용자가 손을 이용하여 헤드 마운트 디스플레이(100)를 조작하는 것이 곤란한 경우, 사용자의 편리성을 크게 향상시킬 수 있다. 요구 a1 및 a6의 경우, "정보원 내의 정보를 특정하기 위한 정보"를 입력하는 것이 불필요하다.
(b2) 헤드 마운트 디스플레이(100)의 입력 정보 취득부(110)는, 사용자의 조작 입력에 따른 신호를 취득하여, 그 신호를 OS(150)에 송신한다.
(b3) 헤드 마운트 디스플레이(100)의 OS(150)는, 정보원의 선택 요구를 생성한다. 구체적으로는, 요구 a1의 경우, OS(150)는, 헤드 마운트 디스플레이(100)의 식별자와, 순서 b1에서 지정된 정보원을 특정하기 위한 식별자를 포함하는 정보원의 선택 요구를 생성한다. 요구 a2∼a5의 경우, OS(150)는, 헤드 마운트 디스플레이(100)의 식별자와, 순서 b1에서 지정된 정보원을 특정하기 위한 식별자와, 정보원 내의 정보를 특정하기 위한 정보를 포함하는 정보원의 선택 요구를 생성한다. 요구 a6의 경우, OS(150)는, 헤드 마운트 디스플레이(100)의 식별자와, 헤드 마운트 디스플레이(100)의 현재 위치 정보와 방위 정보를 포함하는 정보원의 선택 요구를 생성한다. 이 현재 위치 정보 및 방위 정보는, 요구 a6의 "사용자에 의해 표시부를 보기가 곤란한 의료용 장치(500)"를 특정하기 위해 이용된다.
(b4) 헤드 마운트 디스플레이(100)의 OS(150)는, 인터페이스(180) 및 무선 통신부(132)를 통하여 OS(150)가 접속되어 있는 정보 처리 장치(300)에 대하여, 순서 b3에서 생성한 정보원의 선택 요구를 송신한다.
(b5) 정보 처리 장치(300)의 제2 입출력부(370)는, 생성부(360)에 대하여, 수신한 정보원의 선택 요구를 송신한다.
제시용 정보 생성 처리(도6 참조)의 스텝 S114에 있어서, 생성부(360)는, 정보원의 선택 요구에 포함되는, 정보원을 특정하기 위한 정보와, 정보원 내의 정보를 특정하기 위한 정보를 취득한다. 추가로 생성부(360)는, 정보원을 특정하기 위한 정보로서, 현재 위치 정보 및 방위 정보가 삽입되어 있는 경우, 당해 현재 위치 정보와 방위 정보를, 다른 모든 의료용 장치(500)로부터 취득한 위치 정보와 비교하여, "사용자에 의해 표시부를 보기가 곤란한 의료용 장치(500)"를 특정한다. 또한, 스텝 S114에 있어서, 생성부(360)는, 현재 위치 정보 및 방위 정보를 추가로, 헤드 마운트 디스플레이(100)의 9축 센서(66)에 의해 얻어진 사용자의 두부의 움직임(두부의 속도, 가속도, 각속도, 방향, 방위에서의 변화)을 조합하여, "사용자에 의해 표시부를 보기가 곤란한 의료용 장치(500)"를 특정해도 좋다.
생성부(360)는, 지정(특정)된 정보원에 액세스하여, 지정된 정보를 취득한다. 생성부(360)는, 취득한 정보를 이용하여, 제2 입출력부(370)에 접속되어 있는 모든 헤드 마운트 디스플레이(100)에 제공하기 위한, 공통의 제시용 정보를 생성한다. 이 공통의 제시용 정보를 "제시용 정보(PN*)"라고도 한다. 생성부(360)는, 생성한 제시용 정보(PN*)를 수술의 기록(384)에 기억시킨다(스텝 S116).
도 7a 및 도 7b는, 제시용 정보의 생성 방법을 설명하는 도이다. 스텝 S116에 의해 취득된 정보가 단수인 경우, 생성부(360)는, 취득된 정보(CP1)에 포함되는 화상을, 공통 영상 사양(381)에 규정되어 있는 영상 신호의 사양을 따라 변환함으로써, 제시용 정보(PN)를 생성한다(도 7a 참조). 생성부(360)는, 이 변환에 있어서, 특히, 취득된 정보(CP1)에 포함되는 화상의 종횡비와 공통 영상 사양(381)에 규정되어 있는 화상의 종횡비가 상이한 경우, 취득된 정보(CP1)에 포함되는 화상의 종횡비를 유지한 채로, 화상을 확대 또는 축소한다. 그러면, 제시용 정보(PN)의 종방향 또는 횡방향에 여백 부분(도 7a에 있어서 사선으로 나타냄)이 형성한다.
생성부(360)는, 여백 부분에 관하여, 이하의 c1 및 c2의 순서 중 어느 하나를 실행한다. 이에 따라, 여백 부분이 헤드 마운트 디스플레이(100)에 있어서 허상으로서 표시되어, 사용자의 시계를 차단하는 것을 억제할 수 있다.
(c1) 생성부(360)는, 제시용 정보(PN)의 여백 부분에 대하여 흑색의 더미 도트 데이터를 삽입한다.
(c2) 생성부(360)는, 제시용 정보(PN)의 여백 부분에 대하여, 헤드 마운트 디스플레이(100)의 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)에 있어서의 화상광 생성의 유효 및 무효를 전환하기 위한 신호(인에이블(Enable) 신호)를 Lo값(무효 값)으로 한다.
이와 같이 하면, 제시용 정보(PN)에 포함되는 화상의 종횡비가 바뀌는 일이 없다. 정보 처리 장치(300)가 사용되는 의료의 현장에 있어서의 화상(예를 들면, 수술부의 정지 화상 및 동영상, CT 화상, MRI 화상, 또는 X-선 화상)은, 사용자가 보는 화상의 실제 크기가 손상되지 않도록, 의료용 장치(500)에 의해 촬영된 화상의 종횡비를 엄밀하게 유지하는 것이 바람직하다. 이러한 점에서, 스텝 S116에 의해 취득된 의료용 장치 정보(CP1)에 포함되는 화상의 종횡비를 유지하면, 정보원이 의료용 장치(500)인 경우에, 의료용 장치(500)에 의해 측정 또는 촬상된 의료용 장치 정보의 예기치 않은 왜곡을 억제할 수 있다. 도 7b는, 취득된 정보(CP1)에 포함되는 화상의 종횡비를 유지하지 않고, 공통 영상 사양(381)에 규정되어 있는 화상의 종횡비로 화상을 맞추어 확대하여 왜곡된 제시용 정보(PNx)를 나타내고 있다.
도 8은, 제시용 정보의 생성 방법을 설명하는 도이다. 스텝 S116에 의해 취득된 정보가 복수인 경우, 생성부(360)는, 취득된 모든 정보(도 10a 및 도 10b의 예에서는, 의료용 장치 정보(CP2, CP3))에 포함되는 화상이 배치된 제1 화상을 생성한다. 이때도, 생성부(360)는, 취득된 정보에 포함되는 화상의 종횡비를 유지한다. 취득된 정보에 포함되는 화상은, 제1 화상의 단부에 배치되는 것이 바람직하다. 생성부(360)는, 생성한 제1 화상을, 공통 영상 사양(381)에 규정되어 있는 영상 신호의 사양을 따라 변환함으로써, 제시용 정보(PN)를 생성한다(도 8 참조). 생성부(360)는, 제1 화상 중, 화상이 배치되지 않은 여백 부분(도 8에 있어서 사선으로 나타냄)에 대해서, 전술한 방법 c1 및 c2 중 어느 순서를 실행한다. 이에 따라, 여백 부분이 헤드 마운트 디스플레이(100)에 있어서 허상으로서 표시되어, 사용자의 시계를 차단하는 것을 억제할 수 있다.
도 9a 및 도 9b는, 제시용 정보의 제1예를 나타내는 도이다. 도 9a는, 정보원의 선택 요구에 있어서, 불가시부 정보(383)에 기억되어 있는 환자의 X-선 화상(CP4)이 지정된 경우에, 생성부(360)에 의해 생성되는 제시용 정보(PN)의 일 예이다. 정보원의 선택 요구에 있어서, 불가시부 정보를 취득하는 것이 가능한 의료용 장치(500)(X-선 화상 촬영 장치)가 지정된 경우에도, 도 9a와 동일한 제시용 정보가 생성된다.
도 9b는, 정보원의 선택 요구에 있어서, 의료용 장치(500)로서 수술용 타이머가 지정되고, 의료용 장치(500)로서 맥박계가 지정되고, 의료용 장치(500)로서 생체 모니터와가 지정되는 경우에, 생성부(360)에 의해 생성되는 제시용 정보(PN)의 일 예이다. 제시용 정보(PN)의 각 단부에는, 수술용 타이머부터 취득된 현재 시각(CP5) 및 수술 개시부터의 경과 시간(CP7)과, 맥박계로부터 취득된 맥박의 화상(CP6)과, 생체 모니터로부터 취득된 심박수(HR)와, 혈압(SYS/DIA)과, 동맥혈 산소 포화도(SpO2)의 화상(CP8)이 배치되어 있다.
도 10a 및 도 10b는, 제시용 정보의 제2예를 나타내는 도이다. 도 10a는, 정보원의 선택 요구에 있어서, 병원 내 데이터베이스(OD)에 기억되어 있는 학술서(CP9)와, 병원 내 데이터베이스(OD)에 기억되어 있는 수술의 순서 정보(CP10)가 지정된 경우에, 생성부(360)에 의해 생성되는 제시용 정보(PN)의 일 예이다. 도 10b는, 정보원의 선택 요구에 있어서, 의료용 장치(500)로서의 수술부의 정지 화상 및 동영상을 촬영하기 위한 가시광 카메라가 지정되고, 외부의 시설의 의사(PR)와의 통화가 지정된 경우에, 생성부(360)에 의해 생성되는 제시용 정보(PN)의 일 예이다.
도 11은, 제시용 정보의 제3예를 나타내는 도이다. 도 11은, 정보원의 선택 요구에 있어서, 의료용 장치(500)로서의 생체 모니터가 지정된 경우에, 생성부(360)에 의해 생성되는 제시용 정보(PN)의 일 예이다. 도 11에 나타내는 생체 모니터는, 제1 입출력부(310)에 접속할 수 있는 인터페이스를 구비하고 있지 않다. 그러나, 정보 처리 장치(300)가 가시광 카메라를 구비하도록 구성되는 경우, 가시광 카메라가 생체 모니터의 화면(CP13)을 촬영하는 것으로 하면, 생성부(360)는, 제1 입출력부(310)에 접속할 수 있는 인터페이스를 갖지 않는 의료용 장치로부터의 의료용 장치 정보를 이용하여, 도 11과 같이, 제시용 정보(PN)를 생성할 수 있다.
제시용 정보(PN)의 생성시에 있어서, 헤드 마운트 디스플레이(100)는, 정보원의 선택 요구에 있어서, 각 정보원에 있어서의 정보의 "배치", "크기", "투과도" 등을 직접적 또는 간접적으로 지정해도 좋다. 여기서 "직접적으로 지정한다"란, 헤드 마운트 디스플레이(100)가, 각 정보가 배치되는 좌표, 각 정보의 크기, 및 투과도를 나타내는 수치를 지정하는 것을 의미한다. "간접적으로 지정한다"란, 예를 들면, 헤드 마운트 디스플레이(100)가, 외경을 우선시키는 "외경 우선 모드"와, 화상을 우선시키는 "화상 우선 모드" 등, 미리 준비된 표시 모드 중에서 소망하는 모드를 지정하는 것을 의미한다. 예를 들면, 외경 우선 모드가 지정된 경우, 생성부(360)는, 도 8과 같이, 정보를 화면의 단부에 작게 배치하여, 화면 중앙에 있어서의 사용자의 시계를 방해하지 않는 제시용 정보(PN)를 생성한다. 화상 우선 모드의 경우, 생성부(360)는, 도 9a와 같이, 정보를 화면 중앙에 크게 배치한 제시용 정보(PN)를 생성한다.
제시용 정보 생성 처리(도 6 참조)의 스텝 S118에 있어서, 생성부(360)는, 생성한 제시용 정보(PN*)를, 모든 제2 입출력부(370)(제2 입출력부(371∼37n))에 송신한다. 제2 입출력부(371)는, 수신한 제시용 정보(PN*)에 포함되는 화상을, 헤드 마운트 디스플레이(100a)의 영상 신호의 사양을 따라 변환한다. 이때에, 제2 입출력부(371)는 관리 테이블(382)의 "영상 사양"을 참조해도 좋다. 영상 사양에 따라 변환한 후, 제2 입출력부(371)는, 헤드 마운트 디스플레이(100a)로 제시용 정보(PN*)를 송신한다. 마찬가지로, 제2 입출력부(372~37n)는, 수신한 제시용 정보(PN*)에 포함되는 화상을, 헤드 마운트 디스플레이(100b∼100n)의 영상 신호의 사양을 따라 각각 변환한다. 제2 입출력부(372~37n)은 변환 후의 제시용 정보(PN*)를, 헤드 마운트 디스플레이(100b∼100n)로 각각 송신한다.
도 12는, 복수의 헤드 마운트 디스플레이(100a와 100b)에 있어서, 제시용 정보(PN*)가 허상으로서 각각 표시되어 있는 상태를 나타내는 도이다. 제2 입출력부(371)로부터 송신된 제시용 정보(PN*)를, 인터페이스(180) 또는 무선 통신부(132)를 통하여 수신한 헤드 마운트 디스플레이(100a)에서는, 화상 처리부(160)에 의한 전술의 표시 처리가 행해진다. 이 결과, 헤드 마운트 디스플레이(100a)의 사용자의 양 눈에 유도된 화상광이 사용자의 망막에 결상함으로써, 헤드 마운트 디스플레이(100a)의 사용자는, 시야(VR)에서 제시용 정보(PN*)를 허상(VI)으로서 볼 수 있다. 사용자는, 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)를 투과하여, 수술대에 누워 있는 환자를 직접 볼 수 있다(외경(SC)). 마찬가지로 제2 입출력부(372)로부터 송신된 제시용 정보(PN*)를 수신한 헤드 마운트 디스플레이(100b)에서는, 화상 처리부(160)에 의한 전술의 표시 처리가 행해져, 헤드 마운트 디스플레이(100b)의 사용자는, 시야(VR)에서 제시용 정보(PN*)를 허상(VI)으로 볼 수 있다. 도 12의 예에서는, 헤드 마운트 디스플레이(100a)의 사용자가 본 허상(VI)(PN*)과, 헤드 마운트 디스플레이(100b)의 사용자가 본 허상(VI)(PN*)에, 수술부의 정지 화상 및 동영상을 촬영하기 위한 의료용 장치(502)로부터 취득된 의료용 장치 정보(CP)가 표시되어 있다.
도 13은, 다른 위치에 있는 복수의 헤드 마운트 디스플레이(100a와 100b)에 있어서, 제시용 정보(PN*)가 허상으로서 표시되어 있는 상태를 나타내는 도이다. 정보 처리 장치(300)의 제2 입출력부(370)(제2 입출력부(371∼37n))는, 도 13에 나타내는 바와 같이, 제시용 정보에 포함되는 화상의 방위 및 크기를, 외경(SC)에 포함되는 대상 물체의 방위 및 크기와 일치시키는 피팅 처리를 행해도 좋다. 대상 물체란, 의료의 현장에 있어서는, 예를 들면 환자의 몸 또는 몸의 일부이다. 이후, 제2 입출력부(371)를 예시하여, 피팅 처리에 대해서 설명한다. 제시용 정보 생성 처리(도6)의 스텝 S118에 있어서, 제2 입출력부(371)는, 제시용 정보(PN*)에 포함되는 화상을 헤드 마운트 디스플레이(100a)의 영상 신호의 사양을 따라 변환한 후, 이하의 순서 d1∼d5를 행한다.
(d1) 제2 입출력부(371)는, 헤드 마운트 디스플레이(100a)에 대하여, 카메라(61)를 이용한 외경 화상의 촬상을 지시하고, 촬상된 외경 화상을 취득한다.
(d2) 제2 입출력부(371)는, 하기 화상 인식의 방법 1 및 2를 이용하여, 외경 화상에 포함되는 대상 물체의 특징을 추출한다. 방법 1 및 2는, 조합해도 좋다.
1. 대상 물체의 에지(특징)를 검출한다.
2. 대상 물체에 미리 부착된 마커(특징)를 검출한다. 물체에 부착하는 마커로는 여러 가지의 종류의 마커를 사용 가능하다. 예를 들면, 테이프, 시일, 매직마커, 레이저 마커, 매직 테이프(등록상표) 등을 사용할 수 있다. 대상 물체에 부착하는 마커의 수는 임의이다.
(d3) 제2 입출력부(371)는, 수신한 제시용 정보에 포함되는 화상을 인식함으로써, 대상 물체의 특징을 추출한다. 이때, 제2 입출력부(371)는, 전술의 방법 1 및 2와 동일한 화상 인식의 방법을 사용할 수 있다.
(d4) 제2 입출력부(371)는, 순서 d2에서 추출된 외경 화상의 특징, 순서 d3에서 추출된 제시용 정보의 특징이 동일한 위치에 배치하도록, 제시용 정보(PN*)에 포함되는 화상(CP)을 보정한다. 구체적으로는, 순서 d2 및 d3에 있어서 방법 1을 이용한 경우, 제2 입출력부(371)는, 외경 화상의 에지의 윤곽 및 특징적 부위가 제시용 정보의 에지의 윤곽 및 특징적 부위와 위치적으로 일치하도록, 제시용 정보(PN*)에 포함되는 화상(CP)에 대하여, 확대, 축소, 회전, 반전, 트리밍, 왜곡 또는 노이즈의 제거를 적어도 행한다. 여기에서, 특징적 부위란, 대상 물체가 생체인 경우, 절개된 피부의 윤곽, 내장의 윤곽, 관절, 사지의 선단, 혈관, 뼈 등이다. 한편, 순서 d2, d3에 있어서 방법 2를 이용한 경우, 제2 입출력부(371)는, 외경 화상의 마커와 제시용 정보의 마커가 위치적으로 일치하도록, 제시용 정보(PN*)에 포함되는 화상(CP)에 대하여, 확대, 축소, 회전, 반전, 트리밍, 왜곡, 노이즈의 제거를 적어도 행한다.
이와 같이 하면, 제2 입출력부(370)(제2 입출력부(371~37n))는, 헤드 마운트 디스플레이(100)(두부 장착형 표시 장치)의 사용자의 시계 방향의 화상을 인식함으로써, 제2 입출력부(370)는 외경에 포함되는 물체의 특징을 추출하고, 추출한 특징에 기초하여, 생성부(360)에 의해 생성된 제시용 정보를 보정한다. 이 때문에, 제시용 정보에, CT 화상, MRI 화상, X-선 화상 등의 불가시부 정보가 포함되는 경우에 있어서, 외경에 포함되는 물체(예를 들면, 환자의 몸 등)에 불가시부 정보를 일치시킬 수 있다. 이 결과, 헤드 마운트 디스플레이(100)의 사용자의 편리성을 향상시킬 수 있다. 전술의 피팅 처리는, 특정의 헤드 마운트 디스플레이(100)에 접속되어 있는 제2 입출력부(370)에 있어서 실행되기 때문에, 다른 헤드 마운트 디스플레이(100)에 접속되어 있는 제2 입출력부(370)에 대하여는 처리 부하를 가하는 일이 없다. 또한, 헤드 마운트 디스플레이(100)는, 피팅 처리가 행해진 후의 제시용 정보를 수신할 수 있기 때문에, 헤드 마운트 디스플레이(100)의 화상 처리부(160)는, 수신한 제시용 정보를 그대로 표시하면 좋다. 이 결과, 헤드 마운트 디스플레이(100)의 구성을 심플하게 할 수 있다.
이상과 같이, 생성부(360)의 동작 모드가 "제1 모드"인 경우, 생성부(360)는, 관리 테이블(382)의 장치 간 관계가 "마스터"인 헤드 마운트 디스플레이(100)(즉, 특정의 화상 표시 장치)의 사용자에 의해 선택된 의료용 장치 정보를 적어도 포함하는, 공통의 제시용 정보(PN*)를 생성한다. 제2 입출력부(370)(제공부)는, 제2 입출력부(371∼37n)에 각각 접속되어 있는 복수의 헤드 마운트 디스플레이(100a∼100n)(화상 표시 장치)에 대하여, 생성된 공통의 제시용 정보(PN*)를 출력한다. 이 결과, 정보 처리 장치(300)는, 복수의 헤드 마운트 디스플레이(100a∼100n)에 있어서의 표시를, 특정의 헤드 마운트 디스플레이(100)의 사용자의 선택에 기초하여 제어하는 것이 가능해진다.
A-4-2. 제2 모드(초기 처리):
제시용 정보 생성 처리(도6)의 스텝 S100에 있어서, 동작 모드가 "제2 모드"인 경우(스텝 S100:제2 모드), 생성부(360)는, 제시용 정보 생성 처리에 대해서 사용하는 변수 i에 "1"을 세트한다(스텝 S120). 그 후, 생성부(360)는, 관리 테이블(382)의 i번째의 엔트리를 참조한다(스텝 S122). 생성부(360)는, 관리 테이블(382)의 i번째의 엔트리에 저장되어 있는 "식별자"와, "역할"을 취득한다(스텝 S124).
이후에서는, 스텝 S124에 있어서 취득한 식별자를 갖는 헤드 마운트 디스플레이(100)를 "헤드 마운트 디스플레이(100i)"라고도 한다. 헤드 마운트 디스플레이(100i)는, 초기 처리에 있어서, 현재 처리 중인 헤드 마운트 디스플레이(100)를 가리키고 있다. 예를 들면, 변수 i=1인 경우, 헤드 마운트 디스플레이(100i)는, 관리 테이블(382)의 1번째의 엔트리 E01에 저장되어 있는, 식별자가 1인 집도의의 헤드 마운트 디스플레이(100a)를 가리킨다.
제시용 정보 생성 처리(도 6 참조)의 스텝 S126에 있어서, 생성부(360)는, 헤드 마운트 디스플레이(100i)의 사용자의 역할에 따른 의료용 장치(500)를 특정한다. 구체적으로는, 생성부(360)가, 스텝 S124에서 취득한 "역할"을 수행하는 경우, 생성부(360)는, 헤드 마운트 디스플레이(100i)의 사용자가 체크해야 할 의료용 장치(500)를 특정한다. 이 의료용 장치(500)는, 의료의 현장에서의 관례에 따라 특정된다. 예를 들면, 역할이 집도의이면, CT 화상이나 X-선 등의 불가시부 정보를 취득하는 장치가 의료용 장치(500)로서 특정된다. 역할이 마취과의이면, 혈압계, 심전도, 기도 내압계, 환기량계, 카프노그람, 펄스옥시미터 각각이 의료용 장치(500)로서 특정된다. 정보 처리 장치(300)는, 역할과, 역할에 필요한 의료용 장치(500)를 서로 관련지은 테이블을, 미리 외부 기억 장치(380)에 기억하고 있어도 좋다.
의료용 장치(500)를 특정 후, 스텝 S128에 있어서 생성부(360)는, 제1 입출력부(311∼31n)가 스텝 S128에서 취득한 의료용 장치(501∼50n)의 의료용 장치 정보 중, 스텝 S126에서 특정된 의료용 장치(500)로부터 취득한 의료용 장치 정보를 이용하여, 헤드 마운트 디스플레이(100i)에 송신하기 위한 제시용 정보(PNi)를 생성한다. 생성부(360)는, 도 7a, 도 7b 및 도 8에서 설명한 것과 동일한 방법으로 제시용 정보를 생성한다. 그 후, 생성부(360)는, 생성한 제시용 정보(PNi)를 수술의 기록(384)에 기억시킨다.
스텝 S130에 있어서, 생성부(360)는, 스텝 S124에서 생성한 제시용 정보(PNi)를, 헤드 마운트 디스플레이(100i)가 접속되어 있는 제2 입출력부(370i)에 송신한다. 제2 입출력부(370i)는, 수신한 제시용 정보(PNi)에 포함되는 화상을, 헤드 마운트 디스플레이(100i)의 영상 신호의 사양을 따라 변환한다. 이때, 제2 입출력부(370i)는, 피팅 처리를 실행해도 좋다. 상세는, 스텝 S118에서 설명한 대로이다.
도 14는, 스텝 S122∼S134가 2회 실행된 후에, 복수의 헤드 마운트 디스플레이(100a 및 100b)에 있어서, 제시용 정보(PNi)가 허상으로서 표시되어 있는 상태를 나타내는 도이다. 인터페이스(180) 또는 무선 통신부(132)를 통하여 제시용 정보(PNi)를 수신한 헤드 마운트 디스플레이(100i)에서는, 화상 처리부(160)에 의한 전술의 표시 처리가 행해진다. 이 결과, 헤드 마운트 디스플레이(100i)의 사용자는, 사용자의 역할에 따른 의료용 장치(500)로부터 취득된 의료용 장치 정보가 포함된 제시용 정보(PNi)를 허상으로서 볼 수 있다. 도 14의 예에서는, 헤드 마운트 디스플레이(100a)의 사용자가 보는 허상(VI)(i)으로서, 집도의가 체크해야 할 의료용 장치(500)로부터 취득된 의료용 장치 정보(CP4)가 표시되어 있다. 헤드 마운트 디스플레이(100b)의 사용자가 보는 허상(VI)(i)으로서, 제1 조수가 체크해야 할 의료용 장치(500)로부터 취득된 의료용 장치 정보(CP2와 CP3)가 표시되어 있다.
제시용 정보 생성 처리(도 6 참조)의 스텝 S132에 있어서, 생성부(360)는, 변수 i를 인크리먼트한다. 그 후, 생성부(360)는, 변수 i가 n 이상이 아닌지를 판정한다(스텝 S134). 변수 i가 n 미만(스텝 S134: 아니오)이라는 사실은, 제2 입출력부(370)에 각각 접속되어 있는 헤드 마운트 디스플레이(100) 중, 초기 처리가 종료되지 않는 일부의 헤드 마운트 디스플레이(100)가 존재하는 것을 의미한다. 이 때문에, 생성부(360)는, 처리를 스텝 S122로 전이시켜서, 초기 처리를 계속한다. 한편, 변수 i가 n 이상(스텝 S134: 예)이라는 사실은, 모든 헤드 마운트 디스플레이(100)에 대한 초기 처리가 종료된 것을 의미한다. 이 때문에, 생성부(360)는, 처리를 스텝 S136의 개별 처리로 전이시킨다.
이상과 같이, 생성부(360)의 동작 모드가 "제2 모드"인 경우, 생성부(360)는, 초기 처리의 스텝 S122∼S134를 반복하여 실행한다. 따라서, 복수의 헤드 마운트 디스플레이(100i)(100a∼100n)의 사용자의 각각의 역할에 따른 의료용 장치(500)로부터 취득한 의료용 장치 정보를 적어도 포함하는, 복수의 제시용 정보(PNi)를 생성한다. 또한, 제2 입출력부(370)(제공부)는, 제2 입출력부(371∼37n)에 각각 접속되어 있는 복수의 헤드 마운트 디스플레이(100a∼100n)(화상 표시 장치)로, 생성된 복수의 제시용 정보(PNi)를 순차 출력한다. 이 결과, 정보 처리 장치(300)는, 복수의 헤드 마운트 디스플레이(100a∼100n)에 있어서의 표시를, 각 헤드 마운트 디스플레이(100)의 사용자의 역할에 따라서, 별개로 제어하는 것이 가능해져, 각 헤드 마운트 디스플레이(100)의 사용자의 편리성을 향상시킬 수 있다.
A-4-3. 제2 모드(개별 처리):
개별 처리에서는, 생성부(360)는, 헤드 마운트 디스플레이(100)로부터의 요구에 기초하여, 요구된 의료용 장치(500)로부터 취득한 의료용 장치 정보 및 요구된 의료용 장치(500) 이외의 정보원으로부터 취득한 정보를 포함하는 제시용 정보를 생성한다.
제시용 정보 생성 처리(도 6 참조)의 스텝 S136에 있어서, 생성부(360)는, 헤드 마운트 디스플레이(100)로부터 정보원의 선택 요구를 수신했는지 아닌지를 판정한다. 정보원의 선택 요구란, 스텝 S112에 있어서 설명한 요구 a1∼a6와 동일하다. 정보원의 선택 요구를 수신하고 있지 않은 경우(스텝 S136: 수신 없음), 생성부(360)는, 스텝 S136에 처리를 전이시키고, 정보원의 선택 요구의 수신을 대기한다.
한편, 정보원의 선택 요구를 수신한 경우(스텝 S136: 수신 있음), 생성부(360)는, 정보원의 선택 요구에 포함되는 헤드 마운트 디스플레이(100i)의 식별자와, 정보원을 특정하기 위한 정보와, 정보원 내의 정보를 특정하기 위한 정보를 취득한다(스텝 S128). 또한, 생성부(360)는, 정보원을 특정하기 위한 정보로서, 현재 위치 정보 및 방위 정보가 삽입되어 있는 경우는, 당해 현재 위치 정보와 방위 정보를, 다른 모든 의료용 장치(500)로부터 취득한 위치 정보와 비교하여, "사용자에 의해 표시부를 보기 곤란한 의료용 장치(500)"를 특정한다. 여기에서, 생성부(360)는, 스텝 S114와 동일하게, 현재 위치 정보 및 방위 정보를, 헤드 마운트 디스플레이(100) 사용자의 두부의 움직임과 조합해도 좋다. 헤드 마운트 디스플레이(100i)란, 정보원의 선택 요구의 발행원인 헤드 마운트 디스플레이(100)(즉, 현재 처리 중인 헤드 마운트 디스플레이(100))를 가리킨다.
스텝 S140에 있어서, 생성부(360)는, 지정된 정보원에 액세스하여, 지정된 정보를 취득한다. 생성부(360)는, 취득한 정보를 이용하여, 헤드 마운트 디스플레이(100i)용의 제시용 정보(PNi)를 생성하고, 생성한 제시용 정보(PNi)를 수술의 기록(384)에 기억시킨다. 생성부(360)는, 도 7a, 도 7b 및 도 8에서 설명한 것과 동일한 방법으로 제시용 정보를 생성한다. 그 후, 생성부(360)는, 생성한 제시용 정보(PNi)를 수술의 기록(384)에 기억시킨다.
스텝 S142에 있어서, 생성부(360)는, 스텝 S140에서 생성한 제시용 정보(PNi)를, 헤드 마운트 디스플레이(100i)가 접속되어 있는 제2 입출력부(370i)에 송신한다. 제2 입출력부(370i)는, 수신한 제시용 정보(PNi)에 포함되는 화상을, 헤드 마운트 디스플레이(100i)의 영상 신호의 사양을 따라 변환한다. 이때, 제2 입출력부(370i)는, 피팅 처리를 실행해도 좋다. 상세는, 스텝 S118에서 설명한 것과 동일하다.
인터페이스(180) 또는 무선 통신부(132)를 통하여 제시용 정보(PNi)를 수신한 헤드 마운트 디스플레이(100i)에서는, 화상 처리부(160)에 의한 전술의 표시 처리가 행해진다. 이 결과, 정보원의 선택 요구를 송신한 헤드 마운트 디스플레이(100i)의 사용자는, 정보원의 선택 요구에 있어서 지정한 정보원으로부터 취득된 정보가 포함된 제시용 정보(PNi)의 허상을 볼 수 있다.
이상과 같이, 생성부(360)의 동작 모드가 "제2 모드"인 경우, 생성부(360)는 개별 처리를 실행한다. 따라서, 복수의 헤드 마운트 디스플레이(100i)(100a∼100n)의 사용자에 의해 각각 선택된 의료용 장치 정보를 적어도 포함하는, 복수의 제시용 정보(PNi)를 생성한다. 제2 입출력부(370)(제공부)는, 제2 입출력부(371∼37n)에 각각 접속되어 있는 복수의 헤드 마운트 디스플레이(100a∼100n)(화상 표시 장치)로, 생성된 복수의 제시용 정보(PNi)를 순차 출력한다. 이 결과, 정보 처리 장치(300)는, 복수의 헤드 마운트 디스플레이(100a∼100n)에 있어서의 표시를, 각 헤드 마운트 디스플레이(100)의 사용자의 선택에 기초하여 별개로 제어하는 것이 가능해진다.
이상과 같이, 제1 실시 형태의 정보 처리 장치(300)에 의하면, 생성부(360)는, 제1 입출력부(310)(취득부 및 제1 입출력부(311∼31n))에 의해 취득된 복수의 의료용 장치 정보를 이용하여 제시용 정보(PN)를 생성하기 때문에, 정보 처리 장치(300)의 제1 입출력부(310)에 접속되어 있는 다양한 의료용 장치(500)(의료용 장치(501∼50n))의 정보(의료용 장치 정보)를 일원화할 수 있다. 제2 입출력부(370)(제공부)는, 복수의 헤드 마운트 디스플레이(100a∼100n)(화상 표시 장치)로, 생성된 제시용 정보(PN)를 각각 출력하기 때문에, 제2 입출력부(370)는 복수의 헤드 마운트 디스플레이(100a∼100n)에 있어서의 표시를 제어할 수 있다. 이 결과, 다양한 의료용 장치(500)의 정보를 일원화할 수 있고, 복수의 헤드 마운트 디스플레이(100a∼100n)에 있어서의 표시를 제어하는 것이 가능한 정보 처리 장치(300)를 실현할 수 있다.
추가로, 생성부(360)는, 일원화되어 있는 의료용 장치 정보로부터, 복수의 헤드 마운트 디스플레이(100a∼100n)(화상 표시 장치)에 대하여 공통되는 공통의 제시용 정보(PN*)를 생성하는 제1 모드와, 복수의 헤드 마운트 디스플레이(100a∼100n)에 각각 대응하는 복수의 제시용 정보(PNi)를 생성하는 제2 모드를 갖는다. 이 때문에, 정보 처리 장치(300)는, 생성부(360)가 모드를 구분하여 사용함으로써, 복수의 헤드 마운트 디스플레이(100a∼100n)에 있어서의 표시를 제어할 수도 있다.
이상 설명한 바와 같이, 제1 실시 형태의 정보 처리 시스템(1000)에 의하면, 다양한 의료용 장치(500)(의료용 장치(501∼50n))의 정보(의료용 장치 정보)를 정보 처리 장치(300)에서 일원화할 수 있고, 복수의 헤드 마운트 디스플레이(100a∼100n)(두부 장착형 표시 장치)에 있어서의 표시를 제어하는 것이 가능한 정보 처리 시스템(1000)을 실현할 수 있다.
A-5. 부가적 처리:
제시용 정보 생성 처리(도 6 참조)에서는, 또한, 이하와 같은 부가적 처리를 실행해도 좋다. 부가적 처리는, 단독으로 부가해도 좋고, 조합하여 부가해도 좋다.
A-5-1. 부가적 처리 1:
부가적 처리 1에서는, 정보 처리 장치(300)는, 제시용 정보에 대한 색변환 처리를 행한다. 구체적으로는, 생성부(360)로부터 제시용 정보를 수신한 제2 입출력부(370)는, 헤드 마운트 디스플레이(100)의 카메라(61)에 외경 화상을 취득시킨다. 제2 입출력부(370)는, 취득된 외경 화상의 명도, 콘트라스트, 채도, 색상에 기초하여, 제시용 정보에 포함되는 화상의 시인성을 향상시키도록 색변환 처리를 행한다. 예를 들면, 제2 입출력부(370)는, 제시용 정보에 포함되는 화상의 색상을, 외경 화상의 색상의 보색으로 변환하는 색변환 처리를 행할 수 있다.
이와 같이, 부가적 처리 1에 의하면, 헤드 마운트 디스플레이(100)의 사용자에 대한 허상(VI)의 시인성을 보다 향상시킬 수 있다.
A-5-2. 부가적 처리 2:
부가적 처리 2에서는, 정보 처리 장치(300)는, 헤드 마운트 디스플레이(100)의 사용자의 머리의 작은 흔들림(shake)에 부수하는 허상(VI)의 흔들림(flickering)을 억제하는, 소위 스태빌라이저 기능을 실현한다. 구체적으로는, 생성부(360)로부터 제시용 정보를 수신한 제2 입출력부(370)는, 소정의 시간마다, 상기 순서 d1∼d4에 있어서 설명한 피팅 처리와, 제시용 정보 생성 처리의 스텝 S118, S130, S142에서 설명한 제시용 정보의 송신을 반복한다. 이에 따라, 소정의 시간마다, 외경 화상의 촬영과, 제시용 정보에 포함되는 화상의 보정 및 표시가 반복적으로 행해진다. 이 결과, 사용자의 두부의 경시적인 움직임에 추종하도록 제시용 정보를 허상(VI)으로서 표시시킬 수 있다.
그러나, 제시용 정보가 헤드 마운트 디스플레이(100)의 사용자의 머리의 미소한 움직임 또는 흔들림에 추종하여 제시용 정보가 종종 바뀌는 경우, 사용자의 안정 피로를 유발하고, 사용자의 집중력을 방해할 우려가 있다. 그래서, 제2 입출력부(370)는, 상기 순서 d1과 순서 d2의 사이에, 이하의 순서 e1 및 e2로 나타내는 처리를 행해도 좋다.
(e1) 제2 입출력부(370)는, 순서 c1에서 촬영된 외경 화상과, 전회 실행된 피팅 처리의 순서 d1에서 촬영된 외경 화상의 사이의, RGB 히스토그램의 변화량을 구한다.
(e2) 제2 입출력부(370)는, 순서 f1에서 구한 변화량이 소정의 문턱값을 초과하는 경우, 순서 d2 이후의 처리를 계속한다.
이와 같이, 부가적 처리 2에 의하면, 제2 입출력부(370)는, 전회 실행된 피팅 처리에 있어서의 외경 화상과 현재 실행 중의 피팅 처리에 있어서의 외경 화상과 사이의 변화량이 작은 경우, 즉, 헤드 마운트 디스플레이(100)의 사용자의 머리의 움직임이 미소한 경우는, 제시용 정보에 포함되는 화상의 보정은 행하지 않는다. 이 결과, 제시용 정보는 헤드 마운트 디스플레이(100)의 사용자의 머리의 미소한 움직임 또는 흔들림에 추종하는 것을 방지하여, 제시용 정보가 종종 바뀌는 것을 방지할 수 있기 때문에, 사용자의 안정 피로 또는 집중력 저하를 억제할 수 있다. 스태빌라이저 기능의 ON/OFF를 사용자에 의해 행하는 것이 가능한 구성으로 해도 좋다.
A-5-3. 부가적 처리 3:
부가적 처리 3에서는, 정보 처리 장치(300)는, 헤드 마운트 디스플레이(100)의 화상 표시부(20)와, 사용자의 시계 방향에 있는 물체의 사이의 거리에 기초하여, 제시용 정보에 포함되어 있으며, 허상(VI)으로서 표시되는 화상의 크기를 변경한다. 구체적으로는, 생성부(360)로부터 제시용 정보를 수신한 제2 입출력부(370)는, 상기 순서 d1∼d4에 있어서 설명한 피팅 처리를 대신하여, 이하의 순서 f1∼f3에서 설명하는 처리를 행할 수 있다. 본 처리를 행하는 경우, 헤드 마운트 디스플레이(100)에는, 추가로 거리 측정 센서를 구비하는 구성으로 한다. 거리 측정 센서는, 반사광을 사용하여 사용자의 시계 방향에 있는 물체와 화상 표시부(20)의 사이의 거리를 취득하기 위한 센서이다. 예를 들면, 거리 측정 센서는 카메라(61)의 근방에 배치할 수 있다.
(f1) 제2 입출력부(370)는, 헤드 마운트 디스플레이(100)의 거리 측정 센서 센서의 측정값을 주기적으로 취득한다.
(f2) 제2 입출력부(370)는, 취득한 거리 측정 센서의 측정값에 따라서 확대율(또는 축소율)을 결정한다.
(f3) 제2 입출력부(370)는, 결정한 확대 또는 축소율을 이용하여, 제시용 정보에 포함되는 화상에 대하여, 확대, 축소, 회전, 반전, 트리밍, 왜곡 또는 노이즈의 제거를 적어도 행한다.
이와 같이, 부가적 처리 3에 의하면, 제2 입출력부(370)는, 헤드 마운트 디스플레이(100)의 사용자의 시계 방향에 있는 물체와 화상 표시부(20)와의 사이의 거리에 따라서, 허상(VI)으로서 표시되는 제시용 정보 크기를 변경할 수 있다. 이 때문에, 헤드 마운트 디스플레이(100)에 있어서의 사용자의 편리성을 향상시킬 수 있다.
B. 제2 실시 형태:
본 발명의 제2 실시 형태에서는, 생성부(360)가 결합 정보를 생성 가능한 구성에 대해서 설명한다. 이하에서는, 제1 실시 형태와 상이한 구성 및 동작을 갖는 부분에 대해서만 설명한다. 도면 중에 있어서 제1 실시 형태와 동일한 구성 부분에 대해서는 먼저 설명한 제1 실시 형태와 동일한 부호를 붙인다. 그 상세한 설명을 생략한다.
B-1. 정보 처리 시스템의 구성:
제2 실시 형태에 있어서의 정보 처리 시스템(1000a)의 개략 구성은, 도 1에 나타내는 제1 실시 형태와 거의 동일하다. 단, 제2 실시 형태의 정보 처리 시스템(1000a)은, 정보 처리 장치(300)을 대신하여 정보 처리 장치(300a)를 구비한다.
B-2. 정보 처리 장치의 구성:
도 15는, 제2 실시 형태에 있어서의 정보 처리 장치(300a)의 구성을 기능적으로 나타내는 블록도이다. 제2 실시 형태와 도 2에 나타낸 제1 실시 형태와의 차이는, 생성부(360)를 대신하여 생성부(360a)를 구비하는 점이다. 생성부(360a)는, 동작 모드가 "제2 모드"인 경우에, 제시용 정보 생성 처리에 병행하여, 후술의 결합 정보 생성 처리를 실행한다. 결합 정보 생성 처리는, 제2 입출력부(370)에 각각 접속되어 있는 모든 헤드 마운트 디스플레이(100)(헤드 마운트 디스플레이(100a∼100n))의 제시용 정보를 함께 결합하여 얻은 결합 정보를 생성하는 처리이다.
B-3. 두부 장착형 표시 장치의 구성:
제2 실시 형태에 있어서의 헤드 마운트 디스플레이(100)의 개략 구성은, 도 5에 나타내는 제1 실시 형태와 동일하다.
B-4. 제시용 정보 생성 처리:
제2 실시 형태에 있어서의 제시용 정보 생성 처리의 순서는, 도 6에 나타내는 제1 실시 형태와 동일하다.
B-5. 부가적 처리:
또한, 제2 실시 형태의 제시용 정보 생성 처리에 있어서도, "A-5-1. 부가적 처리 1"∼"A-5-3. 부가적 처리 3"에 있어서 설명한, 제1 실시 형태와 동일한 부가적 처리를 실행해도 좋다.
B-6. 결합 정보 생성 처리:
도 16은, 결합 정보 생성 처리의 순서를 나타내는 플로우 차트이다. 결합 정보 생성 처리는, 헤드 마운트 디스플레이(100)에 표시시키기 위한 결합 정보를 생성하는 처리이다. 정보 처리 장치(300a)(도 15 참조)의 생성부(360a)가 결합 정보 생성 처리를 실행한다. 결합 정보 생성 처리는, 제시용 정보 생성 처리(도 6 참조)의 스텝 S100에 있어서, 동작 모드가 "제2 모드"인 경우에(스텝 S100:제2 모드), 도 6에서 설명한 초기 처리와 개별 처리에 병행하여 실행된다.
생성부(360a)는, 헤드 마운트 디스플레이(100)로부터 결합 정보의 요구를 수신했는지 아닌지를 판정한다(스텝 S200). 여기에서, 결합 정보의 요구란, 결합 정보의 송신에 대한 요구이며, 요구하는 헤드 마운트 디스플레이(100)의 식별자와 함께 송신된다. 결합 정보의 요구를 수신하고 있지 않는 경우(스텝 S200: 수신 없음), 생성부(360a)는, 스텝 S200으로 처리를 전이시키고, 결합 정보의 요구의 수신을 대기한다.
한편, 결합 정보의 요구를 수신한 경우(스텝 S200: 수신 있음), 생성부(360a)는, 결합 정보의 요구에 포함되어 있는, 요구하는 헤드 마운트 디스플레이(100i)의 식별자를 취득한다(스텝 S202). 여기에서, 헤드 마운트 디스플레이(100i)란, 결합 정보의 요구의 발행원인 헤드 마운트 디스플레이(100)(즉, 현재 처리 중인 헤드 마운트 디스플레이(100))를 가리킨다.
스텝 S204에 있어서, 생성부(360a)는, 수술의 기록(384)에 액세스한다. 생성부(360a)는, 제2 입출력부(370)에 각각 접속되어 있는 모든 헤드 마운트 디스플레이(100)(헤드 마운트 디스플레이(100a∼100n))에 대해서 생성부(360a)가 생성한 최신의 제시용 정보를 취득한다. 최신의 제시용 정보는, 수술의 기록(384)에, 제시용 정보에 대응지어져 기억되어 있는 "정보 생성의 일시"에 의해 판단할 수 있다. 여기에서는, 요구하는 헤드 마운트 디스플레이(100i)의 제시용 정보를, 취득하지 않아도 좋다. 생성부(360a)는, 취득한 복수의 제시용 정보를 함께 결합함으로써, 결합 정보를 생성한다.
도 17은, 결합 정보의 생성 방법에 대해서 설명하기 위한 도이다. 생성부(360a)는, 취득된 복수의 제시용 정보에 대해서, 이하의 순서 g1∼g4에 나타낸 처리를 행한다.
(g1) 생성부(360a)는, 취득된 제시용 정보의 총수와, 공통 영상 사양(381)에 기억되어 있는 해상도에 따라서, 제시용 정보의 축소율을 결정한다.
(g2) 생성부(360a)는, 순서 g1에서 결정한 축소율로, i번째의 제시용 정보(제시용 정보(PNi))에 포함되는 화상을 축소한다.
(g3) 생성부(360a)는, 순서 g2에서 축소한 화상을, 그 축소한 화상이 다른 화상과 겹치지 않는 위치에 배치하여, 축소한 화상을 결합 정보(JN)로서 덮어쓰기 저장한다.
(g4) 생성부(360a)는, 변수 i를 인크리먼트하고, "i가 취득된 제시용 정보의 총수 이상"이 성립할 때까지, 상기 순서 g2 및 g3을 반복한다.
(g5) 생성부(360a)는, 결합 정보(JN) 중, 제시용 정보의 화상이 배치되어 있지 않은 여백 부분(도면에 있어서 사선으로 나타냄)에 대하여, 상기 c1 및 c2에서 설명한 것과 동일한 순서를 실행한다. 더미 도트 데이터를 여백부분에 삽입하거나 또는 인이에블(Enable) 신호를 조정한다.
(g6) 생성부(360a)는, 생성된 결합 정보(JN)에 포함되는 화상을, 공통 영상 사양(381)에 규정되어 있는 영상 신호의 사양을 따라 변환한다.
도 17의 예는, 상기와 같이 하여 생성된, 6개의 제시용 정보(PN1∼PN6)가, 서로 겹치지 않는 위치에 각각 배치된 결합 정보(JN)가 예시되어 있다.
결합 정보 생성 처리(도 16 참조)의 스텝 S206에 있어서, 생성부(360a)는, 스텝 S204에서 생성한 결합 정보(JN)를, 헤드 마운트 디스플레이(100i)가 접속되어 있는 제2 입출력부(370i)에 송신한 후, 처리를 스텝 S200으로 전이시킨다. 제2 입출력부(370i)는, 수신한 제시용 정보(PNi)에 포함되는 화상을, 헤드 마운트 디스플레이(100i)의 영상 신호의 사양을 따라 변환한다.
도 18은, 헤드 마운트 디스플레이(100i)에 있어서, 결합 정보(JN)가 허상으로서 표시되어 있는 상태를 나타내는 도이다. 제2 입출력부(370i)로부터 송신된 결합 정보(JN)를, 인터페이스(180) 또는 무선 통신부(132)를 통하여 수신한 헤드 마운트 디스플레이(100i)의, 화상 처리부(160)에 의한 전술의 표시 처리가 행해진다. 이 결과, 헤드 마운트 디스플레이(100i)의 사용자의 양 눈에 유도된 화상광이 사용자의 망막에 결상함으로써, 헤드 마운트 디스플레이(100i)의 사용자는, 시야(VR)에서 허상(VI)으로서 결합 정보(JN)를 볼 수 있다. 도 18의 예에서는, 헤드 마운트 디스플레이(100g)의 사용자의 시야(VR)에 있어서, 각각의 헤드 마운트 디스플레이(100a∼100f)용의 제시용 정보(PN1∼PN6)의 결합 정보(JN)가 허상(VI)으로서 표시되어 있다. 도 18에서는, 공간의 제한으로서, 제시용 정보(PN3∼PN6)는 도시되지 않았다.
이상과 같이, 제2 실시 형태의 생성부(360a)는, 제시용 정보 생성 처리에서 생성된 복수의 제시용 정보(PNi)를 결합하여 결합 정보(JN)를 생성한다. 제2 입출력부(370)(제공부)는, 결합 정보의 요구를 발행한 특정의 헤드 마운트 디스플레이(100i)(화상 표시 장치)로, 생성된 결합 정보(JN)를 출력한다. 이 결과, 특정의 헤드 마운트 디스플레이(100i)의 사용자는, 정보 처리 장치(300)에 접속되어 있는 복수의 헤드 마운트 디스플레이(100a∼100n)(화상 표시 장치)에 있어서, 어떠한 제시용 정보(PN)가 표시되어 있는지를 알 수 있다. 또한, 특정의 헤드 마운트 디스플레이(100i)의 사용자의 편리성을 향상시킬 수 있다.
C. 제3 실시 형태:
본 발명의 제3 실시 형태에서는, 헤드 마운트 디스플레이의 이용자에 대하여 미리 정해진 일련의 공정을 안내함과 함께, 의료용 장치 정보에 기초하여, 안내되는 공정을 실시간으로 변경하는 것이 가능한 구성에 대해서 설명한다. 이하에서는, 제1 실시 형태와 상이한 구성 및 동작을 갖는 부분에 대해서만 설명한다. 도면 중에 있어서 제1 실시 형태와 동일한 구성 부분에 대해서는 먼저 설명한 제1 실시 형태와 동일한 부호를 붙인다. 그 상세한 설명은 생략한다.
C-1. 정보 처리 시스템의 구성:
제3 실시 형태에 있어서의 정보 처리 시스템(1000b)의 개략 구성은, 도 1에 나타내는 제2 실시 형태와 거의 동일하다. 단, 제2 실시 형태의 정보 처리 시스템(1000b)은, 정보 처리 장치(300)을 대신하여 정보 처리 장치(300b)를 구비한다.
C-2. 정보 처리 장치의 구성:
도 19는, 제3 실시 형태에 있어서의 정보 처리 장치(300b)의 기능적 구성을 나타내는 블록도이다. 제3 실시 형태와 도 2에 나타낸 제1 실시 형태와의 차이는, 정보 처리 장치(300b)가 CPU(350)를 대신하여 CPU(350b)를 구비하는 점과, 외부 기억 장치(380)을 대신하여 외부 기억 장치(380b)를 구비하는 점이다. CPU(350b)는, 생성부(360)를 대신하여 생성부(360b)를 구비하고, 또한, 공정 관리부(365)를 구비하고 있다.
생성부(360b)가, 실행하는 제시용 정보 생성 처리의 처리 내용은, 도 6에 나타낸 제1 실시 형태와는 일부 상이하다. 공정 관리부(365)는, 생성부(360)가 실행하는 제시용 정보 생성 처리와 병행하여, 후술의 공정 관리 처리를 실행한다. 공정 관리 처리는, 헤드 마운트 디스플레이(100)의 사용자에게 안내하는 일련의 공정을 생성부(360b)에 송신하고, 의료용 장치 정보로부터 추정되는 환자 상태에 따라서 당해 공정을 변경하는 처리이다.
외부 기억 장치(380b)는, 제1 실시 형태에서 설명한 각 정보에 더하여 추가로, 공정 정보(386)와 긴급 대응 정보(387)를 구비하고 있다.
도 20은, 공정 정보(386)의 일 예를 나타내는 개략도이다. 본 실시 형태에 있어서의 공정 정보(386)는, 여러 가지의 수술에 대해서, 일련의 공정이 미리 기억되어 있는 테이블(또는 복수의 테이블로 구성되는 데이터베이스)이다. 공정 정보(386)는, 공정 관리 처리에 있어서, 헤드 마운트 디스플레이(100)의 사용자에게 공정을 안내하기 위해 참조된다. 도 20에서는, 설명을 목적으로, 1의 수술만을 예시하고 있으며, 구체적인 수술 명칭, 수술 방식 명칭, 공정의 내용에 대해서는 도시를 생략하고 있다. "수술 명칭"에는, 수술을 특정하기 위한 명칭이 저장되어 있다. "수술 방식"에는, 수술 방식을 특정하기 위한 명칭이 저장되어 있다. 수술은, 복수의 상이한 수술 방식으로 행해질 수 있기 때문에, 수술 명칭과 수술 방식의 조합에 기초하여, 수술을 위한 공정을 특정한다. "공정"에는, 수술 명칭 및 수술 방식에 의해 특정되는 일련의 공정의 내용이 순서대로 저장되어 있다. 수술에 대한 공정의 일부는, 환자의 증상이나 상태에 따라서 상이하게 실행되기 때문에, 도 20의 예에서는, 분기된 공정이 존재한다. 제시용 정보 생성 처리(도 6 참조)에 있어서, 복수의 제시용 정보를 생성하도록 제2 모드를 실현하는 경우, 공정 정보(386)에는, 여러 가지의 수술에 대해서, 역할마다, 각각 일련의 공정이 기억되어 있는 테이블등을 구비하는 구성으로 한다.
도 21은, 긴급 대응 정보(387)의 일 예를 나타내는 테이블이다. 본 실시 형태에 있어서의 긴급 대응 정보(387)에는, 수술 방식과, 조건과, 증상과, 긴급 대응이 서로 미리 관련지어 기억되어 있다. 긴급 대응 정보(387)는, 공정 관리 처리에 있어서, 헤드 마운트 디스플레이(100)의 이용자에게 안내하는 공정을 변경하기 위해 참조된다. "수술 방식"에는, 수술 방식을 특정하기 위한 명칭이 저장되어 있다. 수술 방식은, 공정 정보(386)의 "수술 방식"과 관련짓기 위해 이용된다. "조건"에는, 의료용 장치 정보에 대한 판단 조건이 저장되어 있다. "증상"에는, 의료용 장치 정보가 "조건"에 기억되어 있는 조건을 만족한 경우에, 환자에게 발생하고 있다고 추정되는 증상을 나타내는 명칭이 저장되어 있다. "긴급 대응"에는, 당해 환자의 증상을 해소 또는 완화하기 위한 조치가 저장되어 있다.
C-3. 두부 장착형 표시 장치의 구성:
제3 실시 형태에 있어서의 헤드 마운트 디스플레이(100)의 개략 구성은, 도 5에 나타내는 제1 실시 형태와 동일하다.
C-4. 제시용 정보 생성 처리:
제3 실시 형태에 있어서의 제시용 정보 생성 처리의 순서는, 이하에 설명하는 점을 제외하고는, 도 6에 나타내는 제1 실시 형태와 동일하다. 공통의 제시용 정보를 생성하는 제1 모드에서 제시용 정보 생성 처리가 실행되는 경우가 설명된다. 도 6의 스텝 S114에 있어서 생성부(360b)는, 헤드 마운트 디스플레이(100)로부터 정보원의 선택 요구로서 "(a7) 수술 순서의 안내 요구"를 수신한다. 그 후, 생성부(360b)는, 공정 관리부(365)에 대하여 공정 관리 처리의 실행을 요구한다. 요구 a7은, 단독으로 발행되어도 좋고, 제1 실시 형태의 요구 a1∼a6과 조합되어도 좋다. 스텝 S116에 있어서 생성부(360b)는, 공정 관리부(365)로부터 공정을 수신하고, 수신한 정보를 이용하여 제시용 정보(PN*)를 생성한다.
복수의 제시용 정보를 생성하는 제2 모드인 경우의 제시용 정보 생성 처리에 대해서 설명한다. 도 6의 스텝 S126에 있어서, 생성부(360b)는, 헤드 마운트 디스플레이(100i)의 사용자의 역할을, 공정 관리부(365)에 송신한다. 그 후, 생성부(360b)는, 공정 관리부(365)로 사용자의 역할을 송신하고, 공정 관리부(365)가 공정 관리 처리를 행하도록 요구한다. 스텝 S128에 있어서 생성부(360b)는, 공정 관리부(365)로부터 헤드 마운트 디스플레이(100i)의 사용자의 역할에 기초하여 공정을 수신하고, 수신한 정보를 이용하여 제시용 정보(PNi)를 생성한다.
C-5. 부가적 처리:
제3 실시 형태의 제시용 정보 생성 처리에 있어서도, "A-5-1. 부가적 처리 1"∼"A-5-3. 부가적 처리 3"에 있어서 설명한, 제1 실시 형태와 동일한 부가적 처리를 실행해도 좋다.
C-6. 공정 관리 처리:
도 22는, 공정 관리 처리의 순서를 나타내는 플로우 차트이다. 공정 관리 처리는, 공정 관리부가 헤드 마운트 디스플레이(100)의 이용자에게 안내하는 공정을 생성부(360b)에 송신하고, 의료용 장치 정보로부터 추정되는 환자 상태에 따라서 당해 공정을 변경하는 처리이다.
스텝 S300에 있어서, 공정 관리부(365)는, 공정 정보(386)를 참조하여, 미리 정해진 일련의 공정을 취득한다. 여기에서, "미리 정해진 일련의 공정"이란, 공정 정보(386)에 기억되어 있는 수술과, 수술 방식과, 공정의 조합 중, 집도의나 다른 의사 등에 의해 미리 정해진 1세트의 일련의 공정(도 20에서 실선 프레임(L1)으로 표시)를 의미한다. 미리 정해진 일련의 공정은, 공정 정보(386)에 기억되어 있는 일련의 공정의 도중에 종료되어도 좋다(도 20에서 파선 프레임(L2)으로 표시). 예를 들면, 실제로 수술을 실시하고, 환자의 상태를 관찰하면서 의사가 최적인 공정을 선택하는 것이 바람직한 경우, 파선 프레임(L2)으로 표시된 공정이 예정된다.
제시용 정보 생성 처리가 제1 모드로 실행되는 경우(환언하면, 생성부(360b)로부터 공정 관리 처리의 실행만을 지시받고 있는 경우)로서, 공정 정보(386)에 사용자의 역할에 따른 공정이 기억되어 있는 경우, 스텝 S300에 있어서, 공정 관리부(365)는, 관리 테이블(382)(도 4 참조)에서 장치 간 관계가 "마스터"인 헤드 마운트 디스플레이(100)의 사용자의 역할용인 "미리 정해진 일련의 공정"을 취득한다. 한편, 제시용 정보 생성 처리가 제2 모드에서 실행되는 경우(환언하면, 생성부(360)로부터 사용자의 역할 및 공정 관리 처리의 실행을 지시받고 있는 경우), 스텝 S300에 있어서, 공정 관리부(365)는, 공정 정보(386)로부터 수신한 사용자의 역할용의 "미리 정해진 일련의 공정"을 취득한다.
스텝 S302에 있어서 공정 관리부(365)는, 스텝 S300에서 취득된 일련의 공정으로부터, 1의 공정을 취득하고, 그 1의 공정을 생성부(360b)에 송신한다. 1의 공정을 수신한 생성부(360b)는, 제시용 정보 생성 처리에서, 당해 1의 공정에 대해서 안내하기 위한 제시용 정보(PN*) 또는 제시용 정보(PNi)를 생성하고, 생성부(360b)는 제시용 정보(PN*) 또는 제시용 정보(PNi)를 헤드 마운트 디스플레이(100)에 송신한다.
스텝 S304에 있어서 공정 관리부(365)는, 환자 상태를 체크한다. 구체적으로는, 공정 관리부(365)는, 제1 입출력부(310)(취득부 및 제1 입출력부(311∼31n))를 통하여, 환자 상태를 측정하고 있는 의료용 장치에 의해 측정된 모든 의료용 장치 정보를 취득한다.
스텝 S306에 있어서 공정 관리부(365)는, 환자에게 급변이 발생했는지 아닌지를 판정한다. 구체적으로는, 공정 관리부(365)는, 스텝 S304에 있어서 수신한 모든 의료용 장치 정보가 긴급 대응 정보(387)에 기억되어 있는 "조건"을 만족하는지를 판정한다. 모든 의료용 장치 정보가 조건을 만족하지 않는 경우(스텝 S306: 아니오), 공정 관리부(365)는, 처리를 스텝 S314로 전이시킨다. 한편, 적어도 1개의 의료용 장치 정보가 그 조건을 만족하는 경우(스텝 S306: 예), 공정 관리부(365)는, 처리를 스텝 S308로 전이시킨다.
스텝 S308에 있어서, 공정 관리부(365)는, 긴급 대응 정보(387)를 참조하여, 환자 상태에 따른 긴급 대응을 취득한다. 구체적으로는, 공정 관리부(365)는, 긴급 대응 정보(387) 중, 의료용 장치 정보가 "조건"을 만족한 엔트리를 참조하고, 공정 관리부(365)는 당해 엔트리의 "긴급 대응"을 참조한다.
스텝 S310에 있어서, 공정 관리부(365)는, 긴급 대응의 내용을 생성부(360b)에 송신한다. 이 처리는, 제시용 정보 생성 처리가 제1 모드인 경우도, 제2 모드인 경우도 동일하다. 긴급 대응을 수신한 생성부(360b)는, 제시용 정보 생성 처리에서, 긴급 대응에 대해서 안내하기 위한 제시용 정보(PN*) 또는 제시용 정보(PNi)를 생성하고, 제시용 정보(PN*) 또는 제시용 정보(PNi)를 헤드 마운트 디스플레이(100)에 송신한다.
스텝 S312에 있어서 공정 관리부(365)는, 환자 상태를 체크한다. 상세는 스텝 S304와 동일하다. 스텝 S310과 스텝 S312의 사이에는, 긴급 대응에 의해 환자 상태가 안정되었다고 상정되는 정도의 시간을 갖는 것이 바람직하다.
스텝 S314에 있어서, 공정 관리부(365)는, 사용자에게 현재 안내 중의 일련의 공정이 적절한지 아닌지를 판정한다. 구체적으로는, 공정 관리부(365)는, 스텝 S312에 있어서 수신한 모든 의료용 장치 정보가 긴급 대응 정보(387)에 기억되어 있는 "조건"을 만족하는지를 판정한다. 모든 의료용 장치 정보가 조건을 만족하지 않는 경우(스텝 S314: 예), 공정 관리부(365)는, 사용자에게 현재 안내 중인 일련의 공정은 적절하다고 추정하고, 공정 관리부(365)는 처리를 스텝 S302로 전이시킨다. 그 후, 스텝 S302에 있어서 공정 관리부(365)는, 스텝 S300에서 취득된 일련의 공정으로부터, 다음의 공정을 취득하고, 다음의 공정을 생성부(360b)에 송신한다. 또한 공정 관리부(365)는, 환자 상태를 체크하여, 전술의 처리를 반복한다.
이와 같이, 공정 관리부(365)는, 복수의 의료용 장치 정보를 반복하여 취득하고, 최신의 복수의 의료용 장치 정보에 기초하여, 생성부에 송신하는 일련의 공정을 변경한다. 이 때문에, 정보 처리 장치(300b)는, 복수의 의료용 장치로부터 취득된 복수의 의료용 장치 정보에 기초하여, 복수의 헤드 마운트 디스플레이(100a∼100n)에 표시시키는 일련의 공정을 실시간으로 변경할 수 있다.
한편, 적어도 1개의 의료용 장치 정보가 조건을 만족하는 경우(스텝 S306: 예), 공정 관리부(365)는, 사용자에게 현재 안내 중인 일련의 공정은 적절하지 않다고 추정하고, 처리를 스텝 S316로 전이시킨다. 스텝 S316에 있어서 공정 관리부(365)는, 환자 상태가 나쁘기 때문에, 현재 사용자에게 안내 중인 일련의 공정은 적절하지 않다고 추정된다는 안내를, 생성부(360b)에 송신한다. 이 처리는, 제시용 정보 생성 처리가 제1 모드에서 뿐만 아니라, 제2 모드에서 실행되는 경우도 동일하게 실행된다. 생성부(360)가 현재 사용자에게 안내 중인 일련의 공정이 적절하지 않다는 안내를 수신하는 경우, 생성부(360b)는 제시용 정보 생성 처리에서 일련의 공정이 적절하지 않다는 사실을 사용자에게 안내하도록 제시용 정보(PN*) 또는 제시용 정보(PNi)를 생성하고, 생성부(360b)는, 헤드 마운트 디스플레이(100)로 그 제시용 정보(PN*) 또는 제시용 정보(PNi)를 송신한다. 그 후, 공정 관리부(365)는, 이후의 공정의 송신을 중지하고, 처리를 종료시킨다.
스텝 S310에 있어서 공정 관리부(365)는, 취득된 의료용 장치 정보에 기초하여 긴급 대응을 생성부(360b)에 송신함으로써, "미리 정해진 일련의 공정"에 "새로운 공정을 추가"를 추가한다. 그러나, 스텝 S310에 있어서 공정 관리부(365)는, "미리 정해진 일련의 공정"에 대한 "일부의 공정의 삭제" 또는 "일부의 공정의 대체"를 실시해도 좋다. 예를 들면, 긴급 대응 정보(387)의 "긴급 대응"으로서, 삭제해야 할 공정 또는 대체해야 할 공정을 기억하는 경우, 일부 공정의 삭제 또는 일부 공정의 대체가 실현 가능하다. 본 실시 형태에서는, 스텝 S310에 예시한 새로운 공정의 추가(일부 공정의 삭제 또는 일부 공정의 대체)와 스텝 S316에 예시한 공정의 송신의 중지를 총칭하여 "일련의 공정의 변경"이라고 한다.
이상과 같이, 제3 실시 형태의 정보 처리 장치(300b)에 의하면, 공정 관리부(365)는, 미리 정해진 일련의 공정에 대한 정보를 생성부(360b)에 송신하고, 생성부(360b)는, 수신한 공정을 포함하는 제시용 정보(PN* 및 PNi)를 생성한다. 이 때문에, 정보 처리 장치(300b)는, 미리 정해진 일련의 공정을, 정보 처리 장치(300b)에 접속되어 있는 복수의 헤드 마운트 디스플레이(100a∼100n)(화상 표시 장치)에 표시시킬 수 있다. 또한, 공정 관리부(365)는, 제1 입출력부(311∼31n)(취득부)에 의해 취득된 복수의 의료용 장치 정보에 기초하여, 송신하는 일련의 공정을 변경한다. 이 때문에, 정보 처리 장치(300b)는, 복수의 의료용 장치로부터 취득된 복수의 의료용 장치 정보에 기초하여, 복수의 헤드 마운트 디스플레이(100a∼100n)에 표시시키는 일련의 공정을 변경할 수 있다. 이 결과, 의료용 장치 정보에 기초하여 미리 정해진 일련의 공정을 유연하게 변경하고, 또한, 이러한 공정을 헤드 마운트 디스플레이(100a∼100n)의 사용자에게 안내하는 것이 가능한 정보 처리 장치(300b)를 제공할 수 있다.
또한, 제3 실시 형태의 정보 처리 장치(300b)의 공정 관리부(365)는, 제1 모드에 있어서, 관리 테이블(382)의 장치 간 관계가 "마스터"인 헤드 마운트 디스플레이(100)(즉, 특정의 화상 표시 장치)의 사용자를 위한 일련의 공정을 생성부(360b)에 송신한다. 이 때문에, 정보 처리 장치(300b)는 제1 모드에 있어서, 복수의 헤드 마운트 디스플레이(100a∼100n)(화상 표시 장치)에 대하여, "특정의 화상 표시 장치의 사용자를 위한 일련의 공통된 공정"을 표시시킬 수 있다. 공정 관리부(365)는, 제2 모드에 있어서, 복수의 헤드 마운트 디스플레이(100a∼100n)의 사용자의 각각의 역할에 기초하여 일련의 공정을 생성부(360b)에 송신한다. 이 때문에, 정보 처리 장치(300b)는 제2 모드에 있어서, 복수의 헤드 마운트 디스플레이(100a∼100n)에 대하여, 개별로 "화상 표시 장치의 사용자의 각각의 역할에 기초하여 일련의 공정"을 표시시킬 수 있다.
D. 변형예:
상기 실시 형태에 있어서, 하드웨어에 의해 실현된다고 한 구성의 일부를 소프트웨어로 대체하도록 해도 좋다. 반대로, 소프트웨어에 의해 실현된다고 한 구성의 일부를 하드웨어로 치환하도록 해도 좋다. 또한, 이하와 같은 변형도 가능하다.
- 변형예 1:
상기 실시 형태에서는, 정보 처리 시스템의 구성에 대해서 예시했다. 그러나, 정보 처리 시스템의 구성은, 본 발명의 요지를 일탈하지 않는 범위에 있어서 임의로 정하는 것이 가능하다. 예를 들면, 정보 처리 시스템의 각 장치를 추가, 삭제 또는 변환할 수 있다. 정보 처리 시스템의 장치의 네트워크 구성을 변경할 수 있다.
예를 들면, 정보 처리 장치의 관리 테이블, 불가시부 정보, 수술의 기록은 병원 내 LAN에 접속되어 있는 데이터베이스(OD)에 저장되어 있어도 좋다. 데이터베이스(OD)의 제공은, 병원 내에 한정하지 않고, 인터넷(INT)을 통하여 외부(예를 들면, 병원 외에 설치되고 있는 클라우드 서버)에 설치되어 있어도 좋다.
- 변형예 2:
상기 실시 형태에서는, 정보 처리 장치의 구성에 대해서 예시했다. 그러나, 정보 처리 장치의 구성은, 임의로 결정된 구성이 본 발명의 요지를 일탈하지 않는 한에 있어서는 임의로 정하는 것이 가능하다. 예를 들면, 각 구성부를 추가, 삭제 또는 변환할 수 있다.
예를 들면, 정보 처리 장치는, 터치 패널, 입력 버튼, 키보드, 마우스, 마이크, 카메라 등, 여러 가지의 입력 디바이스를 구비하고 있어도 좋다. 마찬가지로, 정보 처리 장치는, 디스플레이, 인디케이터, 수술에 관한 간이한 로그를 출력하기 위한 프린터 등, 여러 가지의 출력 디바이스를 구비하고 있어도 좋다.
예를 들면, 이 실시 형태에서는, CPU가 ROM 혹은 하드 디스크에 저장되어 있는 컴퓨터 프로그램을 RAM에 전개하여 그 컴퓨터 프로그램을 실행한다. 따라서 생성부 및 제2 입출력부(제공부)의 각 기능이 실행된다. 그러나, 이들 기능은, 당해 기능을 실현하기 위해 설계된 ASIC(Application Specific Integrated Circuit)를 이용하여 실현되어도 좋다.
예를 들면, 정보 처리 장치는, 디스플레이를 구비하도록 구성한다. 게다가, 정보 처리 장치의 생성부는, 결합 정보 생성 처리에 있어서 생성한 결합 정보를, 정보 처리 장치의 디스플레이에 표시시켜도 좋다. 이와 같이 하면, 정보 처리 장치의 근방에 서는 이용자는, 모든 헤드 마운트 디스플레이(화상 표시 장치)에 있어서의 표시 내용을 한번에 파악할 수 있어, 편리하다.
- 변형예 3:
상기 실시 형태에서는, 헤드 마운트 디스플레이의 구성에 대해서 예시했다. 그러나, 헤드 마운트 디스플레이의 구성은, 임의의 결정된 구성이 본 발명의 요지를 일탈하지 않는 한은 임의로 정하는 것이 가능하다. 예를 들면, 각 구성부를 추가, 삭제 또는 변환할 수 있다. 예를 들면, 제어부와 화상 표시부는, 무선 LAN, 적외선 통신, Bluetooth등의 무선의 신호 전송로를 통하여 접속되어 있어도 좋다. 예를 들면, 전원으로서, 일차 전지, 연료 전지, 태양 전지, 열전지 등을 채용해도 좋다.
상기 실시 형태에 있어서, 제어부와, 화상 표시부에 대한 구성 요소의 할당은, 단지 일 예이고, 여러 가지의 태양을 채용 가능하다. 예를 들면, 이하와 같은 형태로 채용해도 좋다. (i) 제어부에 CPU 및 메모리 등의 처리 기능을 탑재하고, 화상 표시부에는 표시 기능만을 탑재하는 형태, (ⅱ) 제어부와 화상 표시부의 양쪽에 CPU 및 메모리 등의 처리 기능을 탑재하는 형태, (ⅲ) 제어부와 화상 표시부를 일체화한 형태(예를 들면, 화상 표시부에 제어부가 포함되어 안경형의 웨어러블 컴퓨터로서 기능하는 태양), (ⅳ) 제어부 대신에 스마트 폰 또 휴대형 게임기를 사용하는 형태, (ⅴ) 제어부와 화상 표시부를 무선 통신 및 무선 급전 가능한 구성으로 함으로써, 케이블을 제거한 형태.
예를 들면, 입력 정보 취득부는, 상기 실시 형태에 예시한 이외의 여러 가지의 방법을 이용하여, 사용자로부터의 조작 입력을 취득해도 좋다. 예를 들면, 풋 스위치(사용자의 발에 의해 조작하는 스위치)에 의한 조작 입력을 취득해도 좋다. 예를 들면, 화상 표시부에 적외선 센서 등의 시선 검지부를 형성한 후에, 사용자의 시선을 검지해도 좋다. 따라서 입력 정보 취득부는 시선의 움직임에 대응지어진 커멘드에 의한 조작 입력을 취득해도 좋다. 예를 들면, 카메라가 사용자의 제스쳐를 검지하고, 입력 정보 취득부는 제스쳐에 대응지어진 커멘드에 의한 조작 입력을 취득해도 좋다. 제스쳐 검지시는, 사용자의 손가락끝, 사용자의 손에 끼워진 반지, 사용자가 손에 드는 의료 기구 등을 움직여 검출을 위한 표적으로 할 수 있다. 입력 정보 취득부가 풋 스위치나 시선에 의한 조작 입력을 취득 가능하면, 입력 정보 취득부는, 사용자가 손을 자유롭게 하는 것이 곤란한 의료의 현장에 있어서도, 사용자로부터의 조작 입력을 용이하게 취득할 수 있다.
예를 들면, 이 실시 형태에서, 헤드 마운트 디스플레이는, 양안 타입의 투과형 헤드 마운트 디스플레이인 것으로 했지만, 헤드 마운트 디스플레이는 단안 타입의 헤드 마운트 디스플레이로 해도 좋다. 본 실시 형태는, 사용자가 헤드 마운트 디스플레이를 장착한 상태에 있어서 외경이 보이는 것을 막는 비투과형 헤드 마운트 디스플레이를 채용하도록 구성해도 좋다. 상기 실시 형태에서는, 사용자가 화상 표시부를 안경과 같이 장착하는 헤드 마운트 디스플레이를 채용하고 있다. 그러나, 예를 들면, 사용자가 모자와 같이 장착하는 타입의 화상 표시부 등, 다른 형상의 화상 표시부를 채용한 헤드 마운트 디스플레이로 해도 좋다. 이어폰은 귀걸이형 이어폰 또는 헤드 밴드형 이어폰을 채용해도 좋고, 또는 이어폰을 생략해도 좋다. 또한, 예를 들면, 자동차 또는 비행기 등의 차량에 탑재되는 헤드업 디스플레이(HUD, Head-Up Display)를 채용하도록 구성되어도 좋다. 부가하여, 본 실시 형태는 헬멧 등의 신체 방호구에 내장된 헤드 마운트 디스플레이를 채용하도록 구성되어도 좋다.
도 23a 및 도 23b는, 변형예에 있어서의 헤드 마운트 디스플레이의 외부의 구성을 나타내는 도이다. 도 23a의 예의 경우, 화상 표시부(20a)가, 오른쪽 광학상 표시부(26)를 대신하여 오른쪽 광학상 표시부(26a)를 구비하고, 왼쪽 광학상 표시부(28)를 대신하여 왼쪽 광학상 표시부(28a)를 구비하고 있다. 오른쪽 광학상 표시부(26a)는, 제1 실시 형태의 광학 부재보다도 작게 형성되고, 사용자가 헤드 마운트 디스플레이를 장착하는 경우 사용자의 우안의 비스듬히 위에 배치되어 있다. 마찬가지로, 왼쪽 광학상 표시부(28a)는, 제1 실시 형태의 광학 부재보다도 작게 형성되고, 사용자가 헤드 마운트 디스플레이를 장착하는 경우, 사용자의 좌안의 비스듬히 위에 배치되어 있다. 도 23b의 예의 경우, 화상 표시부(20b)가, 오른쪽 광학상 표시부(26)를 대신하여 오른쪽 광학상 표시부(26b)를 구비하고, 왼쪽 광학상 표시부(28)를 대신하여 왼쪽 광학상 표시부(28b)를 구비하고 있다. 오른쪽 광학상 표시부(26b)는, 제1 실시 형태의 광학 부재보다도 작게 형성되고, 사용자가 헤드 마운트 디스플레이를 장착하는 경우, 사용자의 우안의 비스듬히 아래에 배치되어 있다. 왼쪽 광학상 표시부(28b)는, 제1 실시 형태의 광학 부재보다도 작게 형성되고, 사용자가 헤드 마운트 디스플레이를 장착하는 경우, 사용자의 좌안의 비스듬히 아래에 배치되어 있다. 이와 같이, 광학상 표시부는 사용자의 눈의 근방에 배치되어 있으면 충분하다. 광학상 표시부를 형성하는 광학 부재의 크기도 임의적으로 결정되어도 좋다. 광학상 표시부가 사용자의 눈의 일부분만을 덮는 형태, 환언하면, 광학상 표시부가 사용자의 눈을 완전하게 덮지 않는 형태의 헤드 마운트 디스플레이를 실현할 수도 있다.
예를 들면, 상기 실시 형태에서는, 표시 구동부는, 백 라이트와, 백 라이트 제어부와, LCD와, LCD 제어부와, 투사 광학계를 구비하도록 구성되지만, 그 구성의 형태는 단지 예시이다. 표시 구동부는, 이들 구성부와 함께, 또는 이들 구성부를 대신하여, 다른 표시 구동 방식을 실현하도록 구성부를 구비하고 있어도 좋다. 예를 들면, 표시 구동부는, 프론트 라이트 방식 또는 반사 방식을 이용하여 화상광을 사출해도 좋다. 예를 들면, 표시 구동부는, 유기 EL(Electro-Luminescence) 디스플레이와, 유기 EL 제어부와, 투사 광학계를 구비하는 구성으로 해도 좋다. 예를 들면, 표시 구동부는, LCD를 대신하여 디지털·마이크로미러·디바이스 등을 이용할 수도 있다. 또한, 예를 들면, 레이저 망막 투영형의 두부 장착형 표시 장치에 대하여 본 발명을 적용하는 것도 가능하다.
- 변형예 4:
상기 실시 형태에서는, 제시용 정보 생성 처리의 일 예를 나타냈다. 그러나, 제시용 정보 생성 처리의 순서는 단지 일 예이고, 여러 가지의 변형이 그 순서에 행해질 수 있다. 예를 들면, 일부의 스텝을 생략해도 좋고, 또는 부가적으로 다른 스텝을 추가해도 좋다. 실행되는 스텝의 순서를 변경해도 좋다.
예를 들면, 상기 실시 형태에서 설명한 불가시부 정보는, 2 차원적으로 표현된 화상을 상정했다. 그러나, 3차원적인 불가시 화상을 촬영 가능한 의료용 장치가 접속되어도 좋다. 외부 기억 장치에 기억되어 있는 불가시부 정보는, 화상 촬상 기기를 이용하여 촬상된 복수의 화상으로부터 작성된 3차원 모델이라도 좋다. 3차원적 불가시부 정보를 이용하는 경우, 생성부는, 제시용 정보의 생성에 앞서, 3차원 모델의 렌더링을 행한다. 생성부는, 렌더링된 화상을 이용하여, 제시용 정보를 생성한다. 이와 같이 하면, 여러 방향에서, 대상 물체의 외관에 나타나지 않는 정보를 볼 수 있다.
예를 들면, 제시용 정보 생성 처리가 제1 모드에서 실행되면, 생성부는, 공통의 제시용 정보를 복수 생성해도 좋다. 구체적으로는, 예를 들면, 제2 입출력부에 각각 접속되어 있는 헤드 마운트 디스플레이를, m(m은 1 이상의 정수)개의 그룹으로 분할한다. 게다가, 생성부는, 제1 그룹에 공통인 제시용 정보,···, 제m 그룹에 공통인 제시용 정보와 같이, 각 그룹에 공통인 제시용 정보를, 생성해도 좋다.
예를 들면, 제시용 정보 생성 처리(초기 처리)가 제2 모드를 실행하면, 제2 입출력부에 각각 접속되어 있는 복수의 헤드 마운트 디스플레이에 관하여, 변수 i를 이용하여 시리얼로 초기 처리를 행하고 있다. 그러나, 초기 처리는, 제2 입출력부에 각각 접속되어 있는 복수의 헤드 마운트 디스플레이에 관하여, 병렬로 실행되어도 좋다.
예를 들면, 제2 모드의 제시용 정보 생성 처리 중, 초기 처리와, 개별 처리 중 어느 한쪽을 생략해도 좋다. 초기 처리는, 제2 모드의 제시용 정보 생성 처리가 개시된 직후에 실행되지 않아도 좋다. 초기 처리와 동일한 처리는, 사용자나 다른 애플리케이션으로부터의 요구에 따라서, 적절히 실행되어도 좋다.
예를 들면, 제1 모드 및 제2 모드에서, 사용자의 요구에 따라서, 제시용 정보에 포함되는 화상을 확대 또는 축소하여, 허상(VI)으로서 헤드 마운트 디스플레이에 표시시켜도 좋다. 마찬가지로, 헤드 마운트 디스플레이는, 사용자의 요구에 따라서, 제시용 정보에 포함되는 화상을 표시하지 않아도 좋고, 헤드 마운트 디스플레이는 제시용 정보에 포함되는 화상의 색을 변환해도 좋다. 사용자가, 마이크로폰을 사용하여 음성 입력 방법에 의해 요구를 입력하면, 사용자가 손을 이용하여 헤드 마운트 디스플레이를 조작하는 것이 곤란한 의료의 현장에 있어서 헤드 마운트 디스플레이가 사용되는 경우의, 사용자의 편리성을 크게 향상시킬 수 있다.
- 변형예 5:
상기 실시 형태에서는, 결합 정보 생성 처리의 일 예를 나타냈다. 그러나, 결합 정보 생성 처리의 순서는 단지 일 예이고, 여러 가지의 변형이 그 순서에 행해질 수 있다. 예를 들면, 일부의 스텝을 생략해도 좋고, 또는 다른 스텝을 더 추가해도 좋다. 실행되는 스텝의 순서를 변경해도 좋다.
예를 들면, 생성부는, 생성하는 결합 정보에 대하여, 제시용 정보의 축소 화상 이외의 정보를 포함하게 해도 좋다. 예를 들면, 이하에 열거하는 정보를 포함하게 해도 좋다.
- 그 제시용 정보가 공급되고 있는 헤드 마운트 디스플레이를 식별하기 위한 문자열 또는 화상
- 그 제시용 정보가 공급되고 있는 헤드 마운트 디스플레이의 사용자의 관리적 위치를 나타내는 문자열 또는 화상
- 의료용 장치의 의료용 장치 정보
- 병원 내 데이터베이스에 기억되어 있는 데이터
- 불가시부 정보로 기억되어 있는 데이터
- 불가시부 정보로 기억되어 있는 데이터
- 사용자가 표시부를 보기 곤란한 의료용 장치의 의료용 장치 정보
예를 들면, 생성부는, 결합 정보의 요구를, 특정의 헤드 마운트 디스플레이로부터만 수신해도 좋다. 특정의 헤드 마운트 디스플레이는, 예를 들면, 마스터 헤드 마운트 디스플레이 또는 사용자가 특정의 역할을 담당하고 있는 헤드 마운트 디스플레이이다.
- 변형예 6:
상기 실시 형태에서는, 공정 관리 처리의 일 예를 나타냈다. 그러나, 공정 관리 처리의 순서는 단지 일 예이고, 여러 가지의 변형이 그 순서에 행해질 수 있다. 예를 들면, 일부의 스텝을 생략해도 좋고, 또는 다른 스텝을 더 추가해도 좋다. 실행되는 스텝의 순서를 변경해도 좋다.
예를 들면, 스텝 S310에 예시한 새로운 공정의 추가(일부 공정의 삭제 또는 일부 공정의 대체)를 대신하여, 또는, 새로운 공정의 추가, 삭제 또는 대체에 더하여 본 실시 형태는 외부의 시설의 의사(PR)(도 19)와의 통화를 통하여 그 의사(PR)에 의한 세컨드 오피니언을 제공 가능한 구성으로 해도 좋다.
예를 들면, 스텝 S310에 예시한 새로운 공정의 추가(일부 공정의 삭제 또는 일부 공정의 대체)와, 스텝 S316에 예시한 공정의 송신의 중지는, 어느 한쪽을 생략해도 좋다.
예를 들면, "미리 정해진 일련의 공정"은, 집도의나 다른 의사 등에 의해 결정된다고 했다. 공정 관리부는, 이러한 "미리 정해진 일련의 공정"의 후보가 되어야 할 일련의 공정(필요하면 복수조의 일련의 공정)을, 헤드 마운트 디스플레이의 사용자에게 제안하는 구성으로 해도 좋다. 이 경우, 예를 들면 공정 관리부는, 사전에 취득된 의료용 장치 정보에 기초하여, 공정 정보를 검색함으로써, 후보를 도출할 수 있다.
예를 들면, 공정 관리 처리는, 제1 모드의 제시용 정보 생성 처리와, 제2 모드의 제시용 정보 생성 처리 중 어느 한쪽만을 조정해도 좋다.
- 변형예 7:
상기 실시 형태에서는, 공통 영상 사양과, 관리 테이블과, 공정 정보와, 긴급 대응 정보의 일 예를 나타냈다. 그러나, 이러한 상세는 단지 일 예이고, 여러 가지의 변경이 가능하다. 예를 들면, 필드(항목)의 추가, 삭제 또는 변경을 행할 수 있다. 관리 테이블은, 복수의 테이블도 분할하여 정규화해도 좋다.
예를 들면, 관리 테이블에는, 헤드 마운트 디스플레이를 서로 식별하기 위한 식별자를 대신하여, 또는 식별자와 함께, 헤드 마운트 디스플레이의 사용자의 성문이 기억되어 있어도 좋다. 그러면, 정보 처리 장치는, 마이크로폰을 통하여 취득한 사용자의 성문에 기초하여, 당해 사용자의 헤드 마운트 디스플레이의 장치 간 관계, 역할, 영상 사양을 취득하고, 정보 처리 장치는 제시용 정보 생성 처리를 실행할 수 있다.
예를 들면, 관리 테이블에는, 헤드 마운트 디스플레이의 식별자에 대응지어 추가로, 헤드 마운트 디스플레이와 정보 처리 장치의 통신에 사용되는 정보(예를 들면, 헤드 마운트 디스플레이의 IP 주소, MAC 주소, 암호화키 등)가 기억되어 있어도 좋다. 관리 테이블에는, 영상 신호의 사양의 패턴을 나타내는 "영상 사양"대신에, 각 헤드 마운트 디스플레이에 있어서 채용되어 있는 실제의 영상 사양(즉, 공통 영상 사양에 기억되어 있는 항목과 동일한 항목)이 기억되어 있어도 좋다.
예를 들면, 관리 테이블은, 헤드 마운트 디스플레이의 식별자마다, 장치 간 관계와, 역할과, 영상 사양을 기억하는 것으로 했다. 그러나, 각 사용자에게 "유저 ID"를 할당하고, 당해 유저 ID마다, 장치 간 관계와, 역할과, 영상 사양을 관리 테이블에 기억해도 좋다.
예를 들면, 긴급 대응 정보로 미리 기억되어 있는 "긴급 대응" 1가지의 대응이다. 그러나, 긴급 대응에는, 복수의 대응이 기억되어 있어도 좋다. 공정 관리부는, 당해 복수의 대응을 화상 표시 장치의 사용자에게 안내해도 좋다. 이와 같이 하면, 화상 표시 장치의 사용자는, 복수의 긴급 대응으로부터, 자신의 경험이나 상황에 기초하여 최적이라고 생각되는 긴급 대응을 선택할 수 있다. 이 결과, 정보 처리 장치에 있어서의 편리성을 보다 향상시킬 수 있다.
- 변형예 8:
본 발명은, 전술의 실시 형태, 실시예 및 변형예에 한정되지 않는다. 본 발명은 다양한 구성이 본 발명의 취지를 일탈하지 않는 한은 여러 가지의 구성으로 실현할 수 있다. 예를 들면, 발명의 개요에 기재한 각 형태 중의 기술적 특징에 각각 대응하는 실시 형태, 실시예 및 변형예 중의 기술적 특징은, 전술의 과제의 일부 또는 전부를 해결하기 위해, 혹은, 전술의 효과의 일부 또는 전부를 달성하기 위해, 적절히, 교환 또는 조합하는 것이 가능하다. 그 기술적 특징이 본 명세서 중에 필수인 것으로서 설명되어 있지 않으면, 그 기술적 특징은 적절히, 삭제하는 것이 가능하다.
10 : 제어부
20 : 화상 표시부
22 : 오른쪽 표시 구동부
24 : 왼쪽 표시 구동부
26 : 오른쪽 광학상 표시부
28 : 왼쪽 광학상 표시부
32 : 오른쪽 이어폰
34 : 왼쪽 이어폰
40 : 케이블
51 : 송신부
52 : 송신부
53 : 수신부
54 : 수신부
61 : 카메라(화상 취득부)
110 : 입력 정보 취득부
100 : 헤드 마운트 디스플레이(화상 표시 장치, 두부 장착형 표시 장치)
120 : 기억부
130 : 전원
140 : CPU
160 : 화상 처리부
170 : 음성 처리부
180 : 인터페이스
190 : 표시 제어부
201 : 오른쪽 백 라이트 제어부
202 : 왼쪽 백 라이트 제어부
211 : 오른쪽 LCD 제어부
212 : 왼쪽 LCD 제어부
221 : 오른쪽 백 라이트
222 : 왼쪽 백 라이트
241 : 오른쪽 LCD
242 : 왼쪽 LCD
251 : 오른쪽 투사 광학계
252 : 왼쪽 투사 광학계
261 : 오른쪽 도광판
262 : 왼쪽 도광판
300 : 정보 처리 장치
310 : 제1 입출력부
311∼31n : 제1 입출력부(취득부)
320 : ROM
330 : RAM
340 : 통신 인터페이스
350 : CPU
360 : 생성부
365 : 공정 관리부
370 : 제2 입출력부(제공부)
371∼37n : 제2 입출력부
380 : 외부 기억 장치
381 : 공통 영상 사양
382 : 관리 테이블(역할 기억부 및 장치 간 관계 기억부)
383 : 불가시부 정보
384 : 수술의 기록
385 : 동작 모드
386 : 공정 정보
387 : 긴급 대응 정보
500 : 의료용 장치
501∼50n : 의료용 장치
700 : 디스플레이
1000 : 정보 처리 시스템
OA : 외부 기기
PC : 퍼스널 컴퓨터
OD : 데이터베이스
VI : 허상
PN : 제시용 정보
JN : 결합 정보
VR : 시야
PR : 의사
MP1 : 위치
UP1 : 현재 위치
CP1 : 의료용 장치 정보

Claims (19)

  1. 정보 처리 장치로서,
    복수의 의료용 장치로부터 취득된 복수의 정보인 복수의 의료용 장치 정보를 취득하는 취득부와,
    상기 취득부에 의해 취득된 상기 복수의 의료용 장치 정보의 적어도 일부를 각각 포함하는 복수의 제시용 정보를 생성하는 생성부와,
    복수의 화상 표시 장치로, 생성된 상기 제시용 정보를 출력하는 제공부
    를 구비하는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 생성부는, 상기 복수의 화상 표시 장치에 대하여 공통되는 상기 제시용 정보를 생성하는 제1 모드와, 상기 복수의 화상 표시 장치에 각각 대응하는 복수의 상기 제시용 정보를 생성하는 제2 모드를 갖는 정보 처리 장치.
  3. 제2항에 있어서,
    상기 생성부는, 상기 제1 모드에 있어서, 특정의 화상 표시 장치의 사용자에 의해 선택된 상기 의료용 장치 정보를 적어도 포함하는 공통의 상기 제시용 정보를 생성하는 정보 처리 장치.
  4. 제3항에 있어서,
    추가로,
    상기 복수의 화상 표시 장치를 개별적으로 식별하기 위한 정보를, 당해 화상 표시 장치가 상기 특정의 화상 표시 장치인지 아닌지를 나타내는 정보와 관련지어 기억하는 장치 간 관계 기억부를 구비하고,
    상기 생성부는, 상기 제1 모드에 있어서, 상기 장치 간 관계 기억부를 이용하여 상기 특정의 화상 표시 장치를 식별하는 정보 처리 장치.
  5. 제2항에 있어서,
    상기 생성부는, 상기 제2 모드에 있어서, 상기 복수의 화상 표시 장치의 사용자에 의해 각각 선택된 상기 의료용 장치 정보를 적어도 각각 포함하는 상기 복수의 제시용 정보를 생성하는 정보 처리 장치.
  6. 제2항에 있어서,
    상기 생성부는, 상기 제2 모드에 있어서, 상기 사용자의 각각의 역할에 기초하여 상기 의료용 장치로부터 취득한 상기 의료용 장치 정보를 적어도 각각 포함하는 상기 복수의 제시용 정보를 생성하는 정보 처리 장치.
  7. 제6항에 있어서,
    추가로,
    상기 복수의 화상 표시 장치를 개별적으로 식별하기 위한 정보를, 당해 화상 표시 장치의 사용자의 역할과 관련지어 기억하는 역할 기억부를 구비하고,
    상기 생성부는, 상기 제2 모드에 있어서, 상기 역할 기억부를 이용하여 상기 사용자의 역할을 식별하는 정보 처리 장치.
  8. 제2항에 있어서,
    상기 생성부는, 상기 제2 모드에 있어서, 생성된 상기 복수의 제시용 정보를 함께 결합한 결합 정보를 추가로 생성하고,
    상기 제공부는, 상기 특정의 화상 표시 장치에 대하여, 생성된 상기 결합 정보를 출력하는 정보 처리 장치.
  9. 제1항에 있어서,
    상기 생성부가 상기 제시용 정보를 생성할 때에, 상기 생성부는 상기 의료용 장치 정보에 포함되는 화상의 종횡비를 유지한 채로, 화상을 확대 또는 축소하는 정보 처리 장치.
  10. 제1항에 있어서,
    상기 정보 처리 장치에는, 상기 화상 표시 장치로서, 사용자가 허상과 외경을 볼 수 있는 두부 장착형 표시 장치가 접속되는 정보 처리 장치.
  11. 제10항에 있어서,
    상기 제공부는, 상기 두부 장착형 표시 장치로부터, 상기 두부 장착형 표시 장치를 장착한 사용자의 시계(visual field) 방향의 화상을 추가로 취득하고,
    상기 제공부는 취득된 상기 시계 방향의 화상을 인식함으로써 외경에 포함되는 물체의 특징을 추가로 추출하고,
    상기 제공부는 추출한 상기 특징에 기초하여 생성부에 의해 생성된 상기 제시용 정보를 추가로 보정하고, 보정된 상기 제시용 정보를 출력하는 정보 처리 장치.
  12. 제1항에 있어서,
    추가로,
    미리 정해진 공정에 대한 정보를 상기 생성부에 송신하는 공정 관리부로서, 상기 취득부에 의해 취득된 상기 복수의 의료용 장치 정보에 기초하여, 송신하는 상기 공정을 변경하는 공정 관리부를 구비하고,
    상기 생성부는, 수신한 상기 공정을 포함하는 상기 제시용 정보를 생성하는 정보 처리 장치.
  13. 제12항에 있어서,
    상기 공정 관리부는, 상기 복수의 의료용 장치 정보를 반복하여 취득하고, 최신의 상기 복수의 의료용 장치 정보에 기초하여, 상기 생성부에 송신하는 상기 공정을 변경하는 정보 처리 장치.
  14. 제12항에 있어서,
    상기 공정 관리부는, 복수의 상기 공정으로 이루어지는 미리 정해진 일련의 공정에 대한 정보를 상기 생성부에 송신하고,
    상기 공정 관리부는 상기 일련의 공정에 대한 새로운 공정의 추가와, 상기 일련의 공정 중 적어도 일부의 공정의 삭제와, 상기 일련의 공정 중 적어도 일부의 공정의 대체 중 적어도 어느 하나를 행함으로써, 상기 공정을 변경하는 정보 처리 장치.
  15. 제12항에 있어서,
    상기 공정 관리부는, 복수의 상기 공정으로 이루어지는 미리 정해진 일련의 공정을, 1의 공정씩 순차 상기 생성부로 송신하고,
    상기 공정 관리부는 상기 1의 공정의 송신을 중지함으로써 상기 공정을 변경하는 정보 처리 장치.
  16. 제2항에 종속되는 제12항에 있어서,
    상기 공정 관리부는, 상기 제1 모드에 있어서, 상기 특정의 상기 화상 표시 장치의 사용자를 위한 상기 공정을 상기 생성부에 송신하는 정보 처리 장치.
  17. 제2항에 종속되는 제12항에 있어서,
    상기 공정 관리부는, 상기 제2 모드에 있어서, 상기 사용자의 역할에 각각 대응하는 상기 공정을 상기 생성부에 송신하는 정보 처리 장치.
  18. 정보 처리 방법으로서,
    (a) 복수의 의료용 장치로부터 취득된 복수의 정보인 복수의 의료용 장치 정보를 취득하고,
    (b) 취득된 상기 복수의 의료용 장치 정보의 적어도 일부를 포함하는 제시용 정보를 생성하고,
    (c) 복수의 화상 표시 장치로, 생성된 상기 제시용 정보를 출력하는 것
    을 구비하는 정보 처리 방법.
  19. 정보 처리 시스템으로서,
    복수의 의료용 장치와,
    정보 처리 장치와,
    복수의 두부 장착형 표시 장치로서, 각각에서 사용자가 허상과 외경을 볼 수 있는 두부 장착형 표시 장치를 구비하고,
    상기 정보 처리 장치는,
    상기 복수의 의료용 장치로부터 취득된 복수의 정보인 복수의 의료용 장치 정보를 취득하는 취득부와,
    상기 취득부에 의해 취득된 상기 복수의 의료용 장치 정보의 적어도 일부를 포함하는 제시용 정보를 생성하는 생성부와,
    상기 복수의 두부 장착형 표시 장치로, 생성된 상기 제시용 정보를 출력하는 제공부를 구비하고,
    상기 두부 장착형 표시 장치는,
    상기 정보 처리 장치로부터 상기 제시용 정보를 취득하는 제시용 정보 취득부와,
    취득된 상기 제시용 정보를 상기 허상으로서 상기 두부 장착형 표시 장치의 사용자에게 보이게 하는 화상 표시부를 구비하는 정보 처리 시스템.
KR1020167003627A 2013-07-16 2014-07-11 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템 Ceased KR20160033721A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013147420A JP2015019679A (ja) 2013-07-16 2013-07-16 情報処理装置、情報処理方法、および、情報処理システム
JPJP-P-2013-147420 2013-07-16
JP2014067406A JP6311393B2 (ja) 2014-03-28 2014-03-28 情報処理装置、情報処理方法、および、情報処理システム
JPJP-P-2014-067406 2014-03-28
PCT/JP2014/003697 WO2015008470A2 (en) 2013-07-16 2014-07-11 Information processing apparatus, information processing method, and information processing system

Publications (1)

Publication Number Publication Date
KR20160033721A true KR20160033721A (ko) 2016-03-28

Family

ID=51399746

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167003627A Ceased KR20160033721A (ko) 2013-07-16 2014-07-11 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템

Country Status (7)

Country Link
US (3) US10042598B2 (ko)
EP (1) EP3022672A2 (ko)
KR (1) KR20160033721A (ko)
CN (2) CN109637622A (ko)
RU (1) RU2642941C2 (ko)
TW (1) TW201505603A (ko)
WO (1) WO2015008470A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020101283A1 (ko) * 2018-11-14 2020-05-22 임승준 증강 현실을 이용한 수술 보조 장치

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11896350B2 (en) * 2009-05-20 2024-02-13 Sotera Wireless, Inc. Cable system for generating signals for detecting motion and measuring vital signs
BR112013013565B1 (pt) * 2010-12-02 2021-11-23 Ultradent Products Inc Sistema e método de visualização e rastreamento de imagens de vídeo estereoscópicas
WO2013180773A1 (en) 2012-06-01 2013-12-05 Ultradent Products, Inc. Stereoscopic video imaging
US10042598B2 (en) * 2013-07-16 2018-08-07 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
CN105992996B (zh) 2014-04-04 2019-11-26 外科手术室公司 外科手术环境中的动态和交互式导航
JP6574939B2 (ja) * 2014-09-16 2019-09-18 ソニー株式会社 表示制御装置、表示制御方法、表示制御システムおよび頭部装着ディスプレイ
US9541998B2 (en) * 2015-01-29 2017-01-10 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
AU2015382441B2 (en) * 2015-02-13 2018-05-31 Halliburton Energy Services, Inc. Distributing information using role-specific augmented reality devices
GB2549037B (en) * 2015-02-13 2020-12-16 Halliburton Energy Services Inc Using augmented reality to collect, process and share information
KR20240164819A (ko) * 2015-05-15 2024-11-20 마코 서지컬 코포레이션 로봇식 의료 절차에 대한 지침을 제공하기 위한 시스템들 및 방법들
CN104881128B (zh) * 2015-06-18 2018-01-16 北京国承万通信息科技有限公司 基于实物在虚拟现实场景中显示目标图像的方法及系统
CN104950450A (zh) * 2015-07-21 2015-09-30 吴高全 一种医疗智能眼镜及其应用方法
CN107613897B (zh) 2015-10-14 2021-12-17 外科手术室公司 扩增实境的外科导航
US10052170B2 (en) * 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
CN108472095B (zh) * 2015-12-29 2021-11-02 皇家飞利浦有限公司 用于机器人外科手术的使用虚拟现实设备的系统、控制器和方法
US10069697B2 (en) * 2016-01-29 2018-09-04 Microsoft Technology Licensing, Llc Routing actions to user devices based on a user graph
EP3449859B1 (en) 2016-04-28 2024-07-03 Sony Group Corporation Control device, control method and surgical system
JP2018038503A (ja) 2016-09-06 2018-03-15 ソニー株式会社 医療用画像処理装置、画像処理方法、及びプログラム
WO2018052966A1 (en) * 2016-09-16 2018-03-22 Zimmer, Inc. Augmented reality surgical technique guidance
JP6828465B2 (ja) * 2017-01-30 2021-02-10 セイコーエプソン株式会社 内視鏡操作支援システム
CA3055941C (en) 2017-03-13 2023-06-20 Zimmer, Inc. Augmented reality diagnosis guidance
US11219422B2 (en) * 2017-03-14 2022-01-11 Canon Medical Systems Corporation Image displaying system, image processing apparatus and x-ray imaging system
EP3593344A4 (en) * 2017-03-24 2021-01-06 Surgical Theater LLC TRAINING AND COLLABORATION SYSTEM AND PROCESS IN A VIRTUAL ENVIRONMENT
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
WO2019176556A1 (ja) * 2018-03-13 2019-09-19 ソニー株式会社 医療機器管理システム及び医療機器管理方法
US20190333274A1 (en) * 2018-04-27 2019-10-31 International Business Machines Corporation Augmented Reality Presentation Associated with a Patient's Medical Condition and/or Treatment
TWI678181B (zh) * 2018-04-30 2019-12-01 長庚大學 手術導引系統
CN109862378B (zh) * 2018-12-29 2021-05-18 广州中智达信科技有限公司 一种手术记录方法
JP7313888B2 (ja) * 2019-04-24 2023-07-25 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法及びプログラム
CN111885554B (zh) * 2020-04-24 2023-09-12 珠海市杰理科技股份有限公司 基于双无线蓝牙通信的链路切换方法及相关设备
CN111599427B (zh) * 2020-05-14 2023-03-31 郑州大学第一附属医院 一种一元化诊断的推荐方法、装置、电子设备及存储介质
CN112235560B (zh) * 2020-09-22 2023-01-24 上海视天科技有限公司 一种vr眼镜
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US12064293B2 (en) 2020-10-02 2024-08-20 Cilag Gmbh International Field programmable surgical visualization system
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US12484897B2 (en) 2020-10-02 2025-12-02 Cilag Gmbh International Surgical instrument with adaptive configuration control
US12472032B2 (en) 2020-10-02 2025-11-18 Cilag Gmbh International Monitoring of user visual gaze to control which display system displays the primary information
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US12213801B2 (en) 2020-10-02 2025-02-04 Cilag Gmbh International Surgical visualization and particle trend analysis system
US11748924B2 (en) * 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
CN112263331B (zh) * 2020-10-30 2022-04-05 上海初云开锐管理咨询有限公司 一种体内医疗器械视觉呈现系统及方法
US12324708B2 (en) * 2021-02-17 2025-06-10 Derek Duong Augmented reality dental surgery
US11944508B1 (en) 2022-01-13 2024-04-02 Altair Innovations, LLC Augmented reality surgical assistance system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001104331A (ja) 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JP2006102495A (ja) 2004-10-01 2006-04-20 General Electric Co <Ge> 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置
JP2010259497A (ja) 2009-04-30 2010-11-18 Osaka Univ 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
JP2013034764A (ja) 2011-08-10 2013-02-21 Akira Takebayashi サージカルガイド装置及びドリルの位置決め方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
EP1356413A2 (en) * 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
CA2425075A1 (en) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
WO2002101594A2 (en) * 2001-06-11 2002-12-19 Hrl Laboratories, Llc Method and apparatus for determining and assessing information to be collected based on information-theoretic measures
JP2005208823A (ja) 2004-01-21 2005-08-04 Seiko Epson Corp プロジェクタのネットワークシステム
CA2561274C (en) * 2004-03-26 2015-08-11 Atsushi Takahashi Three-dimensional digital entity magnifying glass system incorporating three-dimensional visual training functions
KR100606785B1 (ko) * 2004-07-07 2006-08-01 엘지전자 주식회사 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
US20060044399A1 (en) * 2004-09-01 2006-03-02 Eastman Kodak Company Control system for an image capture device
DE102004046430A1 (de) * 2004-09-24 2006-04-06 Siemens Ag System zur visuellen Situations-bedingten Echtzeit-basierten Unterstützung eines Chirurgen und Echtzeit-basierter Dokumentation und Archivierung der vom Chirurgen während der Operation visuell wahrgenommenen Unterstützungs-basierten Eindrücke
US20060074711A1 (en) * 2004-10-01 2006-04-06 Prakash Mahesh System and method for handling multiple radiology applications and workflows
US8099296B2 (en) * 2004-10-01 2012-01-17 General Electric Company System and method for rules-based context management in a medical environment
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
WO2007060794A1 (ja) * 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮影装置、携帯端末装置、撮影方法、およびプログラム
JP2007293721A (ja) * 2006-04-26 2007-11-08 Shimadzu Corp 巡回点検支援システム
US8259034B2 (en) 2006-08-30 2012-09-04 Totoku Electric Co., Ltd. Image displaying apparatus and image display program
US20080058612A1 (en) * 2006-09-05 2008-03-06 Shigeharu Ohyu Medical information system
JP4762160B2 (ja) 2007-01-16 2011-08-31 株式会社日立メディコ 手術支援システム
JP4917930B2 (ja) 2007-03-16 2012-04-18 株式会社リコー 画面共有システム、画面共有プログラム
CN102006818A (zh) * 2008-01-24 2011-04-06 救生外科系统公司 胆总管手术成像系统
US20090326336A1 (en) 2008-06-25 2009-12-31 Heinz Ulrich Lemke Process for comprehensive surgical assist system by means of a therapy imaging and model management system (TIMMS)
WO2010117578A1 (en) 2009-03-31 2010-10-14 Nellcor Puritan Bennett Llc Medical monitoring system with open device architecture
US20100299627A1 (en) 2009-05-20 2010-11-25 Qualcomm Incorporated Method and apparatus for content boundary detection and scaling
KR101402622B1 (ko) * 2009-07-01 2014-06-09 삼성전자주식회사 영상표시장치 및 영상표시방법
RU93655U1 (ru) * 2009-12-22 2010-05-10 Государственное научно-учебное учреждение "Учебно-исследовательский Центр космической биомедицины" Носимый телемедицинский диагностический комплект
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20110250962A1 (en) * 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
US20130093738A1 (en) 2010-06-28 2013-04-18 Johannes Manus Generating images for at least two displays in image-guided surgery
DE102010052244A1 (de) 2010-11-23 2012-05-24 Pierre-Alain Cotte Verfahren und Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit auf einem externen Anzeigegerät
CN102668556A (zh) * 2010-12-17 2012-09-12 松下电器产业株式会社 医疗支援装置，医疗支援方法以及医疗支援系统
JP5874176B2 (ja) * 2011-03-06 2016-03-02 ソニー株式会社 表示装置、並びに中継装置
JP5953714B2 (ja) * 2011-11-24 2016-07-20 セイコーエプソン株式会社 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
JP5708261B2 (ja) * 2011-05-31 2015-04-30 ブラザー工業株式会社 ヘッドマウントディスプレイ連携装置、及びヘッドマウントディスプレイの連携プログラム
EP2544039A1 (en) * 2011-07-04 2013-01-09 BAE Systems Plc. Display system
US8681073B1 (en) * 2011-09-29 2014-03-25 Rockwell Collins, Inc. System for and method of controlling contrast or color contrast in see-through displays
US10042598B2 (en) * 2013-07-16 2018-08-07 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001104331A (ja) 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JP2006102495A (ja) 2004-10-01 2006-04-20 General Electric Co <Ge> 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置
JP2010259497A (ja) 2009-04-30 2010-11-18 Osaka Univ 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
JP2013034764A (ja) 2011-08-10 2013-02-21 Akira Takebayashi サージカルガイド装置及びドリルの位置決め方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020101283A1 (ko) * 2018-11-14 2020-05-22 임승준 증강 현실을 이용한 수술 보조 장치
KR20200056051A (ko) * 2018-11-14 2020-05-22 임승준 증강 현실을 이용한 수술 보조 장치
US11291521B2 (en) 2018-11-14 2022-04-05 Seung Joon IM Surgery assisting device using augmented reality

Also Published As

Publication number Publication date
CN104298344A (zh) 2015-01-21
US20180364965A1 (en) 2018-12-20
WO2015008470A2 (en) 2015-01-22
TW201505603A (zh) 2015-02-16
RU2642941C2 (ru) 2018-01-29
RU2016104900A (ru) 2017-08-21
CN109637622A (zh) 2019-04-16
US11341726B2 (en) 2022-05-24
US10664216B2 (en) 2020-05-26
EP3022672A2 (en) 2016-05-25
US10042598B2 (en) 2018-08-07
WO2015008470A3 (en) 2015-06-11
CN104298344B (zh) 2018-11-20
US20160154620A1 (en) 2016-06-02
US20200257485A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
US11341726B2 (en) Information processing apparatus, information processing method, and information processing system
JP6252004B2 (ja) 情報処理装置、情報処理方法、および、情報処理システム
US10169925B2 (en) Head mounted display and control method for head mounted display
JP2015019679A (ja) 情報処理装置、情報処理方法、および、情報処理システム
JP6311393B2 (ja) 情報処理装置、情報処理方法、および、情報処理システム
JP6299067B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10197803B2 (en) Augmented reality glasses for medical applications and corresponding augmented reality system
US20240127931A1 (en) Surgery visualization theatre
JP6264855B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6409927B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20160212

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170720

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180130

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170720

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I