[go: up one dir, main page]

KR101835235B1 - 시각 장애인 보조장치 및 그 제어방법 - Google Patents

시각 장애인 보조장치 및 그 제어방법 Download PDF

Info

Publication number
KR101835235B1
KR101835235B1 KR1020160184454A KR20160184454A KR101835235B1 KR 101835235 B1 KR101835235 B1 KR 101835235B1 KR 1020160184454 A KR1020160184454 A KR 1020160184454A KR 20160184454 A KR20160184454 A KR 20160184454A KR 101835235 B1 KR101835235 B1 KR 101835235B1
Authority
KR
South Korea
Prior art keywords
unit
visually impaired
character
voice
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160184454A
Other languages
English (en)
Inventor
권순각
김흥준
윤찬영
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020160184454A priority Critical patent/KR101835235B1/ko
Application granted granted Critical
Publication of KR101835235B1 publication Critical patent/KR101835235B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • A61H2003/065—Walking aids for blind persons with electronic detecting or guiding means with tactile perception in the form of braille
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5043—Displays
    • A61H2201/5046—Touch screens

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Vascular Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시예에 따른 시각 장애인 보조장치는, 사용자의 터치 입력을 감지하는 터치 입력부와, 상기 사용자의 음성 입력을 감지하는 마이크로 폰을 포함하는 입력부; 시각 장애인 보조 기능에 대한 그래픽 이미지를 표시하는 디스플레이부; 수평을 감지하는 자이로스코프 센서를 포함하는 센서부; 상기 시각 장애인 보조 기능에 대한 음향을 출력하는 오디오 출력부; 상기 시각 장애인 보조 기능에 대한 진동을 출력하는 햅틱 출력부; 주변 환경을 촬영하여 영상을 획득하는 카메라부; 및 상기 카메라부에서 촬영된 영상 내에 문자를 인식하고, 상기 인식된 문자를 음성으로 합성하고, 상기 합성된 음성을 출력하도록 상기 오디오 출력부를 제어하는 문자 음성 변환 기능을 제공하는 프로세서를 포함하고, 상기 프로세서는, 상기 문자 음성 변환 기능을 실행하기 위해 상기 터치 입력부와 상기 디스플레이부를 제어하여 그래픽 유저 인터페이스를 제공하고, 상기 음성 입력부와 상기 오디오 출력부를 제어하여 상기 그래픽 유저 인터페이스를 보조하는 보이스 유저 인터페이스를 제공하고, 상기 카메라부가 상기 문자가 쓰여진 객체를 촬영하도록 유도하는 촬영 유도 인터페이스를 제공한다.

Description

시각 장애인 보조장치 및 그 제어방법 {Apparatus and method for supporting the blind}
본 발명은 시각 장애인 보조장치 및 그 제어방법에 관한 것이다.
시각 장애인이나 시력이 좋지 못한 사람들이 책이나 신문 같은 문서 및 글자 등을 판독하기 위하여, 안경, 콘택트 렌즈 등 시력 향상 보조 도구를 항상 휴대하면서 착용한 후에 문자를 판독하여야 한다.
이러한 시각 장애인들을 위해 개발된 시각 장애인 보조장치는, 문서를 카메라를 이용하여 캡쳐하여 이미지 파일을 생성하고, 상기 이미지 파일을 OCR 기능을 가진 문자 판독 프로그램을 이용하여 텍스트 문서로 변경한 후, 이를 다시 음성 합성 프로그램을 이용하여 상기 텍스트 문서에 대응하는 음성을 합성하여 출력하는 기능이 제공되고 있다.
그러나 이러한 시각 장애인 보조장치는, 기본적으로 탑재된 문서 음성 출력 기능이나 내비게이션 기능 외에 시각 장애인을 보조하기 위한 다양한 편의 기능을 제공할 수 없는 문제가 있다.
그리고 시각 장애인 보조장치는 기본적으로 시각 장애인만을 대상으로 판매되기 때문에 대량 생산이 어려워 제조 비용이 높은 단점이 있다.
한편, 최근 이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 이미지촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 콘텐트를 제공하는 멀티캐스트 신호를 수신할 수 있다.
이러한 이동 단말기를 이용하여 시각 장애인을 보조하는 프로그램들이 개발되고 있으며, 특히, 문자 영상을 음성으로 출력하는 휴대 단말기에 대해서는 대한민국 공개특허 제 10-2004-0109862호(' 장착된 카메라를 통하여 입력된 영상에 관한 음성데이터를 출력하는 휴대 단말기 ')외에 다수 개시되었다.
그러나 현재 개발된 장애인 보조 프로그램이 설치된 이동 단말기는, 그래픽 유저 인터페이스(GUI)을 통해 사용자와 상호 작용하므로, 시각 장애인은 이동 단말기를 이용하여 시각 장애인 보조 기능들을 실행하기 어려운 문제가 있다.
또한, 이동 단말기가 제공하는 시각 장애인 보조 기능은, 문자 음성 변환 기능과 내비게이션 기능에만 초점이 맞추어져 개발되고 있어, 실생활에서 시각 장애인들이 필요로 하는 다양한 편의 기능에 대한 추가적인 개발이 요구되고 있는 실정이다.
대한민국 공개특허 제 10-2004-0109862호(' 장착된 카메라를 통하여 입력된 영상에 관한 음성데이터를 출력하는 휴대 단말기')
본 발명에 따른 실시예는 전술한 문제점을 해결하기 위한 것으로서, 시각 장애인이 원활하게 이용할 수 있는 유저 인터페이스를 제공하며 시각 장애인을 위한 생활 편의 기능을 제공하는 시각 장애인 보조장치와 그 제어방법을 제공하고자 한다.
실시예에 따른 시각 장애인 보조장치는, 사용자의 터치 입력을 감지하는 터치 입력부와, 상기 사용자의 음성 입력을 감지하는 마이크로 폰을 포함하는 입력부; 시각 장애인 보조 기능에 대한 그래픽 이미지를 표시하는 디스플레이부; 수평을 감지하는 자이로스코프 센서를 포함하는 센서부; 상기 시각 장애인 보조 기능에 대한 음향을 출력하는 오디오 출력부; 상기 시각 장애인 보조 기능에 대한 진동을 출력하는 햅틱 출력부; 주변 환경을 촬영하여 영상을 획득하는 카메라부; 및 상기 카메라부에서 촬영된 영상 내에 문자를 인식하고, 상기 인식된 문자를 음성으로 합성하고, 상기 합성된 음성을 출력하도록 상기 오디오 출력부를 제어하는 문자 음성 변환 기능을 제공하는 프로세서를 포함하고, 상기 프로세서는, 상기 문자 음성 변환 기능을 실행하기 위해 상기 터치 입력부와 상기 디스플레이부를 제어하여 그래픽 유저 인터페이스를 제공하고, 상기 음성 입력부와 상기 오디오 출력부를 제어하여 상기 그래픽 유저 인터페이스를 보조하는 보이스 유저 인터페이스를 제공하고, 상기 카메라부가 상기 문자가 쓰여진 객체를 촬영하도록 유도하는 촬영 유도 인터페이스를 제공한다.
또한, 실시예에 따른 시각 장애인 보조방법은, 시각 장애인용 그래픽 유저 인터페이스와 상기 그래픽 유저 인터페이스를 보조하는 보이스 유저 인터페이스를 통해 시각 장애인용 보조 기능이 실행되는 단계; 촬영 유도 인터페이스를 통해 영상이 획득되는 단계; 상기 획득된 영상에서 문자가 쓰여진 객체를 검출한 후 상기 문자를 인식하는 단계; 상기 인식된 문자를 음성으로 합성하는 단계; 상기 합성된 문자를 음향으로 출력하는 단계를 포함하고, 상기 촬영 유도 인터페이스를 통해 영상이 획득되는 단계는, 카메라 촬영을 안내하는 음향을 출력하는 단계와, 상기 카메라의 촬영 방향과 상기 객체의 위치 사이의 각도를 감지하는 단계와, 상기 카메라의 촬영방향과 상기 객체의 위치 사이의 각도에 따라서 서로 다른 특성의 진동을 출력하는 단계를 포함한다.
실시예에 따른 시각 장애인 보조장치는, 시각 장애인이 손쉽게 장치를 이용할 수 있도록 시각 장애인용 유저 인터페이스를 제공함과 동시에, 이러한 인터페이스를 통해 각종 시각 장애인 보조 기능을 제공하여, 시각 장애인의 편의를 향상시킬 수 있다.
자세히, 실시예에 따른 시각 장애인 보조 장치는, 시각 장애인이 손쉽게 기능을 실행하고 제어할 수 있는 시각 장애인용 그래픽, 보이스, 점자 유저 인터페이스를 제공하여, 사용자 편의를 향상시킬 수 있다.
또한, 실시예에 따른 시각 장애인 보조 장치는, 문자 음성 변환 기능을 제공하여, 시각 장애인의 편의를 향상시킬 수 있다.
또한, 실시예에 따른 시각 장애인 보조장치는, 대화 보조 기능을 제공하여, 시각 장애인의 편의를 향상시킬 수 있다.
또한, 실시예에 따른 시각 장애인 보조장치는, 자기 상태 점검 기능을 제공하여, 시각 장애인의 편의를 향상시킬 수 있다.
도 1은 본 발명과 관련된 시각 장애인 보조장치를 설명하기 위한 블록도 이다.
도 2는 본 발명의 실시예에 따른 시각 장애인 보조장치에 설치된 점자 입출력부를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 시각 장애인 보조장치가 문자 음성 변환 기능을 제공하는 과정을 설명하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 문자 음성 변환 기능 실행시 시각 장애인 보조장치의 시작화면을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 문자 음성 변환 기능의 유저 인터페이스 설정 트리이다.
도 6은 본 발명의 실시예에 따른 문자 촬영 유도 과정을 나타내는 도면이다.
도 7a는 본 발명의 실시예에 따른 시각 장애인 보조장치에 장착된 360도 촬영 렌즈의 단면도이고, 도 7b는 상기 360도 촬영 렌즈를 통해 촬영된 360도 영상을 나타내는 도면이다.
도 8a는 특정한 규칙을 가진 문자열의 집합을 표현하는 정규표현식을 나타내고, 도 8b는 도 8a의 정규표현식을 이용하여 한글과 영어를 구분하는 큐(Queue)의 구성을 나타낸다.
도 9은 본 발명의 실시예에 따른 시각 장애인 보조장치가 제공하는 대화 보조기능을 설명하기 위한 도면이다.
도 10는 본 발명의 실시예에 따른 시각 장애인 보조장치가 제공하는 대화 보조기능을 설명하기 위한 다른 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 설명하는 시각 장애인 보조장치에는 스마트 폰(smart phone), 휴대폰, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device), 글래스형 단말기 (smart glass) 등이 포함될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명과 관련된 시각 장애인 보조장치를 설명하기 위한 블록도 이다.
도 1을 참조하면, 실시예에 따른 시각 장애인 보조장치(100)는, 입력부(110), 통신부(120), 인터페이스부(130), 메모리(140), 센서부(150), 카메라부(160), 출력부(180) 및 프로세서(170)를 포함할 수 있다. 나아가, 시각 장애인 보조장치(100)는, 시각 장애인 보조장치(100)에 악세서리로 장착된 점자 입출력부(300), 이어폰(400) 및 360도 촬영 렌즈(200)를 더 포함할 수 있다. 다만, 도 1에 도시된 구성요소들은 시각 장애인 보조장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 시각 장애인 보조장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
먼저, 시각 장애인 보조장치(100)는, 사용자의 입력을 감지하는 입력부(110)를 포함할 수 있다.
실시예에서, 입력부(110)는, 사용자의 터치 입력을 감지할 수 있고, 사용자의 음성 입력을 감지할 수 있다.
예를 들어, 입력부(110)는, 시각 장애인 보조장치(100)의 전원을 온(on)/오프(off)시키는 실행 입력이나, 시각 장애인 보조장치(100)의 각종 기능에 대한 설정, 실행 입력 등을 감지할 수 있다.
이러한 입력부(110)는 사용자 제스쳐를 감지하는 제스쳐 입력부(예를 들어 (optical sensor) 등), 터치를 감지하는 터치 입력부(예를 들어, 터치 센서(touch sensor), 터치키(touch key), 푸시키(mechanical key) 등) 및 음성 입력을 감지하는 마이크로폰(microphone) 중 적어도 하나 이상을 포함하여, 사용자 입력을 감지할 수 있다.
또한, 시각 장애인 보조장치(100)는, 외부 서버 등의 무선 통신 시스템과 무선 통신하는 통신부(120)를 포함할 수 있다.
실시예에서 통신부(120)는, 시각 장애인 보조기능을 실행하기 위한 데이터를 서버(500)와 송수신할 수 있다. 예를 들어, 통신부(120)는, 문서 음성 변환 기능에 관련된 데이터, 대화 보조기능에 관련된 데이터 등을 외부 서버(500)와 송수신할 수 있다.
또한, 실시예에서 통신부(120)는, 기 설정된 마스터 단말기(600)와 시각 장애인 보조기능에 설정 입력 등 유저 인터페이스를 대신 수행해주기 위한 데이터를 송수신할 수 있다.
즉, 미리 등록된 마스터 단말기(600)를 이용하여 시각 장애인을 보조하는 보조자가 대신 시각 장애인 보조장치(100)를 제어할 수 있다.
이를 위해, 통신부(120)는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버(500) 중 적어도 하나와 무선 신호를 송수신할 수 있다.
또한, 통신부(120)는, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access),) 등의 무선 통신방식으로 무선 신호를 송수신할 수도 있다.
또한, 통신부(120)는, 근거리 무선 통신방식으로 무선 신호를 송수신할 수 있다. 예를 들어, 통신부(120)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
또한, 통신부(120)는, 시각 장애인 보조장치(100)의 위치(또는 현재 위치)를 획득할 수 있으며, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 방식을 활용하여 위치를 획득할 수 있다.
또한, 시각 장애인 보조장치(100)는, 데이터를 수신하거나 프로세서(170)에서 처리 또는 생성된 신호를 외부로 전송하는 인터페이스부(130)를 포함할 수 있다.
자세히, 인터페이스부(130)는 시각 장애인 보조장치(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 이러한 인터페이스부(130)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리(140) 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰(400) 포트(port) 중 적어도 하나를 포함할 수 있다. 시각 장애인 보조장치(100)에서는, 상기 인터페이스부(130)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
실시예에서, 인터페이스부(130)를 통해 점자 입출력부(300) 또는/및 이어폰(400)이 시각 장애인 보조장치(100)에 연결될 수 있다.
도 2를 참조하면, 시각 장애인 보조장치(100)의 하단 포트에는 점자 입출력부(300)가 장착되며, 점자 입출력부(300)는, 점자 출력 및 시각 장애인의 입력을 감지할 수 있다.
자세히, 시각 장애인 보조장치(100)에 설치되는 점자 입출력부(300)는, 행렬로 배치되는 복수의 홀(301)을 포함하며, 복수의 홀(301) 각각의 내부에는 선택적으로 돌출이 가능한 돌기(302)가 배치될 수 있다.
이러한 점자 입출력부(300)의 돌기(302)들은 시각 장애인 보조장치(100)의 제어에 따라서 선택적으로 돌출되어 부분/전체적으로 점자를 이루거나 기호를 나타낼 수 있다.
또한, 점자 입출력부(300)의 돌기(302)들은, 사용자의 접촉에 의해 홀(301) 내부로 인입될 수 있으며, 점자 입출력부(300)는 이와 같이 내부로 인입된 돌기(302)들을 체크하여 사용자 입력을 감지할 수 있다. 자세히, 프로세서(170)는, 점자 입출력부(300)에서 송신된 입력 정보를 통해 특정 출력을 나타내는 복수의 돌기(302)들 중 적어도 반 이상이 사용자 접촉에 의해 인입됨을 감지하면 해당 출력에 대한 입력으로 감지하고, 이러한 사용자 입력에 따른 프로세스를 수행함으로써, 점자 유저 인터페이스를 제공할 수 있다.
이러한 점자 입출력부(300)는, 시각 장애인이 출력을 확인하면서 이와 동시에 출력에 대한 입력을 가능하게 하는 유저 인터페이스를 제공할 수 있으면서도, 시각 장애인 보조장치(100)의 악세서리로 제작되어 보조장치에 의해 제어되는 바 저렴한 비용으로 제작될 수 있는 장점이 있다.
또한, 시각 장애인 보조장치(100)는, 시각 장애인 보조장치(100)의 다양한 기능을 지원하는 데이터를 저장하는 메모리(140)를 포함할 수 있다.
자세히, 메모리(140)는 시각 장애인 보조장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 시각 장애인 보조장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
그리고 응용 프로그램은, 메모리(140)에 저장되고, 시각 장애인 보조장치(100) 상에 설치되어, 프로세서(170)에 의하여 상기 시각 장애인 보조장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 메모리(140)는 오브젝트 확인을 위한 데이터를 저장할 수 있다. 예를 들면, 메모리(140)는, 카메라를 통해 획득된 영상에서, 소정 오브젝트가 검출되는 경우, 소정 알고리즘에 의해, 상기 오브젝트가 무엇에 해당하는지 확인하기 위한 데이터를 저장할 수 있다.
예를 들어, 메모리(140)는 오브젝트 확인을 위한 데이터로 교통 정보에 대한 데이터를 저장할 수 있다. 예를 들면, 메모리(140)는, 카메라를 통해 획득된 영상에서, 차선, 교통 표지판과 같은 소정의 교통 정보가 검출되는 경우, 소정 알고리즘에 의해, 상기 교통 정보가 또한, 메모리(140)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있고, 메모리(140)는 인터넷(internet)상에서 상기 메모리(140)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
실시예에서, 메모리(140)는, 카메라에서 촬영된 영상에 포함된 문자를 인식하고 인식된 문자를 음성으로 변환하기 위한 데이터를 저장할 수 있다. 또한, 메모리(140)는, 카메라에서 촬영된 영상에 포함된 사람의 안면을 인식하고 인식된 안면의 감정을 판단하기 위한 데이터를 저장할 수 있다.
또한, 시각 장애인 보조장치(100)는, 센서부(150)를 포함하며, 센서부(150)는, 시각 장애인 보조장치(100) 내 정보, 시각 장애인 보조장치(100)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱 하기 위한 하나 이상의 센서를 포함할 수 있다.
예를 들어, 센서부(150)는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 마이크로폰(microphone), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다.
실시예에서, 센서부(150)는, 가속도 센서, 자이로스코프 센서를 이용하여 시각 장애인 보조장치(100)가 문서를 적절한 각도로 촬영하는지 여부를 감지할 수 있다.
또한, 시각 장애인 보조장치(100)는, 시각 장애인 보조장치(100)의 주변을 촬영하는 카메라부(160)를 포함할 수 있다.
자세히, 카메라부(160)는, 시각 장애인 보조장치(100)의 전면에 배치되어 전방 영상을 촬영하는 전면 카메라와, 시각 장애인 보조장치(100)의 후면에 배치되어 후방 영상을 촬영하는 후방 카메라를 포함할 수 있다.
그리고 이러한 카메라는 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 프로세서(170)에 전달할 수 있다.
또한, 시각 장애인 보조장치(100)는, 출력부(180)를 포함할 수 있으며, 출력부(180)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 오디오 출력부(180), 햅팁 모듈, 광 출력부(180) 중 적어도 하나를 포함할 수 있다.
자세히, 디스플레이부는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 시각 장애인 보조장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(110)로써 기능함과 동시에, 시각 장애인 보조장치(100)와 사용자 사이의 그래픽 유저 인터페이스를 제공할 수 있다.
이러한 디스플레이부는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
또한, 오디오 출력부(180)는, 시각 장애인 보조 기능 관련 음향을 출력할 수 있으며, 마이크로 폰과 오디오 출력부(180)가 연계되어 시각 장애인을 위한 보이스 유저 인터페이스(voice user interface, VUI)를 제공할 수 있다.
또한, 햅틱 출력부(180)는, 터치 스크린의 입출력과 연계되어 햅틱 출력(예컨대, 진동)을 제공하여, 시각 장애인의 터치 인터페이스를 보조할 수 있다.
마지막으로, 각 유닛의 전반적인 동작을 제어하는 프로세서(170)를 포함할 수 있다.
이러한 프로세서(170)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(170)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 시각 장애인 보조장치(100)의 전반적인 동작을 제어한다. 프로세서(170)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(140)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
이하, 전술한 구성을 포함하는 시각 장애인 보조장치(100)가 시각 장애인 보조 기능을 제공하는 과정을 상세히 설명한다.
먼저, 도 2 내지 도 8을 참조하여, 문자 음성 변환 기능을 제공하는 과정을 상세히 설명한다.
도 3을 참조하면, 사용자 입력에 의해 문자 음성 변환 기능이 실행될 수 있다. (S101)
자세히, 프로세서(170)는, 문자 음성 변환 기능을 실행하기 위해 터치 입력부(110)와 디스플레이부를 제어하여 그래픽 유저 인터페이스를 제공할 수 있다. 그리고 프로세서(170)는, 시각 장애인용 그래픽 유저 인터페이스와 더불어 음성 입력부(110)와 오디오 출력부(180)를 제어하여 그래픽 유저 인터페이스를 보조하는 보이스 유저 인터페이스를 제공할 수 있다.
예를 들어, 도 2를 참조하면, 디스플레이부의 시작 화면에는, 시각 장애인 보조 기능들이 나열되어 표시될 수 있다. 자세히, 시작 화면에는, 문자 음성 변환 기능, 대화 보조 기능, 자기 상태 점검 기능 또는 내비게이션 기능 등 시각 장애인 보조장치(100)가 제공하는 시각 장애인 보조 기능들이 일정 순서에 따라 나열될 수 있다. 시각 장애인은, 시각 장애인 보조 기능들이 나열된 순서를 외우고, 원하고자 하는 보조 기능을 터치하여, 원하는 시각 장애인 보조 기능을 실행할 수 있다.
이와 동시에, 오디오 출력폰과 마이크로 폰이 보이스 유저 인터페이스를 제공하여, 그래픽 유저 인터페이스를 보조할 수 있다.
자세히, 시작 화면이 켜지면 시각 장애인 보조 기능이 표시됨과 동시에 음향으로 나열된 순서되로 시각 장애인 보조 기능 메뉴에 대한 음향이 출력될 수 있다.
시각 장애인은, 음성으로 원하는 시각 장애인 보조 기능을 선택할 수 있으며, 마이크로 폰은 시각 장애인의 음성을 녹음하여 감지할 수 있다.
문자 변환 인식 기능이 실행되면, 디스플레이부는, 문자 변환 인식 기능에 관한 각종 메뉴를 그래픽 유저 인터페이스와 보이스 유저 인터페이스로 제공할 수 있다.
자세히, 도 5를 참조하면, 유저 인터페이스 트리를 보면, 첫번째 레이어(L1)가 시작 화면으로 구성되고, 두번째 레이어(L2)에는 촬영 유도 메뉴, 도움말 메뉴, 환경 설정 메뉴가 제공되며, 세번째 레이어(L3)로 합성된 음성이 출력되는 메뉴로 구성되고, 사용자 입력에 따라 각 레이어간 이동이 가능함을 알 수 있다.
시각 장애인용 그래픽 유저 인터페이스는, 항상 디스플레이부 화면을 동일한 크기의 칸으로 분할하고, 각 칸마다 각 레이어의 메뉴들을 표시하여, 시각 장애인이 순서를 외우고 선택하기 용이하게 제공할 수 있다.
예를 들어, 도 4를 참조하면, 시각 장애인용 그래픽 유저 인터페이스는, 항상 디스플레이부 화면을 3개의 칸으로 분할하고, 하나의 레이어에 포함되는 메뉴들을 특정된 순서대로 나열하여 표시할 수 있다.
이와 더불어 시각 장애인용 보이스 유저 인터페이스는, 각 레이어 이동시 마다 레이어에 포함되는 메뉴들을 순서에 따라 요약하여 음향으로 출력하고, 시각 장애인이 음향 출력 중 입력하는 선택 음성 또는 메뉴 요약 음성을 토대로 레이어 간 이동을 하도록 보조할 수 있다.
또한, 점자 유저 인터페이스가 추가로 제공될 수 있다. 자세히, 점자 유저 인터페이스는, 점자 입출력부(300)의 돌기(302)들을 적어도 일부를 돌출시켜 점자 또는 기호를 출력하고, 돌출된 돌기(302)들 중 사용자의 접촉에 의해 홀(301) 내부로 인입된 돌기(302)들을 체크하여 사용자 입력을 수신하여, 사용자와 상호작용할 수 있다.
이때, 프로세서(170)는, 인입된 돌기(302)들이 나타내는 출력에 대응되도록 사용자 입력을 인식하여, 인식된 사용자 입력에 따라 다음 프로세스를 진행하여, 좀더 사용자 친화적 인터페이스를 제공할 수 있다.
즉, 실시예에 따른 시각 장애인 보조 기능은, 시각 장애인이 손쉽게 기능을 실행하고 제어할 수 있는 시각 장애인용 그래픽, 보이스, 점자 유저 인터페이스를 제공하여, 사용자 편의를 향상시킬 수 있다.
문자 음성 변환 기능이 실행되고, 촬영 시작 메뉴가 선택되면, 시각 장애인 보조장치(100)는, 촬영 유도 인터페이스를 제공하여, 시각 장애인이 문자가 쓰여진 객체를 정확하게 촬영하도록 보조할 수 있다. (S102)
자세히, 도 6을 참조하면, 시각 장애인 보조장치(100)는, 카메라 촬영을 안내하는 음향을 출력하도록 제어하고, 센서부(150)를 통해 문자가 쓰여진 객체(O)와 시각 장애인 보조장치(100)의 수평을 감지하고, 객체(O)와 시각 장애인 보조장치(100)의 사이의 각도에 따라서 서로 다른 특성의 진동을 출력함으로써 촬영 유도 인터페이스를 제공할 수 있다.
다른 측면에서, 시각 장애인 보조장치(100)는, 카메라 촬영을 안내하는 음향을 출력하고, 카메라의 촬영 방향과 객체(O)의 위치 사이의 각도를 감지한 후, 카메라의 촬영방향과 객체(O)의 위치 사이의 각도에 따라서 서로 다른 특성의 진동을 출력하여, 시각 장애인이 문자를 정확하게 촬영하도록 보조할 수 있다.
문자 인식 변환기능 실행시마다 촬영 유도 인터페이스를 수행하는 것은 불편할 수 있으므로, 시각 장애인 보조장치(100)는, 특별히 카메라 촬영방향 변경없이 한번에 객체(O)를 촬영하기 위해 카메라부(160)에 장착된 360도 촬영 렌즈(200)를 더 포함할 수 있다.
자세히, 카메라부(160)는, 후면 카메라 렌즈에 장착되는 360도 촬영 렌즈(200)를 더 포함하고, 프로세서(170)는, 360도 촬영 렌즈(200)를 통해 촬영된 360도 영상에서 문자가 쓰여진 객체(O)를 검출할 수 있다.
좀더 자세히, 도 7a를 참조하면, 실시예에 따른 360도 촬영 렌즈(200)는, 입사광이 굴절되도록 형성되는 굴절부(240)와, 굴절부(240)의 끝단에 수평하게 형성되어 있는 수평부(260)와, 수평부(260)에 형성되어 내측반사코팅으로부터 반사되는 입사광을 반사시켜 내측오목부로 입사광을 제공하는 반사코팅(250)과, 반사코팅(250)을 통해 반사된 입사광을 후면 카메라 렌즈(160)로 제공하도록 다시 굴절시키는 내측오목부(210)와, 내측오목부(210)의 끝단에 오목하게 형성되는 내측굴절부(220)와, 내측굴절부(240)에 형성되어 굴절부(240)로부터 입사되는 입사광을 반사코팅(250)으로 반사시키는 내측반사코팅(230)을 포함할 수있다. 이러한 360도 촬영 렌즈(200)는, 360도 시야각 확보가 가능하여, 카메라가 향하는 방향에 의존하지 않고, 전방위를 촬영하므로써, 촬영 유도 인터페이스 없이 바로 문자가 쓰여진 객체(O)를 촬영할 수 있는 장점이 잇다.
다만, 도 7b를 보면 알 수 있듯이, 360도 촬영 렌즈(200)를 통해 촬영된 영상은 원형 영상을 가지며 중심 측과 외주연 측 공간 왜곡이 발생할 수 있다. 따라서, 프로세서(170)는, 360도 영상을 분할하고, 각 분할된 영상을 사각 영상으로 변환한 후 문자 인식을 수행하여, 문자 인식 오류를 방지할 수 있다.
문자가 쓰여진 객체(O)에 대한 촬영이 완료되면, 프로세서(170)는, 촬영된 영상을 분석하여 문자를 인식할 수 있다. (S103)
자세히, 프로세서(170)는, 촬영 영상을 영상 전처리(preprocessing)를 수행한 후 세그먼트(segment) 및 클러스터링(clustering)을 수행하여, 배경(background)과 전경(foreground)을 분리할 수 있다. 이후, 프로세서(170)는, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다. 다음으로, 프로세서(170)는, 분리된 문자가 쓰여진 객체(O)를 분류하고(classify), 확인할 수 있다(verify). 예를 들어, 프로세서(170), 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
다음으로, 프로세서(170)는, 인식된 객체(O) 내에서 문자를 인식(optical　character　reader, OCR) 할 수 있다. 자세히, 프로세서(170)는, 유형정합(pattern　matching)이나 획분석법(stroke　analysis　method) 등의 OCR　기법을 통해 문자를 인식할 수 있다.
다음으로, 프로세서(170)는, 인식된 문자를 음성으로 변환할 수 있다. (S104)
자세히, 프로세서(170)는, 문자를 음성으로 변환하는 음성합성엔진(TTS, Text To Speech) 프로그램을 실행하여, 인식된 문자를 음성으로 합성할 수 있다.
이때, 프로세서(170)는, 하나의 영상에서 인식된 문자가 두 종류 이상의 언어가 혼용된 경우에, 각각의 종류의 언어를 메인으로 음성합성하는 음성합성엔진들을 동시에 구동하여, 인식된 문자들을 고품질의 음성으로 합성할 수 있다.
예를 들어, 프로세서(170)는, 문자인식된 결과 텍스트에는 한글과 영어가 포함된 경우, 한글 전담 음성합성엔진과, 영어 전담 음성합성엔진을 동시에 구동하여, 인식된 한글과 영어를 모두 고품질의 음성으로 합성할 수 있다.
이를 위해, 프로세서(170)는 먼저 텍스트의 언어 종류에 따라 전담이 되는 음성합성엔진을 선택한 후 음성합성을 진행하는 다중 음성합성엔진 기술이 필요하다.
도 8a를 참조하면, 정규표현식은 특정한 규칙을 가진 문자열의 집합을 표현하는데 사용하는 형식 언어를 말하며 주로 프로그래밍 언어에서 문자열의 검색과 치환을 위한 용도로 쓰인다. 정규표현식으로 한글은 ^[ㄱ-ㅎ가-?R]*$ 로 표현되며 영어는 ^[a-zA-Z]*$ 로 표현할 수 있다.
프로세서(170)는, 이와 같은 정규표현식을 이용하여 인식된 문자에서 한글과 영어(또는 다른 언어)를 구분한 후 토큰으로 분리할 수 있다. 그리고 프로세서(170)는, 분리된 토큰(token)을 각각 큐(Queue)에 삽입할 수 있다. 큐를 구성하는 방법의 일례로 도 8b를 참조할 수 있다.
다음으로, 프로세서(170)는, 큐 구성을 마치면 각각의 큐에 담긴 토큰을 읽기위한 전담 음성합성엔진을 선택할 수 있다. 예를 들어, 프로세서(170)는, 한글은 한글 전담 음성합성엔진, 영어는 영어 전담 음성합성엔진을 선택한 후, 음성합성이 시작되면 한글 전담 음성합성엔진과 영어 전담 음성합성엔진이 각각의 상기 큐를 번갈아 가며 큐에 담긴 토큰을 읽어 음성으로 합성하는 방식으로, 다중 음성합성엔진 기술이 실행될 수 있다.
이러한 기술을 응용하면 한·영 혼용된 텍스트 뿐만아니라 외에 다양한 복수의 언어가 인식된 문자에 포함되어 있어도 적절한 음성합성 엔진을 선택 및 조합하여 사용할 수 있다. 다음으로, 프로세서(170)는, 합성한 음성을 출력하여, 문자 음성 변환 기능을 시각 장애인에게 제공할 수 있다. (S105)
자세히, 일반 모드에서 프로세서(170)는, 오디오 출력부(180)를 통해 합성된 음성을 출력할 수 있다.
또한, 프로세서(170)는, 메너 모드를 제공할 수 있으며, 매너 모드가 실행된 상태에서는 합성된 음성을 점자 입출력부(300) 또는/및 이어폰(400)으로 출력하고 오디오 출력부(180)를 오프하여, 시각 장애인의 프라이버시를 보호할 수 있다.
한편, 시각 장애인 보조장치(100)는, 시각 장애인과 타인의 대화를 보조하는 대화 보조기능을 더 제공할 수 있다.
시각 장애인은, 타인과의 대화 중 타인의 행동이나 표정 등을 볼 수 없기 때문에, 일반인이 음성과 더불어 행동과 표정 등에서 캐치하는 부가적인 소통이 불가능하다.
이를 보조하기 위하여, 시각 장애인 보조장치(100)는, 대화 중 타인의 행동이나 표정을 감지하고, 감지한 정보를 음향이나 점자를 통해 출력하여 대화를 보조하는 대화 보조기능을 제공할 수 있다.
자세히, 프로세서(170)는, 카메라부(160)의 후면 카메라를 제어하여 후방을 촬영하고, 촬영된 후방 영상에서 타인의 안면 이미지를 검출하고, 타인의 안면 이미지를 통해 타인의 감정 정보를 획득하고 타인의 감정 정보를 음향으로 출력하여 타인과의 대화를 보조하는 대화 보조기능을 제공할 수 있다.
좀더 자세히, 프로세서(170)는, 후면 카메라 또는 360도 촬영 렌즈(200)를 통해 획득한 영상을 획득할 수 있다.
다음으로, 프로세서(170)는, 감정 인식 프로그램을 실행하여 획득한 영상에서 타인의 안면 이미지를 검출하고, 타인 안면 이미지를 분석하여 타인이 안면을 통해 나타내는 감정에 대한 정보를 수치로 산출할 수 있다. 예를 들어, 프로세서(170)는, 도 9과 같이, 타인이 현재 화남, 즐거움, 역겨움, 무서움, 보통, 놀람 등의 상태를 수치화 하여 감정 정보를 생성할 수 있다.
이러한 감정 인식 과정은 과도한 데이터 처리를 요구할 수 있으므로, 프로세서(170)는, 감정 인식 프로그램을 제공하는 서버(500)를 이용하여 감정 정보를 획득할 수도 있다.
자세히, 프로세서(170)는, 촬영한 후방 영상을 통신부(120)를 통해 감정 인식 기능을 제공하는 서버(500)에 전송하고, 서버(500)로부터 후방 영상에 포함된 사람의 감정 정보를 수신할 수 있다.
그리고 프로세서(170)는, 감정 정보를 음향으로 출력할 수 있다. 자세히, 프로세서(170)는, 특정 감정이 소정의 값을 넘거나, 특정 감정의 수치가 급격한 변화를 나타낼 때, 타인의 감정 정보를 음향으로 출력하여, 중요한 대화 시점에 시각 장애인에게 대화를 보조하는 정보를 제공할 수 있다.
한편, 시각 장애인 보조장치(100)는, 시각 장애인이 자신의 상태를 점검하는 자기 상태 점검 기능을 더 제공할 수 있다.
시각 장애인은, 자신의 표정이나 자신의 상태를 볼 수 없기 때문에, 일상생활에 어려움을 겪을 수 있다.
이를 보조하기 위하여, 시각 장애인 보조장치(100)는, 시각 장애인을 촬영하여 현재 시각 장애인 상태를 분석하고, 분석한 자기 상태 정보를 출력하는 자기 상태 점검 기능을 제공할 수 있다.
자세히, 시각 장애인 보조장치(100)는, 카메라부(160)의 전면 카메라를 제어하여 전방을 촬영하고, 촬영된 전방 영상에서 사용자의 안면 이미지를 검출하고, 사용자의 안면 이미지를 통해 사용자의 상태 정보를 획득하고, 사용자의 상태 정보를 음향으로 출력하여 자기 상태를 점검하는 기능을 제공할 수 잇다.
좀더 자세히, 프로세서(170)는, 전면 카메라 또는 360도 촬영 렌즈(200)를 통해 획득한 영상을 획득할 수 있다.
다음으로, 프로세서(170)는, 안면 인식 프로그램을 이용하여 획득한 영상에 포함된 사람의 안면 이미지를 검출하고, 안면 이미지를 분석하여 안면 상태 및 안면에 나타난 감정에 대한 정보를 수치로 산출할 수 있다. 예를 들어, 프로세서(170)는, 도 10와 같이, 타인이 현재 화남, 즐거움, 역겨움, 무서움, 보통, 놀람 등의 상태를 수치화 하여 감정 정보를 생성할 수 있고, 시각 장애인 안면에 뭍은 객체(O)와 객체(O)의 위치 등을 검출할 수 있따.
이러한 안면 인식 과정은 과도한 데이터 처리를 요구할 수 있으므로, 프로세서(170)는, 안면 인식 프로그램을 제공하는 서버(500)를 이용하여 감정 정보를 획득할 수도 있다.
자세히, 프로세서(170)는, 촬영한 영상을 통신부(120)를 통해 서버(500)에 전송하고, 서버(500)로부터 영상에 포함된 사람의 감정 정보와 안면 상태 정보를 수신할 수 있다.
그리고 프로세서(170)는, 감정 정보와 안면 상태 정보를 음향으로 출력할 수 있다. 자세히, 프로세서(170)는, 특정 감정이 소정의 값을 넘거나, 특정 감정의 수치가 급격한 변화를 나타낼 때 자신의 감정 정보를 음향으로 출력할 수 있고, 얼굴에 특정 물질이 뭍었을 경우 이를 안내하여 시각 장애인이 자기 상태를 점검할 수 있도록 보조할 수 있다.
이상에서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (12)

  1. 사용자의 터치 입력을 감지하는 터치 입력부와, 상기 사용자의 음성 입력을 감지하는 마이크로 폰을 포함하는 입력부;
    시각 장애인 보조 기능에 대한 그래픽 이미지를 표시하는 디스플레이부;
    수평을 감지하는 자이로스코프 센서를 포함하는 센서부;
    상기 시각 장애인 보조 기능에 대한 음향을 출력하는 오디오 출력부;
    상기 시각 장애인 보조 기능에 대한 진동을 출력하는 햅틱 출력부;
    주변 환경을 촬영하여 영상을 획득하는 카메라부; 및
    상기 카메라부에서 촬영된 영상 내에 문자를 인식하고,
    상기 인식된 문자를 음성으로 합성하고,
    상기 합성된 음성을 출력하도록 상기 오디오 출력부를 제어하는 문자 음성 변환 기능을 제공하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 문자 음성 변환 기능을 실행하기 위해 상기 터치 입력부와 상기 디스플레이부를 제어하여 그래픽 유저 인터페이스를 제공하고, 상기 마이크로 폰과 상기 오디오 출력부를 제어하여 상기 그래픽 유저 인터페이스를 보조하는 보이스 유저 인터페이스를 제공하고,
    상기 카메라부가 상기 문자가 쓰여진 객체를 촬영하도록 유도하는 촬영 유도 인터페이스를 제공하고,
    상기 프로세서는,
    카메라 촬영을 안내하는 음향을 출력하도록 상기 오디오 출력부를 제어하고,
    상기 센서부를 통해 상기 문자가 쓰여진 객체와 상기 시각 장애인 보조장치의 수평을 감지하고,
    상기 객체와 상기 시각 장애인 보조장치의 사이의 각도에 따라서 서로 다른 특성의 진동을 출력함으로써 상기 촬영 유도 인터페이스를 제공하는
    시각 장애인 보조장치.
  2. 삭제
  3. 제 1 항에 있어서,
    행렬로 배치되는 복수의 홀과 상기 복수의 홀 각각에 배치되어 선택적으로 돌출되는 돌기를 포함하는 점자 입출력부와, 상기 점자 입출력부와 상기 시각 장애인 보조장치의 통로 역할을 수행하는 인터페이스부를 더 포함하는
    시각 장애인 보조장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 돌기들을 적어도 일부를 돌출시켜 점자 또는 기호를 출력하고, 상기 돌출된 돌기들 중 상기 사용자의 접촉에 의해 상기 홀 내부로 인입된 돌기들을 체크하여 사용자 입력을 수신하는 점자 유저 인터페이스를 제공하는
    시각 장애인 보조장치.
  5. 제 4 항에 있어서,
    상기 프로세서는,
    상기 인입된 돌기들이 나타내는 출력에 대응되도록 상기 사용자 입력을 인식하여, 상기 인식된 사용자 입력에 따라 다음 프로세스를 진행하는
    시각 장애인 보조장치.
  6. 제 1 항에 있어서,
    상기 카메라부의 후면 카메라 렌즈에 장착되는 360도 촬영 렌즈를 더 포함하고,
    상기 프로세서는,
    상기 360도 촬영 렌즈를 통해 촬영된 360도 영상에서 상기 문자가 쓰여진 객체를 검출하는
    시각 장애인 보조장치.
  7. 제 1 항에 있어서,
    행렬로 배치되는 복수의 홀과 상기 복수의 홀 각각에 배치되어 선택적으로 돌출되는 돌기를 포함하는 점자 입출력부와, 음향을 출력하는 이어폰과, 상기 시각 장애인 보조장치와 상기 점자 입출력부 및 상기 이어폰 사이의 통로 역할을 수행하는 인터페이스부를 더 포함하고,
    상기 프로세서는,
    매너 모드에서는 상기 합성된 음성을 상기 점자 입출력부와 상기 이어폰으로 출력하고 상기 오디오 출력부를 오프하는
    시각 장애인 보조장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 카메라부의 후면 카메라를 제어하여 후방을 촬영하고,
    촬영된 후방 영상에서 타인의 안면 이미지를 검출하고,
    상기 타인의 안면 이미지를 통해 상기 타인의 감정 정보를 획득하고
    상기 타인의 감정 정보를 음향으로 출력하여 상기 타인과의 대화를 보조하는 대화 보조기능을 제공하는
    시각 장애인 보조장치.
  9. 시각 장애인용 그래픽 유저 인터페이스와 상기 그래픽 유저 인터페이스를 보조하는 보이스 유저 인터페이스를 통해 시각 장애인용 보조 기능이 실행되는 단계;
    촬영 유도 인터페이스를 통해 영상이 획득되는 단계;
    상기 획득된 영상에서 문자가 쓰여진 객체를 검출한 후 상기 문자를 인식하는 단계;
    상기 인식된 문자를 음성으로 합성하는 단계;
    상기 합성된 문자를 음향으로 출력하는 단계를 포함하고,
    상기 촬영 유도 인터페이스를 통해 영상이 획득되는 단계는,
    카메라 촬영을 안내하는 음향을 출력하는 단계와, 상기 카메라의 촬영 방향과 상기 객체의 위치 사이의 각도를 감지하는 단계와, 상기 카메라의 촬영방향과 상기 객체의 위치 사이의 각도에 따라서 서로 다른 특성의 진동을 출력하는 단계를 포함하는
    시각 장애인 보조방법.
  10. 제 9 항에 있어서,
    후면 카메라를 제어하여 후방을 촬영하는 단계와, 촬영된 후방 영상에서 타인의 안면 이미지를 검출하는 단계와, 상기 타인의 안면 이미지를 통해 상기 타인의 감정 정보를 획득하는 단계와, 상기 타인의 감정 정보를 음향으로 출력하는 단계를 더 포함하여 상기 타인과의 대화를 보조하는 대화 보조기능을 제공하는
    시각 장애인 보조방법.
  11. 제 9 항에 있어서,
    상기 인식된 문자를 음성으로 합성하는 단계는,
    상기 인식된 문자에 제 1 언어의 문자와 제 2 언어의 문자가 포함되면, 상기 제 1 언어를 전담하여 음성을 합성하는 제 1 언어 음성합성엔진과, 상기 제 2 언어를 전담하여 음성을 합성하는 제 2 언어 음성합성엔진을 동시에 구동하여 상기 인식된 문자를 상기 음성으로 합성하는 단계를 포함하는
    시각 장애인 보조방법.
  12. 제 11 항에 있어서,
    상기 인식된 문자를 음성으로 합성하는 단계는,
    정규표현식을 이용하여 상기 제 1 언어의 문자와 상기 제 2 언어의 문자를 구분한 후 토큰(token)으로 분리하는 단계와,
    상기 분리된 토큰을 각각의 언어의 큐(Queue)에 삽입하여 상기 큐를 구성하는 단계와,
    상기 구성된 큐에 담긴 토큰을 상기 제 1 언어 음성합성엔진과 상기 제 2 언어 음성합성엔진이 번갈아가면서 읽어 상기 인식된 문자를 상기 음성으로 합성하는 단계를 더 포함하는
    시각 장애인 보조방법.
KR1020160184454A 2016-12-30 2016-12-30 시각 장애인 보조장치 및 그 제어방법 Active KR101835235B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160184454A KR101835235B1 (ko) 2016-12-30 2016-12-30 시각 장애인 보조장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160184454A KR101835235B1 (ko) 2016-12-30 2016-12-30 시각 장애인 보조장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR101835235B1 true KR101835235B1 (ko) 2018-03-07

Family

ID=61688867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160184454A Active KR101835235B1 (ko) 2016-12-30 2016-12-30 시각 장애인 보조장치 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR101835235B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190133887A (ko) 2018-05-24 2019-12-04 배대호 시각 장애인 웨어러블 보조 기기
KR102055373B1 (ko) 2018-06-12 2020-01-22 호서대학교 산학협력단 시각 장애인을 위한 스마트 밴드 및 그 제어 방법
WO2020071577A1 (ko) * 2018-10-01 2020-04-09 주식회사 넥스트이노베이션 시각장애인용 디스플레이 모듈
KR102256721B1 (ko) * 2020-12-30 2021-05-27 주식회사 강한손 시각장애인의 자립 생활을 위한 웨어러블 디바이스
WO2022164413A1 (en) * 2021-01-28 2022-08-04 Yildiz Teknik Universitesi An audio reader device
KR20220120262A (ko) * 2021-02-23 2022-08-30 청주대학교 산학협력단 시각장애인을 위한 스마트 글라스 시스템
CN115350061A (zh) * 2022-08-08 2022-11-18 韩卓奇 一种帮助盲人、老人躲避障碍和识别路况的智能盲杖
KR20230105698A (ko) * 2022-01-03 2023-07-12 금오공과대학교 산학협력단 시각 장애인을 위한 ai 비전 네비게이션

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190133887A (ko) 2018-05-24 2019-12-04 배대호 시각 장애인 웨어러블 보조 기기
KR102055373B1 (ko) 2018-06-12 2020-01-22 호서대학교 산학협력단 시각 장애인을 위한 스마트 밴드 및 그 제어 방법
WO2020071577A1 (ko) * 2018-10-01 2020-04-09 주식회사 넥스트이노베이션 시각장애인용 디스플레이 모듈
US11011076B2 (en) 2018-10-01 2021-05-18 SENSEE, Inc. Display module for visually impaired persons
KR102256721B1 (ko) * 2020-12-30 2021-05-27 주식회사 강한손 시각장애인의 자립 생활을 위한 웨어러블 디바이스
WO2022164413A1 (en) * 2021-01-28 2022-08-04 Yildiz Teknik Universitesi An audio reader device
KR20220120262A (ko) * 2021-02-23 2022-08-30 청주대학교 산학협력단 시각장애인을 위한 스마트 글라스 시스템
KR102535252B1 (ko) 2021-02-23 2023-05-26 청주대학교 산학협력단 시각장애인을 위한 스마트 글라스 시스템
KR20230105698A (ko) * 2022-01-03 2023-07-12 금오공과대학교 산학협력단 시각 장애인을 위한 ai 비전 네비게이션
KR102739916B1 (ko) * 2022-01-03 2024-12-06 국립금오공과대학교 산학협력단 시각 장애인을 위한 ai 비전 네비게이션
CN115350061A (zh) * 2022-08-08 2022-11-18 韩卓奇 一种帮助盲人、老人躲避障碍和识别路况的智能盲杖

Similar Documents

Publication Publication Date Title
KR101835235B1 (ko) 시각 장애인 보조장치 및 그 제어방법
CN110111787B (zh) 一种语义解析方法及服务器
US10585488B2 (en) System, method, and apparatus for man-machine interaction
KR101777807B1 (ko) 수화 번역기, 시스템 및 방법
US9436887B2 (en) Apparatus and method for automatic action selection based on image context
CN109154858B (zh) 智能电子设备及其操作方法
KR102478396B1 (ko) 이미지에서 텍스트를 인식할 수 있는 전자 장치
US20160170508A1 (en) Tactile display devices
US10409324B2 (en) Glass-type terminal and method of controlling the same
KR20170037424A (ko) 이동 단말기 및 그 제어방법
CN113297843A (zh) 指代消解的方法、装置及电子设备
WO2018124633A1 (ko) 전자 장치 및 그의 메시지 전달 방법
CN111739517B (zh) 语音识别方法、装置、计算机设备及介质
CN114822543A (zh) 唇语识别方法、样本标注方法、模型训练方法及装置、设备、存储介质
CN114996515B (zh) 视频特征提取模型的训练方法、文本生成方法及装置
CN111027490A (zh) 人脸属性识别方法及装置、存储介质
KR102061787B1 (ko) 이미지를 촬영하는 전자 장치 및 이미지 표시 방법
US10943117B2 (en) Translation to braille
KR102251710B1 (ko) 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 시스템, 방법 및 컴퓨터로 독출 가능한 기록매체
KR102399809B1 (ko) 전자 장치 및 그 제어 방법
CN110378318B (zh) 文字识别方法、装置、计算机设备及存储介质
KR102826450B1 (ko) 개인화 립 리딩 모델 생성 방법 및 장치
CN113409770B (zh) 发音特征处理方法、装置、服务器及介质
CN119292459A (zh) 人机交互方法、设备及存储介质
KR102224985B1 (ko) 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161230

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171122

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180129

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180227

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180227

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210114

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211227

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240214

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20250220

Start annual number: 8

End annual number: 8