KR102135137B1 - 시각 장애인의 독립보행 도움 서비스 단말. - Google Patents

Abstract

본 발명은 타인의 도움없이 시각 장애인 혼자서 독립 보행할 수 있게 지원하는 서비스 단말에 관한 것으로,
좀 더 구체적으로 설명하면 시각장애인이 전체 이동경로를 머리속에 연상시킨 상태에서 순차적으로 랜드마크와 이의 오리엔테인션 정보를 음성 안내받아 스스로 확신을 가지고 용이하게 독립 보행할 수 있도록 지원할 뿐만 아니라, 이들의 독립 보행이 활성화되게 하고, 이들의 독립 보행이 계속해서 이어나갈 수 있도록 서포트하기 위한 것이다.

Description

시각 장애인의 독립보행 도움 서비스 단말.{SYSTEM AND METHOD FOR PROVIDING INFORMATION SERVICE FOR PEOPLE WITH VISUALLY IMPAIRMENT}

본 발명은 시각 장애인 또는 저시력자(이하, 시각 장애인으로 통칭함)가 누군가의 도움없이 혼자서 독립 보행할 수 있도록 서포트하는 단말에 관한 것으로서,

좀 더 구체적으로 설명하면 시각장애인이 전체 이동경로를 머리속에 연상시킨 상태에서 순차적으로 랜드마크의 오리엔테인션 정보를 음성 안내받아 스스로 확신을 가지고 용이하게 독립 보행할 수 있도록 지원할 뿐만 아니라,

이들의 독립 보행이 활성화되게 하는 한편,

이들의 독립 보행이 안전하게 계속 이어 나갈 수 있도록 서포트하는 하기 위한 것이다.

더불어 본 발명은 출발지에서부터 목적지까지 각각의 랜드마크를 기준으로 걸음수 단위로 이동경로를 안내하는 청각지도를 통해,

시각장애인이 현장에 나가지 않더라도 용이하게 독립 보행을 훈련할 수 있으면서 그 시간을 최소화하기 위한 것이다.

일반적으로 시각 장애인들은 혼자 밖에 외출하는 것을 무척 꺼린다. 이는 시각 장애인 혼자서 목적지를 찾을 수 없기 때문이라고 생각하기 쉽지만, 더 큰 이유는 따로 있다. 바로 시각 장애인 스스로 오리엔테이션 정보를 수집하는 보행 훈련을 제대로 받지 못 했기 때문이다.

여기서 말하는 오리엔테이션(Orientation) 정보란, 독립 보행을 하기 위한 가장 기본적인 요소로서, 자신이 가고자 하는 목적지에 이르기까지의 주변 정보를 잔존감각(청각, 후각, 촉각, 잔존시력)을 활용하여 파악하는 것을 말하는데,

통상적으로 일반인은 오리엔테이션과 이동이 동시에 이루어지지만, 시각 장애인은 오리엔테이션과 이동이 분리되어 있다는 것이 특징이다.

즉, 시각 장애인이 단독 보행을 하기 위해서는 나름대로 주변 지형을 이용하는 방법이나 신체를 이용해 거리를 측정하는 요령을 터득해야만 하는데,

시각 장애인은 스스로 단독 보행하는 경험이 부족하기 때문에 혼자서 오리엔테이션 정보를 수집하는 방법이 미숙한 대다가,

특히 대부분 누군가의 도움을 받아 같이 이동하는 경우가 많아 독립 보행시 혼자서 다닐 때와 누군가의 도움을 받아 이동할 때의 거리감각에 대한 오리엔테이션 정보의 차이를 스스로 인식하지 못하기 때문에,

독립 보행시 곤란함을 겪는 경우가 많아 혼자서 외출하는 것을 무척 꺼리는 것이다.

따라서 종래에는 점자블럭이나 건물 벽면에 RFID 태그나 비콘을 설치한 후, 스마트폰을 이용해, 시각 장애인 스스로 독립 보행할 수 있도록 한 방법이 등장하게 되었지만,

이는 인프라 구축 등에 많은 비용이 소요되고,

특히 여전히 해당 길에 익숙해(훈련)지는데 오랜 시간이 걸릴 뿐만 아니라, 관리자 입장에서 계속해서 유지 관리해 주어야 하는 불편함이 있고, 제한된 지역에서만 실시 가능하다는 단점이 있는 것이다.

더불어 GPS를 내장한 스마트폰이나, 안경형태의 카메라 혹은 지팡이들을 사용한 AI방식의 길 안내 시스템도 등장하게 되었지만,

이는 GPS 정보를 획득할 수 있는 실외에서만 가능할 뿐이고,

설혹 실내에서 사용 가능하다더라도 시각장애인이 해당 길에 익숙해(훈련)지는데 오랜 시간이 걸릴 뿐만 아니라, 부정확한 길 안내와 부분적인 정보로 독립보행에 어려움을 겪게 되는 문제가 있었다.

즉, 시각 장애인은 독립 보행시 자신이 가고자 하는 길을, 머릿속의 대략적인 지도를 그린 상태에서, 길 안내 시스템의 도움을 받아 일측 혹은 타측으로의 이동이 결정되어야 하는데,

종래의 길 안내 시스템은 이러한 상황을 무시한 체, 지금 현재 닥쳐있는 상황만을 부분적으로 안내함으로써, 시각 장애인 스스로 불안감을 가진 체 이동하게 되는 것이다.

더욱이 종래의 길 안내 서비스 시스템은, 단순히 목적지까지 길 안내만 할 뿐,

이동하는 과정 중에 도어를 열고 건물 안으로 들어가거나 혹은 반대로 건물 밖을 나오는 등의 상황에 대해서는 전혀 고려하지 못하고 있으며,

특히 상기와 상황이 발생하였을 때 시각장애인 스스로 도어의 손잡이를 찾지 못해 헤매게 되는 곤란함을 겪게 되는 것이다.

따라서 상기와 같은 문제점과 단점으로 인해, 현재에도 대부분의 시각 장애인이 혼자 밖에 외출하는 것을 꺼리는 것이고, 이들의 독립 보행이 활성화되지 않고 있는 것이다.

KR 10-0807180 B1 KR 10-1268486 B1 KR 10-2018-0019870 A KR 10-2008-0076270 A

http://www.ablenews.co.kr/News/NewsContent.aspx?CategoryCode=0006&NewsCode=16159#z

따라서 본 발명은 독립 보행시 실내에서도 길 안내 가능할 뿐만 아니라,

시각장애인의 머릿속에 전체 이동 경로를 그린 상태에서 오리엔테인션 정보를 토대로 현 위치 및 이동방향 등을 인식할 수 있게 하여, 확실을 가지고 스스로 독립 보행할 수 있도록 하는 한편,

이동하는 과정 중에 도어의 위치 및, 이의 손잡이를 용이하게 찾아 건물 안쪽으로 진입하거나 진출할 할 수 있게 하기 위한 것이다.

즉, 본 발명은 시각 장애인 스스로 성공적으로 독립 보행할 수 있게 서포트할 뿐만 아니라,

이들의 독립 보행을 활성화 시키고,

이들의 독립 보행이 안전하게 이루어지도록 하기 위한 것이다.

이를 위해 본 발명은, 걸음수 단위로 위도, 경도, 진행방향(Beering) HDOP, 이동거리를 센싱하기 위한 GPS(11)와,

걸음수 계산, 진행방향, 이동거리를 센싱하기 위한 IMU(12)와,

랜드마크 영상 촬영 및 영상인식을 통한 확보된 오리엔테이션 정보를 제공하기 위한 카메라 모듈(13)와,

지정된 동작을 취하도록 하는 컨트롤하는 제어부(14)를 포함하여 이루어진 상태에서,

상기 제어부는 저장된 경로 데이터를 로드하여 구현할 때, 디스플레이패널의 맵상에, GPS와 IMU를 통해 확보된 정보를 토대로 시각 장애인의 현 위치 및 이동경로를 표시하는 한편,

상기 카메라 모듈을 통해 확인된 랜드마크와 이의 단서정보나 오리엔테이션 정보를 음성안내 함으로써, 시각 장애인 스스로 용이하게 위치를 확인하고 독립 보행할 수 있도록 구현된 서비스 단말을 특징으로 하는 것이다.

또한, 본 발명의 서비스 단말은, 출발지에서부터 목적지까지의 거리, 걸음수, 이동시간, 각 랜드 마크의 위치 및 거리, 걸음수, 이동시간을 순차적으로 음성 안내하는 청각지도를 포함하여 이루어져,

시각장애인 스스로 출발지에서부터 목적지까지 전체 경로를 용이하게 학습하고, 해당 경로에 대한 실질적인 이동 훈련 시간을 최소화한 것을 특징으로 한다.

또한, 본 발명의 서비스 단말은 전체경로를 각각의 랜드마크를 기준으로 복수 개의 이동경로로 나눈 상태에서, 현 위치가 어디이고, 다음 랜드마크까지의 이동경로를 음성 안내함으로써,

시각 장애인은 스스로 가고자 하는 목적지까지의 전체 경로 중에서 현재의 위치는 어디인지 머릿속으로 연상할 수 있게 하여 시각 장애인 스스로 용이하게 독립 보행할 수 있도록 한 것이다.

본 발명은 IMU와 GPS와 카메라 모듈을 포함하고 있는 서비스 단말을 통해, 실내에서도 독립 보행이 가능하게 되었을 뿐만 아니라,

시각장애인의 머릿속에 전체 이동 경로를 그린 상태에서 오리엔테인션 정보를 토대로 현 위치 및 이동방향을 안내받음으로써, 시각 장애인 스스로 보행할 때 확신을 가지고 독립 보행할 수 있게 되었다.

또한, 본 발명은 청각지도를 통해 걸음수 단위로 랜드마크의 위치 및 방향을 순차적으로 안내받아, 출발지에서부터 목적지까지의 전체 경로를 용이하게 학습할 수 있게 되었고, 이로 인해 시각장애인 스스로 해당 경로에 대한 실질적인 이동 훈련 시간을 최소화할 수 있게 되었다.

또한, 본 발명은 카메라 모듈을 통해, 시각장애인 스스로 독립 보행하는 과정 중에 발견된 장애물(도어의 위치 및 손잡이)을 용이하게 인식하고, 이를 피해가거나 혹은 도어를 열고 건물 내부로 들어가거나 밖으로 나올 수 있게 되었다.

도 1은 본 발명의 실시 예에 따른 길 안내 시스템의 블럭도.
도 2는 서비스 단말의 블럭도.
도 3 내지 도 5는 서비스 단말의 사용상태도.
도 6 내지 도 10은 서비스 단말의 화면,
도 11 내지 도 13은 길 안내 시스템의 블럭도

이하, 본 발명을 실시하기 위한 구체적인 내용은 첨부된 도면을 참고하여 상세히 설명하기로 한다.

먼저, 도 1은 본 발명의 실시 예에 따른 독립 보행을 위한 시각 장애인의 길 안내 시스템의 전체 구성을 보여주는 것이고, 도 2는 도 1의 서비스 단말의 개략적인 구성을 보여주는 블럭도이고, 도 3과 도 4는 서비스 단말을 이용해 독립 보행하는 모습을 보여주는 사용 상태도이다.

이를 참고하여 설명하면, 본 발명의 실시 예에 따른 독립 보행을 위한 시각 장애인의 길 안내 시스템은,

시각 장애인의 몸에 착용하는 혹은 사용하는 웨어러블 카메라(2)와,

상기 웨어러블 카메라(2)와 연결되어 독립 보행시 경로 데이터를 토대로 이동경로와 랜드마크 및 이의 단서정보를 음성 안내하기 위한 서비스 단말(1)과,

시각 장애인의 서비스 단말의 접속 관리 및 독립 보행 중 곤란한 상황이 발생하였을 때 이에 응답하기 위한 관리센터의 서비스서버(3)와,

각 서비스 단말의 경로 데이터를 공유하는 한편, 독립보행을 위한 동영상을 확인할 수 있는 웹서버(4)를 포함하여 이루어진다.

이때 길 안내 시스템의 서비스 단말(1)은,

시각 장애인의 걸음수 단위로 혹은 1초 단위로, 현위치에 대하여 위도 및 경도와 진행방향(Beering), 그리고 수신율(HDOP)과 이동거리를 센싱하기 위한 GPS(11)와,

독립 보행시 시각 장애인의 걸음수 연산 및, 지자기센서와 자이로센서를 통한 진행방향과 이동거리를 센싱하기 위한 IMU(Inertial Measurement Unit)(12)와,

랜드마크 촬영 및 영상인식을 통해 오리엔테이션 정보를 확보하기 위한 카메라 모듈(13)을 포함하여 이루어져 지고,

특히, 서비스 단말(1)의 지정된 동작을 취하도록 컨트롤하는 제어부(14)는,

저장된 경로 데이터를 디스플레이패널(15)에 구현할 때, 맵(Map)상에 GPS(11)와 IMU(12)를 통해 확보된 정보를 토대로 시각 장애인의 현 위치와 이동경로를 디스플레이하는 한편,

상기 카메라 모듈(13) 또는 웨어러블 카메라(2)를 통해 확인된 각각의 랜드마크와 이를 통해 확인된 오리엔테이션 정보를 음성안내 함으로써,

시각 장애인 스스로 용이하게 오리엔테인션 정보를 확인하고 목적지까지 독립 보행할 수 있도록 하는 것이다.

참고로 이때 오리엔테이션 정보는, 목적지에 이르기까지의 주변 정보를 잔존감각(청각, 후각, 촉각, 잔존시력)을 통해 파악한 정보로써,

좀 더 구체적으로 설명하면 시각 장애인이 목적지 까지 이동하는 과정에 위치한 랜드마크를 확인할 수 있는 단서정보(예, 랜드마크의 이름, 특징 등등)와, 이의 위치정보, 그리고 상기 랜드마크를 토대로 결정되는 이동방향과 거리(걸음수) 등에 대한 정보 등을 포함하여 이루어진다.

그리고 이러한 서비스 단말(1)은, 도 4에 도시된 바와 같이 목적지까지 전체 경로를 각각의 랜드마크를 기준으로 복수 개의 이동경로로 나눈 상태에서,

시각 장애인 스스로 독립 보행할 때, 서비스 단말은 분할된 이동경로를 안내하면서 현위치가 어디이고 다음 랜드마크까지지 어떻게 되는지 음성안내 함으로써,

시각 장애인은 스스로 가고자 하는 목적지까지의 전체경로 중에서 현재의 위치는 어떻게 되고, 이동하고자 하는 경로는 어떻게 되는지, 용이하게 머릿속으로 연상시킬 수 있도록 하여, 용이하게 독립 보행할 수 있도록 한 것이다.

이때, 상기 서비스 단말(1)은, 맵 상의 이동경로를 청각지도화하여 시각 장애인 스스로 전체 경로를 이미지 트레이닝할 수 있도록 하는 한편, 시각장애인 스스로 출발지에서부터 목적지까지 독립보행할 수 있도록 오리엔테이션 정보를 음성 안내하는 단말기로써,

대표적으로 GPS(11)와 IMU(12)와 카메라 모듈(13)과, 제어부(14)와, 디스플레이패널(15)과, 통신모듈(16)을 포함하여 이루어져, 출발지에서부터 목적지까지 각각의 랜드마크를 기준으로 오리엔테이션 정보를 음성 안내할 수 있는 스마트폰이나 테블릿PC 혹은 노트북 등이다.

그리고 이러한 서비스 단말(1)은, 목걸이 형태로 시각 장애인의 목에 착용되는 것이 바람직하지만,

실시 예에 따라서는 포켓이나 가방에 수용되어진 상태에서 유무선 연결되는 지팡이나 목이나 머리에 착용되는 웨어러블 카메라(2)를 포함하여 이루어질 수도 있는 것이다.

이때 카메라모듈(13) 또는 웨어러블 카메라(2)은, 경로 생성시 등록된 랜드마크와 현재 촬영된 랜드마크의 영상 또는 도로의 모습을 매칭시켜,

영상처리 알고리즘을 토대로 추출된 정보를 기반으로 인식알고리즘 또는 학습알고리즘에 의해 이동방향이나 위치 등을 인식하고, 시각장애인에게 각각의 랜드마크 및 이에 대한 오리엔테인션 정보를 음성 안내하여, 누군가의 도움없이 시각장애인 스스로 독립 보행할 수 있도록 하는 것이다.

이때 상기 카메라모듈 또는 웨어러블 카메라(2)은, 이동과정 중에 설치되어 있는 도어의 위치와 이의 손잡이, 혹은 물체 등을 인식하고 안내할 수도 있는 것이다.

즉, 도 5에 도시된 바와 같이, 시각 장애인이 건물 내부를 이동하거나 혹은 진입 혹은 진출할 때 도어 및 이의 손잡이를 찾지 못해 헤매는 경우를 방지하기 위하여

상기 카메라모듈(13) 또는 웨어러블 카메라(2)은 이동하는 과정 중에 촬영된 영상을 토대로, 이의 위치 및 방향을 음성 안내함으로써, 시각 장애인 스스로 용이하게 도어를 열고 안으로 들어가거나 혹은 밖으로 나올 수 있게 하기 위한 것이다.

더불어 도 6에 도시된 바와 같이, 상기 서비스 단말(1)은 시각 장애인의 독립 보행을 위한 어플리케이션(i Walk)이 설치되어 있을 때,

독립 보행 도움 시나리오부(21)에 의해 누군가의 도움없이 시각장애인 스스로 독립 보행할 수 있도록 지원할 수도 있지만,

시각 장애인의 독립 보행을 활성화시키기 위한 독립 보행 활성화 시나리오부(22)와, 시각 장애인이 독립할 때 이들의 보행이 안전하게 이루어지도록 서포트하기 위한 독립 보행 안전 시나리오부(23)를 포함하여 이루어질 수도 있는 것이다.

이때 상기 독립 보행 도움 시나리오부(21)는 경로생성모듈(21a)과 경로안내모듈(21b)를 포함하여 이루어지고,

상기 경로생성모듈(21a)은 출발지에서부터 목적지까지의 랜드마크와 이의 단서정보를 위치기반으로 음성 입력하여 시각 장애인을 위한 청각지도를 포함하는 경로 데이터를 생성하는 것이다.

즉, 보행전문가가 현장답사 후 시각 장애인과 함께 이동할 때, 도 7에 도시된 바와 같이, 서비스 단말(1)의 메인화면(30)에 구현되어 있는 경로생성버튼(32)을 눌러주어 맵화면(40)을 디스플레이하고,

도 8에 도시된 바와 같이, 상기 맵화면(40)의 시작버튼(41)을 눌러 오픈된 설정창(42)에 출발지의 세팅과 함께 음성인식 또는 문자(42a) 입력할 것인지 설정하는 한편, 보행시 이의 위치측위방법(42b)을 GPS로 할 것인지 IMU를 통한 보행자추측항법(PDR)을 통해 실시할 것인지 설정한다.

이때 위치측위 방식을 수동으로 설정하지 않고, 경로생성시 GPS/Network(WiFi/Cell)와 IMU(PDR)를 통해 모든 위치측위 데이터를 초단위로 생성(기록)하였다가,

경로 안내시에는 위치측위 데이터를 각 랜드마크를 중심으로 구간별로 분석하여 어떤 위치측위 방식으로 안내할지 자동 결정한 후, 경로 안내하는 것이다.

즉, 각각의 랜드마크를 기준으로 구간별 경로를 안내할 때, 실내/실외/수신율/오차율 등을 기준으로 사용할 위치측위 방식을 자동 결정한 후, 이를 토대로 경로를 안내하도록 구축하는 것이다. 이때 위치측위 방식은 실시 예에 따라 수동으로 변경 가능하다.

그리고 시각장애인이 보행전문가의 도움을 받아 보행을 시작하면, 서비스 단말(1)은, GPS(11)와 IMU(12)를 통해 측정된 시각 장애인의 현 위치와, 이의 진행방향 및 걸음수 등을 연산하여 기록하고, 이의 이동한 거리와 속도 등을 안내하는 것이다.

그리고 시각 장애인은 보행전문가의 도움을 받아 이동하면서, 변곡점(예, 사거리, 삼거리, 건널목 등등)이 되는 지점에 도착하게 되면, 주변에 랜드마크가 되는 건물이나 조형물 등이 있는지 확인하고,

상기 맵화면(40)에 구현되어 있는 랜드마크 버튼(43)을 눌러, 해당 랜드마크에 대한 단서정보를 음성 또는 문자로 입력하는 한편, 좌회전버튼(44) 혹은 우회전버튼(45) 혹은 직진버튼을 눌러 줌으로써,

독립 보행시, 시각 장애인이 랜드마크에 대한 단서정보를 안내할 때 시각 장애인이 일측 또는 타측으로 혹은 직진 이동하도록 음성 안내하는 청각지도를 작성하는 것이다.

이때 서비스 단말(1)은, 랜드마크의 위치정보와, 걸음수 정보, 거리정보, 랜드마크에 대한 설명을 음성 또는 문자로 입력하는 한편, 상기 카메라모듈(13)이나 웨어러블 카메라(2)를 통해 촬영된 랜드마크의 영상정보를 입력함으로써,

시각 장애인이 독립 보행할 때, 상기 카메라모듈(13)이나 웨어러블 카메라(2)를 통해, 해당 랜드마크에 대한 영상을 확인한 후 이에 대한 오리엔테이션 정보를 음성 안내하여, 시각 장애인 스스로 독립 보행할 수 있도록 구성하는 것이다.

이때 입력된 음성 역시 특정 화자의 음성만 인식되어 기록되도록 하는 것이 바람직하고, 실시 예에 따라서는 인식된 음성이 문자로 변환되어 기록되어 있다가 출력시 음성 안내되게 구성하는 것이 바람직하다.

그리고 시각장애인이 직진이동하는 과정 중에, 일측 혹은 타측으로 이동하거나 길을 가로질러야할 때마다 랜드마크를 등록하는 작업을 계속하여 수행한 후,

상기 시각 장애인이 원하는 목적지에 도착하였을 때, 종료버튼(46)을 눌러, 오픈된 종료창(47)에 경로명을 입력하고 이의 경로 데이터 생성을 완료하는 것이다.

참고로 랜드마크는 직진 이동을 기준으로 좌측으로 혹은 우측으로 혹은 길을 건너기 위해 정지할 때마다 주변에 위치한 건물이나 조형물을 대상으로 하는 것이 바람직하지만,

실시 예에 따라서는 현재의 위치를 용이하게 안내할 수 있도록 직진 이동하는 과정 중에 유명한 건물이나 특징이 되는 것을 랜드마크로하여, 시각장애인에게 그 위치를 안내해 줄 수도 있는 것이다.

참고로, 경로 생성에 대하여 시각장애인을 기준으로 설명하였으나, 보행전문가의 도움을 받아 같이 이동하면서 경로 생성하고, 이때 보행전문가의 도움을 받아 편리하게 경로생성 및 랜드마크의 단서정보를 입력할 수도 있는 것이다.

즉, 블루투스 이어폰과 음성인식기능을 결합하여 경로생성 중 블루투스 미디어/통화키를 누르면 음성인식 시작음이 출력되고, 이때 음성으로 랜드마크를 설명하면, 음성정보가 자동으로 텍스트정보로 자동 변환되어 저장되게 구성함으로써,

시각장애인의 목에 서비스 단말이 거치되어 이의 보폭을 기준으로 경로를 생성할 때, 보행전문가가 블루투스 이어폰을 통해 랜드마크에 대한 단서정보를 입력할 수 있게 구성할 수도 있는 것이다.

또한, 독립 보행 도움 시나리오부(21)의 경로안내모듈(21b)은, 시각 장애인이 용이하게 목적지까지 도착할 수 있도록 전체 이동경로와 이의 오리엔테인정보를 음성 안내하는 모듈이다.

즉, 도 9에 도시된 바와 같이, 메인화면(30)의 상부에 위치한 경로명(31)을 좌우로 스크롤 이동시켜 특정 시각 장애인이 원하는 경로명(31)이 노출되면, 해당 경로명(31)을 탭(Tap)함으로써, 특정 경로를 선택하는 작업을 완료하는 것이다.

이때 디스플레이 패널에는 해당 경로명에 대응하는 경로 데이터가 로드되면서, 맵화면(50)에 이동경로와 함께 각 랜드마크의 위치를 확인할 수 있는 마커(51)가 디스플레이되고,

상기 맵화면(50)에는, 현재의 위치를 설명하면서 이로부터 다음 랜드마크까지의 남은 거리를 설명하는 현위치버튼(52)과,

경로안내를 시작하도록 하는 경로안내버튼(53)과,

출발지에서 목적지까지의 전체 경로를 음성 안내하는 청각지도버튼(54)과,

해당 이동경로를 편집을 위한 편집버튼(55)과, 독립 보행시 곤란한 상황이 발생 하였을 때 관리센터와 통화연결되게 하는 통화버튼(56) 또는 채팅버튼과,

카메라모듈 또는 웨어러블 카메라를 구동시키기 위한 비전버튼(57)을 포함하여 이루어지게 된다.

이때, 상기 경로안내버튼(53)이 선택되었을 때에는, 출발지를 음성 안내한 후, 다음 랜드마크까지의 이동방향을 음성 안내하고,

이후, 시각 장애인이 독립 보행을 시작하면, GPS(11)와 IMU(12)를 통해 걸음수 및 이동방향 등을 연산한 후, 이를 맵화면(50)에 디스플레이하는 한편, 이를 음성 안내하는 것이다.

그리고 시각 장애인이 독립 보행하면서 특정 랜드마크 주변에 도착하게 되면, 상기 서비스 단말은 랜드마크의 단서정보 또는 오리엔테이션 정보를 음성 안내함으로써, 시각장애인이 용이하게 독립보행할 수 있도록 하는 것이다.

이때 상기 비전버튼(57)을 눌러, 카메라 모듈(13) 또는 웨어러블 카메라(2)이 구동시켰을 때에는 랜드마크를 촬영하고,

이의 영상정보를 토대로 단서정보 및 이의 위치와 거리 등의 오리엔테이션 정보를 정확하게 확인하고 음성 안내함으로써, 시각 장애인 스스로 용이하게 독립 보행할 수 있도록 하는 것이다.

참고로, 상기 편집버튼(55)이 눌려졌을 때에는 경로창(58)이 오픈되고, 해당 경로창(85)에는 현재의 위치를 기준으로 랜드마크까지의 이동방향과, 이에 대한 설명이 디스플레이되고, 상기 경로창(58)의 이동방향 또는 설명이 선택되었을 때에는 관련정보를 수정하거나 편집할 수 있다.

더불어 맵화면(50)상의 랜드마크의 마커(51)를 선택하였을 때에는, 랜드마크 창(59)이 오픈되고, 상기 랜드마크 창(59)에는 해당 랜드마크에 대한 설명을 삭제하거나 혹은 음성 입력할 수 있으며, 위치측위방법을 선택시 해당 랜드마크의 위치를 다시 측정하여 기록되게 하는 것이다.

또한, 상기 독립 보행 활성화 시나리오부(22)는, 집안에서만 거주하고 있는 시각 장애인을 집 밖으로 끌어내어 시각장애인의 독립 보행을 활성화 시키기 위한 것으로써, 시각장애인들끼리의 경쟁력과 향상심 그리고 재미를 이끌어내기 위한 경로공유모듈(22a)과 랭킹모듈(22b)을 포함하여 이루어지게 된다.

이때 경로공유모듈(22a)은 각각의 시각 장애인이 만든 경로 데이터를 공유하기 위한 것으로서,

도 10에 도시된 바와 같이, 서비스 단말(1)의 메인화면(30)에 구현되어 있는 경로공유버튼(33)을 눌러주게 되면,

상기 서비스 단말(1)은 서비스 서버에 접속하게 되고, 이때 시각 장애인의 식별정보가 등록되어 있으면, 웹서버에 연결되면서, 자신의 경로데이터를 업로드하거나 혹은 다른 시각 장애인이 등록한 경로 데이터를 다운로드할 수 있게 구축하여, 시각장애인끼리 독립보행하기 위한 경로데이터를 공유하는 것이다.

또한, 랭킹모듈(22b)은 시각 장애인의 경쟁심리와 흥미를 유발하면서 서로 간의 독립 보행의 노하우를 공유하기 위한 것으로써,

특히 시각 장애인이 독립 보행할 때, GPS와 IMU를 통해 설정된 기간동안 카운팅된 걸음수 또는 이동거리를 기록해 놓았다가,

도 11에 도시된 바와 같이, 서비스 단말(1)이 관리센터의 서비스서버(3)에 접속하였을 때, 웹서버(4)를 통해, 전체 또는 국가별 또는 그룹별 독립 보행의 순위를 카운트하고, 그 결과를 안내함으로써, 시각장애인의 독립보행을 활성화시키기 위한 것이다.

이때 서비스 서버 혹은 웹서버는 독립 보행의 교육 동영상을 데이터베이스화하여 시각장애인의 서비스단말로 서비스할 수 있을 뿐만 아니라, 랭킹 순위에 따른 인센티브를 지불함으로써, 시각 장애인의 흥미와 이득을 이끌어내 효과적으로 독립 보행이 활성화되게 할 수도 있는 것이다.

또한, 독립 보행 안전 시나리오부(23)는, 시각 장애인이 독립 보행할 때 곤란한 상황이 발생하였을 경우 관리센터나 주변 사람들에게 도움을 요청하기 위한 것으로써, 원격도움모듈(23a) 질문모듈(23b)과, 인식모듈(23c)을 포함하여 이루어지게 된다.

이때 원격도움모듈(23a)은 시각 장애인이 타인의 도움없이 혼자서 목적지까지 독립 보행하는 과정 중에, 방향감각을 상실하여 이동경로를 벗어나, 주변에 도움을 요청해야만 하는 상황이 발생하였을 때,

시각장애인 스스로 주변의 위치나 방향을 설명할 수 없기 때문에, 영상통화버튼(35)이 눌러,

주변환경을 촬영한 영상과 함께 GPS 및 IMU를 통해 확보한 위치정보를 서비스서버(3)로 전송하여 가족, 활동보조인, 관리센터의 직원 등이 원격으로 이를 확인할 수 있도록 하는 것이다.

즉, 도 12에 도시된 바와 같이, 서비스 단말(1)이 서비스서버(3)에 연결되었을 때, 카메라모듈(13) 또는 웨어러블 카메라(2)를 통해 촬영된 영상정보를 전송하는 한편, 랜드마크까지 남은 거리/걸음수 등을 서비스 서버(3)에 전송하고,

상기 서비스서버(3)는 WebRTC모듈을 통해 시각장애인의 영상이 공유받아 시각 장애인의 위치를 확인하고,

해당 시각 장애인에게 촬영된 영상을 토대로 이동방향이나 거리 등을 음성 안내하면서 랜드마크까지 남은 거리/걸음수 등을 안내함으로써, 계속해서 시각장애인이 독립보행을 이어나갈 수 있도록 하는 것이다.

참고로 이때 영상통화 또는 영상질문시 원격지에 있는 사람은, 바로 옆에 있는 것처럼 코칭 또는 도움을 줄 수 있도록 주변 카메라의 영상과 시각장애인의 위치와 이동경로를 동시에 오버레이하여 공유할 수 있게 구성되어 있다.

또한, 질문모듈(23b)은 메인화면의 채팅버튼(35) 또는 질문버튼 동작시, 서비스서버(3)에 접속하여 문자 혹은 음성인식(STT) 기능에 의해, 페이스북이나 SNS 등 오픈 플랫폼에 올려진 질문들을 확인할 수 있게 구성하고,

이의 질문에 대해 등록된 댓글이나 답변을 음성 안내받아, 시각장애인의 독립보행을 계속해서 이어나갈 수 있게 하는 것이다.

또한, 영상인식모듈(23c)은 도 13에 도시된 바와 같이, 보행 중에 카메라모듈(13) 또는 웨어러블 카메라(2)를 통해 촬영된 영상정보를 토대로 물체를 인식하거나 혹은 간판 등에 기재된 텍스트 영상을 추출해서 음성 안내함으로써, 시각 장애인이 일상생활에 시각적으로 확인할 수 없으면서 겪게 되는 곤란한 일 등을 처리할 수도 있는 것이다.

따라서 본 발명은 IMU와 GPS와 카메라 모듈을 포함하고 있는 서비스 단말을 통해, 시각장애인 스스로 실내에서 독립 보행이 가능하게 되었을 뿐만 아니라,

시각장애인의 머릿속에 전체 이동 경로를 그린 상태에서 각각의 랜드마크에 대한 오리엔테인션 정보를 안내받아, 스스로 확신을 가지고 독립 보행할 수 있게 되었다.

더불어 본 발명은 청각지도를 통해 걸음수 단위로 랜드마크의 위치 및 방향을 순차적으로 안내받아 출발지에서부터 목적지까지 전체 경로를 용이하게 학습할 수 있게 되었고, 이로 인해 시각장애인 스스로 해당 경로에 대한 실질적인 이동 훈련 시간을 최소화할 수 있게 되었다.

또한, 본 발명은 카메라 모듈을 통해, 시각장애인 스스로 독립 보행하는 과정 중에 발견된 도어의 위치 및 손잡이를 용이하게 찾아 문을 열고 안으로 들어가거나 혹은 밖으로 나올 수 있게 되었다.

지금까지 본 발명에 대해 첨부된 도면을 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양하게 변형 및 균등이론에 의해 용이하게 실시할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 특허청구범위에 의해서 정하여져야 할 것이다.

1:서비스 단말 2:웨어러블 카메라
3:서비스서버 4:웹서버
11:GPS 12:IMU
13:카메라모듈 14:제어부
15:디스플레이패널 16:근거리통신모듈
21:독립 보행 도움 시나리오부 21a:경로안내모듈
21b:경로생성모듈 22:독립 보행 활성화 시나리오부
22a:경로공유모듈 22b:랭킹모듈
23:독립 보행 안전 시나리오부 23a:원격도움모듈
23b:질문모듈 23c:인식모듈
30:메인화면 31:경로명
32:경로생성버튼 33:경로공유버튼
34:채팅버튼 35:영상통화버튼
36:영상인식버튼 37:질문버튼
40,50:맵화면 41:시작버튼
42:설정창 43:랜드마크버튼
44:죄회전버튼 45:우회전버튼
46:종료버튼 47:종료창
51:랜드마크 마커 52:현위치버튼
53:경로안내버튼 54:청각지도버튼
55:편집버튼 56:통화버튼
57:비전버튼 58:경로창
59:랜드마크 창

Claims (14)

1. 현위치에 대하여 걸음수 단위로 위도, 경도, 이동거리를 센싱하기 위한 GPS(11)와, 이동시 걸음수 계산, 진행방향, 이동거리를 센싱하기 위한 IMU(12)와, 지정된 동작을 취하도록 하는 컨트롤하는 제어부(14)를 포함하여 구성된 시각장애인이 소지하고 있는 서비스 단말에 있어서,
   상기 서비스 단말은 시각 장애인의 독립 보행을 위한 어플리케이션이 활성되면서 제어부가 디스플레이패널을 통해 보여지는 맵상에 상기 GPS와 IMU를 통해 확보된 정보를 토대로 출발지부터 목적지까지의 등록된 경로를 로드하였을 때에, 시각 장애인은 스스로 가고자 하는 목적지까지의 전체 경로 중에서 현재의 위치가 어디고 얼마나 가야하는지 머릿속으로 연상할 수 있게 전체경로를 랜드마크를 기준으로 복수 개의 이동경로로 나눈 후 현위치가 어디이고 다음 랜드마크까지의 이동경로를 음성안내할 수 있게 구성하고,
   상기 서비스 단말은 등록된 출발지에서부터 목적지까지의 거리, 걸음수, 이동시간, 각 랜드마크의 구간별 거리, 걸음수, 이동시간의 음성 안내에 따라 시각장애인 스스로 독립보행에 대하여 이미지 트레이닝할 수 있게 청각지도를 형성하고,
   상기 서비스 단말은 맵화면(40)의 시작버튼(41)을 눌러 오픈된 설정창(42)에 출발지의 세팅과 함께 음성인식 또는 문자(42a) 입력할 것인지 설정하고, 보행시 위치측위방법을 GPS로 할 것인지 IMU를 통한 보행자추측항법(PDR)을 통해 실시할 것인지 설정하고, 시각장애인이 보행전문가의 도움을 받아 보행을 시작하면, GPS(11)와 IMU(12)를 통해 측정된 시각 장애인의 현 위치와 이의 진행방향 및 걸음수를 연산하여 기록하고 이의 이동 거리와 속도를 안내하되, 변곡점이 되는 지점에 도착하게 되면 주변에 랜드마크가 되는 건물이나 조형물을 확인하고, 상기 맵화면(40)에 구현되어 있는 랜드마크 버튼(43)을 눌러, 해당 랜드마크에 대한 단서정보를 음성 또는 문자로 입력하고 좌회전버튼(44) 혹은 우회전버튼(45) 혹은 직진버튼을 눌러줘서 시각장애인 스스로 독립보행할 때에 랜드마크에 대한 단서정보를 음성 안내 받도록 구성하는 한편 목적지에 도착하였을 때에 종료버튼(46)을 눌러 경로 데이터의 생성을 완료하여 경로명 또는 출발지 또는 목적지 입력시 등록된 경로를 로드할 수 있게 구성된 것을 특징으로 하는
   시각 장애인의 독립보행 도움 서비스 단말.
2. 제1항에 있어서,
   상기 서비스 단말은 시각 장애인의 개인정보를 데이터베이스화하고 있으며, 접속 연결시 시각 장애인의 요청에 대해 응답하여 안전하게 독립 보행을 계속해서 이어 나갈 수 있도록 서포트 하기 위한 관리센터의 서비스 서버(3)와, 상기 서비스 단말은 서비스 서버를 통해 연결되어, 시각 장애인끼리 각각의 경로 데이터를 공유하는 한편, 독립보행을 위한 노하우나 동영상 등의 정보를 서비스 받을 수 있는 웹서버(4)를 포함하여 구성되고,
   상기 서비스 단말은 시각 장애인의 독립 보행을 서포트하기 위한 독립 보행 도움 시나리오부(21)와, 등록된 각 시각 장애인들의 독립 보행을 활성화 시키기 위한 독립 보행 활성화 시나리오부(22)와, 시각 장애인이 독립할 때 이들의 보행이 안전하게 계속해서 이어날 수 있도록 서포트하기 위한 독립 보행 안전 시나리오부(23)를 포함하여 구성되고,
   상기 독립 보행 도움 시나리오부(21)는 출발지에서부터 목적지까지의 각 랜드마크와 이의 단서정보를 위치기반으로 음성 입력한 청각지도를 포함하는 경로 데이터를 생성하기 위한 경로생성모듈(21a)과, 상기 경로생성모듈에 의해 생성된 경로 데이터를 로드하여 디스플레이패널의 맵상에 GPS와 IMU를 통해 확보된 정보를 토대로 목적지까지 순차적으로 랜드마크와 이의 단서정보나 오리엔테이션 정보를 음성 안내하여 독립보행이 이루어지도록 서포트 하는 경로안내모듈(21b)을 포함하여 구성되고,
   상기 독립 보행 활성화 시나리오부(22)는 서비스 서버에 접속하여 웹서버를 통해 각각의 시각 장애인이 만든 경로 데이터를 업로드 하거나 혹은 다운로드하여 시각 장애인끼리 경로 데이터를 공유하기 위한 경로공유모듈(22a)과, 상기 GPS와 IMU를 통해 설정된 기간 동안 시각 장애인이 독립 보행한 이동거리 또는 걸음수를 카운트하였다가, 서비스서버에 접속하였을 때, 웹서버를 통해 각 시각장애인의 독립보행 순위를 카운트하고, 그 결과를 안내하는 랭킹모듈(22b)을 포함하여 구성되고,
   상기 독립 보행 안전 시나리오부(23)는 서비스서버(3)에 접속하여 WebRTC모듈을 통해 시각장애인의 영상을 공유받아 시각 장애인의 위치를 확인하고, 해당 시각 장애인에게 촬영된 영상을 토대로 이동방향을 음성 안내하면서 랜드마크까지 남은 거리/걸음수를 안내하는 영상통화모듈(23a)과, 서비스서버(3)에 접속하여 오픈 플랫폼에 올려진 질문에 대해 등록된 댓글이나 답변을 음성 안내하는 질문모듈(23b)과, 카메라모듈(13) 또는 웨어러블 카메라(2)를 통해 촬영된 영상정보를 토대로 물체를 인식하거나 혹은 간판 등에 기재된 텍스트 정보를 추출하여 음성 안내하기 위한 영상인식모듈(23c)을 포함하여 구성된 것을 특징으로 하는
   시각 장애인의 독립보행 도움 서비스 단말.
3. 제1항에 있어서,
   상기 서비스 단말은 경로 생성시 출발지서부터 목적지까지 각 랜드마크에 대한 단서정보를 등록하기 위한 마이크 또는 블루투스 이어폰을 포함하여 이루어져 서비스 단말이 경로를 생성시 입력된 음성정보가 텍스트정보로 자동 변환되어 저장되어 있는 것을 특징으로 하는
   시각 장애인의 독립보행 도움 서비스 단말.
4. 제1항에 있어서,
   상기 서비스 단말은 랜드마크 영상 촬영 및 영상인식을 통한 확보된 오리엔테이션 정보를 제공하기 위한 카메라 모듈(13) 또는 웨어러블 카메라(2)를 포함하여 이루어져, 경로 생성시 촬영된 과거의 영상과 경로 안내시 촬영된 현재 영상을 비교하여 도어의 위치 및 방향과 손잡이까지의 거리를 음성 안내함으로써,
   시각장애인 스스로 보행하는 과정 중에 위치한 도어를 열고 용이하게 건물 안으로 진입하거나 혹은 진출할 수 있는 것을 특징으로 하는
   시각 장애인의 독립보행 도움 서비스 단말.
5. 제1항에 있어서,
   상기 서비스 단말은 경로 생성시 GPS와 IMU를 통해 측정된 측위데이터를 모두 기록하여 놓았다가,
   상기 서비스 단말가 경로를 안내할 때에 각 랜드마크를 중심으로 구간별로 실내/실외/수신율/오차율에 따라 어떤 위치측위 방식으로 안내할지 자동 결정된 후 음성으로 경로가 안내되게 구성성된 것을 특징으로 하는
   시각 장애인의 독립보행 도움 서비스 단말.
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제

Images