[go: up one dir, main page]

CN111611812A - 翻译成盲文 - Google Patents

翻译成盲文 Download PDF

Info

Publication number
CN111611812A
CN111611812A CN202010098155.9A CN202010098155A CN111611812A CN 111611812 A CN111611812 A CN 111611812A CN 202010098155 A CN202010098155 A CN 202010098155A CN 111611812 A CN111611812 A CN 111611812A
Authority
CN
China
Prior art keywords
feature
scene
prompt
processor
braille
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010098155.9A
Other languages
English (en)
Other versions
CN111611812B (zh
Inventor
C·E·贝勒尔
S·佩尔温
C·M·特瑞米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN111611812A publication Critical patent/CN111611812A/zh
Application granted granted Critical
Publication of CN111611812B publication Critical patent/CN111611812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/32—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for printing in Braille or with keyboards specially adapted for use by blind or disabled persons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

本公开涉及翻译成盲文。为场景的数字图像生成结构化描述。结构化描述可以包括场景的第一特征和第二特征。结构化描述还可以包括第一特征的第一细节和第二特征的第二细节。便携式盲文序列打印机可以使用结构化描述来生成第一特征和第二特征的盲文文本。便携式盲文序列打印机还可以响应于来自用户的关于第一特征的提示来生成关于第一细节的附加盲文文本。

Description

翻译成盲文
技术领域
本公开涉及将场景翻译成盲文，更特别地涉及生成场景的结构化描述以促进将由数字图像捕获的场景翻译成盲文。
背景技术
随着现代设备中相机的普及，图像处理领域正在不断发展。计算系统正变得越来越强大，并且善于检测和正确识别静止图像和视频数据的形状。因此，计算系统变得越来越能够在视觉上识别环境的元素。例如，自动驾驶汽车等通常严重依赖信息的视觉识别来确定何时何地以及如何交互。
发明内容
本公开的各方面涉及生成场景的结构化描述以将场景翻译成盲文(braille)的系统和方法。场景的数字图像被处理器接收。处理器对数字图像利用图像识别技术生成场景的结构化描述。结构化描述包括场景的第一特征和第二特征。结构化描述还包括第一特征的第一细节和第二特征的第二细节。便携式盲文序列打印机使用结构化描述生成第一特征和第二特征的盲文文本。便携式盲文序列打印机响应于用户关于第一特征的提示而生成关于第一细节的附加盲文文本。
本公开的一些方面涉及一种系统，该系统包括处理器和与处理器通信的存储器。存储器可以包含程序指令，该程序指令在由处理器执行时被配置为使处理器执行包括接收场景的数字图像的方法。该方法还可以包括对数字图像利用图像识别技术来生成场景的结构化描述。结构化描述可以包括场景的第一特征和第二特征。结构化描述还可以包括第一特征的第一细节和第二特征的第二细节。该方法可以包括将结构化描述传输到便携式盲文序列打印机。
以上发明内容并非旨在描述本公开的每个图示的实施例或每种实现方式。
附图说明
本申请中包括的附图被并入说明书中并形成其一部分。它们图示了本公开的实施例，并且与描述一起用于解释本公开的原理。附图仅是某些实施例的说明，并不限制本公开。
图1描绘了示例系统的概念性和示意性框图，该示例系统被配置为通过创建场景的结构化描述来将场景翻译成盲文。
图2描绘了具有多个特征和特征的多个细节的示例场景。
图3描绘了通过创建场景的结构化描述将场景翻译成盲文的方法的示例流程图。
虽然本发明可以进行各种修改和替代形式，但是其细节已经通过示例在附图中示出并且将被详细描述。但是，应该理解的是，意图不是将本发明限制于所描述的特定实施例。相反，意图是涵盖落入本发明的精神和范围内的所有修改、等同形式和替代形式。
具体实施方式
本公开的各方面涉及将场景翻译成盲文，并且更特别的方面涉及生成场景的结构化描述以促进将由数字图像捕获的场景翻译成盲文。例如，本公开的各方面可以涉及用于自动地将场景从数字图像翻译成盲文文本，并且其中将盲文文本传输到被配置为以用于用户的触觉格式创建盲文文本的移动和/或可穿戴设备的系统和方法。虽然本公开不一定限于此类应用，但是可以通过使用该上下文讨论各种示例来理解本公开内容的各方面。
在一些示例中，本公开的各方面可以通过拍摄场景的照片(例如，数字图像)来开始将场景翻译成盲文的处理。如本文所使用的，场景是真实世界背景，其包括可能对人(例如，视觉障碍的人)有用的视觉信息。一旦创建了数字图像，翻译控制器(例如，如下文参考图1所述的包括处理器的计算系统)就可以分析由数字图像捕获的场景。翻译控制器可以分析数字图像以识别场景的特征，其中特征可以包括诸如标志、商店、车辆、人、动物、诸如桩子或水体之类的物理障碍等事物。
一旦翻译控制器识别出这些特征，翻译控制器就可以生成场景的结构化描述。翻译控制器可以生成要至少部分地以文本格式存储的结构化描述(例如，其中结构化描述至少部分地以自然语言格式存储)。结构化描述可以按特征(例如，用针对每个特征的指针或标签)来组织结构化描述，其中每个特征具有链接(例如，嵌入)到相应特征的进一步信息(以自然语言格式存储的每个特征的详细描述)。此外，如本文所述，翻译控制器可以将特征组织成自然语言短语以构造场景的字幕或概述。如本文所使用的，场景的结构化描述可以包括关于该场景的数据的电子构造，其中主要特征本身被“标记”并且被组织成通常描述场景但也连接到相应特征的特定细节的自然语言短语或句子。
盲文序列打印机可以使用结构化描述为用户生成关于场景的盲文触觉消息。盲文序列打印机可以是被配置为为用户生成多个盲文字符的设备。盲文序列打印机可以被配置为生成作为从盲文序列打印机的相对平坦表面延伸出来的“浮雕”的字符。盲文序列打印机可以被配置为生成拼写出消息的盲文字符序列(例如，有序集合)。盲文序列打印机可以包括多个生成元素，诸如从平坦表面延伸以定义生成的盲文字符的销(pin)或榫(dowel)等。生成元素可以被配置为从表面延伸出来或平放在表面上以生成如由本文所述的处理器控制的盲文字符。在一些示例中，盲文序列打印机可以是便携式的。例如，盲文序列打印机可以被配置为手持式的(例如，既足够轻又足够小以让普通成年人舒适地把持)，或者可以被集成到诸如手套或衣袖之类的可穿戴设备中。
例如，盲文序列打印机可以生成场景的概述和场景的特征列表。在一些示例中，盲文序列打印机可以通过以自然语言格式在句子或短语中一起列出每个特征来生成概述。用户可以提供关于一个或多个特征的提示或请求，响应于此，盲文序列打印机可以提供关于特征的附加细节。在一些示例中，盲文序列打印机可以远离翻译控制器(例如，其中翻译控制器包括与盲文序列打印机位于不同的外壳内的处理器)，使得盲文序列打印机可以接收来自翻译控制器的关于结构化描述和/或任何后续提示的消息。通过使用具有结构化的信息层的结构化描述以提供包括盲文序列打印机和翻译控制器之间的用户反馈的闭环，本公开的各方面可以增加以与场景相关的盲文格式向用户提供准确、相关和/或期望的信息的能力。
图1描绘了系统100的概念框图，系统100被配置为使用结构化描述将场景翻译成盲文。仅出于说明的目的描绘系统100的部件的特定布置，因为在其它示例中，系统100可以包括更多或更少的部件或彼此集成的类似部件。系统100可以包括翻译控制器110。翻译控制器110可以是便携式计算设备，诸如智能电话或其它形式的手持式计算设备。在一些示例中，翻译控制器110可以被集成到诸如一副智能眼镜或智能手表之类的可穿戴设备中。在某些示例中，翻译控制器110可以被集成到诸如拐杖等的移动设备中。
翻译控制器110可以包括接口112、处理器114和存储器116。翻译控制器110可以包括任何数量或量的接口112、处理器114和存储器116。接口112可以被配置为使翻译控制器110能够与翻译控制器110外部的设备通信(例如，向其发送数据以及接收和利用由其传输的数据)。例如，接口112可以被配置为使翻译控制器110的部件能够与例如盲文序列打印机120和/或相机130通信。在一些示例中，接口112可以包括服务数据对象框架，以确保以统一的方式访问翻译控制器110的部件。接口112可以包括一个或多个网络接口卡，诸如以太网卡，和/或可以发送和接收信息的任何其它类型的接口设备。根据特定需要，可以使用任何适当数量的接口来执行所描述的功能。
翻译控制器110被配置为生成场景的结构化描述。翻译控制器110可以利用处理器114来生成场景的结构化描述。处理器114可以包括例如微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或等效的离散或集成逻辑电路。处理器114中的两个或更多个可以被配置为一起工作以生成场景的结构化描述。例如，虽然为清楚起见，在翻译控制器110中仅描绘了一个处理器114，但在一些示例中，跨翻译控制器110、盲文序列打印机120和/或相机130的多于一个的处理器114可以一起工作以生成如本文描述的场景的结构化描述。
处理器114可以根据存储在翻译控制器110的存储器116上的场景翻译指令118来生成场景的结构化描述。例如，本公开内归因于翻译控制器110的动作可以由处理器114根据存储在翻译控制器110的存储器116上的指令来执行。存储器116可以包括计算机可读存储介质或计算机可读存储设备。在一些示例中，存储器116可以包括短期存储器或长期存储器中的一个或多个。存储器116可以包括例如随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、磁性硬盘、光盘、软盘、闪存、或电可编程存储器(EPROM)或电可擦除可编程存储器(EEPROM)的形式。在一些示例中，处理器114可以根据存储在翻译控制器110的存储器116中存储的一个或多个应用(例如，软件应用)内的场景翻译指令118来生成场景的结构化描述。虽然为了清楚起见在翻译控制器110中仅绘出了一个存储器116，但是在其它示例中，翻译控制器110、盲文序列打印机120和/或相机130中的每一个中包括的一个或多个存储器设备可以存储用于方法的不同部分的关于如本文所述生成场景的结构化描述的场景翻译指令118。
翻译控制器110可以从相机130接收一个或多个数字图像。例如，翻译控制器110可以从相机130接收由单张照片拍摄的单个数字图像，或者翻译控制器110可以在相机130所记录的视频内接收多个数字图像。如图1所示，翻译控制器110可以被容纳在与相机130不同的外壳内。例如，翻译控制器110可以是智能电话，而相机130在一副智能眼镜内。相机130可以使用例如近场通信(NFC)或蓝牙技术等将数字图像发送到翻译控制器110。在其它示例(未绘出)中，翻译控制器110和相机130可以被集成到诸如一副智能眼镜或拐杖或智能电话等的单个设备中。在翻译控制器110和相机130在不同结构内的情况下，相机130可以通过网络140向翻译控制器110发送数字图像。网络140可以包括一个或多个专用或公共计算网络。例如，网络140可以包括专用网络(例如，具有阻止未经授权的外部访问的防火墙的网络)。替代地或附加地，网络140可以包括公共网络，诸如互联网。在其它实施例中，网络140包括或被实现为短距离无线网络(也称为个人局域网)。例如，可以根据电气和电子工程师协会(IEEE)IEEE802.15标准配置网络140。合适的个人局域网技术的示例类型包括但不限于红外数据协会(IrDA)、无线通用串行总线(USB)、蓝牙或ZigBee。在一些实施例中，翻译控制器110可以通过个人局域网直接与相机130和/或盲文打印机120通信。在其它实施例中，可以使用个人局域网将翻译控制器110连接到更高级别的网络，诸如互联网，以使得翻译控制器110与相机130和/或盲文打印机120之间能够通信。虽然在图1中被示为单个实体，但是在其它示例中，网络140可以包括公共和/或专用网络的组合。
在一些示例中，翻译控制器110可以使相机130创建一个或多个数字图像。例如，翻译控制器110可以使用接口112通过网络140向相机130发送消息。消息可以被配置为使相机130立即拍摄照片或视频，并将对应的一个或多个数字图像发送回翻译控制器110。翻译控制器110可以响应于来自用户的关于拍摄照片的实例化提示，将该消息发送到相机130。例如，翻译控制器110可以被语音激活，使得用户可以说出“将这个场景翻译成盲文”，响应于此，翻译控制器110可以被配置为将消息发送到相机130。替代地或附加地，翻译控制器110可以被配置为响应于用户按下一个或多个按钮或者以其它方式与翻译控制器110的物理界面或表面进行触觉交互来将消息发送到相机130。替代地或附加地，翻译控制器110可以被配置为响应于检测到用户处于场景的盲文翻译可能有用的背景中而自动地(例如，自主地并且没有人工输入地)使相机130拍摄照片。例如，翻译控制器110可以被配置为当翻译控制器110检测到用户处于某个背景(例如，在商场中、在车辆交通周围或警报器附近)时，自动使相机130拍摄照片。
一旦翻译控制器110接收到数字图像，存储在翻译控制器110的存储器116中的场景翻译指令118就可以使处理器114分析数字图像。例如，翻译控制器110可以被配置为利用图像识别技术，诸如但不限于，光学字符识别(OCR)、使用神经网络的图像分类，以及其它类型的模式识别。使用这些技术，翻译控制器110可以检测数字图像的主要特征。在一些示例中，翻译控制器110可以检测是否在数字图像内捕获了如存储在存储器116中的预定特征列表中的一个特征。例如，存储器116可以包含翻译控制器110搜索的几十个或几百个或几千个特征的列表。该列表可以由正在使用翻译控制器110的用户编辑，和/或该列表可以由通过经网络140提供的软件更新等来设置参数的管理员编辑。更新预定特征列表的其它方式也是可能的。
翻译控制器110可以确定数字图像的场景的概述。概述可以是场景的一般字幕。例如，概述可以是“商店前面的交叉路口”或“午餐菜单前面的收银机处的结账线”或“池塘周围有人行道的公园”等。在一些示例中，翻译控制器110可以确定存储在存储器116中的一组预定概述中的一个预定概述。在其它示例中，翻译控制器110可以将概述生成为利用由翻译控制器110识别出的全部或许多特征的自然语言句子或短语。通过将识别出的特征组合成自然语言概述，翻译控制器110可以被配置为以对用户紧凑和清晰的方式存储场景的相关信息以及使盲文序列打印机120传达这些信息。
翻译控制器110还可以识别关于数字图像的一些或每个识别特征的附加细节。例如，对于“午餐菜单”的特征，翻译控制器110可以识别“培根芝士汉堡11美元”和“凯撒沙拉7美元”的附加细节，而对于“咖啡店”的特征，翻译控制器110可以识别“早上6点至晚上9点开放”和“Debbie’s Neighborhood Coffee Shop”的附加细节。在一些示例中，翻译控制器110可以将附加细节和/或特征以自然语言格式存储在存储器116中。例如，对于“咖啡店”特征，翻译控制器110可以存储附加细节为“Debbie’s Neighborhood Coffee Shop从早上6点至晚上9点开放”。
翻译控制器110可以使用概述、特征和细节来生成场景的结构化描述。例如，翻译控制器110可以生成结构化描述，其中从特征创建概述并且概述用作结构化描述的一般标题，并且细节被链接(例如，嵌入)到相应的特征中。翻译控制器110可以创建以下示例结构化描述：
Figure BDA0002385904430000081
Figure BDA0002385904430000091
结构化描述的其它示例也是可能的。
翻译控制器110可以将结构化描述传输到盲文序列打印机120。翻译控制器110可以通过网络140将结构化描述传输到盲文序列打印机120。在一些示例(未绘出)中，翻译控制器110和盲文序列打印机120可以被集成到单个设备中，使得结构化描述例如在单个设备的模块之间被传输。
盲文序列打印机120可以是被配置为生成盲文文本的设备。例如，盲文序列打印机120可以使用从表面延伸的多个销或珠子来生成盲文文本。盲文序列打印机120可以被集成到诸如手套或衣袖等的可穿戴装置中。替代地，盲文序列打印机120可以被集成到小型便携式设备中，该便携式设备可以例如装配到夹克等的口袋中。例如，盲文序列打印机120(和/或翻译控制器110)可以被配置为装配在夹克的口袋内，使得用户可以通过使用单手与夹克的口袋内的盲文序列打印机120和/或翻译控制器110交互来阅读由盲文序列打印机120生成的盲文和/或与盲文序列打印机120和/或翻译控制器110交互(例如，以获得关于场景的附加信息)。以这种方式，系统100可以使视力障碍用户能够独立地收集关于用户的场景的特征或细节的信息，而不会引起用户不必要的注意。
在一些示例中，盲文序列打印机120可以被配置为提供触觉反馈。此外，盲文序列打印机120可以被配置为检测一个或多个用户提示，诸如触觉提示(例如，用户按压按钮或按压与一个或多个盲文字母或单词或短语对应的位置或按在盲文字母或数字本身上)或语言提示(例如，用户请求接收关于特征之一的信息)等。例如，盲文序列打印机120可以被配置为使用触觉反馈来指示盲文序列打印机120的不同区域可以用于提供相应的提示。具体而言，盲文序列打印机120可以包括可以由用户戴在用户的非惯用手上的手套，其中形成盲文文本的销在手掌或手背上(例如，使得用户可以用用户的惯用手阅读盲文文本)，其中可以将盲文序列打印机120手套的指垫“映射”到结构化描述的各种特征。例如，继续上面的具有若干个商店的城市街道的场景概述的示例，当惯用手跟踪特征“遛狗的人”时，食指垫可以振动，并且当惯用手跟踪特征“咖啡店”时，中指垫可以振动，并且当惯用手跟踪特征“书店”时，无名指垫可以振动，并且当惯用手跟踪特征“服装店”时，小拇指垫可以振动。
系统100可以检测用户何时提供关于由盲文序列打印机120生成的盲文的提示。在一些示例中，翻译控制器110可以检测由用户提供的提示。在其它示例中，盲文序列打印机120(例如，使用与翻译控制器110的处理器114类似的处理器)可以检测由用户提供的提示，而无需翻译控制器110的动作。继续上述触觉反馈指垫的示例，指垫可以包括压力传感器，盲文序列打印机120可以利用该压力传感器直接检测用户指示对应的特征。例如，用户可以通过例如连续两次一起按压他们的拇指和食指来请求关于特征“遛狗的人”的附加细节。
响应于来自用户的关于特征之一的提示，系统100可以经由盲文序列打印机120向用户提供关于(一个或多个)特征的附加细节。例如，如果用户请求关于特征之一的附加细节，则盲文序列打印机120可以生成具有附加细节的附加盲文文本。在一些示例中，翻译控制器110可以确定附加细节，以经由盲文序列打印机120提供给用户。例如，在用户使用语音命令的情况下，翻译控制器110可以检测该命令并且经由网络140向盲文序列打印机120发送新的请求，以根据提示生成新的盲文文本。在其它示例中，盲文序列打印机120可以直接检测提示(例如，无需翻译控制器110的动作)，并响应于提示向用户提供新的细节。
图2描绘了系统100可以为其生成结构化描述的示例场景200。翻译控制器110可以确定场景200包括关于特征202的多个特征202A-202E(统称为“特征202”)和多个细节204A-204FG(统称为“细节204”)。例如，翻译控制器110可以确定场景200包括商店特征202A、车辆特征202B、两个街道特征202C、202D的交叉路口和交通警察特征202E。翻译控制器110可以将这些特征202编译成一种自然语言概述：“在有引导车辆的交通警察的第一和第二街道的交叉路口处的商店”。
翻译控制器110可以确定如上所述的结构化描述，该结构化描述可以在其中传输到盲文序列打印机120，响应于此，盲文序列打印机120可以生成概述和/或每个特征202的盲文文本。用户可以提供对一个或多个特征202的后续请求。例如，响应于用户提供针对商店特征202A的提示，盲文序列打印机120可以生成具有诸如XYZ商店名称细节204A之类的信息的盲文文本。又例如，响应于用户提供关于第一街道202C或第二街道202D的提示，盲文序列打印机120可以分别生成具有诸如西七街细节204F或Yukon街细节204C的信息。又例如，响应于用户提供关于交叉路口的提示，盲文序列打印机120可以生成具有诸如Yukon街细节204C的绿灯细节204E和/或西七街细节204F的红灯细节204D的信息的盲文文本。在一些示例中，翻译控制器110可以通过网络140访问远程数据存储库(例如，诸如在互联网上可用的数据存储库)以获得关于特征202的附加细节204。例如，翻译控制器110可以访问GPS数据(例如，其中翻译控制器110被集成到智能电话中和/或以其它方式可以访问GPS数据)或地图数据等，以确定一条或两条街道的方向。使用这样的信息，翻译控制器110可以响应于用户提示而将从场景200和从在线存储库收集的信息集成到自然语言短语或句子中。例如，响应于关于交叉路口的用户提示，盲文序列打印机120可以生成读为以下的盲文文本：“北南街Yukon街与东西街西七街的交叉路口，Yukon上的交通是红灯”。
在一些示例中，用户可能提供针对没有在结构化描述中的细节204的提示。例如，用户可能查询(例如，用语音激活功能)关于商店特征202A的营业时间。翻译控制器110可能无法识别场景200中的营业时间，使得翻译控制器110可以访问关于商店名称细节204AXYZ的在线数据存储库，响应于此，翻译控制器110可以识别这种营业时间。翻译控制器110可以更新结构化描述，并将更新后的结构化描述传输到盲文序列打印机120，使得可以将新的细节(营业时间)提供给用户。
又例如，用户可以提供关于在场景200中但不在结构化描述内的细节204的提示。例如，用户可能提供关于场景200是否包括自行车或关于街道是否适合自行车的信息的提示。响应于此，翻译控制器110可以分析场景200，并确定街道标志包括适合自行车的指示符细节204G。然后，翻译控制器110可以用该新细节240G来更新结构化描述，然后使盲文序列打印机120生成具有该细节204G的盲文文本。在一些示例中，在用户提供关于未被结构化描述引用的细节的提示的情况下，系统100可以在检查其它数据存储库之前检查场景。
在某些示例中，翻译控制器110可能不能从用于创建初始结构化描述的场景200的数字图像中确定新的细节204G。例如，数字图像可能不包括新的细节204G，或者可能不在焦点上，或者在框外等等。例如，响应于上述适合自行车请求，翻译控制器110可以确定场景200包括车辆特征202B，并且不包括自行车，但是如由数字图像所捕获的，场景200没有呈现其它与自行车相关的信息。在这个示例中，翻译控制器110可以确定初始数字图像包括少于阈值量或阈值质量的关于请求的信息(例如，使得系统100可能不能提供由阈值量或质量的信息所支持的细节)。例如，翻译控制器110可以确定翻译控制器110不能以大于阈值置信度分数的置信度分数响应用户查询的方式来更新结构化描述。响应于此，在一些示例中，翻译控制器110可以使相机130拍摄新照片以捕获场景200的新数字图像。新数字图像可以包括新的细节204G，响应于此，翻译控制器110可以如上所述更新结构化描述。
在某些示例中，用户可能提供针对未在结构化描述中的一个或多个特征202的提示。例如，翻译控制器110可能已省略关于交通警察特征202E的细节(例如，响应于用户选择的选项来省略人类特征202)。但是，用户可能听到交通警察的哨声，并且可能想问交通警察问题。用户可能在其中询问交通警察是否在场景200中，如果是，那么是否有接近交通警察的中点(median)，等等。翻译控制器110可以检测该请求并用交通警察特征202E(例如，以及关于交通警察的一般位置的细节204)更新结构化描述，然后盲文序列打印机120可以关于交通警察特征202E生成盲文。
图3是生成用于将场景翻译成盲文的场景的结构化描述的方法的流程图。图3是相对于图1的系统100来描述的，但是应该理解的是，图3的流程图可以在不同的示例中用不同的系统来执行。在与本公开一致的其它示例中，系统100可以执行生成结构化描述的不同方法(例如，具有更多或更少操作和/或以不同顺序执行的类似操作的方法)。在动作归因于翻译控制器110的情况下，应该理解的是，在一些示例中，翻译控制器110的处理器114可以用于执行存储在翻译控制器110的存储器116内的一组或多组场景翻译指令118的步骤。
翻译控制器110可以接收实例化提示(300)。翻译控制器110可以从用户或从环境参与者(例如，接近翻译控制器110的紧急车辆)等接收实例化提示。实例化提示可以指导系统100将场景(例如，用户正在面对的场景)翻译成盲文。例如，用户可以按压按钮或提供语言队列等。响应于实例化提示，捕获场景的数字图像(302)。相机130可以捕获场景。翻译控制器110可以使相机130捕获场景。在一些示例中，翻译控制器110与相机130集成在一起，使得两者都在单个外壳内，虽然在其它示例中，两者被集成在单独的外壳中。在某些示例中，相机130可以记录多个场景，响应于此，翻译控制器110可以生成如本文所述的多个结构化描述。例如，相机130可以将视频馈送发送到翻译控制器110，翻译控制器110可以生成特征和细节的实时结构化描述以及视频馈送的概述。具体而言，当用户在购物中心周围行走时，用户可以提供实例化提示，诸如“告诉我我正在经过的商店”，响应于此，翻译控制器110可以创建主要或专门描述与实例化提示相关的特征的进行中的结构化描述。
翻译控制器110可以接收一个或多个数字图像(304)。翻译控制器110可以接收从相机130通过网络140发送的数字图像。翻译控制器110可以分析数字图像(306)。分析数字图像可以包括利用光学字符识别以及图像识别和模式识别等。翻译控制器110可以利用神经网络等来分析数字图像。翻译控制器110可以识别数字图像的特征(例如，图2的特征202)(308)。特征可以包括场景的主要元素，诸如将成为场景的主要字幕的一部分的元素。在某些示例中，如上所述，翻译控制器110可以主要或专门列出与用户的实例化提示相关的特征。在一些示例中，翻译控制器110可以利用这些特征来生成字幕或概述。例如，翻译控制器110可以将所有或大多数特征集成到自然语言句子或短语中以创建概述。
翻译控制器110可以识别特征的细节(例如，图2的细节204)(310)。如本文所使用的细节可以包括关于由翻译控制器110识别出的特征的信息。翻译控制器110可以分析数字图像以识别细节。在一些示例中，翻译控制器110可以利用数据存储库(例如，如经由网络140访问的互联网上的数据存储库)来验证或识别或补充一些细节。
翻译控制器110可以生成场景的结构化描述(312)。结构化描述可以包括概述、特征以及链接到相应特征的细节(例如，使得细节在功能上被嵌入在结构化描述中存储的相应特征内)。概述、特征和细节中的每一个可以以自然语言格式存储在结构化描述中。在一些示例中，概述、特征和细节中的每一个可以以电子盲文格式存储在结构化描述中。
结构化描述被传输到盲文序列打印机120(314)。在翻译控制器110位于与盲文序列打印机120不同的外壳内的情况下，可以通过网络140传输结构化描述。在其它示例中，翻译控制器110和盲文序列打印机120可以被集成到单个结构(例如，被配置为经由网络140与相机130通信的可穿戴智能手套或衣袖)中，使得在单个设备的模块或其它内部部件之间传输结构化描述。
盲文序列打印机120使用结构化描述来生成特征的盲文文本(316)。在一些示例中，盲文序列打印机120使用概述以自然语言格式生成特征的盲文文本。盲文序列打印机120可以通过物理抬高与相应盲文文本对应的一系列销来生成特征的概述。
系统100可以确定用户是否发送提示(318)。提示可以包括关于场景的特征或细节的信息。盲文序列打印机120和/或翻译控制器110均可以确定用户是否发送提示。提示可以包括如本文所述的触觉反馈、语音命令等。在预定事件之后，系统100可以使盲文序列打印机120清除所生成的盲文文本(320)。例如，系统100可以响应于系统100确定用户未发送任何提示，或者在经过预定时间量没有提示之后，或者响应于来自用户的清除文本的肯定提示等来使盲文文本清除。在系统100确定接收到提示的情况下，系统100可以确定提示是否与由翻译控制器110识别出的场景的特征相关(322)。例如，用户可以“双击”盲文序列打印机120的与如上所述的结构化描述的特征对应的指垫，以提供关于识别出的特征的提示。又例如，用户可以使用语音命令来可听地询问盲文序列打印机120未提供的场景的可能的特征(例如，由于翻译控制器110在结构化描述中未包括该可能的特征)。
在系统100确定提示是关于未在结构化描述中(并且其中未由盲文序列打印机120生成)的特征的提示时，翻译控制器110可以更新结构化描述以包括或以其它方式引用新特征(334)。例如，翻译控制器110可以分析初始数字图像、拍摄新的数字图像，和/或针对关于新特征的信息访问数据存储库。在翻译控制器110找到关于新特征的信息的情况下，翻译控制器110可以更新结构化描述以包括该肯定信息和/或关于新特征的任何附加细节。替代地，在翻译控制器110不能识别或收集关于新特征的任何信息的情况下，翻译控制器110可以更新结构化描述以肯定地列出不存在这种信息。例如，关于上述场景200，如果用户提供了询问是否存在任何行人的提示，那么翻译控制器110可以分析场景200的数字图像和/或拍摄新的数字图像，并且其中得出不存在行人的结论，并且相应地更新结构化描述。
一旦被更新，翻译控制器110可以再次将更新后的结构化描述传输到盲文序列打印机120，响应于此，盲文序列打印机120可以生成具有更新后的结构化描述的盲文文本(336)。一旦生成盲文文本，翻译控制器110就可以如上所述再次等待和/或确定是否接收到新的提示。
在一些示例中，在系统100确定接收到提示(318)并且该提示关于识别出的特征(322)的情况下，系统可以识别该提示是否关于识别出的细节(328)。例如，系统100可以传输关于给定特征的细节的提示，使得如果任何这样的细节是已知的，那么盲文序列打印机120可以为用户生成这些细节(330)。在其它示例中，系统100可以确定用户正在提供关于未包括在结构化描述中的一个或多个细节的提示。
例如，翻译控制器110可以确定用户发送了关于未包括在结构化描述中的细节的语音提示。替代地，翻译控制器110可以识别接收到的关于特征的附加细节的用户提示，对于该特征，不存在附加细节。在这样的示例中，翻译控制器110可以更新结构化描述以包括这样的细节(332)。例如，翻译控制器110可以响应于提示而用新信息生成新细节，或者翻译控制器110可以更新细节以明确地和肯定地声明不存在关于提示的信息。响应于此，盲文序列打印机120可以用新识别的细节生成盲文文本(330)，并且系统100可以等待以确定是否存在新的提示(318)。
如上所述，在一些示例中，相机130可以向翻译控制器110提供数字图像的实时馈送，响应于此，图3的流程图的大多数或每个操作可以随着用户的场景变化被实时执行。例如，如上所述，用户可以请求为用户将商店的场景翻译成盲文(300)，响应于此，相机130可以记录实时馈送(302)，该实时馈送被周期性地或连续地发送到翻译控制器110(304)，其中可以识别商店名称的特征(308)(以及识别商店的相对位置的细节(310))，使得可以生成实时结构化描述(312)。该实时结构化描述可以被周期性地或连续地传输到盲文序列打印机120(314)，使得用户可以例如在购物中心周围行走并从由盲文序列打印机120生成的以指示用户正在走过的商店的不断刷新的盲文文本接收实时馈送(316)。通过向系统100提供进一步的提示(322-336)，以进一步询问用户周围的更新场景，用户可以进一步与系统100间或地交互。
已经出于说明的目的给出了本公开的各种实施例的描述，但是其不旨在是穷举的或限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。本文使用的术语被选择以解释实施例的原理、实际应用或对市场上发现的技术的技术改进，或者使本领域的其它普通技术人员能够理解本文公开的实施例。
在任何可能的技术细节结合层面，本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (23)

1.一种方法，包括：
由处理器接收场景的数字图像；
由处理器利用对数字图像的图像识别技术生成场景的结构化描述，其中结构化描述包括：
场景的第一特征和第二特征；以及
第一特征的第一细节；
由便携式盲文序列打印机并使用结构化描述，生成第一特征和第二特征的盲文文本；以及
由便携式盲文序列打印机并响应于来自用户关于第一特征的提示，生成关于第一细节的附加盲文文本。
2.如权利要求1所述的方法，还包括由处理器将结构化描述传输到便携式盲文序列打印机。
3.如权利要求1所述的方法，其中便携式盲文序列打印机是可穿戴的。
4.如权利要求1所述的方法，还包括：
由处理器接收创建场景的结构化描述的实例化提示；以及
由处理器响应于实例化提示而使相机创建数字图像。
5.如权利要求1所述的方法，其中所述提示是第一提示，所述方法还包括：
从用户接收关于第一特征的第二细节的第二提示；
由处理器利用对数字图像的图像识别技术，生成场景的更新后的结构化描述，其中更新后的结构化描述包括第一特征的第二细节；以及
由便携式盲文序列打印机并响应于接收到第二提示，生成第二细节的盲文文本。
6.如权利要求1所述的方法，其中所述提示是第一提示，所述方法还包括：
从用户接收关于第一特征的第二细节的第二提示；
由处理器利用图像识别技术确定数字图像包括关于第二细节的少于阈值量的信息；
由处理器并响应于确定数字图像包括少于阈值量的信息，使相机创建场景的附加数字图像；
由处理器利用对附加数字图像的图像识别技术生成场景的更新后的结构化描述，其中更新后的结构化描述包括第一特征的第二细节；以及
由便携式盲文序列打印机并响应于接收到第二提示，生成第二细节的盲文文本。
7.如权利要求1所述的方法，其中结构化描述包括作为包括第一特征和第二特征二者的自然语言句子的场景的概述，其中便携式盲文序列打印机生成第一特征和第二特征的盲文文本包括便携式盲文序列打印机生成概述。
8.如权利要求1所述的方法，其中所述提示是第一提示，所述方法还包括：
从用户接收关于场景的第三特征的第二提示；
由处理器利用对数字图像的图像识别技术生成场景的更新后的结构化描述，其中更新后的结构化描述包括第三特征和关于第三特征的第二细节；以及
由便携式盲文序列打印机并响应于接收到第二提示，生成第三特征的盲文文本。
9.如权利要求1所述的方法，其中所述提示是第一提示，所述方法还包括：
从用户接收关于第一特征的第二细节的第二提示；
由处理器利用图像识别技术确定数字图像包括关于第二细节的少于阈值量的信息；
由处理器并响应于确定数字图像包括少于阈值量的信息，从数据存储库收集第二细节；
由处理器利用对附加数字图像的图像识别技术生成场景的更新后的结构化描述，其中更新后的结构化描述包括第一特征的第二细节；以及
由便携式盲文序列打印机并响应于接收到第二提示，生成第二细节的盲文文本。
10.如权利要求1所述的方法，其中结构化描述包括以电子盲文格式存储的文本。
11.一种系统，包括：
处理器；以及
与处理器通信的存储器，所述存储器包含程序指令，所述程序指令在由所述处理器执行时被配置为使所述处理器执行方法，所述方法包括：
接收场景的数字图像；
利用对数字图像的图像识别技术生成场景的结构化描述，其中结构化描述包括：
场景的第一特征和第二特征；以及
第一特征的第一细节；以及
将结构化描述传输到便携式盲文序列打印机。
12.如权利要求11所述的系统，所述存储器包括附加程序指令，所述附加程序指令在由所述处理器执行时被配置为使所述处理器执行所述方法，所述方法还包括：
接收创建场景的结构化描述的实例化提示；以及
响应于实例化提示，传输被配置为使相机创建数字图像的信号。
13.如权利要求11所述的系统，其中所述提示是第一提示，所述存储器包括附加程序指令，所述附加程序指令在由所述处理器执行时被配置为使所述处理器执行所述方法，所述方法还包括：
从用户接收关于第一特征的第三细节的第二提示；以及
利用对数字图像的图像识别技术生成场景的更新后的结构化描述，其中更新后的结构化描述包括第一特征的第三细节。
14.如权利要求11所述的系统，其中所述提示是第一提示，所述存储器包括附加程序指令，所述附加程序指令在由所述处理器执行时被配置为使所述处理器执行所述方法，所述方法还包括：
从用户接收关于第一特征的第三细节的第二提示；
利用图像识别技术确定数字图像包括关于第三细节的少于阈值量的信息；
响应于确定数字图像包括少于阈值量的信息，传输被配置为使相机创建场景的附加数字图像的信号；以及
利用对附加数字图像的图像识别技术生成场景的更新后的结构化描述，其中更新后的结构化描述包括第一特征的第三细节。
15.如权利要求11所述的系统，其中所述提示是第一提示，所述存储器包括附加程序指令，所述附加程序指令在由所述处理器执行时被配置为使所述处理器执行所述方法，所述方法还包括：
从用户接收关于场景的第三特征的第二提示；以及
利用对数字图像的图像识别技术生成场景的更新后的结构化描述，其中更新后的结构化描述包括第三特征和关于第三特征的第三细节。
16.如权利要求11所述的系统，还包括便携式盲文序列打印机，所述便携式盲文序列打印机被配置为使用结构化描述来生成第一特征和第二特征的盲文文本，并且随后响应于来自用户的关于第一特征的提示而生成关于第一细节的附加盲文文本。
17.如权利要求16所述的系统，还包括相机，所述相机被配置为响应于来自用户的创建场景的结构化描述的实例化提示来创建场景的数字图像。
18.如权利要求17所述的系统，其中便携式盲文序列打印机和相机两者都是可穿戴的。
19.一种计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有实施在其上的程序指令，所述程序指令能够由计算机执行以使所述计算机：
接收场景的数字图像；
利用对数字图像的图像识别技术生成场景的结构化描述，其中结构化描述包括：
场景的第一特征和第二特征；以及
第一特征的第一细节；以及
将结构化描述传输到便携式盲文序列打印机。
20.如权利要求19所述的计算机程序产品，其中所述计算机程序产品包括附加程序指令，所述附加程序指令在由所述计算机执行时使所述计算机：
从用户接收关于第一特征的第二细节的第二提示；
利用对数字图像的图像识别技术生成场景的更新后的结构化描述，其中更新后的结构化描述包括第一特征的第二细节；以及
将更新后的结构化描述传输到便携式盲文序列打印机。
21.一种计算机系统，包括：
处理器；
耦合到所述处理器的计算机可读存储介质，所述计算机可读存储介质具有指令，当所述指令由所述处理器执行时实施如权利要求1-10中任意一项所述的方法。
22.一种计算机可读存储介质，所述计算机可读存储介质具有指令，所述指令可由处理器执行以使所述处理器实施如权利要求1-10中任意一项所述的方法。
23.一种系统，所述系统包括分别用于执行如权利要求1-10中任意一项所述的方法的各个步骤的模块。
CN202010098155.9A 2019-02-22 2020-02-18 翻译成盲文 Active CN111611812B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/283,036 2019-02-22
US16/283,036 US10943116B2 (en) 2019-02-22 2019-02-22 Translation to braille

Publications (2)

Publication Number Publication Date
CN111611812A true CN111611812A (zh) 2020-09-01
CN111611812B CN111611812B (zh) 2023-10-24

Family

ID=72140425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098155.9A Active CN111611812B (zh) 2019-02-22 2020-02-18 翻译成盲文

Country Status (2)

Country Link
US (2) US10943116B2 (zh)
CN (1) CN111611812B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110920268B (zh) * 2019-11-19 2021-05-28 西安交通大学 一种盲文刻印方法及其系统
US11194971B1 (en) * 2020-03-05 2021-12-07 Alexander Dobranic Vision-based text sentiment analysis and recommendation system
TW202232437A (zh) * 2021-02-09 2022-08-16 阿物科技股份有限公司 圖像分類與標示方法及系統
CN117132986B (zh) * 2023-08-03 2025-08-22 浙江大学 基于盲文点级语义增强的盲文字符检测识别方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080058894A1 (en) * 2006-08-29 2008-03-06 David Charles Dewhurst Audiotactile Vision Substitution System
US20080286025A1 (en) * 2006-05-04 2008-11-20 Wright Christopher B Mobile messaging micro-printer
CN102906810A (zh) * 2010-02-24 2013-01-30 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
US20140377722A1 (en) * 2013-06-25 2014-12-25 Audible, Inc. Synchronous presentation of content with a braille translation
US20170286383A1 (en) * 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Augmented imaging assistance for visual impairment

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3594787A (en) 1969-07-16 1971-07-20 Millard J Ickes Scene scanner and tactile display device for the blind
US7143434B1 (en) * 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
US20050208457A1 (en) 2004-01-05 2005-09-22 Wolfgang Fink Digital object recognition audio-assistant for the visually impaired
EP1938249A2 (en) 2005-09-02 2008-07-02 Blindsight, Inc. A system and method for detecting text in real-world color images
US7775437B2 (en) 2006-06-01 2010-08-17 Evryx Technologies, Inc. Methods and devices for detecting linkable objects
US20120094257A1 (en) 2007-11-15 2012-04-19 Electronic Brailler Remote braille education system and device
US8325883B2 (en) * 2008-07-30 2012-12-04 Verizon Patent And Licensing Inc. Method and system for providing assisted communications
US9691300B2 (en) 2010-09-21 2017-06-27 Sony Corporation Text-to-touch techniques
US20120212593A1 (en) * 2011-02-17 2012-08-23 Orcam Technologies Ltd. User wearable visual assistance system
US20150332607A1 (en) * 2014-05-13 2015-11-19 Viewplus Technologies, Inc. System for Producing Tactile Images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080286025A1 (en) * 2006-05-04 2008-11-20 Wright Christopher B Mobile messaging micro-printer
US20080058894A1 (en) * 2006-08-29 2008-03-06 David Charles Dewhurst Audiotactile Vision Substitution System
CN102906810A (zh) * 2010-02-24 2013-01-30 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
US20140377722A1 (en) * 2013-06-25 2014-12-25 Audible, Inc. Synchronous presentation of content with a braille translation
US20170286383A1 (en) * 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Augmented imaging assistance for visual impairment

Also Published As

Publication number Publication date
US20200272818A1 (en) 2020-08-27
CN111611812B (zh) 2023-10-24
US10943117B2 (en) 2021-03-09
US10943116B2 (en) 2021-03-09
US20200272819A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
US20230267299A1 (en) Artificial intelligence assisted wearable
Saha et al. Closing the gap: Designing for the last-few-meters wayfinding problem for people with visual impairments
CN111611812B (zh) 翻译成盲文
WO2018012924A1 (en) Augmented reality device and operation thereof
Busaeed et al. LidSonic V2. 0: A LiDAR and deep-learning-based green assistive edge device to enhance mobility for the visually impaired
Jafri et al. User-centered design of a depth data based obstacle detection and avoidance system for the visually impaired
KR102693472B1 (ko) 학습 효과를 상승시키기 위한 영어 교육 시스템
Owayjan et al. Smart assistive navigation system for blind and visually impaired individuals
Hersh Mobility technologies for blind, partially sighted and deafblind people: Design issues
Chuttergoon et al. Eye Guide: An Assistive Mobile Technology for Visually Impaired Persons
Sharma et al. Social, medical, and educational applications of IoT to assist visually impaired people
CN113822084A (zh) 语句翻译方法、装置、计算机设备及存储介质
Gupta et al. A Novel approach for complete aid to blinds using voice assisted Smart Glasses
CN113761116B (zh) 医学词语映射方法、装置、计算机设备及存储介质
Lokeshwar et al. An app to assist differently abled people
Hoque et al. BLIND GUARD: designing android apps for visually impaired persons
KR102224985B1 (ko) 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법
Katke et al. Smart Solutions for Visual Impairment by AI-Based Assistive Devices
Migkotzidis et al. e-vision: an AI-powered system for promoting the autonomy of visually impaired
Pandey et al. MAGIC-I as an Assistance for the Visually Impaired People
Hebbar et al. Object Recognition System for the Visually Impaired: Leveraging IoT and Remote Server Integration
CN111479060B (zh) 图像采集方法、装置、存储介质及电子设备
CN119025068B (zh) 一种基于大语言模型的辅助导航方法及系统
Hartato et al. Technology for Disabled with Smartphone Apps for Blind People
CN115631496B (zh) 标签预测方法、文本预测模型的训练方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant