[go: up one dir, main page]

CN117980803A - 适用于智能眼镜或头部可穿戴设备的鼻托式眼睛/视线追踪模块 - Google Patents

适用于智能眼镜或头部可穿戴设备的鼻托式眼睛/视线追踪模块 Download PDF

Info

Publication number
CN117980803A
CN117980803A CN202280063403.3A CN202280063403A CN117980803A CN 117980803 A CN117980803 A CN 117980803A CN 202280063403 A CN202280063403 A CN 202280063403A CN 117980803 A CN117980803 A CN 117980803A
Authority
CN
China
Prior art keywords
module
smart glasses
nose
eye
wearable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280063403.3A
Other languages
English (en)
Inventor
约翰尼斯·福格特
普利莫斯·弗兰德
弗兰克·林森迈尔
尼尔斯·伯杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Systems LLC
Original Assignee
Vision Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Systems LLC filed Critical Vision Systems LLC
Publication of CN117980803A publication Critical patent/CN117980803A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00Constructions of non-optical parts
    • G02C5/12Nose pads; Nose-engaging surfaces of bridges or rims
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00Constructions of non-optical parts
    • G02C5/12Nose pads; Nose-engaging surfaces of bridges or rims
    • G02C5/126Nose pads; Nose-engaging surfaces of bridges or rims exchangeable or otherwise fitted to the shape of the nose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0158Head-up displays characterised by mechanical features with movable elements with adjustable nose pad
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)
  • Eyeglasses (AREA)

Abstract

本发明涉及一种鼻托式眼睛/视线追踪模块,适用于已知的增强现实/虚拟现实眼镜以及通常的可视化远程导向设备,该鼻托式眼睛/视线追踪模块构成所述设备的鼻托部分,而无需利用任何类型的连接器。本发明进一步涉及一种使鼻托式眼睛/视线追踪模块紧固于所述类型设备的方法。

Description

适用于智能眼镜或头部可穿戴设备的鼻托式眼睛/视线追踪 模块
技术领域
背景技术
技术背景
本发明公开了一种适用于智能眼镜/头部可穿戴设备的鼻托式眼睛/视线追踪模块,通常实现扩展现实技术(增强现实AR/虚拟现实VR/混合现实MR)。本发明进一步涉及一种使该模块紧固于所述智能眼镜/头部可穿戴设备的方法以及涉及一种眼睛/视线追踪设备,该眼睛/视线追踪设备包括具有所述鼻托式眼睛/视线追踪模块的智能眼镜/头部可穿戴设备。
眼睛追踪设备,特别是眼镜,通常包括相机,其面向眼镜佩戴者的眼睛。这种相机能够检测用户的瞳孔以确定瞳孔在空间中的坐标。视线追踪设备进一步包括能够获取用户前方的场景的前置摄像头,在这种情况下,设备能够确定用户眼睛的视角方向,并能够在对应的显示计算机设备上将其显示给通过网络直播远程连接的第二用户。
现有技术
US2016/0206196公开了视线追踪眼镜,其包括设置在眼镜的鼻架中的两个眼相机以及位于眼镜的中间的视场相机,以展示用户前方的风景。
提供视场相机来记录视场以及包括单独和连续视场图像的视频。因而两个眼采集相机以及至少一个视场相机的记录可以在各个注视点的视场视频中建立相关性。
但是,此现有技术文献公开了具有类似普通眼镜的镜架的眼睛追踪眼镜。
另外就是已知的增强现实/虚拟现实/混合现实眼镜,其具有非常小的镜架,包括具有构成鼻架的元件的水平的上部,以使设备稳定放置并由用户的鼻子支撑。
WO2021/164867公开了一种适用于智能眼镜和护目镜以及头部可穿戴设备并安装在其上的眼睛追踪模块。该文献专注于从佩戴者侧将模块连接到头部可穿戴设备(见图2A、2B、5A、5B、5C),特别是使用前置摄像头组件。这种连接具有使用户鼻子和头戴框架之间的空间减小的隐含的缺点,迫使头戴设备厂家将设备在空间上远离用户的脸,结果,即使被绑在用户的头上,但因为重量和尺寸,设备可能经常在用户的鼻子上滑动而令人不适。该文献还描述了另一种连接,即从背离佩戴者的一侧将模块连接到头部可穿戴设备(见图4A、4B)。但是,这种连接也具有之前已提到的相同问题,而且,因为模块与用户眼睛的距离增加,有可能进一步干扰眼传感器。
此外,该文献在第62段中只是笼统地提到“替代地,电连接器可以设置在模块的顶面”,并没有详细描述这种连接的任何具体实施例。特别是,只是提到电子连接器的可能位置,而没有提到能够在头戴设备上将模块稳固连接到位的任何机械接口,机械接口是为了在将模块连接到头戴设备时避免意外或不必要的断开连接,甚至更糟的是,因为连接不当造成任何的信号丢失。
发明目的
根据第一方面,本发明的一个目的是获得一种眼睛/视线追踪模块,该眼睛/视线追踪模块是一旦机械连接到智能眼镜(如增强现实或虚拟现实或混合现实眼镜)上时就可使用的成品,能够最大程度减小模块一旦连接到头戴设备时在空间上的影响。
本发明的第二个目的是获得一种没有连接器的眼睛/视线追踪模块,从而进一步减小模块的尺寸。
本发明的第三个目的是能够定制化增强现实或虚拟现实或混合现实眼镜,并且使其直接适配不同民族群体特有的不同躯体特征,例如亚洲人和欧洲人,从而不需要形成不同的特定智能眼镜型号。
本发明的第四个目的是使用户能够轻松地将眼睛/视线追踪模块紧固于他/她自己的智能眼镜/头部可穿戴设备,和轻松地从所述智能眼镜/头部可穿戴设备松开。
本发明的第五个目的是提供一种容易适应不同的智能眼镜架、易清洁同时牢固地附着于所述智能眼镜上的眼睛/视线追踪模块。
本发明的进一步的目的是提供一种一旦紧固于智能眼镜就不会干扰用户的鼻子、与用户鼻子不接触和/或不会干扰用户的视野的眼睛/视线追踪模块。
本发明的进一步的目的是提供一种非常轻量、紧凑的眼睛/视线追踪模块,并且其特点在于尺寸减小、使用户舒适。
本发明的另一个目的是提供一种可靠、用户使用简单、相对于已知的眼睛追踪设备成本减少的眼睛/视线追踪设备。
本发明的另一个目的是提供一种用户容易实施的紧固方法。
发明内容
下面概述能够实现某些最重要的目的的本发明的一些技术方面。
根据第一方面,本发明涉及一种眼睛/视线追踪模块,其被配置为容易紧固于未配备任何鼻托的智能眼镜或工作眼镜/容易从智能眼镜或工作眼镜松开,以形成一种眼睛/视线追踪设备,所述模块包括第一部,第一部具有U形部分并容纳有至少一个左眼传感器和一个右眼传感器以检测多个图像中的用户的瞳孔位置,所述模块进一步包括第二部,第二部容纳有用于将模块连接到智能眼镜/工作眼镜的机械接口,所述模块进一步包括包含在第一部框架或第二部框架中的电子部件,即至少一个数据处理单元、存储器、数据接口,所述电子部件被配置为将模块连接到远程连接的计算机设备或连接到一般的其他设备,并且向所述计算机设备发送佩戴眼镜的用户的眼动信息,模块紧固于眼镜上,其中设置在第二部框架上的机械接口包括特定的朝上截面形状,特定的朝上截面形状可连接到智能眼镜/头部可穿戴设备的中心部分的对应的朝下截面形状或可连接到中心部分处的进一步的延伸部的对应的朝下截面形状,从而使得模块被配置为可自下而上地连接到智能眼镜/头部可穿戴设备。
在这种情况下,模块与智能眼镜/头部可穿戴设备之间在中心部分处的自下而上的连接意味着在使用时模块占用的空间大大减小,空间既紧凑又非常小。
根据第二方面,本发明涉及一种模块,模块进一步包括被配置为进一步作为可连接到智能眼镜/头部可穿戴设备的机械接口的PCB。
在这种情况下,由PCB提供的进一步的机械连接不需要在模块上配备实体连接器或物理连接器,这一方案有助于最大程度减小模块的整体尺寸。
根据进一步的方面,本发明涉及在本说明书的从属权利要求中要求的进一步的模块、产品以及方法特征。
附图的简要说明
本发明的结构和功能特征以及相对于已知现有技术的优势将根据下面的权利要求,特别是通过核实结合附图做出的以下描述而变得更加清楚,附图示出了发明方法、系统、设备的优选的但并非限制性的示意性实施例,其中:
图1示出了根据本发明的鼻托式眼睛/视线追踪模块的优选实施例的三维视图。
图2和图3分别示出了连接到和未连接到鼻托式眼睛/视线追踪模块1的第一实施例的智能眼镜/头部可穿戴设备8的三维视图。
图4至图14示出了根据本发明的鼻托式眼睛/视线追踪模块与智能眼镜/头部可穿戴设备的对应部分的连接的优选实施例的三维视图。
具体实施方式
一般来说,本公开描述了一种鼻托式眼睛/视线追踪模块1、一种将模块紧固于不同种类的智能眼镜/头部可穿戴设备8/从该智能眼镜/头部可穿戴设备8松开的方法,以及一种包括具有鼻托式眼睛追踪模块1的智能眼镜/头部可穿戴设备8的眼睛/视线追踪设备。
规格说明“右”或“左”或“高”或“低”或“前”或“后”涉及人们佩戴眼镜和眼睛追踪模块的预定方式。
关于一般的智能眼镜/头部可穿戴设备8,应当强调的是它们具有框架的至少一个上部,目的是扶住太阳穴且必要时固定镜片,镜片可以是太阳镜片或特定的过滤/防护镜片或一般的镜片。并且,它们可以具有至少一个部分,即所谓的鼻梁,其作为两个镜片之间的间隔,能够为用户的鼻子创造空间。
所有的眼镜中鼻梁都是一个必要的部分,但在一些情况下,这一部分无法清楚地检测到,例如,在头部可穿戴设备或头戴耳机中。在一些情况下,比如具有扩展技术的智能眼镜(见图2),智能眼镜的上框架的中心部分88可以是适合的框架部分或可以具有特定的机械接口,其中本发明的眼镜追踪模块可以紧固于机械接口。
根据本发明,鼻托式眼睛追踪模块1包括第一部10,第一部包括第一部框架11,反过来,第一部框架11具有U形部分110。右眼采集传感器4和左眼采集传感器3优选地位于所述U形部分110中,其目的是摄取用户每只眼睛的图像,以获得待检测空间中瞳孔的位置(见图1)。
左眼传感器3和右眼传感器4可以优选地为眼相机但可以是不同种类的技术,比如能够扫描用户眼睛以检测瞳孔位置的激光器或如基于MEMS的扫描元件的微机电系统。
模块进一步包括第二部12,第二部具有第二部框架13,优选实施例中,第二部框架容纳有机械接口7(见图1)。所述机械接口7被配置为轻松且稳定地将其自身紧固于设置在中心部分中的对应的机械接口。
本说明书中描述的所有实施例中的所述机械接口7还具有电气接口/电子接口,以将鼻托式眼睛/视线追踪模块1电连接/电子连接于智能眼镜/头部可穿戴设备8。
在一优选实施例中,第二部框架13顶部上的机械接口7除了利用PCB的导电材料还利用形成PCB的一部分的层压绝缘材料的作用(见图1),以提供电气接口和电子接口,所述电气接口和电子接口能够建立鼻托式眼睛/视线追踪模块1与智能眼镜/头部可穿戴设备8之间的信号连接。所述PCB包括在鼻托式眼睛/视线追踪模块1中并支撑和服务上述的电子部件。
重要强调的是,模块1与智能眼镜/头部可穿戴设备8之间在中心部分88处的自下而上的连接意味着模块1占用的空间大大较小,因为当智能眼镜/头部可穿戴设备8与鼻托式眼睛/视线追踪模块1之间连接在一起并使用时,智能眼镜/头部可穿戴设备8与人的头部之间的可用空间很小。
U形部分110包括两个臂100并特别设计以用作鼻托,因此用于当将模块紧固于所述智能眼镜/头部可穿戴设备时使智能眼镜/头部可穿戴设备8对于不同的鼻子形状都易于定制。利用本发明的鼻托式眼睛/视线追踪模块1代替智能眼镜/头部可穿戴设备8的鼻托,不会干扰用户的鼻子。
U形部分110可以由柔软材料制成,特别是,臂100可以由柔性材料制成,以进一步更好地使臂100的形状适配用户的鼻子并如下所述配合将模块紧固于智能眼镜/头部可穿戴设备8上。
U形部分110可以由柔软材料制成,特别是,臂100可以由柔性材料制成,以进一步更好地使臂100的形状适配用户的鼻子并如下所述配合将模块紧固于智能眼镜/头部可穿戴设备8上。
如前所述,在一优选方案中,右眼采集传感器4设置在U形部分110的右臂100中,左眼采集传感器3设置在U形部分110的左臂100中。当两个眼采集传感器3和4设计为数码相机时,它们可以具有物镜。这两个眼采集相机3和4各自被配置为准备包括单独眼图像或佩戴眼睛追踪模块的人的眼睛的单独图像的眼视频。所述眼采集相机3、4须朝向佩戴者的眼球的位置。
在一可能的配置中(见图2),两个眼采集传感器3、4的记录可以与已经存在于智能眼镜/头部可穿戴设备8的中心部分88上的视场相机80的记录相关,提供视场视频中用户的各个注视点(当模块紧固于智能眼镜/头部可穿戴设备8时)。
本说明书公开的每一个实施例中,至少一个视场相机(图中未示出)设置在模块1上和/或模块1内。视场相机记录包括单独和连续视场图像的视场视频。在那种情况下,两个眼采集传感器3、4和至少一个视场相机的记录可以因此在用户的各个注视点的视场视频中建立相关性(当模块紧固于智能眼镜/头部可穿戴设备时)。
本说明书公开的每一个实施例中,在鼻托式眼睛追踪模块1内和/或上,还可以设置不只一个视场相机。
此外,模块具有电子部件,比如数据处理单元(比如微处理器)、连接的存储介质以及数据接口,数据处理单元连接到右眼采集传感器4和左眼采集传感器3。模块还可以具有蓄能器以用于为眼传感器3、4以及数据处理单元、存储器和数据接口提供能量。模块还可以具有通过电缆的外部电源,或内置电池以及对应的电源接口,这些在示意图中未示出。
本说明书公开的每一个实施例中,包括数据处理单元(比如微处理器)和连接的存储介质,以及至少一个数据处理单元、存储器、数据接口、电源单元/电源接口的电子部件可以设置在第一部10中,或第二部12中,或有些设置在第一部10中,其他设置在第二部12中。
此外,由于这些电子部件封闭在相关的模块框架内部并且模块框架形状是封闭的且没有锋利的边缘,因此本发明公开的模块也容易清洁。而且,设置有这些电子部的每一部的框架包围这些电子部,保护它们免受意外的撞击、灰尘、或可能危及所述部的操作的一般外部因素的影响(提供的附图是示意性的,没有限制性目的)。
本说明书公开的每一个实施例中,数据处理单元可以优选地设计为微控制器或处理器与存储器的组合。数据处理单元以信号传导方式连接到数据接口。数据接口和数据处理单元可以共同形成在硬件中,例如,通过ASIC或FPGA。接口优选地设计为无线接口,例如,根据蓝牙标准或I EEE 802.x,或设计为有线接口。额外的传感器可以插入眼睛追踪模块中并连接到数据处理单元。
本说明书公开的每一个实施例中,数据处理单元、存储器以及数据接口可以通过电路至少间接地连接到蓄能器并以信号传导的方式连接到视场相机(如果有的话)、右眼采集传感器4以及左眼采集传感器3。
应当强调的是,本说明书公开的每一个实施例中,录制视频的整个记录、初步分析和存储可以因此在眼睛追踪模块自身内执行或由眼睛追踪模块自身执行或由连接(无线或通过电线)到模块的计算机设备执行。
关于设置有至少一个左眼传感器3和右眼传感器4的U形部分110,本说明书公开的每一个实施例中,所述U形部分110中还可以设置有左红外LED照明器30和右红外LED照明器40。在使用时,所述照明器30、40有助于更好地检测佩戴者眼睛的瞳孔位置。
为了将鼻托式眼睛/视线追踪模块1连接到智能眼镜/头部可穿戴设备8,已在上文提到,位于第二部框架13顶部上的机械接口7包括层压绝缘结构的作用,层压绝缘结构形成鼻托式眼睛/视线追踪模块1中所包括的PCB(见图1)的一部分、服务且支撑上述电子部件。
在一优选的实施例中,鼻托式眼睛/视线追踪模块1中所包括的PCB的尾部70被成型为像内螺纹连接(见图4),所述尾部70可以设计为从鼻托式眼睛/视线追踪模块1的第二部框架13中出来,或在任何情况下都可进出鼻托式眼睛/视线追踪模块。
尾部70可以具有矩形截面且包括彼此间隔开的两个平行元件700。两个平行元件之间的空间形成用于智能眼镜/头部可穿戴设备8中所包括的PCB的对应的尾部880(这种情况下,为凸部)的适合的座704。座704包括适当数量的导电迹线770,其对应于尾部880的导电迹线882的数量。当智能眼镜/头部可穿戴设备8的尾部880稳定连接于鼻托式眼睛/视线追踪模块1的尾部70时,两个设备之间已建立电连接和电子连接,能够彼此通信。尾部880可以进一步成型有彼此间隔开且界定空间884的边界的两个平行元件,当两个平行元件被插入尾部70的座704中时使两个平行元件彼此靠近。在这种情况下,当两个设备连接时,两个平行元件700较少被迫向外弯曲,因为那种移动通过尾部880的两个平行元件的反向移动进行了补偿(见图5)。
本发明描述的所有实施例中,鼻托式眼睛/视线追踪模块1的PCB的尾部70设计为将对应的尾部880牢固且稳定地保持到位,以维持两个设备之间信号的持续性并防止两者之间任何的通信损失。应当进一步强调的是,两个设备连接在一起时则两者之间建立自下而上的连接并且将鼻托式眼睛/视线追踪模块1用作智能眼镜/头部可穿戴设备8的鼻托。由于智能眼镜/头部可穿戴设备8自身的重量迫使两个设备之间的连接维持稳定。这个特殊的方面是本发明所有实施例所特有的。
在进一步优选的实施例中,鼻托式眼睛/视线追踪模块1中所包括的PCB的尾部70如上述实施例一样成型为像内螺纹连接(见图6),但是这两个平行元件700包括纵向孔706,该纵向孔使两对导电迹线770相互分离并进一步允许设置在智能眼镜/头部可穿戴设备8的尾部880上对应一致的位置处的导向件886插入纵向孔中。纵向孔706配合导向件886以实现两个设备连接时更好的对齐。本说明书中描述的所有实施例中都可以提供导向元件,以在两个设备连接时提供恰当的对齐。
附图中未描述的进一步实施例可以具有多个纵向孔,目的是使得尾部70或尾部880上的导电迹线物理上彼此分离,以使两个设备连接时公差具有一定的灵活性。
在进一步优选的实施例(见图7)中,尾部70被配置为形成由两个平行元件700在上侧和下侧界定其边界且由另外两个侧部707在侧向界定其边界的座704,每个侧部707进而都包括适合与对应的挡缘890相啮合的槽708,该挡缘设置在智能眼镜/头部可穿戴设备8的尾部880的相对两侧上相容一致的位置处。由于纵向孔888的存在,挡缘890能够与槽708的连接棱相啮合,使得一旦两个设备连接在一起时挡缘890就靠在一起,从而形成卡扣配合型面。在这种情况下,连接更稳定坚固,且由于卡扣配合型面,使得紧固和松开步骤非常简单。本说明书描述的所有实施例中都可以提供槽加上挡缘元件,以实现两个设备之间的稳固连接。
此实施例还可以配置有作为卡扣配合型面的对应部分的第二部框架13,代替了PCB(见图8)。在这种情况下,第二部框架13包围尾部70、界定两个平行元件700的边界并提供侧壁907,每个侧壁进而都包括能够与对应的挡缘890相啮合的适合的槽908。采用这种方案,防止对PCB产生任何机械应力。
通过沿着座704(见图9)的纵向截面和对应的尾部880的纵向截面提供卡扣配合型面来进一步改进图4的实施例。座704具有对应于尾部880的最小纵向截面宽度的最大纵向截面宽度以及反过来,座704具有对应于尾部880的最大纵向截面宽度的最小纵向截面宽度。导电迹线770和882都分别遵循座704和尾部880的对应形状。两个平行元件700能将彼此间隔开以完成卡扣配合机构。利用金属弹簧作为保持机构以在尾部880连接到尾部70的座704时将尾部880固定到位,从而也可以达到相同的效果。本说明书中描述的所有实施例中都可以实现纵向截面型面特征,以减少连接两个设备所需要的部件的数量。
在进一步优选的实施例(见图10和图11)中,导电迹线770设置在从第二部框架13中出来的尾部70的最顶侧并且能够配合智能眼镜/头部可穿戴设备8中所包括的PCB的尾部880的最顶侧上的对应的导电迹线882。在尾部70的最顶侧设计导电迹线770是在本说明书中描述的所有实施例中都可以实现的特征;这一技术方面增加了导电表面,进一步防止两个设备连接在一起时两个设备之间电连接/电子连接连续性被中断的风险。
在这种情况下,由磁体5提供两个设备连接在一起时所需要的机械保持力,该磁体被设计为界定尾部70的边界并能够吸引设置在尾部880的对应的磁体890以在使用时将鼻托式眼睛/视线追踪模块1在智能眼镜/头部可穿戴设备8上保持到位。利用包围尾部70的磁体5来提高两个设备连接的稳定性,这在本说明书中描述的所有实施例中都可以设置。
通过进一步设置完全界定磁体5的边界的第二部框架13并进一步在最尾部70周围形成边界座705,可以进一步改进所描述的上一个实施例,所述边界座705被配置为与尾部880相匹配的一致的凸起885,从而为将两个设备轻松连接在一起提供导向件(见图10和图12)。座705可以容纳密封件(图中未示出),特别设计该密封件以在两个设备连接在一起时完好贴合于对应的表面,从而进一步使连接实现防水。
图10、11和12所示的实施例的改进如图13所示。导电迹线770设置在从第二部框架13出来的尾部70的最顶侧,尾部70进一步包括侧向啮合缺口703,该侧向啮合缺口作为尾部880上卡扣配合机构的对应部分。事实上,尾部880配备有尾部880的最顶侧上中心设置的导电迹线882,且配备有两个侧向凸臂,所述侧向凸臂具有被设计用来稳固地与侧向啮合缺口703相啮合的挡缘883。在这种情况下,仅仅利用鼻托式眼睛/视线追踪模块1的PCB的尾部70的特殊设计就可以实现稳定连接。在模块1的PCB的尾部70上侧向设计缺口和挡缘在本说明书中描述的所有实施例中都可以实现,以提供卡扣配合型面,这可以在本说明书中公开的所有实施例中实现。
图10、11、12所示的实施例的另一个改进如图14所示。此处,尾部70仍然具有设置在其最顶侧的导电迹线770,但是然后尾部70被第二部框架13界定其边界,用于形成专门设计的座705,座705进而包括限定啮合缺口703。尾部880专门设计有限定挡缘885,该限定挡缘与限定啮合缺口703一致并在两个设备连接时与其相匹配。在这种情况下,第二部框架13提供鼻托式眼睛/视线追踪模块1顶部上的机械接口。将这特定的机械接口在模块1的顶面上安装到位,即在模块1的第二部框架13上设计卡扣配合型面,这一技术特征可以在本说明书中公开的每一个实施例中实现。此实施例中,座705还可以容纳密封件(图中未示出),特别设计该密封件以在两个设备连接在一起时完好贴合于对应的表面,从而进一步使连接防水。
必须强调的是,目前描述的所有实施例中,鼻托式眼睛/视线追踪模块1的PCB的尾部70设计为两个设备之间的连接的内螺纹部分,智能眼镜/头部可穿戴设备8的PCB的尾部880设计为外螺纹部分,但是两个尾部70、880可以按不同的方式互换以更好地满足智能眼镜/头部可穿戴设备8厂家的具体技术要求。因此,尾部70可以如每个实施例已描述的那样设计为外螺纹部分,尾部880设计为对应的内螺纹部分。
图1所示的实施例中公开了一种第二部框架13的特定的朝上截面形状(图1中为矩形),该特定的朝上截面形状可连接到智能眼镜/头部可穿戴设备8的中心部分88的对应的朝下截面形状(图中未示出),和/或此外,PCB尾部70连接到智能眼镜/头部可穿戴设备8的中心部分88上的智能眼镜/头部可穿戴设备8的对应的PCB尾部(图中未示出)。重点指出的是,上述的朝下截面形状还可以设计为从智能眼镜/头部可穿戴设备8的中心部分88向下延伸的元件。第二部框架13的所述特定的朝上截面形状具有连接时进行导向并进一步将模块1紧固于智能眼镜/头部可穿戴设备8的功能。
最后,可以提供这样的实施例,其中尾部70具有导电迹线的物理上分离的支架,导电迹线设置在其各自支架的侧面。在这种情况下,在对应的尾部上进行相同的配置就可以获得能够在两个设备之间提供旋转安装连接的实施例。
如前所述,当模块包括视场相机时,一旦在使用时紧固好鼻托式眼睛追踪模块,就能检测佩戴者的视野的多个图像,例如视频图像。所述视场相机可以设置在模块1的框架的一部分之内,在使用时向外面向智能眼镜/头部可穿戴设备8,或者在将眼睛追踪模块紧固于智能眼镜/头部可穿戴设备8时可以设置在框架的一部分内,该部分被配置为高于智能眼镜/头部可穿戴设备8的框架的上部。
应当强调的是,本发明公开的每一个实施例中,两个臂100设计为用作鼻托,该鼻托被配置为当模块紧固于所述智能眼镜/头部可穿戴设备8时使得智能眼镜/头部可穿戴设备8对于不同的鼻子形状是可定制的。
因为尺寸减小以及所描述的配置,本发明公开的鼻托式眼睛/视线追踪模块1是非常轻量化的模块,当用户佩戴他/她的紧固有模块的智能眼镜/头部可穿戴设备8时,不会影响用户舒适度。
本发明进一步涉及一种使鼻托式眼睛追踪模块1紧固于智能眼镜/头部可穿戴设备8的方法,其中眼镜8和模块1具有根据所有描述的实施例在本说明书中已描述的结构。方法包括以下步骤:
在智能眼镜/头部可穿戴设备8的中心部分88处将鼻托式眼睛/视线追踪模块1自下而上地连接到智能眼镜/头部可穿戴设备8。
本发明进一步涉及一种包括智能眼镜/头部可穿戴设备8和鼻托式眼睛追踪模块1的眼睛/视线追踪设备,其中智能眼镜/头部可穿戴设备8和鼻托式眼睛/视线追踪模块1具有根据所有描述的实施例在本说明书中已描述的结构。

Claims (15)

1.一种鼻托式眼睛追踪模块(1),被配置为能够紧固于智能眼镜/头部可穿戴设备(8)和/或从所述智能眼镜/头部可穿戴设备松开,以形成一种眼睛/视线追踪设备,所述眼睛追踪模块(1)包括第一部(10),所述第一部具有第一部框架(11),所述第一部框架(11)带有包括两个臂(100)的U形部分(110),所述U形部分(110)在使用时与佩戴者的鼻子相适应和兼容,所述第一部框架(11)容纳有至少一个左眼传感器(3)和一个右眼传感器(4),所述眼传感器(3、4)设置在所述臂(100)上以在使用时检测用户的多个瞳孔位置图像,所述模块(1)进一步包括第二部(12),所述第二部(12)具有第二部框架(13)且包括用于将所述模块(1)连接到所述智能眼镜/头部可穿戴设备(8)的机械接口(7),所述眼睛追踪模块(1)进一步包括电子部件,即至少一个数据处理单元、存储器、数据接口,所述电子部件被配置为将所述模块连接到计算机设备并且向所述计算机设备发送佩戴所述智能眼镜(8)的所述用户的眼动信息,在使用时所述鼻托式眼睛追踪模块(1)紧固于所述智能眼镜(8)上,其中所述模块(1)是一旦机械地和电子地紧固于所述智能眼镜(8)上就可使用的成品,并且所述第一部(10)包括被设计为鼻托的两个臂(100),所述鼻托被配置为当所述模块紧固于所述智能眼镜/头部可穿戴设备(8)时对于不同的鼻子形状是可定制的,并且其中所述机械接口(7)设置在所述第二部框架(13)的顶部上且包括特定的电气接口和电子接口,所述特定的电气接口和电子接口可连接到可设置在所述智能眼镜/头部可穿戴设备(8)的中心部分(88)上或可设置在所述中心部分(88)处的进一步的延伸部上的对应的朝下的机械接口、电气接口和电子接口,从而使得所述模块(1)被配置为可自下而上地连接到所述智能眼镜/头部可穿戴设备(8)。
2.根据权利要求1所述的模块(1),其中所述第二部框架(13)包括特定的朝上截面形状,所述特定的朝上截面形状可连接到所述智能眼镜/头部可穿戴设备(8)的所述中心部分(88)的对应的朝下截面形状或可连接到所述中心部分(88)处的进一步的延伸部的对应的朝下截面形状,从而使得所述模块(1)被配置为可自下而上地连接到所述智能眼镜/头部可穿戴设备(8)。
3.根据权利要求1或2所述的模块(1),其中所述机械接口(7)包括所述鼻托式眼睛/视线追踪模块(1)中所包括的PCB的尾部(70),所述尾部(70)被配置为进一步作为机械接口(7)并适于连接到所述智能眼镜/头部可穿戴设备(8)中所包括的PCB的尾部(880)。
4.根据权利要求3所述的模块(1),其中所述尾部(70)包括由用于形成PCB的一部分的绝缘材料制成并彼此间隔开以形成适合的座(704)的两个平行元件(700),所述座(704)适于容纳所述智能眼镜/头部可穿戴设备(8)中所包括的PCB的对应的尾部(880),所述平行元件(700)支撑有面向所述座(704)的适当数量的导电迹线(770)。
5.根据权利要求4所述的模块(1),其中所述尾部(70)包括的所述两个平行元件(700)进而包括纵向孔(706),所述纵向孔使至少两对导电迹线(770)相互分离并进一步允许设置在所述智能眼镜/头部可穿戴设备(8)的所述尾部(880)上对应一致的位置处的导向件(886)插入所述纵向孔中。
6.根据权利要求4所述的模块(1),其中所述座(704)的纵向截面被成型为提供所述尾部(70)和所述尾部(880)之间的卡扣配合连接,当所述尾部(70)和所述尾部(880)连接在一起时,所述座(704)具有对应于所述尾部(880)的最小纵向截面宽度的最大纵向截面宽度以及反过来具有对应于所述尾部(880)的最大纵向截面宽度的最小纵向截面宽度。
7.根据权利要求4所述的模块(1),其中所述座(704)被另外两个侧部(707)在侧向界定其边界,每个所述侧部(707)进而都包括适于与可设置在所述智能眼镜/头部可穿戴设备(8)的所述尾部(880)的相对两侧上相容一致的位置处的对应的挡缘(890)相啮合的槽(708)。
8.根据权利要求4所述的模块(1),其中所述座(704)被另外两个侧部(907)在侧向界定其边界,每个所述侧部(907)进而都包括适于与设置在所述智能眼镜/头部可穿戴设备(8)的所述尾部(880)的相对两侧上相容一致的位置处的对应的挡缘(890)相啮合的槽(908),所述侧部(907)是包围所述尾部(70)并界定所述两个平行元件(700)的边界的所述第二部框架(13)的一部分。
9.根据权利要求3所述的模块(1),其中导电迹线(770)设置在所述尾部(70)的最顶侧,所述导电迹线(770)能够与所述智能眼镜/头部可穿戴设备(8)中所包括的PCB的所述尾部(880)的最顶侧上的对应的导电迹线(882)相匹配。
10.根据权利要求9所述的模块(1),包括磁体(5),所述磁体(5)被设计为界定所述尾部(70)的边界,并且能够在使用时吸引可设置在所述尾部(880)的对应的磁体(890)。
11.根据权利要求9所述的模块(1),其中所述尾部(70)包括侧向啮合缺口(703),所述侧向啮合缺口(703)被配置为在使用时与可设置在所述尾部(880)的两个侧向凸臂上的适合的挡缘(883)相啮合。
12.根据权利要求1或2所述的模块(1),其中所述机械接口(7)包括导向件,或至少两个挡缘,或使得两个导电迹线相互分离的纵向孔,或使得每个导电迹线彼此分离的多个纵向孔,或具有被设计用来稳固地与设计在对应的尾部上的对应的侧向啮合缺口相啮合的挡缘的两个侧向凸臂,或位于被配置为与设计在对应的尾部上的对应的边界座相匹配的所述第二部框架上的特定的凸起。
13.根据前述权利要求中任一项所述的模块(1),其中所述模块(1)包括至少一个视场相机。
14.一种使鼻托式眼睛/视线追踪模块(1)紧固于智能眼镜/头部可穿戴设备(8)的方法,其中所述鼻托式眼睛追踪模块(1)被配置为紧固于未配备任何鼻托的智能眼镜/头部可穿戴设备(8)和/或从所述智能眼镜/头部可穿戴设备松开,以形成一种眼睛/视线追踪设备,所述眼睛追踪模块(1)包括第一部(10),所述第一部具有第一部框架(11),所述第一部框架(11)带有包括两个臂(100)的U形部分(110),所述U形部分(110)在使用时与佩戴者的鼻骨相适应和兼容,所述第一部框架(11)容纳有至少一个左眼传感器(3)和一个右眼传感器(4),所述眼传感器(3、4)设置在所述臂(100)上以在使用时检测用户的多个瞳孔位置图像,所述模块(1)进一步包括第二部(12),所述第二部(12)具有第二部框架(13)且包括用于将所述模块(1)连接到所述智能眼镜/头部可穿戴设备(8)的机械接口(7),所述眼睛追踪模块(1)进一步包括电子部件,即至少一个数据处理单元、存储器、数据接口,所述电子部件被配置为将所述模块连接到计算机设备并且向所述计算机设备发送佩戴所述智能眼镜(8)的所述用户的眼动信息,在使用时所述鼻托式眼睛追踪模块(1)紧固于所述智能眼镜(8)上,其中所述模块是一旦机械地紧固于所述智能眼镜(8)上就可使用的成品,并且所述第一部(10)包括被设计为鼻托的两个臂(100),所述鼻托被配置为当所述模块紧固于所述智能眼镜/头部可穿戴设备(8)时对于不同的鼻子形状是可定制的,并且其中所述机械接口(7)设置在所述第二部框架(13)的顶部上且包括特定的电气接口和电子接口,所述特定的电气接口和电子接口可连接到可设置在所述智能眼镜/头部可穿戴设备(8)的中心部分(88)上或可设置在所述中心部分(88)处的进一步的延伸部上的对应的朝下的机械接口、电气接口和电子接口,从而使得所述模块(1)被配置为可自下而上地连接到所述智能眼镜/头部可穿戴设备(8),其中所述方法包括:
提供所述鼻托式眼睛追踪模块(1),
提供所述智能眼镜/头部可穿戴设备(8),
在所述智能眼镜/头部可穿戴设备(8)的所述中心部分(88)处将所述鼻托式眼睛追踪模块(1)自下而上地紧固和连接到所述智能眼镜/头部可穿戴设备(8),以与其形成单件的一体式结构。
15.一种眼睛/视线追踪设备,包括智能眼镜/头部可穿戴设备(8)和鼻托式眼睛追踪模块(1),其中所述鼻托式眼睛/视线追踪模块(1)被配置为紧固于未配备任何鼻托的智能眼镜/头部可穿戴设备(8)和/或从所述智能眼镜/头部可穿戴设备松开,以形成一种眼睛/视线追踪设备,所述眼睛追踪模块(1)包括第一部(10),所述第一部具有第一部框架(11),所述第一部框架(11)带有包括两个臂(100)的U形部分(110),所述U形部分(110)在使用时与佩戴者的鼻骨相适应和兼容,所述第一部框架(11)容纳有至少一个左眼传感器(3)和一个右眼传感器(4),所述眼传感器(3、4)设置在所述臂(100)上以在使用时检测用户的多个瞳孔位置图像,所述模块(1)进一步包括第二部(12),所述第二部(12)具有第二部框架(13)且包括用于将所述模块(1)连接到所述智能眼镜/头部可穿戴设备(8)的机械接口(7),所述眼睛追踪模块(1)进一步包括电子部件,即至少一个数据处理单元、存储器、数据接口,所述电子部件被配置为将所述模块连接到计算机设备并且向所述计算机设备发送佩戴所述智能眼镜(8)的所述用户的眼动信息,在使用时所述鼻托式眼睛/视线追踪模块(1)紧固于所述智能眼镜(8)上,其中所述模块是一旦机械地紧固于所述智能眼镜(8)上就可使用的成品,并且所述第一部(10)包括被设计为鼻托的两个臂(100),所述鼻托被配置为当所述模块紧固于所述智能眼镜/头部可穿戴设备(8)时对于不同的鼻子形状是可定制的,并且其中所述机械接口(7)设置在所述第二部框架(13)的顶部上且包括特定的电气接口和电子接口,所述特定的电气接口和电子接口可连接到可设置在所述智能眼镜/头部可穿戴设备(8)的中心部分(88)上或可设置在所述中心部分(88)处的进一步的延伸部上的对应的朝下的机械接口、电气接口和电子接口,从而使得所述模块(1)被配置为可自下而上地连接到所述智能眼镜/头部可穿戴设备(8)。
CN202280063403.3A 2021-09-09 2022-09-09 适用于智能眼镜或头部可穿戴设备的鼻托式眼睛/视线追踪模块 Pending CN117980803A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/EP2021/074787 WO2023036414A1 (en) 2021-09-09 2021-09-09 Nose pad eye/gaze tracking module applicable to smart glasses
EPPCT/EP2021/074787 2021-09-09
PCT/EP2022/075073 WO2023036913A1 (en) 2021-09-09 2022-09-09 Nose pad eye/gaze tracking module applicable to smart glasses or head wearable device

Publications (1)

Publication Number Publication Date
CN117980803A true CN117980803A (zh) 2024-05-03

Family

ID=77910767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280063403.3A Pending CN117980803A (zh) 2021-09-09 2022-09-09 适用于智能眼镜或头部可穿戴设备的鼻托式眼睛/视线追踪模块

Country Status (5)

Country Link
US (2) US12468164B2 (zh)
EP (1) EP4399562A1 (zh)
JP (1) JP2024534232A (zh)
CN (1) CN117980803A (zh)
WO (2) WO2023036414A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4281829B1 (en) * 2020-12-21 2024-09-11 Viewpointsystem GmbH Eye tracking kit applicable to eye glasses

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6113237A (en) * 1999-12-06 2000-09-05 Ober; Jan Krzysztof Adaptable eye movement measurement device
CA2613999C (en) * 2005-08-11 2013-01-15 Sleep Diagnostics Pty Ltd Alertness sensing spectacles
BRPI0705959A (pt) * 2006-05-03 2008-07-15 E Vision Llc ponte nasal para armações de óculos adaptadas para abrigar lentes eletroativas
JP5516363B2 (ja) * 2010-11-22 2014-06-11 ソニー株式会社 立体表示装置および方法
CN202171691U (zh) * 2011-07-04 2012-03-21 刘蓉君 一种方便更换镜片的眼镜架
JP5661067B2 (ja) * 2012-05-29 2015-01-28 株式会社ジェイアイエヌ アイウエア
AT513987B1 (de) 2013-08-23 2014-09-15 Ernst Dipl Ing Dr Pfleger Brille und Verfahren zur Bestimmung von Pupillenmittelpunkten beider Augen eines Menschen
WO2015042313A1 (en) * 2013-09-18 2015-03-26 Marchon Eyewear, Inc. Eyewear with cutaway for facilitating communication between a user's face and one or more sensors
US9983415B2 (en) * 2016-02-09 2018-05-29 Klix Frames (Usa) Llc Eyeglass frame system where lenses can move from one frame to another
KR102761610B1 (ko) * 2017-12-20 2025-01-31 매직 립, 인코포레이티드 증강 현실 뷰잉 디바이스용 인서트
JP6975097B2 (ja) * 2018-05-11 2021-12-01 アルプスアルパイン株式会社 アイウェアシステム
CN109254420A (zh) * 2018-10-26 2019-01-22 北京七鑫易维信息技术有限公司 一种头戴装置的适配装置
CN109298533B (zh) * 2018-12-07 2023-12-26 北京七鑫易维信息技术有限公司 一种头显设备
WO2021064562A2 (en) * 2019-09-30 2021-04-08 Mariano Pisetta Over-glasses apparatus for image capturing according a user's point of view
JP2021067711A (ja) * 2019-10-17 2021-04-30 株式会社インターメスティック 眼鏡
EP3973346B1 (en) * 2020-02-19 2024-12-25 Pupil Labs GmbH Eye tracking module and head-wearable device
DE102021112075A1 (de) * 2020-05-11 2021-11-11 Forstgarten International Holding Gmbh Vorrichtung zum Schutz vor Kontamination
EP4281829B1 (en) * 2020-12-21 2024-09-11 Viewpointsystem GmbH Eye tracking kit applicable to eye glasses

Also Published As

Publication number Publication date
US20240406533A1 (en) 2024-12-05
JP2024534232A (ja) 2024-09-18
WO2023036913A1 (en) 2023-03-16
US20240377648A1 (en) 2024-11-14
EP4399562A1 (en) 2024-07-17
WO2023036414A1 (en) 2023-03-16
US12468164B2 (en) 2025-11-11

Similar Documents

Publication Publication Date Title
JP7626800B2 (ja) 拡張現実視認デバイスのための挿入体
KR102729054B1 (ko) 센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템
US20200379263A1 (en) Eye tracking apparatus and eye tracking device
CN109298533B (zh) 一种头显设备
KR20190096929A (ko) 표시장치
EP2963479B1 (en) Glasses-type head mounted display
TW201346333A (zh) 具有輸入與輸出結構的可戴式裝置
CN105372813B (zh) 带有摄像头的可穿戴式智能设备
EP3990970A1 (en) Utilizing dual cameras for continuous camera capture
CN117980803A (zh) 适用于智能眼镜或头部可穿戴设备的鼻托式眼睛/视线追踪模块
JP2023554490A (ja) 眼鏡に適応可能な視線追跡キット
JP6851099B2 (ja) コネクタ、補助デバイス、および着用可能デバイス
US12501175B2 (en) Camera module, head-wearable eye tracking device, and method for manufacturing a camera module
CN213814143U (zh) 头戴式设备
KR20170116809A (ko) 착용형 가상 현실 기기
KR20140100658A (ko) 착용형 디스플레이 장치
WO2024215530A1 (en) Eyewear with inter-pupillary distance estimation
JPWO2015170662A1 (ja) 人体特性検出装置及び眼鏡型電子機器
KR20180065202A (ko) 입체영상 촬영용 카메라 리그 장치
KR20140145001A (ko) 3차원 안경

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination