[go: up one dir, main page]

CN119836653A - 在虚拟环境中驾驶机动车 - Google Patents

在虚拟环境中驾驶机动车 Download PDF

Info

Publication number
CN119836653A
CN119836653A CN202380049433.3A CN202380049433A CN119836653A CN 119836653 A CN119836653 A CN 119836653A CN 202380049433 A CN202380049433 A CN 202380049433A CN 119836653 A CN119836653 A CN 119836653A
Authority
CN
China
Prior art keywords
motor vehicle
driver
view
head
virtual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380049433.3A
Other languages
English (en)
Inventor
A·库特纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN119836653A publication Critical patent/CN119836653A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

一种系统(100)包括头戴式设备,该头戴式设备被设置用于安装在机动车(105)驾驶员(120)的头部,其中,所述头戴式设备包括用于提供机动车(105)的内部空间的第一视图(205)的摄像头(130)和用于驾驶员(120)的视觉显示装置;还包括用于提供机动车(105)的虚拟环境相对于预定的姿态的视图的模型(170);用于确定驾驶员(120)的头部相对于机动车(105)的真实环境的姿态的装置以及处理装置(110)。在此,处理装置(110)被设置用于将内部空间的第一视图(205)与虚拟环境相对于所确定的姿态的第二视图(210)叠加并提供给驾驶员(120)。

Description

在虚拟环境中驾驶机动车
背景技术
机动车可以通过驾驶员在预定的环境中控制。例如,可以在远离公共道路交通的测试路段上运动机动车,以便在控制机动车的情况下培训驾驶员。测试路段可以包括装置,以便将驾驶员动态地带入预定行驶状况中,从而他可以更好地学习应对所述行驶状况。因此,可以在不使机动车、驾驶员或另一人员面临过多危险的情况下培训驾驶员。
测试路段上的训练装置通常被设计成,使得即使驾驶员无法完成向他提出的任务或者甚至失去对机动车的控制,也尽可能不出现损害。例如可以设有一系列垂直的喷泉,机动车可以驶向这些喷泉。如果已经达到了预定的距离,则可以关掉喷泉中的一些,从而产生空隙,驾驶员可以控制机动车穿过该空隙。如果他错过了该空隙,则机动车被喷泉击中,但是不会撞到任何坚硬的物体上。
这种训练装置在设置和运行方面都是耗费的。并不是所有利用机动车能实现的行驶操纵都可以利用单个的训练装置来训练。例如,所提及的一系列喷泉通常被固定安装并且不能改变,以便限定一条预定的弯道。
相反地,测试路段也可以用于在预定的行驶状况下检查机动车的功能。因此,可以在实践中体验例如底盘、制动系统或转向系统的重要方面。这里也适用的是,即使是配备良好的测试路段也仅具有有限的灵活性,并且不能在预定的有限面积上任意执行许多不同的测试。
已经提出,模拟机动车在预定的行驶状况中的行为。驾驶员可以坐在模拟器中,所述模拟器模仿(nachempfunden)机动车的内部空间。机动车的外部区域可以通过相应的显示装置(例如投影仪)系统来获得。模拟器可以倾斜,以便模拟作用在驾驶员上的沿纵向或横向作用的力。
原则上,利用模拟器可以任意模拟许多不同的行驶状况。然而,模拟器仅能在部分方面中向驾驶员传达真实的行驶。例如,无法产生具有超过重力加速度的强度的加速度。在车辆的极限范围中的弯道行驶、加速和减速并不总能逼真地获得。因此,驾驶员在模拟器中的培训可能是有缺陷的。模拟器也仅能受限地用于测试机动车,因为其实际的行驶行为通常并非足够准确地已知并因此在一些情况下无法被正确地模拟。
发明内容
本发明所基于的任务在于,提供一种用于在虚拟环境中更加逼真地驾驶机动车的技术。本发明借助于独立权利要求的技术方案解决了这一任务。从属权利要求给出了优选的实施方式。
按照本发明的系统包括头戴式设备,其被设置用于安装在机动车驾驶员的头部。该头戴式设备包括用于提供机动车的内部空间的第一视图的摄像头和用于驾驶员的视觉显示装置。此外,该系统包括用于提供机动车的虚拟环境相对于预定的姿态的视图的模型;用于确定驾驶员的头部相对于机动车的真实环境的姿态的装置以及处理装置。处理装置被设置用于将内部空间的第一视图与虚拟环境相对于所确定的姿态的第二视图叠加并提供给驾驶员。
已经认识到,通过在真实环境中运动真实的机动车可以最好地获得机动车的逼真的驾驶感觉。同时,通过构建虚拟环境可以最好地模拟表征预定的行驶状况的情况。
提出将真实环境和虚拟环境的视图彼此混合并呈现给驾驶员。在此,驾驶员应能够无变化地识别机动车的内部空间中的元素,而机动车之外的元素的视图则通过针对虚拟环境的对应视图来代替。驾驶员可以以这种方式在真实环境中运动机动车,但是在此获得他驾驶通过虚拟环境的印象。
通过混合真实和虚拟内容,可以为驾驶员产生令人信服的和不矛盾的感官印象。他可以完全控制机动车并且使用机动车上存在的所有系统。这些系统例如可以包括驾驶员辅助系统、娱乐系统或舒适系统。可以控制虚拟环境,使得驾驶员可以经历预定的行驶状况并学习在这种状况中控制机动车。
例如能够以这种方式无危险地传授驾驶技术,如沿着预定的弯道的漂移。弯道的边界可以仅存在于虚拟环境中,而在真实环境中既不存在边界也不存在障碍。如果机动车离开虚拟弯道,则由此不会出现机动车处的真实损害。以这种方式可以在虚拟环境中创建任意弯道或弯道序列,驾驶员可以利用机动车真实地行驶通过这些弯道或弯道序列。这些弯道可以节省空间地并且无延迟地关于相对较小的真实面积来提供。可以取消在真实环境中创建或设置真实的基础设施。可以在预定的行驶状况下更好地观察机动车,该预定的行驶状况可以通过驾驶员在虚拟环境中实现。因此,可以更加有针对性地测试机动车。
机动车的内部空间可以通过窗玻璃限定。优选如此提供所述叠加,使得虚拟环境仅在窗玻璃的区域中对于驾驶员可见。其余的内部空间,其例如可以包括车顶、车辆纵梁、仪表板、方向盘、车辆座椅、操作元件、侧门、车辆底板或中控台,优选从驾驶员的头部相对于机动车占据的视角来显示给驾驶员。
也可以设有多个窗玻璃,它们可以以同样的方式被处理。例如,前窗玻璃可以位于驾驶员前方,在驾驶员侧方安装右侧或左侧的侧窗玻璃,或者可以在车顶中安装具有另一个窗玻璃的车顶窗。机动车的窗玻璃是透明的,并且允许机动车上未佩戴头戴式设备的人员看到机动车的真实环境。
在窗玻璃处可以安装预定的视觉标记。处理装置可以被设置用于确定窗玻璃在内部空间的第一视图中相对于所述标记的位置。
在对内部空间的扫描上,视觉标记比窗玻璃的边界更容易被自动识别。因此可以防止,驾驶员在窗玻璃的区域中看到的虚拟环境的一部分相对于内部空间的视图具有错误的大小或取向。此外,可以更好地防止窗玻璃在第一视图中的识别出的位置偏移,例如在机动车的动态操纵期间。否则,视图相对于彼此的偏移可能导致在驾驶员处的不真实的印象,该印象可能导致如辨认方向困难或恶心等副作用。
可以给所述标记配设窗玻璃的形状。例如,标记可以包括二维二进制光码(例如以QR码的形式),并且可以给该码配设所述形状。此外,也可以将大小或位置配设给标记或通过标记表达的码。所述系统可以被设置用于不同的机动车,其中,包括不同成形的窗玻璃的机动车可以具有不同的标记。根据识别出的标记,所述系统能够更好地确定,该系统位于哪种类型的机动车上,或者说窗玻璃的哪种形状是正确的。
所述装置可以包括用于确定机动车在真实环境中的姿态的第一传感器和用于确定驾驶员头部在机动车中的姿态的第二传感器。因此,例如可以借助于处理装置,基于两个借助于传感器所确定的姿态来确定驾驶员头部相对于真实环境的姿态。已经表明,只有当真实环境和虚拟环境高质量地彼此协调时,才能达到逼真的驾驶印象。借助于这两个传感器可以更好地确定驾驶员头部相对于真实环境的姿态。因此,可以以提高的精度实现第一和第二视图彼此的协调。
进一步优选的是,还使用机动车上的一个或多个其它传感器或信息源,以便更好地确定驾驶员头部在虚拟环境中的姿态或机动车在虚拟环境中的姿态。这种传感器可以被设置用于确定位置或取向或者说定向,或者以姿态的形式一起确定这两者。
所述装置可以包括绝对定位装置。绝对定位装置特别是可以通过用于基于卫星的导航系统(GNSS)的接收器形成。定位装置可以附加地被设置用于确定和提供运动方向和运动速度。
此外,该装置可以包括相对定位装置。相对定位装置特别是可以由里程表形成。里程表可以基于机动车的车轮处的旋转传感器来工作。机动车的转向角或行驶速度同样可以用于确定机动车的相对位置。在另一种实施方式中,可以设有基于摄像头的里程表,其中,关于在机动车的真实周围环境中的地标的和配设给这些地标的已知绝对位置的表面上的位置来确定机动车的位置。
所述装置也可以包括加速度传感器。加速度传感器优选被设置用于确定沿着或围绕机动车的纵轴线、竖轴线或横轴线的加速度。因此,特别是可以考虑机动车的颠簸、摇晃或摆头。也可以使用加速度传感器,以便确定机动车的振动。
所述系统可以包括用于将机动车的位置限定到真实环境的预定区域上的装置。这种技术被称为地理围栏。如果机动车超过了预定的范围或者存在这种预见,则可以沿纵向和/或横向控制机动车,以便抵消这种情况。可以选择该区域,使得障碍物或易损物体布置在该区域之外。因此,可以更好地保证机动车之内和之外的安全性。
用于确保安全性的另一措施可以包括用于车上其它人员的附加的操作装置,所述操作装置用于纵向或横向控制机动车。例如,可以设有用于副驾驶员的附加制动踏板,所述副驾驶员进一步优选地不佩戴头戴式设备。如果离开了预定的、可控的行驶状态,副驾驶员可以接管对机动车的控制。
进一步优选的是,系统正确地再现在内后视镜或外后视镜中的显示。如果机动车的内部空间通过窗玻璃限定,在其外侧上安装有后视镜,则可以确定虚拟环境相对于后视镜的另一视图并将其与第一视图相叠加,使其在后视镜中对于驾驶员可见。以相应的方式,可以确定虚拟环境相对于安装在内部空间中的内后视镜的另一视图,并将其在第一视图的相应位置处叠加。由此,驾驶员可以更好地并且以惯常的方式看清虚拟环境中位于驾驶员后方的区域。
根据另一方面,机动车包括本文所描述的系统。机动车可以用于培训驾驶员以引导机动车或者指导驾驶员将机动车带入预定的行驶状况中,例如以便研究行驶行为。
按照本发明的方法包括以下步骤:确定机动车驾驶员的头部相对于机动车的真实环境的姿态;从驾驶员的头部确定机动车的内部空间的第一视图;确定机动车的虚拟环境相对于所确定的姿态的第二视图;将内部空间的第一视图与虚拟环境的第二视图叠加;以及将所述叠加提供给驾驶员。
该方法可以部分地或完全地借助于本文所描述的系统来实施。特别是,该方法的至少一部分可以借助于由所述系统所包括的处理装置来实施。该处理装置特别是可以电子地实施,并且例如包括可编程的微型计算机或微型控制器。所述方法可以以具有程序代码手段的计算机程序产品的形式存在。计算机程序产品可以存储在计算机可读的数据载体上。所述系统的特征或优点可以转用到方法上,反之亦然。
虚拟环境可以根据机动车的运动来调整。因此,可以动态地、即根据由驾驶员发出的控制来指导驾驶员以预定的方式控制机动车。例如,可以给出改变转向角的指示,或者可以显示理想线,驾驶员应将车辆保持在该理想线上。由此能够以游戏式的方式实现学习预定的驾驶技术,例如漂移,或者说将机动车引导到预定的行驶状态中。由此可以加速培训驾驶员或者加速执行机动车的预定测试。
在扩展方案中,可以将所述方法应用于两辆机动车上的两个系统。还可以有更多的机动车参与该方法,这些机动车分别在车上携带本文所描述的系统。在此,机动车处于真实的、但彼此分开的环境中。在此,用于所述系统或机动车的虚拟环境彼此相同。因此,可以更加逼真的、但无危险地模拟机动车之间的相互作用。
模型可以针对每辆机动车的包括一个化身,其中,根据各个机动车的运动来更新化身。因此,例如可以在不发生车辆碰撞的情况下确定化身的碰撞。可选地,可以在机动车上示出对相应的另一机动车的化身的视觉指示。因此,可以为其中一辆机动车上的驾驶员产生他在自己的机动车的环境中看见另一辆机动车的印象。两辆机动车的碰撞可以在其它机动车上相应地示出。
可以使用这种延续,以便展示复杂的情景或使驾驶员关于预定的任务相互竞争(antreten)。需要多于一辆车辆的行驶状况可以通过多个车辆的驾驶员的协调一致的引导来实现。
附图说明
现在参照附图更详细地描述本发明,其中:
图1示出了机动车上的系统;
图2示出了视图的叠加;
图3示出了机动车上的驾驶员;以及
图4示出了方法的流程图。
具体实施方式
图1示出了机动车105上的系统100。所示系统100包括与头戴式设备115相连的处理装置110。头戴式设备115被设置用于安装在机动车105驾驶员120的头部上。驾驶员120位于机动车105上的内部空间中,并且可以控制机动车105的纵向或横向运动。此外,驾驶员还可以使用机动车105上的其它系统或装置。
头戴式设备115包括至少一个用于驾驶员120的视觉显示装置125。头戴式设备115优选被实施成,使得显示装置125对于驾驶员120是完全的,也就是说,他可以视觉地仅感知借助于显示装置125提供给他的内容。在所示的实施方式中,为驾驶员120的每只眼睛设有一个显示装置125。此外,在头戴式设备115上安装有摄像头130,该摄像头被设置用于至少提供机动车105的内部空间的视图。
摄像头130的成像特性优选适配于驾驶员120的视觉设备的光学特性,从而可以在显示装置125上输出借助于摄像头130提供的视图并且为驾驶员120设定尽可能接近其在不使用头戴式设备115的情况下获得的视觉印象。如果需要,可以借助于处理装置110在这个意义上适配视图。要注意的是,多个摄像头130也可以被头戴式设备115包括或者在头戴式设备115处安装。
在头戴式设备115处可以安装一个信标135,该信标可以被用作视觉参考样品。信标135优选被成形并被安装在头戴式设备115上,使得其以视觉的方式指示头戴式设备115的位置和/或定向。例如,另一摄像头130可以安装在机动车105的结构元件处并且被设置用于视觉地扫描头戴式设备115。基于扫描,可以容易地识别信标135,从而可以确定头戴式设备115的位置或定向。
以相应的方式,可以将信标135安装在机动车105的结构元件处,并且头戴式设备115的位置或定向可以借助于安装在头戴式设备115上的摄像头130关于信标135的视觉扫描来实现。
纯示例性地,在图1中选择窗玻璃145的框架140作为结构元件,所述窗玻璃限定了机动车105的内部空间。信标135例如可以在内后视镜150的区域中安装在框架140的上边缘处。摄像头130示例性地布置在框架140的下边缘处。
可选地,在窗玻璃145上设置视觉标记155,该视觉标记优选一维或二维地实施。标记155可以是二进制编码的,其中,该标记包括亮的和暗的部分,其布置和范围可以被自动处理,以便解密由此编码的消息。该消息可以指示窗玻璃145的几何形状。该几何形状特别是可以涉及窗玻璃145的大小或形状。在另一种实施方式中,消息155包括对数据存储器中的条目的指示,其中,给所述条目配设有关窗玻璃145的几何形状的信息。数据存储器可以包括多个条目和配设的几何形状。
优选地,系统100还包括用于基于卫星的全球导航系统(GNSS)的信号的接收器160。基于所接收的信号,接收器160可以确定机动车105的地理位置以及可选地确定机动车105的运动方向和运动速度。
可以设有加速度传感器165,以便确定机动车105围绕一个或多个空间轴线的旋转加速度或加速度。优选地,加速度传感器165被设置用于关于机动车105的纵轴线、竖轴线和横轴线来确定。在此,可以确定沿着其中一条轴线(平移)或者围绕其中一条轴线(旋转)的加速度。相应的加速度传感器165也可以安装在头戴式设备115处并且与处理装置110相连。
系统100还包括模型170,该模型被设置用于模拟虚拟环境。虚拟环境与机动车105的真实环境相协调。为此,预先确定虚拟环境相对于真实环境的位置。如果机动车105在真实环境中运动,则它以同样的方式在虚拟环境中运动。如果机动车105遵循预定的轨迹,则机动车105采取一系列姿态,可以相对于这些姿态借助于模型170分别确定虚拟环境的视图。所提供的视图系列对应于沿着轨迹行驶通过虚拟环境的印象。
机动车105的真实环境的背景(Untergrund)的走向优选仿佛置身于(nachempfunden)虚拟环境中。因此,特别是真实环境的斜坡、道路、物体或地标可以反映在虚拟环境中。
进一步优选地,设有用于与机动车105上的装置连接的接口175。通过接口175特别是可以得到机动车105的位置参数、定向参数或运动参数。机动车105上能够提供这种信息的示例性装置包括ABS系统、电子底盘控制装置、用于驱动马达的发动机控制装置或导航系统。可选地,也可以将机动车105上的传感器用于系统100。例如,可以将已经存在的内部空间摄像头130用于扫描头戴式设备115。
可选地,设有无线通信装置180,其可以被设置用于与中央位置或其它机动车105上的另一系统100通信。
图2示出了叠加200,该叠加可以在通过头戴式设备115查看时向机动车105上的驾驶员120示出。所述叠加200包括第一视图205的部分和第二视图210的部分。第一视图205是借助于安装在驾驶员120的头戴式设备115处的摄像头130提供的。第二视图210是关于机动车105的虚拟环境相对于驾驶员120头部的姿态的视图确定的。
第一视图205涉及机动车105的内部空间,并且反映了驾驶员120在没有头戴式设备115的情况下处于相应的头部姿势时同样可以看到的内容。这包括机动车105的所有装备组件和功能部件,特别是是方向盘和驾驶舱。驾驶员120也看到自己,如在图2中示例性地通过驾驶员120在方向盘处的手能识别到的那样。
第二视图210的一部分在机动车105的内部空间通过窗玻璃145限定的地方渐显到第一视图205中。第一视图205与第二视图210之间的过渡在图2中通过虚线强调。这些线通常不是视图205、210的一部分,并且无法被驾驶员120识别。
在图2的图示中设有前窗玻璃和侧窗玻璃,其中,通过侧窗玻璃能识别外后视镜215。可选地,可以在外后视镜215的镜面上示出第三视图220的一部分,所述第三视图是借助于虚拟环境中的模型170相对于外后视镜215的姿态确定的。以相应的方式可以处理处于相对的外后视镜或者内后视镜。
为了说明系统100的一种可能的工作方式,在图2中,在机动车105的虚拟环境中示出两个并排的门225。
驾驶员120可以具有任务:驾驶穿过以特定的方式(例如以预定的颜色)显示给他的那个门,并且避开可能以另一种预定的颜色显示给他的另一个门。门225的颜色例如可以根据预定的模式或者随机地更换。特别是可以根据行驶速度和机动车105与门225的距离较晚才渐显颜色。也可以这样训练驾驶员120的反应能力和即使在速度较高时驾驶机动车105也受控地穿过正确的门225的能力。
图3示出了具有系统100的机动车105上的驾驶员120的示例性视图。头戴式设备115安装在驾驶员120的头部。在此,头戴式设备115优选地相对较小且轻便,从而它不会妨碍驾驶员120并且不会干扰他的头部运动。在靠近驾驶员120的眼睛前方的区域中安装有两个摄像头130。信标135的元件分布在头戴式设备115的框架上。
通过侧窗玻璃和后窗玻璃能识别机动车105的真实环境的部分。驾驶员120无法看到真实环境,并且通过头戴式设备115在窗玻璃145的区域向他渐显机动车105的虚拟环境的各局部。
图4示出了方法400的流程图。方法400特别是可以借助于系统100来实施。
在步骤405中,可以从车辆105检测头戴式设备115。为此,可以借助于固定安装的摄像头130扫描头戴式设备115。
在步骤410中,可以确定驾驶员120头部在车辆105中的姿态。为此,可以确定头戴式设备115的姿态,例如相对于信标135在视觉扫描上的位置。
在步骤415中,可以从头戴式设备115扫描车辆105的内部空间。为此,可以使用安装在头戴式设备115上的摄像头130。可选地,也可以基于该扫描来确定驾驶员120头部的姿态。为此,特别是可以在扫描中确定固定安装在机动车105处的信标135的位置。
为了确定机动车105在真实环境中的姿态,可以在步骤420中确定机动车105的绝对位置。为此例如可以使用GNSS接收器160或基于摄像头的位置识别装置,该位置识别装置可以借助于接口175接到系统100上。
在步骤425中,可以确定机动车105的加速度。加速度可以借助于加速度传感器165或者基于机动车105上的系统(例如驱动系统或制动系统)来确定。
机动车105的相对位置可以在步骤430中确定。该相对位置特别是可以相对于机动车105的运动信息或速度信息来确定。为此,特别是可以分析机动车105的里程表的信号,这些信号可以通过接口175得到。
基于在步骤420至430中收集的信息,可以在步骤435中确定机动车105在真实环境中的姿态。
在步骤440中,可以基于驾驶员120头部在机动车105中的姿态和机动车105在真实环境中的姿态来确定驾驶员120头部在真实环境中的姿态。为了最佳的结果,应在步骤440中以尽可能高的精度并且在动态情况下以尽可能小的时间延迟来确定头部的姿态。可以基于其它信息改进中间结果。
在步骤445中,可以基于所确定的姿态来确定虚拟环境的视图。这一视图在本文中也被称为第二视图。
基于在步骤415中对内部空间的扫描,可以确定内部空间的如下视图,该视图在本文中也被称为第一视图。在可选的步骤450中,可以在第一视图中确定窗玻璃145的位置。为此,可以在第一视图中确定窗玻璃145的边界,或者可以相应地应用有关窗玻璃145的形状或范围的几何信息。
在步骤455中,可以叠加第一和第二视图。在此,优选第一视图的位于窗玻璃145的区域中的部分通过第二视图的相应部分来代替。
在步骤460中,可以通过头戴式设备115的至少一个显示装置125将所述叠加输出到驾驶员120。
附图标记列表
100 系统
105 机动车
110 处理装置
115 头戴式设备
120 驾驶员
125 显示装置
130 摄像头
135 信标
140 框架
145 窗玻璃
150 内后视镜
155 标记
160GNSS接收器
165 加速度传感器
170 模型
175 接口
180 通信装置
200 叠加
205 第一视图
210 第二视图
215 外后视镜
220 第三视图
225 门
400 方法
405 从车辆检测头戴式设备
410确定驾驶员头部在车辆中的姿态
415从头戴式设备扫描车辆的内部空间
420 确定绝对位置
425 确定加速度
430 确定相对位置
435确定车辆在真实环境中的姿态
440确定驾驶员头部在真实环境中的姿态
445 确定虚拟环境的视图
450 确定窗玻璃
455 叠加视图
460 输出到驾驶员

Claims (14)

1.系统(100),其中,所述系统(100)包括:
-头戴式设备,该头戴式设备被设置用于安装在机动车(105)驾驶员(120)的头部,
-其中,所述头戴式设备包括用于提供机动车(105)的内部空间的第一视图(205)的摄像头(130)和用于驾驶员(120)的视觉显示装置;
-用于提供机动车(105)的虚拟环境相对于预定的姿态的视图的模型(170);
-用于确定驾驶员(120)头部相对于机动车(105)的真实环境的姿态的装置;
-处理装置(110),该处理装置被设置用于将内部空间的第一视图(205)与虚拟环境相对于所确定的姿态的第二视图(210)叠加并提供给驾驶员(120)。
2.根据权利要求1所述的系统(100),其中,所述机动车(105)的内部空间通过窗玻璃限定;其中,提供所述叠加使得虚拟环境仅在窗玻璃的区域中对于驾驶员(120)可见。
3.根据权利要求2所述的系统(100),其中,预定的视觉标记安装在所述窗玻璃处,并且其中,处理装置(110)被设置用于确定窗玻璃在内部空间的第一视图(205)中相对于所述标记的位置。
4.根据权利要求3所述的系统(100),其中,给所述标记配设所述窗玻璃的形状。
5.根据前述权利要求之一所述的系统(100),其中,所述装置包括用于确定机动车(105)在真实环境中的姿态的第一传感器(160、165、175)和用于确定驾驶员(120)头部在机动车(105)中的姿态的第二传感器(130)。
6.根据权利要求5所述的系统(100),其中,所述装置包括绝对定位装置(160)。
7.根据权利要求5或6所述的系统(100),其中,所述装置包括相对定位装置(175)。
8.根据权利要求5至7之一所述的系统(100),其中,所述装置包括加速度传感器(165)。
9.根据前述权利要求之一所述的系统(100),还包括用于将机动车(105)的位置限定到真实环境的预定区域上的装置。
10.根据前述权利要求之一所述的系统(100),其中,所述机动车(105)的内部空间通过窗玻璃(145)限定,在所述车辆的外侧上安装有后视镜(215);其中,确定虚拟环境相对于后视镜(215)的另一视图(215)并将所述另一视图与第一视图(205)叠加,使其在后视镜(215)中对于驾驶员(120)可见。
11.机动车(105),所述机动车包括根据前述权利要求之一所述的系统(100)。
12.方法(400),所述方法具有以下步骤:
-确定(440)机动车(105)驾驶员(120)的头部相对于机动车(105)的真实环境的姿态;
-确定(415)从驾驶员(120)的头部来看机动车(105)的内部空间的第一视图(205);
-确定(445)机动车(105)的虚拟环境相对于所确定的姿态的第二视图(210);
-将内部空间的第一视图(205)与虚拟环境的第二视图(210)叠加(455);以及
-将所述叠加提供给驾驶员(120)。
13.根据权利要求12所述的方法(400),其中,根据机动车(105)的运动来调整所述虚拟环境。
14.根据权利要求12或13所述的方法(400),其中,在彼此分开的两个真实环境中的两辆机动车(105)上设有所述系统(100),其中,为所述系统(100)仅使用一个共同的虚拟环境。
CN202380049433.3A 2022-09-26 2023-09-19 在虚拟环境中驾驶机动车 Pending CN119836653A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102022124717.1 2022-09-26
DE102022124717.1A DE102022124717A1 (de) 2022-09-26 2022-09-26 Fahren eines Kraftfahrzeugs in einer virtuellen Umgebung
PCT/EP2023/075826 WO2024068367A1 (de) 2022-09-26 2023-09-19 Fahren eines kraftfahrzeugs in einer virtuellen umgebung

Publications (1)

Publication Number Publication Date
CN119836653A true CN119836653A (zh) 2025-04-15

Family

ID=88143914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202380049433.3A Pending CN119836653A (zh) 2022-09-26 2023-09-19 在虚拟环境中驾驶机动车

Country Status (6)

Country Link
EP (1) EP4594843A1 (zh)
JP (1) JP2025534942A (zh)
KR (1) KR20250010071A (zh)
CN (1) CN119836653A (zh)
DE (1) DE102022124717A1 (zh)
WO (1) WO2024068367A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024111501A1 (de) 2024-04-24 2025-10-30 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Anzeigen eines Anzeigebildes in einem Fahrzeug und entsprechendes Anzeigesystem
DE102024113026A1 (de) * 2024-05-08 2025-11-13 Bayerische Motoren Werke Aktiengesellschaft Steuerung eines Kraftfahrzeugs

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008042397A1 (de) * 2008-09-26 2010-04-01 Robert Bosch Gmbh Navigationssystem mit kontaktanaloger Anzeige
DE102014202712A1 (de) * 2014-02-14 2015-08-20 Bayerische Motoren Werke Aktiengesellschaft Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen
DE102014213020A1 (de) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Übernahmeaufforderung bei hochautomatisierter Fahrt auf Datenbrille
DE102017221317A1 (de) * 2017-11-28 2019-05-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Kraftfahrzeug
DE102018201509A1 (de) * 2018-02-01 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
US12112440B2 (en) * 2020-12-20 2024-10-08 Wael Zohni Mixed-reality visor for in-situ vehicular operations training

Also Published As

Publication number Publication date
JP2025534942A (ja) 2025-10-22
EP4594843A1 (de) 2025-08-06
WO2024068367A1 (de) 2024-04-04
DE102022124717A1 (de) 2024-03-28
KR20250010071A (ko) 2025-01-20

Similar Documents

Publication Publication Date Title
EP2936065B1 (en) A system for a vehicle
US11897369B2 (en) System and method for reducing kinetosis symptoms
US11718203B2 (en) System and method for reducing motion sickness symptoms
CN105799710A (zh) 一种交互式的自主教练车系统
CN119836653A (zh) 在虚拟环境中驾驶机动车
US20190276044A1 (en) User interface apparatus for vehicle and vehicle including the same
WO2014141526A1 (ja) 車両用危険場面再現装置、およびその使用方法
US20180182261A1 (en) Real Time Car Driving Simulator
CN116726510A (zh) 用于道路车辆的赛车方法、相关的装置和相关的道路车辆
CN110782738A (zh) 一种模拟驾驶训练装置
JP2001236010A (ja) 4輪車運転シミュレータ
CN111163971A (zh) 用于在运行虚拟现实应用时控制机动车座椅设备的方法和座椅设备
JP7277186B2 (ja) 情報処理装置、情報処理システム及び車両の制御装置
CN113767026A (zh) 用于运行机动车的方法
CN112566808A (zh) 运行布置在机动车中的显示装置的方法和在机动车中使用的显示装置
JP2016071666A (ja) 車両の視線誘導装置
JP7575638B2 (ja) 車両の動きに適応させたメディアコンテンツを提供する方法及び車両
DE102019210466B4 (de) Simulieren einer autonomen Fahrt eines Fahrzeugs
JP4493575B2 (ja) 移動体シミュレータ装置およびその制御方法並びに制御プログラム
Sakamura et al. A virtual boarding system of an autonomous vehicle for investigating the effect of an AR display on passenger comfort
KR101100646B1 (ko) 차량 운전 로봇, 원격 차량 제어 장치 및 원격 차량 제어 시스템과 방법
JP2625733B2 (ja) 運転シミュレータ
CN115009165A (zh) 控制后视镜标记装置的方法、控制器、车辆和系统
JP2024093511A (ja) 移動体及び情報処理方法
Maza et al. Vehicle teleoperation with a multisensory driving interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination