CN117733835A - 动态边界框 - Google Patents

Abstract

本公开提供“动态边界框”。一种包括处理器和存储器的计算机可以通过基于检测到的第二对象确定第一对象的候选轨迹来确定车辆的最终轨迹。可以将所述候选轨迹输入到可达多面体行进处理器以基于所述候选轨迹的形状来确定动态占用多面体。可以基于组合所述动态占用多面体来确定可达管道，并且可基于所述可达管道避开所述检测到的第二对象来确定所述最终轨迹。

Description

动态边界框

技术领域

本公开涉及用于通过基于动态占用来预测车辆的位置以增强车辆操作的技术。

背景技术

图像可以由传感器获取并使用计算机进行处理以确定关于系统周围环境中的对象的数据。感测系统的操作可以包括获取关于系统环境中的对象的准确且及时的数据。计算机可以从一个或多个传感器获取图像，所述图像可以被处理以确定关于系统环境中的对象的数据。关于环境中的对象的数据可以通过计算机与关于系统的位置的数据组合，并且用于操作系统，所述系统包括车辆、机器人、安全系统和/或对象跟踪系统。

发明内容

如本文所述，在系统中的计算机上执行的一个或多个软件程序可以用于确定关于系统的环境中的对象的数据并在环境中操作系统。车辆操作在本文中用作系统的示例，所述系统获取关于车辆环境中的对象的传感器数据、处理传感器数据并基于处理后的传感器数据来操作车辆。例如，车辆可以从包括在车辆中的传感器获取关于道路车道标记、其他车辆或行人的数据。计算装置可以基于车辆的预测位置和对象在环境中的确定位置来确定操作车辆的轨迹。车道保持(其中车辆停留在车道内)、离开和进入道路、变道操纵和对象避开是可以基于预测的车辆轨迹和对象位置执行的车辆操作的示例。本文描述的技术可以应用于其他系统，诸如机器人、安全系统或对象跟踪系统。

计算机可以获取关于车辆周围的环境中的对象的传感器数据，并且包括在计算机中的软件程序可以识别和定位环境的各部分，其包括道路车道和对象，诸如其他车辆和行人。基于环境的识别和定位的部分，可以确定车辆轨迹。车辆轨迹是包括速度(例如，速度和航向)以及横向加速度和纵向加速度的一组位置值。可以基于轨迹的形状来确定横向加速度和纵向加速度，其指示横向位置和纵向位置的变化率。例如，可以基于多项式函数来确定车辆轨迹。有利地，本文描述的技术通过基于动态占用来预测车辆的位置以增强车辆操作。本文讨论的技术可以基于关于车辆相对于预测轨迹的实际位置的所获取的数据来有效地确定车辆的动态占用状态，并且基于动态占用状态来确定车辆的动态边界框。当车辆在预测轨迹上行驶时，动态边界框可以增强预测车辆的未来位置的准确性。

在基于动态占用来预测系统的位置的示例中，所述系统可以是机器人。在其中系统是机器人的示例中，可以确定附接到机器人臂上的夹持器的候选轨迹。例如，机器人中的计算装置可以基于控制致动器来确定候选轨迹，所述控制致动器可以控制夹持器和机器人臂到允许夹持器拾取工件的位置的移动。可以确定候选轨迹以避免与由包括在机器人中的传感器检测到的第二对象接触。例如，第二对象可以是第二机器人或支撑工件的传送带的各部分。动态占用技术可以通过基于候选轨迹预测在机器人移动经过所检测到的第二对象时夹持器和机器人臂的位置来增强机器人的操作。动态占用基于候选轨迹中所包括的速度、横向加速度和纵向加速度准确地预测夹持器和机器人臂的位置，以既不低估也不高估距候选轨迹的可能偏差。

本文公开了一种方法，所述方法包括通过以下方式确定最终轨迹：基于检测到的第二对象来确定第一对象的候选轨迹；将所述候选轨迹输入到可达多面体行进(reachablepolyhedral marching)处理器以基于所述候选轨迹的形状来确定动态占用多面体；基于组合所述动态占用多面体来确定可达管道；以及基于所述可达管道避开所述检测到的第二对象来确定所述最终轨迹。可以基于所述最终轨迹通过控制一个或多个致动器以控制所述第一对象的移动来操作所述第一对象。所述第一对象可以是车辆，并且控制所述致动器以控制所述车辆的移动可以包括控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者。所述第一对象可以是机器人，并且控制所述致动器以控制所述机器人的移动可以包括控制夹持器和机器人臂中的一者或多者的运动。将所述候选轨迹输入到第一神经网络可以包括简化所述候选轨迹。所述候选轨迹可以是T*n矩阵，其包括多个时间步长t处的x和y位置、速度和航向角，并且简化所述轨迹可以将所述T*n矩阵降为具有m维的向量，其中m<T*n。可以基于从第二神经网络输出的权重来对所述可达多面体行进处理器进行编程。

所述第二神经网络可以基于求解Liouville偏微分方程来确定密度分布。可以基于从真实世界车辆获取的多个轨迹来训练所述第二神经网络。所述第二神经网络可以包括具有ReLU激活的完全连接神经元，并且基于L2范数重建损失下的随机梯度下降来训练。所述动态占用多面体可以包括二维区域，其中所述第一对象将占用所述可达多面体内的位置的概率高于以经验确定的阈值。所述动态占用多面体的大小可以基于所述候选轨迹的段的样本之间的曲率和距离。所述动态占用多面体可以具有六至八个边。所述第二对象可以是车辆、行人或车道标记中的一者或多者。

还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。本文进一步公开了一种被编程用于执行上述方法步骤中的一些或全部的计算机，所述计算机包括计算机设备，所述计算机设备被编程为通过以下方式确定最终轨迹：基于检测到的第二对象来确定第一对象的候选轨迹；将所述候选轨迹输入到可达多面体行进处理器以基于所述候选轨迹的形状来确定动态占用多面体；基于组合所述动态占用多面体来确定可达管道；以及基于所述可达管道避开所述检测到的第二对象来确定所述最终轨迹。可以基于所述最终轨迹通过控制一个或多个致动器以控制所述第一对象的移动来操作所述第一对象。所述第一对象可以是车辆，并且控制所述致动器以控制所述车辆的移动可以包括控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者。所述第一对象可以是机器人，并且控制所述致动器以控制所述机器人的移动可以包括控制夹持器和机器人臂中的一者或多者的运动。将所述候选轨迹输入到第一神经网络可以包括简化所述候选轨迹。所述候选轨迹可以是T*n矩阵，其包括多个时间步长t处的x和y位置、速度和航向角，并且简化所述轨迹可以将所述T*n矩阵降为具有m维的向量，其中m<T*n。可以基于从第二神经网络输出的权重来对所述可达多面体行进处理器进行编程。

所述指令可以包括用于基于利用第二神经网络求解Liouville偏微分方程来确定密度分布的另外的指令。可以基于从真实世界车辆获取的多个轨迹来训练所述第二神经网络。所述第二神经网络可以包括具有ReLU激活的完全连接神经元，并且基于L2范数重建损失下的随机梯度下降来训练。所述动态占用多面体可以包括二维区域，其中所述第一对象将占用所述可达多面体内的位置的概率高于以经验确定的阈值。所述动态占用多面体的大小可以基于所述候选轨迹的段的样本之间的曲率和距离。所述动态占用多面体可以具有六至八个边。所述第二对象可以是车辆、行人或车道标记中的一者或多者。

附图说明

图1是示例性交通基础设施系统的框图。

图2是示例性车辆轨迹的图式。

图3是包括窄静态边界框的示例性车辆轨迹的图式。

图4是包括宽静态边界框的示例性车辆轨迹的图式。

图5是包括动态边界框的示例性车辆轨迹的图式。

图6是示例性动态占用系统的图式。

图7是用于生成动态边界框的示例性过程的流程图。

图8是基于动态边界框来操作车辆的示例性过程的流程图。

具体实施方式

图1是可以包括交通基础设施节点105的感测系统100的图式，所述交通基础设施节点包括服务器计算机120和固定传感器122。感测系统100包括车辆110，所述车辆可在自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和乘员驾驶(也被称为非自主)模式下操作。一个或多个车辆110的计算装置115可从传感器116接收关于车辆110的操作的数据。计算装置115可以自主模式、半自主模式或非自主模式操作车辆110。

计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质并且存储指令，所述指令可由处理器执行来执行包括如本文所公开的各种操作。例如，计算装置115可以包括编程以操作车辆制动、推进(即，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是人类操作员)是否以及何时控制此类操作。

计算装置115可以包括多于一个计算装置(即，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等(即，动力传动系统控制器112、制动控制器113、转向控制器114等))，或即经由如下面进一步描述的车辆通信总线通信地联接到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(即，包括车辆110中的总线，诸如控制器局域网络(CAN)等)通信；车辆110网络可另外或替代地包括诸如已知的有线或无线通信机制，即，以太网或其他通信协议。

计算装置115可经由车辆网络向车辆中的各种装置(即，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外，在计算装置115实际上包括多个装置的情况下，可使用车辆通信网络来在本公开中表示为计算装置115的装置之间通信。此外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。

另外，计算装置115可被配置用于通过车辆对基础设施(V2X)接口111经由网络130与远程服务器计算机120(即，云服务器)通信，如下所描述的，所述接口包括硬件、固件和软件，所述硬件、固件和软件准许计算装置115经由诸如无线互联网或蜂窝网络的网络130与远程服务器计算机120通信。因此，V2X接口111可以包括被配置为利用各种有线和/或无线联网技术(即，蜂窝、/>蓝牙低功耗(BLE)、超宽带(UWB)、对等通信、基于UWB的雷达、IEEE 802.11和/或其他有线和/或无线分组网络或技术)的处理器、存储器、收发器等。计算装置115可被配置用于使用即在邻近车辆110之间在自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(V2V)网络(即，根据包括蜂窝通信(C-V2X)无线通信蜂窝、专用短程通信(DSRC)和/或类似的通信)通过V2X(车辆对外界)接口111与其他车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以通过将数据存储在非易失性存储器中来记录数据，以便以后检索并经由车辆通信网络和车辆对基础设施(V2X)接口111传输到服务器计算机120或用户移动装置160。

如已经提及的，用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(即，制动、转向、推进等)的编程通常包括在存储器中所存储的并可由计算装置115的处理器执行的指令中。使用在计算装置115中接收的数据(即，来自传感器116的传感器数据、服务器计算机120等的数据)，计算装置115可在没有驾驶员的情况下进行各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以意图实现路线的有效穿越的方式控制操作行为)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、到特定位置处的到达时间以及从到达到穿过十字路口的十字路口(无信号灯)最短时间。

如本文所使用的术语控制器包括通常被编程来监测和/或控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可为诸如已知的电子控制单元(ECU)，可能包括如本文所描述的附加的编程。控制器可通信地连接到计算装置115并且从所述计算装置接收指令以根据指令来致动子系统。例如，制动控制器113可从计算装置115接收指令以操作车辆110的制动器。

用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一者可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并且连接到车辆110通信总线，诸如控制器局域网(CAN)总线或局域互连网(LIN)总线，以从计算装置115接收指令并且基于指令而控制致动器。

传感器116可以包括已知的多种装置，以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可提供车辆110的地理坐标。例如，由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可由计算装置115用来自主或半自主地操作车辆110。

车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的基于地面的车辆110(即，客车、轻型货车等)。车辆110包括一个或多个传感器116、V2X接口111、计算装置115和一个或多个控制器112、113、114。传感器116可收集与车辆110和车辆110的操作环境相关的数据。以举例的方式但非限制，传感器116可以包括即测高仪、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用来感测车辆110的操作环境，即，传感器116可以检测诸如天气状况(降雨、外部环境温度等)的现象、道路坡度、道路位置(即，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可以用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性以及车辆110的部件的准确且及时的性能。

车辆可以被配备为以自主、半自主或手动模式操作。半自主模式或完全自主模式意指车辆可以由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地驾驶的操作模式。出于本公开的目的，自主模式被定义为车辆推进(即，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，车辆计算机控制车辆推进、制动和转向中的一者或多者。在非自主模式下，这些都不由计算机控制。在半自主模式中，控制器控制它们中的一些但非全部。

交通基础设施节点105可以包括物理结构，诸如塔或其他支撑结构(即，杆子、可安装到桥梁支撑件的盒子、蜂窝电话塔、道路标志支撑件等)，基础设施传感器122以及服务器计算机120可安装、存储和/或容纳在所述物理结构上并且得以供电等。为了便于说明，在图1中示出一个交通基础设施节点105，但是系统100可以并且很可能将包括数十、数百或数千个交通基础设施节点105。交通基础设施节点105通常是静止的，即，固定到特定地理位置并且无法从所述位置移动。基础设施传感器122可以包括一个或多个传感器，诸如上文针对车辆110传感器116所描述的，即，激光雷达、雷达、相机、超声传感器等。基础设施传感器122是固定的或静止的。即，每个传感器122安装到基础设施节点以便具有基本不移动且不改变的视野。

服务器计算机120通常具有与车辆110的V2X接口111和计算装置115共同的特征，并且因此将不进一步描述以避免冗余。尽管为了便于说明而未示出，但是交通基础设施节点105还包括电源，诸如电池、太阳能电池和/或与电网的连接。交通基础设施节点105的服务器计算机120和/或车辆110的计算装置115可接收传感器116、122的数据以监测一个或多个对象。在本公开的上下文中，“对象”是可以由车辆传感器116和/或基础设施传感器122检测到的物理(即，材料)结构或事物。

图2是可以由车辆110中的计算装置115确定的车辆轨迹200的图式。车辆轨迹200可以包括车辆110的初始位置202以及终点204。可以基于连接初始位置202和终点204的多项式方程来确定轨迹200。多项式方程通常被定义在平行于道路的平面中，并且可以具有以下形式

t(x,y)＝ax²+bxy+cy²+d (1)其中t(x,y)是车辆相对于道路的坐标，并且多项式方程是以x和y表示的二次多项式。可以基于当车辆110沿着车辆轨迹200行驶时针对车辆预测的横向加速度和纵向加速度的上限和下限来确定车辆轨迹。车辆110中的计算装置115还可以从包括在车辆110中的传感器116接收数据作为输入，以确定轨迹200附近的对象206、208的位置。例如，计算装置可以从视频传感器获取视频图像并将它们输入到被训练的神经网络以定位视频图像中的对象206、208。例如，对象206、208可以是其他车辆、行人或交通障碍物。车辆轨迹200可以由计算装置115确定以避免车辆110与对象206、208之间的接触。

图3是包括检测到的对象的示例性交通场景的图式，并且可以用于示出用于确定在车辆轨迹200上行驶的车辆110与对象206、208之间的接触的技术。在图3中，在时间步长t₀ 304处最小程度地包围车辆110(即，是可以被绘制并且仍然包含车辆上的所有点的最小可能矩形)的边界框302(虚线)可以以车辆轨迹200为中心。以车辆轨迹200为中心意味着边界框302的中心(其也可以是边界框302所包围的车辆110的中心)被置于车辆轨迹200上。多个边界框可以在附加的时间步长t₁…t_n下位于以轨迹200为中心的多个位置处以形成管道306。管道306预测车辆110在沿着轨迹200行进时将占用的位置。即，管道306根据垂直于轨迹200(或其在轨迹200弯曲的情况下的切线)绘制的线段的中心点限定车辆110在轨迹200上的位置，并且从管道306的第一侧延伸到第二侧。

图3指示车辆110将能够在不接触对象206、208的情况下在轨迹200上行驶。通过这种方式确定车辆110与对象206、208之间的接触的问题在于，车辆110的初始位置202和车辆110在其沿着轨迹200行驶时的位置会包括误差。包括在车辆110中的传感器116在确定车辆110的初始位置202的准确度方面可以变化。车辆动力传动系统、转向和制动器的操作也可以响应于被发送到动力传动系统控制器112、转向控制器113和制动控制器114的命令而变化，这可能导致车辆110在轨迹200上行驶的方式发生变化。车辆110的初始位置的变化和车辆110在轨迹200上行驶的方式的变化可能导致车辆110占用管道306外部的位置。这可能导致车辆110与对象206、208之间的接触概率大于零。

图4是包括检测到的对象的示例性交通场景的图式，并且可以用于示出用于确定在轨迹200上行驶的车辆110与对象206、208之间的接触的技术，所述技术在确定车辆110的位置时假设误差。可以通过沿着轨迹200操作车辆110同时使用外部装置测量车辆110的位置来以经验确定误差。例如，外部安装的固定激光雷达传感器可以在车辆110在轨迹200上行驶时多次获取车辆的距离数据，并且可以将外部获取的位置数据与由车辆内部的传感器116获取的位置数据进行比较。可以基于所述比较来计算统计数据，包括均值和标准偏差，以确定位置误差的概率。例如，当车辆在轨迹200上行驶时，可以基于误差测量值的平均值来确定误差项。

可以确定样本轨迹200，所述样本轨迹包括在轨迹的构成轨迹的总长度或距离的指定段(或长度)上的车辆速度以及横向和纵向加速度的相应范围。车辆110可以在样本轨迹200上(即，在指定段上的指定范围内)操作多次，例如大于10次，并且可以记录通过车辆110占用最小管道306外部的位置指示的误差。可以基于样本轨迹200来确定平均误差项，并将平均误差项加到如上文关于图3所描述的最小边界框302，以确定以图4中的车辆轨迹200为中心的边界框402。通过加上误差项进行调整的边界框402通常大于上述矩形框302。基于以经验获取的数据，可以将边界框402确定为包括车辆110的轮廓加上位置误差的统计度量的容差。边界框402可以通过在车辆110在车辆轨迹200上行驶时在车辆的预测位置中并入误差项来提供避开对象的更大置信度。

调整后的矩形框402可以沿着轨迹200传播以确定管道404，所述管道指示车辆110在沿着轨迹200行进时可以采取的位置，包括误差。例如，管道404可以指示车辆110的潜在位置，包括误差。假设误差项遵循高斯统计，则包括误差统计的三个标准偏差将产生车辆110将在管道404内操作的概率为99％。即，在遵循高斯统计的分布中，99％的观察(在该示例中为车辆位置的误差)落在平均值的三个标准偏差内。假设误差项在从车辆轨迹200开始的两个方向上均匀分布，则平均误差将为0。管道404指示车辆110将没有99％确定性避开两个对象206、208，并且计算装置115将不会在从初始位置202到终点204的轨迹200上操作车辆110。

应用于如图3所示的车辆110轨迹200的误差分析的问题在于，它可能夸大车辆110与对象206、208之间的接触概率，因为车辆110相对于车辆轨迹200的位置的误差随着车辆110沿着轨迹200行驶而不恒定。车辆110相对于车辆轨迹200的位置的误差是速度和横向加速度等的函数。例如，车辆110改变方向越快，车辆110经历的横向加速度就越大。例如，短时间段内的高横向加速度可能在车辆110控制系统中产生更大误差。通常，当在车辆轨迹200上行驶时，改变方向可能会产生比遵循直线更大的误差。

本文描述的技术可以通过根据轨迹动态地确定第一对象(例如，车辆110)占用来增强对第一对象(诸如车辆110)与其他(或第二)对象206、208之间的接触概率的确定。根据用户定义的概率得出的车辆占用(其是对象(诸如车辆110)的位置)可以通过多次沿着样本轨迹200操作车辆110并测量车辆位置的误差而被确定为沿着轨迹的速度以及横向加速度和纵向加速度的函数。包括均值和标准偏差的误差的密度分布被确定为速度以及横向加速度和纵向加速度的函数。然后将所得密度分布应用于将由车辆110操作的轨迹，以确定在轨迹上的点或段处与对象206、208接触的概率。

图5示出了由根据本文讨论的技术确定的动态边界框502形成的管道506。动态边界框502是动态确定的，这意味着动态边界框502的大小是基于在车辆轨迹200上的动态边界框502所在的位置处确定的车辆的位置中包括的误差的估计值来确定的。估计误差是指示车辆110将占用车辆轨迹200上的给定位置处的位置和取向的概率的二维形状。指示车辆110将占用车辆轨迹200上的处于所指示取向的位置的概率的二维形状可以基于估计误差大于用户选定值来确定。例如，二维形状可以指示车辆110所处的概率大于99％的区域。

可以基于轨迹200的样本点之间的曲率和距离来确定指示车辆110所处的概率的二维形状。轨迹200的样本点之间的曲率和距离指示车辆110在该点处的速度以及横向加速度和纵向加速度。确定车辆110的位置和取向时的估计误差是车辆110的速度以及横向加速度和纵向加速度的函数。例如，初始位置202和终点204附近的矩形框504、508相对于车辆轨迹200小，因为在这些位置处，车辆110沿大致直线移动，并且确定车辆相对于轨迹200的位置时的误差为低。在车辆轨迹200的车辆110正在改变方向的各部分中，横向加速度较高并且动态边界框502较大，因为车辆110的位置的不确定性较高。

基于使用如图5中所示的动态边界框502的动态占用来确定车辆轨迹200允许车辆110有更大的操作范围，同时维持用于避免接触的期望置信度水平，例如99％置信度。在诸如图5的示例中，动态边界框502指示有可能避开对象206，而可能无法避开对象208。通过这种方式确定潜在接触允许车辆110中的计算装置115进行调整以避开对象208。例如，可以调整轨迹200以避开对象208。例如，可以将车辆110的速度和/或横向加速度调整到对象208附近的动态边界框502更小。降低速度和/或横向加速度由此可以减小动态边界框502的大小，并且因此减小车辆110在对象208附近的动态占用。例如，速度和横向加速度可以通过将车辆轨迹改变为较低速度并且使转弯更快开始并且更缓慢地改变车辆方向来调整。

图6是动态占用系统600的图式，所述动态占用系统针对被配置用于训练的车辆轨迹200计算可达性管道。动态占用系统600根据车辆110的速度以及横向加速度和纵向加速度来动态地确定有可能被车辆110占用的位置。车辆占用由通过组合动态边界框502确定的可达性管道来指示，其指示可能被车辆110占用的位置的外部极限(即，可达性是指车辆110可以到达的位置)。图6示出了被配置用于训练和测试的动态占用系统600。动态占用系统600可以在服务器计算机120上进行训练和测试，并且被传输到车辆110中的计算装置115以进行操作。候选轨迹602可以由包括在车辆110中的运动规划软件来确定，如上面关于图2所讨论的。该轨迹被称为候选轨迹602，因为它尚未被确定为适合于车辆110的操作，直到它由动态占用系统600处理为止。候选轨迹602可以被输出到车辆或模拟软件606。在其中采用车辆110的示例中，操作车辆110并且记录车辆110响应于候选轨迹602而进行的运动。在其中采用模拟软件的示例中，模拟软件响应于候选轨迹602而确定车辆的模拟运动。

将候选轨迹602输入到第一神经网络608，所述第一神经网络简化候选轨迹602以确定简化轨迹610。候选轨迹602可以是T*n矩阵，其可以包括多个时间步长t处的x和y位置、速度和航向角。第一神经网络608将候选轨迹602降为简化轨迹610，所述简化轨迹是由m维指示的学习的潜在向量，其中m<n。将简化轨迹610输入到第二神经网络614。第二神经网络614具有多个层，所述多个层包括在各层之间的具有ReLU激活的全连接神经元。ReLU激活是第二神经网络614的各层之间的函数，其是分段线性函数，如果输入为正，则所述函数直接输出所述输入，而如果输入为负，则输出零。

第二神经网络614确定输入的简化轨迹610的密度分布，假设密度分布由Liouville偏微分方程描述。Liouville方程描述了分布函数沿着轨迹的时间演变，并且是根据统计力学导出的。Liouville方程：

描述了具有正则坐标q_i和共轭动量p_i的系统，其中相位分布ρ(p,q)确定将在相空间体积dⁿqdⁿp中找到系统的概率ρ(p,q)dⁿqdⁿp。

通过将输出车辆轨迹620与来自真实世界车辆110或模拟软件606的地面实况测量的车辆轨迹612进行比较来训练第二神经网络614。第二神经网络614基于L2范数重建损失下的随机梯度下降来进一步训练，因为Liouville偏微分方程是连续可微的。L2范数计算从第二神经网络输出的密度分布与地面实况之间的欧几里德距离。来自训练过的第二神经网络614的权重被输出到多面体行进系统618，所述多面体行进系统输入候选轨迹602的初始位置202的初始密度分布数据626。可以基于车辆110在初始位置202处的速度和方向来以经验确定初始密度分布数据626。

基于记录的车辆110的行为来训练第二神经网络614确定控制第二神经网络614的各层的行为的权重。权重控制密度分布的大小，所述密度分布的大小指示距轨迹上的车辆针对用户确定的概率基于轨迹的曲率将占用的点的距离。例如，基于真实世界车辆110数据，第二神经网络614可以确定指示车辆110将以99％的概率占用距轨迹的距离的密度分布。指示根据轨迹曲率确定的这些密度分布的权重可以被输出到多面体行进系统618。然后，多面体行进系统618可以基于轨迹曲率来确定车辆占用，而不必计算密度分布即可允许多面体行进系统618在车辆110中的计算装置115中实时地确定动态边界框502。

多面体行进系统618生成多面体622。多面体622是在候选轨迹602的每个时间步长t处确定的n边几何形状。多面体622的边是基于通过训练第二神经网络614确定的权重，并且是距候选轨迹602的距离，其中遇到车辆110的任何部分的概率低于以经验确定的阈值，而不必计算密度分布。可以确定以经验确定的阈值以避免车辆与对象之间的用户确定的接触百分比，例如99％。多面体行进系统618开始于选择候选轨迹602上的第一点。例如，起点可以是车辆110的初始位置202。然后，多面体行进系统618确定以第一点为中心的多面体形状。多面体是具有n个边的二维形状，其中n是用户选定值。设定n＝4产生矩形，设定n＝5产生五角星等。较高的n值可以产生对车辆可达性的更准确预测，但是需要更多计算时间。值n＝6-8是准确度与计算时间之间的良好折衷。

多面体行进系统618继续计算多面体，所述多面体指示车辆将占用沿着垂直于多面体的第一边的从第一点开始的线的位置的概率大于预定概率。基于从训练过的第二神经网络输入的权重，将多边形的第一边置于距候选轨迹602上的第一点一定距离处。可以确定距候选轨迹上的点的距离，而不必计算密度分布。来自作为轨迹曲率和样本距离的函数的密度分布的计算的数据包括在从第二神经网络输入的权重中。样本距离是车辆110的位置被预测所处的轨迹上的相邻点之间的距离。然后，多面体行进系统选择多面体的下一条边并以类似方式计算多面体的第二边的位置，依此类推，直到选择了距多面体的所有边的距离。

然后，多面体行进系统618在下一个时间步长处选择候选轨迹602上的下一个点，并基于速度和横向加速度和纵向加速度来确定下一个多面体可以基于候选轨迹602的在候选轨迹602上的下一个点处的段的样本之间的曲率和距离。将下一个多面体与第一多面体组合，方式是通过将两个多面体逻辑“或”在一起。然后，多面体行进系统618沿着候选轨迹602前进，使时间步长递增并以递增的时间步长选择候选轨迹602上的点，并将所得多面体与先前确定的多面体组合以产生多面体622。

由多面体行进系统618输出的多面体622可以被组合以形成动态边界框502，所述动态边界框可以被进一步组合以形成可达管道624，所述可达管道描述候选轨迹602周围的二维区域，所述候选轨迹具有包括车辆110的用户选定概率。例如，可达管道624包围候选轨迹602，并且指示沿着候选轨迹602行驶的车辆110接触位于可达管道624外部的对象的概率小于选定概率(例如，1％)。可达管道624通过包括动态边界框502来增强操作车辆110的能力，所述动态边界框的大小是基于车辆速度和方向变化率来设置的以准确地确定与外部对象206、208接触的概率。在其中对象是道路车道标记的示例中，可达管道624可以指示候选轨迹602将允许车辆110保持在道路车道内的概率，例如车道保持。在其中对象包括车道标记和其他车辆两者的示例中，可达管道624可以指示候选轨迹602将允许车辆110改变行车道的概率。

基于计算可达性管道的动态占用系统600来确定车辆轨迹200通过基于多面体622确定可达管道624来增强对车辆轨迹200的确定，所述多面体在包括于车辆110中的计算装置115中实时地指示在沿着轨迹200的多个位置处与对象206、208接触的概率。每个多面体622的大小和形状与由第二神经网络614确定的输出车辆轨迹620的密度分布匹配(所述第二神经网络是基于来自多辆车辆或模拟软件的地面实况测量的车辆轨迹612进行训练的)而不必实时确定密度分布。当车辆110在道路上以高速公路速度操作时，动态占用系统600可以使用包括在车辆110中的计算装置115实时地确定可达管道624。

图7是关于图1-图6所描述的用于确定车辆110的轨迹的过程700的流程图。过程700可以由计算装置115的处理器实施，将候选轨迹602作为输入，执行命令，并输出可达管道624。过程700包括可按所示次序执行的多个框。替代地或另外，过程700可以包括更少的框，或者可以包括以不同次序执行的框。

过程700开始于框702，其中从包括在车辆110中的计算装置115中的运动控制软件输入候选轨迹602，以及车辆110周围的环境中的对象的位置。上文关于图2讨论了候选轨迹602。

在框704处，第一神经网络608输入候选轨迹602并输出简化轨迹610。

在框706处，多面体行进系统618基于简化轨迹610、初始密度分布数据626和由第二神经网络614在训练时输出的权重616来确定多面体。

在框708处，组合多面体622以形成动态边界框502，并且进一步组合以形成可达管道624。可达管道624可以被输出到计算装置115。在框708之后，过程700结束。

图8是关于图1-图7所描述的用于基于由动态占用系统600确定的可达管道624来操作车辆110的过程800的流程图。过程800可以由计算装置115的处理器来实施，所述处理器将车辆轨迹作为输入，执行命令，并操作车辆。过程800包括可以按所示次序执行的多个框。替代地或另外，过程800可以包括更少的框，或者可以包括以不同次序执行的框。

在框802处，包括在车辆110中的传感器116可以输入关于车辆110周围的环境的数据。例如，传感器116可以输入关于道路上的车道标记和对象206、208的图像数据。车辆110中的计算装置115可以将传感器数据输入到计算装置115中所包括的软件程序，以确定在其上操作车辆110的候选轨迹602。

在框804处，计算装置可以将候选轨迹602和关于车辆110周围的对象206、208的数据输入到动态占用系统600，如上文关于图7所述。

在框806处，动态占用系统600基于候选轨迹602向计算装置115输出包括动态边界框502的可达管道624。

在框808处，过程800确定可达管道624是否避开对象206、208。例如，对象206、208可以包括车道标记、其他车辆和行人。例如，避开对象206、208可以包括车道保持、避免与其他车辆和行人接触以及成功地执行变道操纵。在其中可达管道624没有成功避开对象206、208的示例中，计算装置115可以返回到框802以确定新的候选轨迹602，所述新的候选轨迹通过例如将候选轨迹602移动远离对象206、208、减慢车辆110的速度或减小对象206、208附近的横向加速度和纵向加速度来降低与对象206、208的接触概率。当可达管道624不与对象206、208相交时，候选轨迹602变为最终轨迹，并且过程800转到框810。

在框810处，车辆110中的计算装置115基于最终轨迹来确定要输出到控制器112、113、114以控制车辆动力传动系统、车辆转向和车辆制动器以操作车辆110的命令。在框810之后，过程800结束。

诸如本文讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些的一个或多个计算装置执行并且用于实施上文描述的过程的框或步骤。例如，上文讨论的过程框可体现为计算机可执行命令。

计算机可执行命令可由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于以下的单一形式或组合形式：Java^TM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。通常，处理器(即，微处理器)接收即来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行包括本文所描述的过程中的一者或多者的一个或多个过程。此类命令和其他数据可存储在文件中并且使用多种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。

计算机可读介质(也称为处理器可读介质)包括参与提供可以由计算机(即，由计算机的处理器)读取的数据(即，指令)的任何非暂时性(即，有形)介质。此类介质可采用许多形式，包括但不限于非易失性介质和易失性介质。指令可通过一种或多种传输介质来传输，所述一种或多种传输介质包括光纤、电线、无线通信，包括构成联接到计算机的处理器的系统总线的内部件。共同形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。

除非本文作出相反的明确指示，否则权利要求中使用的所有术语意在给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。

术语“示例性”在本文中以表示示例的意义使用，即，对“示例性小部件”的候选应被解读为仅指代小部件的示例。

修饰值或结果的副词“大约”意味着形状、结构、测量值、值、确定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何形状、距离、测量值、值、确定、计算等有偏差。

在附图中，相同的候选标记指示相同的要素。此外，可以改变这些要素中的一些或全部。相对于本文描述的介质、过程、系统、方法等，应理解，尽管此类过程等的步骤或框已被描述为根据特定的有序顺序发生，但是此类过程可通过以本文描述的次序以外的次序执行所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。

根据本发明，提供了一种系统，所述系统具有：计算机，所述计算机包括处理器和存储器，所述存储器包括可由所述处理器执行以通过以下方式确定最终轨迹的指令：基于检测到的第二对象来确定第一对象的候选轨迹；将所述候选轨迹输入到可达多面体行进处理器以基于所述候选轨迹的形状来确定动态占用多面体；基于组合所述动态占用多面体来确定可达管道；以及基于所述可达管道避开所述检测到的第二对象来确定所述最终轨迹。

根据实施例，所述指令包括用于进行以下操作的其他指令：基于所述最终轨迹通过控制致动器以控制所述第一对象的移动来操作所述第一对象。

根据实施例，所述第一对象是车辆，并且控制所述致动器以控制所述车辆的移动包括控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者。

根据实施例，所述第一对象是机器人，并且控制所述致动器以控制所述机器人的移动包括控制夹持器和机器人臂中的一者或多者的移动。

根据实施例，所述指令包括用于进行以下操作的其他指令：将所述候选轨迹输入到第一神经网络以简化所述候选轨迹。

根据实施例，所述候选轨迹是T*n矩阵，其包括多个时间步长t处的x和y位置、速度和航向角，并且简化所述轨迹将所述T*n矩阵降为具有m维的向量，其中m<T*n。

根据实施例，基于从第二神经网络输出的权重来对所述可达多面体行进处理器进行编程。

根据实施例，所述第二神经网络基于求解Liouville偏微分方程来确定密度分布。

根据实施例，基于从真实世界车辆获取的多个轨迹来训练所述第二神经网络。

根据实施例，所述第二神经网络包括具有ReLU激活的完全连接神经元，并且基于L2范数重建损失下的随机梯度下降来训练。

根据实施例，所述动态占用多面体包括二维区域，其中所述第一对象将占用所述可达多面体内的位置的概率高于以经验确定的阈值。

根据实施例，所述动态占用多面体的大小是基于所述候选轨迹的段的样本之间的曲率和距离。

根据本发明，一种方法包括通过以下方式确定最终轨迹：基于检测到的第二对象来确定第一对象的候选轨迹；将所述候选轨迹输入到可达多面体行进处理器以基于所述候选轨迹的形状来确定动态占用多面体；基于组合所述动态占用多面体来确定可达管道；以及基于所述可达管道避开所述检测到的第二对象来确定所述最终轨迹。

在本发明的一个方面中，基于所述最终轨迹通过控制一个或多个致动器以控制所述第一对象的移动来操作所述第一对象。

在本发明的一个方面中，所述第一对象是车辆，并且控制所述致动器以控制所述车辆的移动包括控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者。

在本发明的一个方面中，所述第一对象是机器人，并且控制所述致动器以控制所述机器人的移动包括控制夹持器和机器人臂中的一者或多者的运动。

在本发明的一个方面中，所述方法包括将所述候选轨迹输入到第一神经网络以简化所述候选轨迹。

在本发明的一个方面中，所述候选轨迹是T*n矩阵，其包括多个时间步长t处的x和y位置、速度和航向角，并且简化所述轨迹将所述T*n矩阵降为具有m维的向量，其中m<T*n。

在本发明的一个方面中，基于从第二神经网络输出的权重来对所述可达多面体行进处理器进行编程。

在本发明的一个方面中，所述第二神经网络基于求解Liouville偏微分方程来确定密度分布。

Claims (15)

1.一种方法，其包括：

通过以下方式确定最终轨迹：

基于检测到的第二对象来确定第一对象的候选轨迹；

将所述候选轨迹输入到可达多面体行进处理器以基于所述候选轨迹的形状来确定动态占用多面体；

基于组合所述动态占用多面体来确定可达管道；以及

基于所述可达管道避开所述检测到的第二对象来确定所述最终轨迹。

2.根据权利要求1所述的方法，其中基于所述最终轨迹通过控制一个或多个致动器以控制所述第一对象的移动来操作所述第一对象。

3.根据权利要求2所述的方法，其中所述第一对象是车辆，并且控制所述致动器以控制所述车辆的所述移动包括控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者。

4.根据权利要求2所述的方法，其中所述第一对象是机器人，并且控制所述致动器以控制所述机器人的所述移动包括控制夹持器和机器人臂中的一者或多者的运动。

5.根据权利要求1所述的方法，其还包括将所述候选轨迹输入到第一神经网络以简化所述候选轨迹。

6.根据权利要求5所述的方法，其中所述候选轨迹是T*n矩阵，其包括多个时间步长t处的x和y位置、速度和航向角，并且简化所述轨迹将所述T*n矩阵降为具有m维的向量，其中m<T*n。

7.根据权利要求1所述的方法，其中基于从第二神经网络输出的权重来对所述可达多面体行进处理器进行编程。

8.根据权利要求7所述的方法，其中所述第二神经网络基于求解Liouville偏微分方程来确定密度分布。

9.根据权利要求8所述的方法，其中基于从真实世界车辆获取的多个轨迹来训练所述第二神经网络。

10.根据权利要求9所述的方法，其中所述第二神经网络包括具有ReLU激活的完全连接神经元，并且基于L2范数重建损失下的随机梯度下降来训练。

11.根据权利要求1所述的方法，其中所述动态占用多面体包括二维区域，其中所述第一对象将占用所述可达多面体内的位置的概率高于以经验确定的阈值。

12.根据权利要求1所述的方法，其中所述动态占用多面体的大小是基于所述候选轨迹的段的样本之间的曲率和距离。

13.根据权利要求1所述的方法，其中所述动态占用多面体具有六至八个边。

14.根据权利要求1所述的方法，其中所述第二对象是车辆、行人或车道标记中的一者或多者。

15.一种系统，其包括被编程为执行权利要求1-14中任一项所述的方法的计算机。