[go: up one dir, main page]

CN109697458A - 控制设备移动的方法、装置、存储介质及电子设备 - Google Patents

控制设备移动的方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN109697458A
CN109697458A CN201811427358.7A CN201811427358A CN109697458A CN 109697458 A CN109697458 A CN 109697458A CN 201811427358 A CN201811427358 A CN 201811427358A CN 109697458 A CN109697458 A CN 109697458A
Authority
CN
China
Prior art keywords
dqn
image
target
model
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811427358.7A
Other languages
English (en)
Inventor
刘兆祥
廉士国
李少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Inc filed Critical Cloudminds Inc
Priority to CN201811427358.7A priority Critical patent/CN109697458A/zh
Publication of CN109697458A publication Critical patent/CN109697458A/zh
Priority to PCT/CN2019/118111 priority patent/WO2020108309A1/zh
Priority to JP2019570847A priority patent/JP6915909B2/ja
Priority to US17/320,662 priority patent/US20210271253A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本公开涉及一种控制设备移动的方法、装置、存储介质及电子设备，在目标设备移动时，按照预设周期采集该目标设备周围环境的第一RGB‑D图像；从该第一RGB‑D图像中获取预设帧数的第二RGB‑D图像；获取预先训练的深度强化学习模型DQN训练模型，并根据该第二RGB‑D图像对该DQN训练模型进行迁移训练，得到目标DQN模型；获取该目标设备当前周围环境的目标RGB‑D图像；将该目标RGB‑D图像输入该目标DQN模型得到该目标输出参数，并根据该目标输出参数确定目标控制策略；控制该目标设备按照该目标控制策略移动。

Description

控制设备移动的方法、装置、存储介质及电子设备
技术领域
本公开涉及导航领域，具体地，涉及一种控制设备移动的方法、装置、存储介质及电子设备。
背景技术
随着科技的不断进步，无人驾驶车辆、机器人等移动设备的自动导航技术逐渐成为一个研究热点，近年来，深度学习得到不断发展，尤其是深度学习中的卷积神经网络(Convolutional Neural Network，CNN)在目标识别、图像分类等领域取得巨大飞跃，基于深度学习的自动驾驶、智能机器人导航等相关技术也不断涌现。
现有技术中，多采用端到端的学习算法(如DeepDriving技术、Nvidia技术等)实现上述移动设备的自动导航，但是，这种端到端的学习算法需要人工标注样本，并且考虑到实际的训练场景中，需要花费较大的人力物力收集样本，从而使得现有导航算法的实用性及通用性较差。
发明内容
本公开提供一种控制设备移动的方法、装置、存储介质及电子设备。
根据本公开实施例的第一方面，提供一种控制设备移动的方法，所述方法包括：在目标设备移动时，按照预设周期采集所述目标设备周围环境的第一RGB-D图像；从所述第一RGB-D图像中获取预设帧数的第二RGB-D图像；获取预先训练的深度强化学习模型DQN训练模型，并根据所述第二RGB-D图像对所述DQN训练模型进行迁移训练，得到目标DQN模型；获取所述目标设备当前周围环境的目标RGB-D图像；将所述目标RGB-D图像输入所述目标DQN模型得到所述目标输出参数，并根据所述目标输出参数确定目标控制策略；控制所述目标设备按照所述目标控制策略移动。
可选地，所述根据所述第二RGB-D图像对所述DQN训练模型进行迁移训练，得到目标DQN模型包括：将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数；根据所述第一输出参数确定第一控制策略，并控制所述目标设备按照所述第一控制策略移动；获取所述目标设备与周围障碍物的相对位置信息；根据所述相对位置信息对所述第一控制策略进行评价得到评分值；获取DQN校验模型，所述DQN校验模型包括根据所述DQN训练模型的模型参数生成的DQN模型；根据所述评分值和所述DQN校验模型对所述DQN训练模型进行迁移训练，得到目标DQN模型。
可选地，所述DQN训练模型包括卷积层和与所述卷积层连接的全连接层，所述将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数包括：将预设帧数的所述第二RGB-D图像输入至卷积层提取第一图像特征，并将所述第一图像特征输入至全连接层，得到所述DQN训练模型的第一输出参数。
可选地，所述DQN训练模型包括多个卷积神经网络CNN网络和多个循环神经网络RNN网络以及全连接层，不同的CNN网络连接不同的RNN网络，且所述RNN网络的目标RNN网络与所述全连接层连接，所述目标RNN网络包括所述RNN网络中的任一个RNN网络，多个所述RNN网络依次连接，所述将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数包括：将每一帧所述第二RGB-D图像分别输入不同的CNN网络提取第二图像特征；循环执行特征提取步骤，直至满足特征提取终止条件，所述特征提取步骤包括：将所述第二图像特征输入至与所述CNN网络连接的当前RNN网络，并根据所述第二图像特征和上一RNN网络输入的第三图像特征，通过所述当前RNN网络得到第四图像特征，并将所述第四图像特征输入至下一RNN网络；将所述下一RNN网络确定为更新的当前RNN网络；所述特征提取终止条件包括：获取到所述目标RNN网络输出的第五图像特征；在获取到所述第五图像特征后，将所述第五图像特征输入至全连接层，得到所述DQN训练模型的第一输出参数。
可选地，所述根据所述评分值和所述DQN校验模型对所述DQN训练模型进行迁移训练，得到目标DQN模型包括：获取所述目标设备的当前周围环境的第三RGB-D图像；将所述第三RGB-D图像输入至所述DQN校验模型得到第二输出参数；根据所述评分值和所述第二输出参数计算得到期望输出参数；根据所述第一输出参数和所述期望输出参数得到训练误差；获取预设误差函数，并根据所述训练误差和所述预设误差函数按照反向传播算法对所述DQN训练模型进行训练，得到所述目标DQN模型。
可选地，所述将所述目标RGB-D图像输入所述目标DQN模型得到所述目标输出参数包括：将所述目标RGB-D图像输入所述目标DQN模型得到多个待确定输出参数；将多个所述待确定输出参数中的最大参数确定为所述目标输出参数。
根据本公开实施例的第二方面，提供一种控制设备移动的装置，所述装置包括：图像采集模块，用于在目标设备移动时，按照预设周期采集所述目标设备周围环境的第一RGB-D图像；第一获取模块，用于从所述第一RGB-D图像中获取预设帧数的第二RGB-D图像；训练模块，用于获取预先训练的深度强化学习模型DQN训练模型，并根据所述第二RGB-D图像对所述DQN训练模型进行迁移训练，得到目标DQN模型；第二获取模块，用于获取所述目标设备当前周围环境的目标RGB-D图像；确定模块，用于将所述目标RGB-D图像输入所述目标DQN模型得到所述目标输出参数，并根据所述目标输出参数确定目标控制策略；控制模块，用于控制所述目标设备按照所述目标控制策略移动。
可选地，所述训练模块包括：第一确定子模块，用于将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数；控制子模块，用于根据所述第一输出参数确定第一控制策略，并控制所述目标设备按照所述第一控制策略移动；第一获取子模块，用于获取所述目标设备与周围障碍物的相对位置信息；第二确定子模块，用于根据所述相对位置信息对所述第一控制策略进行评价得到评分值；第二获取子模块，用于获取DQN校验模型，所述DQN校验模型包括根据所述DQN训练模型的模型参数生成的DQN模型；训练子模块，用于根据所述评分值和所述DQN校验模型对所述DQN训练模型进行迁移训练，得到目标DQN模型。
可选地，所述DQN训练模型包括卷积层和与所述卷积层连接的全连接层，所述第一确定子模块用于将预设帧数的所述第二RGB-D图像输入至卷积层提取第一图像特征，并将所述第一图像特征输入至全连接层，得到所述DQN训练模型的第一输出参数。
可选地，所述DQN训练模型包括多个卷积神经网络CNN网络和多个循环神经网络RNN网络以及全连接层，不同的CNN网络连接不同的RNN网络，且所述RNN网络的目标RNN网络与所述全连接层连接，所述目标RNN网络包括所述RNN网络中的任一个RNN网络，多个所述RNN网络依次连接，所述第一确定子模块用于将每一帧所述第二RGB-D图像分别输入不同的CNN网络提取第二图像特征；循环执行特征提取步骤，直至满足特征提取终止条件，所述特征提取步骤包括：将所述第二图像特征输入至与所述CNN网络连接的当前RNN网络，并根据所述第二图像特征和上一RNN网络输入的第三图像特征，通过所述当前RNN网络得到第四图像特征，并将所述第四图像特征输入至下一RNN网络；将所述下一RNN网络确定为更新的当前RNN网络；所述特征提取终止条件包括：获取到所述目标RNN网络输出的第五图像特征；在获取到所述第五图像特征后，将所述第五图像特征输入至全连接层，得到所述DQN训练模型的第一输出参数。
可选地，所述训练子模块用于获取所述目标设备的当前周围环境的第三RGB-D图像；将所述第三RGB-D图像输入至所述DQN校验模型得到第二输出参数；根据所述评分值和所述第二输出参数计算得到期望输出参数；根据所述第一输出参数和所述期望输出参数得到训练误差；获取预设误差函数，并根据所述训练误差和所述预设误差函数按照反向传播算法对所述DQN训练模型进行训练，得到所述目标DQN模型。
可选地，所述确定模块包括：第三确定子模块，用于将所述目标RGB-D图像输入所述目标DQN模型得到多个待确定输出参数；第四确定子模块，用于将多个所述待确定输出参数中的最大参数确定为所述目标输出参数。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，在目标设备移动时，按照预设周期采集所述目标设备周围环境的第一RGB-D图像；从所述第一RGB-D图像中获取预设帧数的第二RGB-D图像；获取预先训练的深度强化学习模型DQN训练模型，并根据所述第二RGB-D图像对所述DQN训练模型进行迁移训练，得到目标DQN模型；获取所述目标设备当前周围环境的目标RGB-D图像；将所述目标RGB-D图像输入所述目标DQN模型得到所述目标输出参数，并根据所述目标输出参数确定目标控制策略；控制所述目标设备按照所述目标控制策略移动，这样，可以通过深度强化学习(Deep Q Network，DQN)模型让该目标设备自主学习控制策略，无需人工标注样本，在节省人力物力的同时，也提高了模型的通用性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种控制设备移动的方法的流程图；
图2是根据一示例性实施例示出的又一种控制设备移动的方法的流程图；
图3是根据一示例性实施例示出的一种DQN模型结构示意图；
图4是根据一示例性实施例示出的又一种DQN模型结构示意图；
图5是根据一示例性实施例示出的第一种控制设备移动的装置的框图；
图6是根据一示例性实施例示出的第二种控制设备移动的装置的框图；
图7是根据一示例性实施例示出的第三种控制设备移动的装置的框图；
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
本公开提供一种控制设备移动的方法、装置、存储介质及电子设备，在在目标设备移动时，按照预设周期采集该目标设备周围环境的第一RGB-D图像；从该第一RGB-D图像中获取预设帧数的第二RGB-D图像；获取预先训练的深度强化学习模型DQN训练模型，并根据该第二RGB-D图像对该DQN训练模型进行迁移训练，得到目标DQN模型；获取该目标设备当前周围环境的目标RGB-D图像；将该目标RGB-D图像输入该目标DQN模型得到该目标输出参数，并根据该目标输出参数确定目标控制策略；控制该目标设备按照该目标控制策略移动，这样，可以通过深度强化学习(Deep Q Network，DQN)模型让该目标设备自主学习控制策略，无需人工标注样本，在节省人力物力的同时，也提高了模型的通用性。
下面结合附图对本公开的具体实施方式进行详细说明。
图1是根据一示例性实施例示出的一种控制设备移动的方法，如图1所示，该方法包括以下步骤：
S101，在目标设备移动时，按照预设周期采集该目标设备周围环境的第一RGB-D图像。
其中，该目标设备可以包括机器人、自动驾驶车辆等可移动设备，该RGB-D图像可以为既包括RGB彩色图像特征又包括深度图像特征的RGB-D四通道图像，该RGB-D图像相比于传统的RGB图像，可以为导航决策提供更丰富的信息。
在一种可能的实现方式中，可以通过RGB-D图像采集装置(如RGB-D相机或者双目相机)按照该预设周期采集该目标设备周围环境的第一RGB-D图像。
S102，从该第一RGB-D图像中获取预设帧数的第二RGB-D图像。
考虑到本公开的目的在于根据最新采集的该目标设备周围环境的图像信息确定该目标设备的导航控制策略，因此，在一种可能的实现方式中，可以输入隐含该目标设备周围环境中障碍物的位置及速度信息的多帧RGB-D图像序列，该多帧RGB-D图像序列即为预设帧数的第二RGB-D图像。
S103，获取预先训练的深度强化学习模型DQN训练模型，并根据该第二RGB-D图像对该DQN训练模型进行迁移训练，得到目标DQN模型。
由于深度强化学习模型的训练过程是通过尝试和反馈实现的，即学习过程中目标设备会发生碰撞等危险情况，因此，为提高深度强化学习模型导航时的安全系数，在一种可能的实现方式中，可以预先在模拟环境中进行训练，得到该DQN训练模型，例如，可以采用AirSim、CARLA等自动驾驶模拟环境完成自动驾驶导航模型的预先训练过程，可以采用Gazebo机器人模拟环境对机器人的自动导航模型进行预先训练。
另外，考虑到模拟环境与真实环境会有差别，例如，模拟环境的光照条件、图像纹理等与真实环境存在差异，使得在真实环境下采集到的RGB-D图像与模拟环境下采集到的RGB-D图像的亮度、纹理等图像特征也会存在差异，因此，如果将模拟环境训练得到的该DQN训练模型直接应用于真实环境进行导航，会使得在真实环境下利用该DQN训练模型导航时的误差较大，此时，为使得该DQN训练模型可以适用于真实环境，在一种可能的实现方式中，可以采集真实环境的该RGB-D图像，并将该真实环境下采集的该RGB-D图像作为该DQN训练模型的输入，对该DQN训练模型进行迁移训练，从而得到适用于真实环境的该目标DQN模型，这样，在减轻模型训练难度的同时也能加快整个网络的训练速度。
在本步骤中，可以将该第二RGB-D图像作为该DQN训练模型的输入，得到该DQN训练模型的第一输出参数；根据该第一输出参数确定第一控制策略，并控制该目标设备按照该第一控制策略移动；获取该目标设备与周围障碍物的相对位置信息；根据该相对位置信息对该第一控制策略进行评价得到评分值；获取DQN校验模型，该DQN校验模型可以包括根据该DQN训练模型的模型参数生成的DQN模型；根据该评分值和该DQN校验模型对该DQN训练模型进行迁移训练，得到目标DQN模型。
其中，该第一输出参数可以包括多个待确定输出参数中的最大参数，也可以在该多个待确定输出参数中随机选择一个输出参数，作为该第一输出参数(这样可以提高该DQN模型的泛化能力)，该输出参数可以包括DQN模型输出的Q值，该待确定输出参数可以包括多个预设控制策略(如加速、减速、刹车、左转、右转等控制策略)分别对应的Q值；该相对位置信息可以包括该目标设备与该目标设备周围障碍物的距离信息或者角度信息等；该DQN校验模型用于在DQN模型训练过程中更新模型的期望输出参数。
在将该第二RGB-D图像作为该DQN训练模型的输入，得到该DQN训练模型的第一输出参数时，可以通过以下两种方式中的任意一种方式实现：
方式一，该DQN训练模型可以包括卷积层和与该卷积层连接的全连接层，基于本方式一中的DQN训练模型的模型结构，可以将预设帧数的该第二RGB-D图像输入至卷积层提取第一图像特征，并将该第一图像特征输入至全连接层，得到该DQN训练模型的第一输出参数。
方式二，该DQN训练模型可以包括多个卷积神经网络(Convolutional NeuralNetwork，CNN)CNN网络和多个循环神经网络(Recurrent Neural Network，RNN)RNN网络以及全连接层，不同的CNN网络连接不同的RNN网络，且该RNN网络的目标RNN网络与该全连接层连接，该目标RNN网络包括该RNN网络中的任一个RNN网络，多个该RNN网络依次连接，基于本方式二中的DQN训练模型的模型结构，可以将每一帧该第二RGB-D图像分别输入不同的CNN网络提取第二图像特征；循环执行特征提取步骤，直至满足特征提取终止条件，该特征提取步骤包括：将该第二图像特征输入至与该CNN网络连接的当前RNN网络，并根据该第二图像特征和上一RNN网络输入的第三图像特征，通过该当前RNN网络得到第四图像特征，并将该第四图像特征输入至下一RNN网络；将该下一RNN网络确定为更新的当前RNN网络；该特征提取终止条件包括：获取到该目标RNN网络输出的第五图像特征；在获取到该第五图像特征后，将该第五图像特征输入至全连接层，得到该DQN训练模型的第一输出参数。
其中，该RNN网络可以包括长短期记忆网络(Long Short-Term Memory，LSTM)。
需要说明的是，常规卷积神经网络包括卷积层以及与该卷积层连接的池化层，卷积层用于提取图像特征，池化层则用于将卷积层提取的图像特征进行降维处理(例如均值采样或者最大值采样)，而在方式二的DQN模型结构中的CNN卷积神经网络不包含池化层，这样，可以保留卷积层提取的全部的图像特征，从而为模型确定最优的导航控制策略提供更多的参考信息，提高模型导航的准确率。
另外，在根据该评分值和该DQN校验模型对该DQN训练模型进行迁移训练，得到目标DQN模型时，可以获取该目标设备的当前周围环境的第三RGB-D图像；将该第三RGB-D图像输入至该DQN校验模型得到第二输出参数；根据该评分值和该第二输出参数计算得到期望输出参数；根据该第一输出参数和该期望输出参数得到训练误差；获取预设误差函数，并根据该训练误差和该预设误差函数按照反向传播算法对该DQN训练模型进行训练，得到该目标DQN模型。
其中，该第三RGB-D图像可以包括在控制该目标设备按照该第一控制策略移动后采集的该RGB-D图像，该第二输出参数可以包括该DQN校验模型输出的多个待确定输出参数中的最大参数。
还需说明的是，该目标设备被上电后，该目标设备的RGB-D图像采集装置既可以按照该预设周期采集该目标设备周围环境的RGB-D图像，在通过迁移训练得到该目标DQN模型之前，可以根据最新采集的预设帧数的RGB-D图像通过该DQN训练模型确定控制策略，从而控制该目标设备启动。
S104，获取该目标设备当前周围环境的目标RGB-D图像。
S105，将该目标RGB-D图像输入该目标DQN模型得到该目标输出参数，并根据该目标输出参数确定目标控制策略。
在本步骤中，可以将该目标RGB-D图像输入该目标DQN模型得到多个待确定输出参数；将多个该待确定输出参数中的最大参数确定为该目标输出参数。
S106，控制该目标设备按照该目标控制策略移动。
采用上述方法，可以通过深度强化学习模型让该目标设备自主学习控制策略，无需人工标注样本，在节省人力物力的同时，也提高了模型的通用性。
图2是根据一示例性实施例示出的一种控制设备移动的方法的流程图，如图2所示，该方法包括以下步骤：
S201，在目标设备移动时，按照预设周期采集该目标设备周围环境的第一RGB-D图像。
其中，该目标设备可以包括机器人、自动驾驶车辆等可移动设备，该RGB-D图像可以为既包括RGB彩色图像特征又包括深度图像特征的RGB-D四通道图像，该RGB-D图像相比于传统的RGB图像，可以为导航决策提供更丰富的信息。
在一种可能的实现方式中，可以通过RGB-D图像采集装置(如RGB-D相机或者双目相机)按照该预设周期采集该目标设备周围环境的第一RGB-D图像。
S202，从该第一RGB-D图像中获取预设帧数的第二RGB-D图像。
考虑到本公开的目的在于根据最新采集的该目标设备周围环境的图像信息确定该目标设备的导航控制策略，因此，在一种可能的实现方式中，可以输入隐含该目标设备周围环境中障碍物的位置及速度信息的多帧RGB-D图像序列，该多帧RGB-D图像序列即为预设帧数的第二RGB-D图像，例如，如图3和图4所示，该预设帧数的第二RGB-D图像包括第1帧RGB-D图像、第2帧RGB-D图像、......、第n帧RGB-D图像。
S203，获取预先训练的深度强化学习模型DQN训练模型。
由于深度强化学习模型的训练过程是通过尝试和反馈实现的，即学习过程中目标设备会发生碰撞等危险情况，因此，为提高深度强化学习模型导航时的安全系数，在一种可能的实现方式中，可以预先在模拟环境中进行训练，得到该DQN训练模型，例如，可以采用AirSim、CARLA等自动驾驶模拟环境完成自动驾驶导航模型的预先训练过程，可以采用Gazebo机器人模拟环境对机器人的自动导航模型进行预先训练。
另外，考虑到模拟环境与真实环境会有差别，例如，模拟环境的光照条件、图像纹理等与真实环境存在差异，使得在真实环境下采集到的RGB-D图像与模拟环境下采集到的RGB-D图像的亮度、纹理等图像特征也会存在差异，因此，如果将模拟环境训练得到的该DQN训练模型直接应用于真实环境进行导航，会使得在真实环境下利用该DQN训练模型导航时的误差较大，此时，为使得该DQN训练模型可以适用于真实环境，在一种可能的实现方式中，可以采集真实环境的该RGB-D图像，并将该真实环境下采集的该RGB-D图像作为该DQN训练模型的输入，对该DQN训练模型进行迁移训练，从而得到适用于真实环境的该目标DQN模型，这样，在减轻模型训练难度的同时也能加快整个网络的训练速度。
在本实施例中，可以通过执行S204至S213对该DQN训练模型进行迁移训练，确定该目标DQN模型。
S204，将该第二RGB-D图像作为该DQN训练模型的输入，得到该DQN训练模型的第一输出参数。
其中，该第一输出参数可以包括多个待确定输出参数中的最大参数，也可以在该多个待确定输出参数中随机选择一个输出参数，作为该第一输出参数(这样可以提高该DQN模型的泛化能力)，该输出参数可以包括DQN模型输出的Q值，该待确定输出参数可以包括多个预设控制策略(如加速、减速、刹车、左转、右转等控制策略)分别对应的Q值。
在本步骤中，可以通过以下两种方式中的任意一种方式实现：
方式一，如图3所示，该DQN训练模型可以包括卷积层和与该卷积层连接的全连接层，基于本方式一中的DQN训练模型的模型结构，可以将预设帧数的该第二RGB-D图像输入至卷积层提取第一图像特征，并将该第一图像特征输入至全连接层，得到该DQN训练模型的第一输出参数。
例如，如图3所示，将N帧RGB-D图像(即为图3所示的第1帧RGB-D图像、第2帧RGB-D图像、......第n帧RGB-D图像)输入至该DQN训练模型的卷积层；另外，由于每帧RGB-D图像均为四通道图像，因此，基于图3所示的DQN模型结构，可以将N*4通道的RGB-D图像信息堆叠输入至卷积层提取图像特征，这样，可以使得该DQN模型可以基于更丰富的图像特征确定最优控制策略。
方式二，如图4所示，该DQN训练模型可以包括多个卷积神经网络CNN网络和多个循环神经网络RNN网络以及全连接层，不同的CNN网络连接不同的RNN网络，且该RNN网络的目标RNN网络与该全连接层连接，该目标RNN网络包括该RNN网络中的任一个RNN网络，多个该RNN网络依次连接，基于本方式二中的DQN训练模型的模型结构，可以将每一帧该第二RGB-D图像分别输入不同的CNN网络提取第二图像特征；循环执行特征提取步骤，直至满足特征提取终止条件，该特征提取步骤包括：将该第二图像特征输入至与该CNN网络连接的当前RNN网络，并根据该第二图像特征和上一RNN网络输入的第三图像特征，通过该当前RNN网络得到第四图像特征，并将该第四图像特征输入至下一RNN网络；将该下一RNN网络确定为更新的当前RNN网络；该特征提取终止条件包括：获取到该目标RNN网络输出的第五图像特征；在获取到该第五图像特征后，将该第五图像特征输入至全连接层，得到该DQN训练模型的第一输出参数。
其中，该RNN网络可以包括长短期记忆网络LSTM。
需要说明的是，常规卷积神经网络包括卷积层以及与该卷积层连接的池化层，卷积层用于提取图像特征，而池化层则用于将卷积层提取的图像特征进行降维处理(例如均值采样或者最大值采样)，而在方式二的DQN模型结构中的CNN卷积神经网络不包含池化层，这样，可以保留卷积层提取的全部的图像特征，从而为模型确定最优的导航控制策略提供更多的参考信息，提高模型导航的准确率。
S205，根据该第一输出参数确定第一控制策略，并控制该目标设备按照该第一控制策略移动。
示例地，以该预设控制策略包括左转、右转、加速三个控制策略为例进行说明，其中左转对应的输出参数为Q1，右转对应的输出参数为Q2，加速对应的输出参数为Q3，在该第一输出参数为Q1时，可以确定该第一控制策略为与Q1对应的左转，此时，可以控制该目标设备左转，上述示例只是举例说明，本公开对此不作限定。
S206，获取该目标设备与周围障碍物的相对位置信息。
其中，该相对位置信息可以包括该目标设备与该目标设备周围障碍物的距离信息或者角度信息等。
在一种可能的实现方式中，可以通过碰撞检测传感器获取该相对位置信息。
S207，根据该相对位置信息对该第一控制策略进行评价得到评分值。
在一种可能的实现方式中，可以根据预设评分规则对该第一控制策略进行评价得到该评分值，并且该预设评分规则可以根据实际的应用场景具体设置。
示例地，以该目标设备为自动驾驶车辆，当该相对位置信息为该车辆与周围障碍物的距离信息时，该预设评分规则可以是：当确定该车辆与障碍物的距离大于或者等于10米时，该评分值为10分；当确定该车辆与障碍物的距离大于或者等于5米，并且小于10米时，该评分值为5分；当确定该车辆与障碍物的距离大于3米，并且小于5米时，该评分值为3分；当确定该车辆与障碍物的距离小于或者等于3米时，该评分值为0分；此时，在按照该第一控制策略控制该车辆移动后，可以根据该车辆与该障碍物的距离信息基于上述的预设评分规则确定该评分值。另外，当该相对位置信息为该车辆与周围障碍物的角度信息时，该预设评分规则可以是：当确定该车辆相对于障碍物的角度大于或者等于30度时，该评分值为10分；当确定该车辆相对于障碍物的角度大于或者等于15度，并且小于30度时，该评分值为5分；当确定该车辆相对于障碍物的角度小于或者等于15度时，该评分值为0分，此时，在按照该第一控制策略控制该车辆移动后，可以根据该车辆相对于障碍物的角度信息基于上述的预设评分规则确定该评分值，上述只是举例说明，本公开对此不作限定。
S208，获取DQN校验模型，该DQN校验模型包括根据该DQN训练模型的模型参数生成的DQN模型。
其中，该DQN校验模型用于在DQN模型训练过程中更新模型的期望输出参数。
在生成该DQN校验模型时，在初始时刻可以将预先训练得到的该DQN训练模型的模型参数赋值给该DQN校验模型，然后通过迁移训练更新该DQN训练模型的模型参数，之后可以每隔预设时间段将最新更新的该DQN训练模型的模型参数赋给该DQN校验模型，以便更新该DQN校验模型。
S209，获取该目标设备的当前周围环境的第三RGB-D图像。
其中，该第三RGB-D图像可以包括在控制该目标设备按照该第一控制策略移动后采集的该RGB-D图像。
S210，将该第三RGB-D图像输入至该DQN校验模型得到第二输出参数。
其中，该第二输出参数可以包括该DQN校验模型输出的多个待确定输出参数中的最大参数。
S211，根据该评分值和该第二输出参数计算得到期望输出参数。
在本步骤中，可以根据该评分值和该第二输出参数通过以下公式确定该期望输出参数。
Qo＝r+γMAXaQ(st+1,a)
其中，Qo表示该期望输出参数，r表示该评分值，γ表示调节因子，st+1表示该第三RGB-D图像，Q(st+1,a)表示将预设帧数的该第三RGB-D图像输入该DQN校验模型后，得到的多个待确定输出参数，MAXaQ(st+1,a)表示该第二输出参数(即为该多个待确定输出参数中的最大参数)，a表示与该第二输出参数对应的第二控制策略。
需要说明的是，在一种可能的实现方式中，在该第二输出参数为该多个待确定输出参数中的最大参数时，该第二控制策略即为在将该第三RGB-D图像输入至该DQN校验模型后得到的最优控制策略。
S212，根据该第一输出参数和该期望输出参数得到训练误差。
在本步骤中，可以将第一输出参数与该期望输出参数差值的平方确定为该训练误差。
S213，获取预设误差函数，并根据该训练误差和该预设误差函数按照反向传播算法对该DQN训练模型进行训练，得到该目标DQN模型。
在本步骤的具体实现方式可以参考现有技术中的相关描述，在此不再赘述。
在得到该目标DQN模型后，可以通过执行S214至S216根据该目标DQN模型输出的目标输出参数确定目标控制策略，并控制该目标设备按照该目标控制策略移动，从而控制该目标设备移动。
S214，获取该目标设备当前周围环境的目标RGB-D图像。
S215，将该目标RGB-D图像输入该目标DQN模型得到多个待确定输出参数，并将多个该待确定输出参数中的最大参数确定为该目标输出参数。
S216，根据该目标输出参数确定目标控制策略，并控制该目标设备按照该目标控制策略移动。
采用上述方法，可以通过深度强化学习模型让该目标设备自主学习控制策略，无需人工标注样本，在节省人力物力的同时，也提高了模型的通用性。
图5是根据一示例性实施例示出的一种控制设备移动的装置的框图，如图5所示，该装置包括：
图像采集模块501，用于在目标设备移动时，按照预设周期采集该目标设备周围环境的第一RGB-D图像；
第一获取模块502，用于从该第一RGB-D图像中获取预设帧数的第二RGB-D图像；
训练模块503，用于获取预先训练的深度强化学习模型DQN训练模型，并根据该第二RGB-D图像对该DQN训练模型进行迁移训练，得到目标DQN模型；
第二获取模块504，用于获取该目标设备当前周围环境的目标RGB-D图像；
确定模块505，用于将该目标RGB-D图像输入该目标DQN模型得到该目标输出参数，并根据该目标输出参数确定目标控制策略；
控制模块506，用于控制该目标设备按照该目标控制策略移动。
可选地，图6是根据图5所示实施例示出的一种控制设备移动的装置的框图，如图6所示，该训练模块503包括：
第一确定子模块5031，用于将该第二RGB-D图像作为该DQN训练模型的输入，得到该DQN训练模型的第一输出参数；
控制子模块5032，用于根据该第一输出参数确定第一控制策略，并控制该目标设备按照该第一控制策略移动；
第一获取子模块5033，用于获取该目标设备与周围障碍物的相对位置信息；
第二确定子模块5034，用于根据该相对位置信息对该第一控制策略进行评价得到评分值；
第二获取子模块5035，用于获取DQN校验模型，该DQN校验模型包括根据该DQN训练模型的模型参数生成的DQN模型；
训练子模块5036，用于根据该评分值和该DQN校验模型对该DQN训练模型进行迁移训练，得到目标DQN模型。
可选地，该DQN训练模型包括卷积层和与该卷积层连接的全连接层，该第一确定子模块5031用于将预设帧数的该第二RGB-D图像输入至卷积层提取第一图像特征，并将该第一图像特征输入至全连接层，得到该DQN训练模型的第一输出参数。
可选地，该DQN训练模型包括多个卷积神经网络CNN网络和多个循环神经网络RNN网络以及全连接层，不同的CNN网络连接不同的RNN网络，且该RNN网络的目标RNN网络与该全连接层连接，该目标RNN网络包括该RNN网络中的任一个RNN网络，多个该RNN网络依次连接，该第一确定子模块5031用于将每一帧该第二RGB-D图像分别输入不同的CNN网络提取第二图像特征；循环执行特征提取步骤，直至满足特征提取终止条件，该特征提取步骤包括：将该第二图像特征输入至与该CNN网络连接的当前RNN网络，并根据该第二图像特征和上一RNN网络输入的第三图像特征，通过该当前RNN网络得到第四图像特征，并将该第四图像特征输入至下一RNN网络；将该下一RNN网络确定为更新的当前RNN网络；该特征提取终止条件包括：获取到该目标RNN网络输出的第五图像特征；在获取到该第五图像特征后，将该第五图像特征输入至全连接层，得到该DQN训练模型的第一输出参数。
可选地，该训练子模块5036用于获取该目标设备的当前周围环境的第三RGB-D图像；将该第三RGB-D图像输入至该DQN校验模型得到第二输出参数；根据该评分值和该第二输出参数计算得到期望输出参数；根据该第一输出参数和该期望输出参数得到训练误差；获取预设误差函数，并根据该训练误差和该预设误差函数按照反向传播算法对该DQN训练模型进行训练，得到该目标DQN模型。
可选地，图7是根据图5示实施例示出的一种控制设备移动的装置的框图，如图7所示，该确定模块505包括：
第三确定子模块5051，用于将该目标RGB-D图像输入该目标DQN模型得到多个待确定输出参数；
第四确定子模块5052，用于将多个该待确定输出参数中的最大参数确定为该目标输出参数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
采用上述装置，可以通过深度强化学习模型让该目标设备自主学习控制策略，无需人工标注样本，在节省人力物力的同时，也提高了模型的通用性。
图8是根据一示例性实施例示出的一种电子设备800的框图。如图8所示，该电子设备800可以包括：处理器801，存储器802。该电子设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该电子设备800的整体操作，以完成上述的控制设备移动的方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作，这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的控制设备移动的方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的控制设备移动的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由电子设备800的处理器801执行以完成上述的控制设备移动的方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (14)

1.一种控制设备移动的方法，其特征在于，所述方法包括：
在目标设备移动时，按照预设周期采集所述目标设备周围环境的第一RGB-D图像；
从所述第一RGB-D图像中获取预设帧数的第二RGB-D图像；
获取预先训练的深度强化学习模型DQN训练模型，并根据所述第二RGB-D图像对所述DQN训练模型进行迁移训练，得到目标DQN模型；
获取所述目标设备当前周围环境的目标RGB-D图像；
将所述目标RGB-D图像输入所述目标DQN模型得到所述目标输出参数，并根据所述目标输出参数确定目标控制策略；
控制所述目标设备按照所述目标控制策略移动。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第二RGB-D图像对所述DQN训练模型进行迁移训练，得到目标DQN模型包括：
将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数；
根据所述第一输出参数确定第一控制策略，并控制所述目标设备按照所述第一控制策略移动；
获取所述目标设备与周围障碍物的相对位置信息；
根据所述相对位置信息对所述第一控制策略进行评价得到评分值；
获取DQN校验模型，所述DQN校验模型包括根据所述DQN训练模型的模型参数生成的DQN模型；
根据所述评分值和所述DQN校验模型对所述DQN训练模型进行迁移训练，得到目标DQN模型。
3.根据权利要求2所述的方法，其特征在于，所述DQN训练模型包括卷积层和与所述卷积层连接的全连接层，所述将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数包括：
将预设帧数的所述第二RGB-D图像输入至卷积层提取第一图像特征，并将所述第一图像特征输入至全连接层，得到所述DQN训练模型的第一输出参数。
4.根据权利要求2所述的方法，其特征在于，所述DQN训练模型包括多个卷积神经网络CNN网络和多个循环神经网络RNN网络以及全连接层，不同的CNN网络连接不同的RNN网络，且所述RNN网络的目标RNN网络与所述全连接层连接，所述目标RNN网络包括所述RNN网络中的任一个RNN网络，多个所述RNN网络依次连接，所述将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数包括：
将每一帧所述第二RGB-D图像分别输入不同的CNN网络提取第二图像特征；
循环执行特征提取步骤，直至满足特征提取终止条件，所述特征提取步骤包括：将所述第二图像特征输入至与所述CNN网络连接的当前RNN网络，并根据所述第二图像特征和上一RNN网络输入的第三图像特征，通过所述当前RNN网络得到第四图像特征，并将所述第四图像特征输入至下一RNN网络；将所述下一RNN网络确定为更新的当前RNN网络；
所述特征提取终止条件包括：获取到所述目标RNN网络输出的第五图像特征；
在获取到所述第五图像特征后，将所述第五图像特征输入至全连接层，得到所述DQN训练模型的第一输出参数。
5.根据权利要求2所述的方法，其特征在于，所述根据所述评分值和所述DQN校验模型对所述DQN训练模型进行迁移训练，得到目标DQN模型包括：
获取所述目标设备的当前周围环境的第三RGB-D图像；
将所述第三RGB-D图像输入至所述DQN校验模型得到第二输出参数；
根据所述评分值和所述第二输出参数计算得到期望输出参数；
根据所述第一输出参数和所述期望输出参数得到训练误差；
获取预设误差函数，并根据所述训练误差和所述预设误差函数按照反向传播算法对所述DQN训练模型进行训练，得到所述目标DQN模型。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述目标RGB-D图像输入所述目标DQN模型得到所述目标输出参数包括：
将所述目标RGB-D图像输入所述目标DQN模型得到多个待确定输出参数；
将多个所述待确定输出参数中的最大参数确定为所述目标输出参数。
7.一种控制设备移动的装置，其特征在于，所述装置包括：
图像采集模块，用于在目标设备移动时，按照预设周期采集所述目标设备周围环境的第一RGB-D图像；
第一获取模块，用于从所述第一RGB-D图像中获取预设帧数的第二RGB-D图像；
训练模块，用于获取预先训练的深度强化学习模型DQN训练模型，并根据所述第二RGB-D图像对所述DQN训练模型进行迁移训练，得到目标DQN模型；
第二获取模块，用于获取所述目标设备当前周围环境的目标RGB-D图像；
确定模块，用于将所述目标RGB-D图像输入所述目标DQN模型得到所述目标输出参数，并根据所述目标输出参数确定目标控制策略；
控制模块，用于控制所述目标设备按照所述目标控制策略移动。
8.根据权利要求7所述的装置，其特征在于，所述训练模块包括：
第一确定子模块，用于将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数；
控制子模块，用于根据所述第一输出参数确定第一控制策略，并控制所述目标设备按照所述第一控制策略移动；
第一获取子模块，用于获取所述目标设备与周围障碍物的相对位置信息；
第二确定子模块，用于根据所述相对位置信息对所述第一控制策略进行评价得到评分值；
第二获取子模块，用于获取DQN校验模型，所述DQN校验模型包括根据所述DQN训练模型的模型参数生成的DQN模型；
训练子模块，用于根据所述评分值和所述DQN校验模型对所述DQN训练模型进行迁移训练，得到目标DQN模型。
9.根据权利要求8所述的装置，其特征在于，所述DQN训练模型包括卷积层和与所述卷积层连接的全连接层，所述第一确定子模块用于将预设帧数的所述第二RGB-D图像输入至卷积层提取第一图像特征，并将所述第一图像特征输入至全连接层，得到所述DQN训练模型的第一输出参数。
10.根据权利要求8所述的装置，其特征在于，所述DQN训练模型包括多个卷积神经网络CNN网络和多个循环神经网络RNN网络以及全连接层，不同的CNN网络连接不同的RNN网络，且所述RNN网络的目标RNN网络与所述全连接层连接，所述目标RNN网络包括所述RNN网络中的任一个RNN网络，多个所述RNN网络依次连接，所述第一确定子模块用于将每一帧所述第二RGB-D图像分别输入不同的CNN网络提取第二图像特征；循环执行特征提取步骤，直至满足特征提取终止条件，所述特征提取步骤包括：将所述第二图像特征输入至与所述CNN网络连接的当前RNN网络，并根据所述第二图像特征和上一RNN网络输入的第三图像特征，通过所述当前RNN网络得到第四图像特征，并将所述第四图像特征输入至下一RNN网络；将所述下一RNN网络确定为更新的当前RNN网络；所述特征提取终止条件包括：获取到所述目标RNN网络输出的第五图像特征；在获取到所述第五图像特征后，将所述第五图像特征输入至全连接层，得到所述DQN训练模型的第一输出参数。
11.根据权利要求8所述的装置，其特征在于，所述训练子模块用于获取所述目标设备的当前周围环境的第三RGB-D图像；将所述第三RGB-D图像输入至所述DQN校验模型得到第二输出参数；根据所述评分值和所述第二输出参数计算得到期望输出参数；根据所述第一输出参数和所述期望输出参数得到训练误差；获取预设误差函数，并根据所述训练误差和所述预设误差函数按照反向传播算法对所述DQN训练模型进行训练，得到所述目标DQN模型。
12.根据权利要求7至11任一项所述的装置，其特征在于，所述确定模块包括：
第三确定子模块，用于将所述目标RGB-D图像输入所述目标DQN模型得到多个待确定输出参数；
第四确定子模块，用于将多个所述待确定输出参数中的最大参数确定为所述目标输出参数。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
14.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
CN201811427358.7A 2018-11-27 2018-11-27 控制设备移动的方法、装置、存储介质及电子设备 Pending CN109697458A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811427358.7A CN109697458A (zh) 2018-11-27 2018-11-27 控制设备移动的方法、装置、存储介质及电子设备
PCT/CN2019/118111 WO2020108309A1 (zh) 2018-11-27 2019-11-13 控制设备移动的方法、装置、存储介质及电子设备
JP2019570847A JP6915909B2 (ja) 2018-11-27 2019-11-13 機器移動の制御方法、制御装置、記憶媒体及び電子機器
US17/320,662 US20210271253A1 (en) 2018-11-27 2021-05-14 Method and apparatus for controlling device to move, storage medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811427358.7A CN109697458A (zh) 2018-11-27 2018-11-27 控制设备移动的方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN109697458A true CN109697458A (zh) 2019-04-30

Family

ID=66230225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811427358.7A Pending CN109697458A (zh) 2018-11-27 2018-11-27 控制设备移动的方法、装置、存储介质及电子设备

Country Status (4)

Country Link
US (1) US20210271253A1 (zh)
JP (1) JP6915909B2 (zh)
CN (1) CN109697458A (zh)
WO (1) WO2020108309A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245567A (zh) * 2019-05-16 2019-09-17 深圳前海达闼云端智能科技有限公司 避障方法、装置、存储介质及电子设备
CN110293560A (zh) * 2019-01-12 2019-10-01 鲁班嫡系机器人（深圳）有限公司 机器人行为训练、规划方法、装置、系统、存储介质及设备
CN110488821A (zh) * 2019-08-12 2019-11-22 北京三快在线科技有限公司 一种确定无人车运动策略的方法及装置
CN111179382A (zh) * 2020-01-02 2020-05-19 广东博智林机器人有限公司 一种图像的排版方法、装置、介质及电子设备
WO2020108309A1 (zh) * 2018-11-27 2020-06-04 深圳前海达闼云端智能科技有限公司 控制设备移动的方法、装置、存储介质及电子设备
JP2023506169A (ja) * 2019-12-10 2023-02-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 視覚入力に対する形式的安全シンボリック強化学習

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12450534B2 (en) * 2020-07-20 2025-10-21 Georgia Tech Research Corporation Heterogeneous graph attention networks for scalable multi-robot scheduling
CN112130940B (zh) * 2020-08-25 2023-11-17 北京小米移动软件有限公司 终端的控制方法、装置、存储介质和电子设备
CN113552871B (zh) * 2021-01-08 2022-11-29 腾讯科技（深圳）有限公司 基于人工智能的机器人控制方法、装置及电子设备
US12384410B2 (en) 2021-03-05 2025-08-12 The Research Foundation For The State University Of New York Task-motion planning for safe and efficient urban driving
KR102318614B1 (ko) * 2021-05-10 2021-10-27 아주대학교산학협력단 분산 snd 컨트롤러의 부하 분산을 위한 스위치 마이그레이션 장치 및 방법
CN114173421B (zh) * 2021-11-25 2022-11-29 中山大学 基于深度强化学习的LoRa逻辑信道及功率分配方法
CN115562299B (zh) * 2022-10-27 2025-09-30 中国科学院深圳先进技术研究院 一种移动机器人的导航方法、装置、移动机器人及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065881A (zh) * 2017-05-17 2017-08-18 清华大学 一种基于深度强化学习的机器人全局路径规划方法
CN107451661A (zh) * 2017-06-29 2017-12-08 西安电子科技大学 一种基于虚拟图像数据集的神经网络迁移学习方法
CN108550162A (zh) * 2018-03-27 2018-09-18 清华大学 一种基于深度强化学习的物体检测方法
CN108681712A (zh) * 2018-05-17 2018-10-19 北京工业大学 一种融合领域知识和多阶深度特征的篮球比赛语义事件识别方法
CN108873687A (zh) * 2018-07-11 2018-11-23 哈尔滨工程大学 一种基于深度q学习的智能水下机器人行为体系结规划方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1894150A2 (en) * 2005-05-07 2008-03-05 Stephen L. Thaler Device for the autonomous bootstrapping of useful information
CN104793620B (zh) * 2015-04-17 2019-06-18 中国矿业大学 基于视觉特征捆绑和强化学习理论的避障机器人
US10748061B2 (en) * 2016-12-19 2020-08-18 Futurewei Technologies, Inc. Simultaneous localization and mapping with reinforcement learning
US20180211121A1 (en) * 2017-01-25 2018-07-26 Ford Global Technologies, Llc Detecting Vehicles In Low Light Conditions
CN107491072B (zh) * 2017-09-05 2021-03-30 百度在线网络技术（北京）有限公司 车辆避障方法和装置
US10275689B1 (en) * 2017-12-21 2019-04-30 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN109697458A (zh) * 2018-11-27 2019-04-30 深圳前海达闼云端智能科技有限公司 控制设备移动的方法、装置、存储介质及电子设备
US11120303B2 (en) * 2018-12-17 2021-09-14 King Fahd University Of Petroleum And Minerals Enhanced deep reinforcement learning deep q-network models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065881A (zh) * 2017-05-17 2017-08-18 清华大学 一种基于深度强化学习的机器人全局路径规划方法
CN107451661A (zh) * 2017-06-29 2017-12-08 西安电子科技大学 一种基于虚拟图像数据集的神经网络迁移学习方法
CN108550162A (zh) * 2018-03-27 2018-09-18 清华大学 一种基于深度强化学习的物体检测方法
CN108681712A (zh) * 2018-05-17 2018-10-19 北京工业大学 一种融合领域知识和多阶深度特征的篮球比赛语义事件识别方法
CN108873687A (zh) * 2018-07-11 2018-11-23 哈尔滨工程大学 一种基于深度q学习的智能水下机器人行为体系结规划方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINGWEI ZHANG 等: "Deep reinforcement learning with successor features for navigation across similar environments", 《2017 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
TAI LEI 等: "A Robot Exploration Strategy Based on Q-learning Network", 《2016 IEEE INTERNATIONAL CONFERENCE ON REAL-TIME COMPUTING AND ROBOTICS (RCAR)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020108309A1 (zh) * 2018-11-27 2020-06-04 深圳前海达闼云端智能科技有限公司 控制设备移动的方法、装置、存储介质及电子设备
CN110293560A (zh) * 2019-01-12 2019-10-01 鲁班嫡系机器人（深圳）有限公司 机器人行为训练、规划方法、装置、系统、存储介质及设备
CN110245567A (zh) * 2019-05-16 2019-09-17 深圳前海达闼云端智能科技有限公司 避障方法、装置、存储介质及电子设备
CN110488821A (zh) * 2019-08-12 2019-11-22 北京三快在线科技有限公司 一种确定无人车运动策略的方法及装置
JP2023506169A (ja) * 2019-12-10 2023-02-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 視覚入力に対する形式的安全シンボリック強化学習
JP7465048B2 (ja) 2019-12-10 2024-04-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 視覚入力に対する形式的安全シンボリック強化学習
CN111179382A (zh) * 2020-01-02 2020-05-19 广东博智林机器人有限公司 一种图像的排版方法、装置、介质及电子设备

Also Published As

Publication number Publication date
WO2020108309A1 (zh) 2020-06-04
JP6915909B2 (ja) 2021-08-04
US20210271253A1 (en) 2021-09-02
JP2021509185A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
CN109697458A (zh) 控制设备移动的方法、装置、存储介质及电子设备
US11062617B2 (en) Training system for autonomous driving control policy
CN111079561B (zh) 一种基于虚拟训练的机器人智能抓取方法
CN110998663B (zh) 一种仿真场景的图像生成方法、电子设备和存储介质
CN110108292B (zh) 车辆导航路径规划方法、系统、设备及介质
CN109483573A (zh) 机器学习装置、机器人系统以及机器学习方法
CN109397285B (zh) 一种装配方法、装配装置及装配设备
EP3690726A1 (en) Learning method and learning device for generating training data from virtual data on virtual world by using generative adversarial network, to thereby reduce annotation cost required in training processes of neural network for autonomous driving, and a testing method and a testing device using the same
CN116679711A (zh) 一种基于有模型与无模型强化学习的机器人避障方法
CN109176512A (zh) 一种体感控制机器人的方法、机器人及控制装置
CN112037263B (zh) 基于卷积神经网络和长短期记忆网络的手术工具跟踪系统
CN113031437A (zh) 一种基于动态模型强化学习的倒水服务机器人控制方法
CN113485353B (zh) 基于rrt算法与人工势场法相结合的微机器人避障方法
CN106292657A (zh) 可移动机器人及其巡逻路径设置方法
Gao et al. Multi-mobile robot autonomous navigation system for intelligent logistics
CN109784256A (zh) 人脸识别方法和装置、存储介质及电子装置
CN111136659A (zh) 基于第三人称模仿学习的机械臂动作学习方法及系统
CN107818333A (zh) 基于深度信念网络的机器人避障行为学习和目标搜索方法
CN112347900A (zh) 基于距离估计的单目视觉水下目标自动抓取方法
CN111220999A (zh) 一种基于即时定位与建图技术的受限空间探测系统及方法
EP3722906A1 (en) Device motion control
CN106454108A (zh) 基于人工智能的跟踪拍摄方法、装置和电子设备
CN110245567B (zh) 避障方法、装置、存储介质及电子设备
CN109584299A (zh) 一种定位方法、定位装置、终端及存储介质
CN113220037B (zh) 一种无人机混合路径规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210302

Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: Shenzhen Qianhaida Yunyun Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information