CN119603558A - 拍摄控制方法、装置、系统及计算机可读存储介质 - Google Patents

Abstract

本申请涉及拍摄技术领域，具体涉及一种拍摄控制方法、装置、系统及计算机可读存储介质。该拍摄控制方法可以包括：获取第一飞行设备所处的周围环境信息，以及用于指示拍摄任务的任务信息；基于任务信息与周围环境信息，规划飞行轨迹；基于周围环境信息与预训练的拍摄模型，确定拍摄策略，其中，拍摄模型基于第一训练样本集训练得到，且还基于第二训练样本集进行更新，第二训练样本集包括第一飞行设备的历史飞行拍摄数据以及与第一飞行设备关联的第二飞行设备的历史飞行拍摄数据；基于飞行轨迹与拍摄策略执行所述拍摄任务。本申请的飞行设备可提供个性化的拍摄服务。

Description

拍摄控制方法、装置、系统及计算机可读存储介质

技术领域

本申请涉及拍摄技术领域，具体涉及一种拍摄控制方法、装置、系统及计算机可读存储介质。

背景技术

空中拍摄是指使用配置在飞行设备的相机在空中进行拍摄的行为。在使用飞行设备进行空中拍摄的过程中，用户需要自主控制飞行设备的飞行轨迹进行拍摄。飞行设备无法根据用户的拍摄习惯自主进行拍摄学习，无法满足用户的个性化拍摄需求。

发明内容

鉴于此，本申请实施例提供一种拍摄控制方法、装置、系统及计算机可读存储介质，可以解决现有飞行设备无法根据用户的拍摄习惯自主进行拍摄学习，无法满足用户的个性化拍摄需求的问题。

第一方面，本申请实施例提供一种拍摄控制方法，应用于第一飞行设备，拍摄控制方法包括：获取第一飞行设备所处的周围环境信息，以及用于指示拍摄任务的任务信息；基于任务信息与周围环境信息，规划与拍摄任务对应的飞行轨迹；基于周围环境信息与预训练的拍摄模型，确定与拍摄任务对应的拍摄策略，其中，拍摄模型基于第一训练样本集训练得到，且拍摄模型还基于第二训练样本集进行更新，第二训练样本集包括第一飞行设备的历史飞行拍摄数据以及与第一飞行设备关联的第二飞行设备的历史飞行拍摄数据；基于飞行轨迹与拍摄策略执行拍摄任务。

采用上述技术方案，基于用户的拍摄指令进行飞行轨迹的规划与拍摄策略的制定，简化使用飞行设备进行空中拍摄的操作过程，降低空中拍摄的操作门槛，且利用人工智能技术进行拍摄策略的制定，实现智能拍摄，且通过使用飞行设备自身的历史飞行拍摄数据以及与其关联的飞行设备的历史飞行拍摄数据，对拍摄模型进行优化，可增强飞行设备的自我学习和优化能力，使得飞行设备能够根据自主根据表征用户的拍摄习惯的历史飞行拍摄数据进行拍摄模型的自我优化，可实现提供更个性化的拍摄服务。

在一些实施例中，与第一飞行设备关联的第二飞行设备包括：第二飞行设备的用户与第一飞行设备的用户属于同一个用户群体画像。

采用上述技术方案，由于同一个用户群体画像表征该群体中的用户具有相似的拍摄偏好，通过使用属于同一个用户群体画像的历史飞行拍摄数据对拍摄模型进行优化，不仅可丰富用于对拍摄模型进行更新的训练样本的类型与数量，且可进一步提升拍摄模型的自我学习与优化能力。

在一些实施例中，拍摄模型的更新步骤包括：基于第一飞行设备的历史飞行拍摄数据以及与第一飞行设备关联的第二飞行设备的历史飞行拍摄数据，通过联邦学习对拍摄模型进行更新，历史飞行拍摄数据包括历史运镜数据、历史飞行轨迹数据、历史拍摄结果，历史拍摄结果包括相机拍摄结果和/或对相机拍摄结果进行处理后的拍摄结果。

采用上述技术方案，通过联邦学习的方式更新拍摄模型，可确保历史飞行拍摄数据在传输与模型训练过程中的隐私和安全，避免出现用户隐私泄露，在提升飞行设备的智能拍摄能力的情形下，保障用户隐私，满足用户的个性化拍摄需求，且通过在训练阶段学习历史飞行轨迹数据下的运镜数据，以及对历史拍摄结果的处理方式，使得部署有拍摄模型的飞行设备可自主根据当前的飞行轨迹数据进行智能运镜，以及对拍摄结果进行智能化处理，例如对拍摄结果进行智能进行美化、剪辑、渲染等处理。

在一些实施例中，周围环境信息包括周围环境的图像信息与点云信息，基于任务信息与周围环境信息，规划与拍摄任务对应的飞行轨迹，包括：基于周围环境的图像信息与点云信息，通过即时定位与地图构建算法进行设备定位与三维地图构建；基于第一飞行设备的位置信息、任务信息以及三维地图，规划与拍摄任务对应的飞行轨迹。

采用上述技术方案，通过即时定位与地图构建（SLAM）算法进行三维地图的构建与飞行设备位置的定位，实现在信号盲区亦可实现飞行设备的路径规划与导航，可增强飞行设备在复杂环境中的导航和避障能力，使飞行设备能够在复杂环境中稳定工作。

在一些实施例中，输出拍摄任务对应的拍摄结果，以及拍摄结果的拍摄评分，拍摄评分基于拍摄模型评分得到。

采用上述技术方案，通过输出拍摄结果与拍摄评分，便于用户进行拍摄结果与拍摄评分的查看，且用户还可基于拍摄结果的拍摄评分评估是否进行重拍，或者分享具有高评分的图像/视频给其他飞行设备用户。

在一些实施例中，拍摄模型的训练步骤包括：获取第一训练样本集，第一训练样本集包括多个拍摄样本，以及与多个拍摄样本中的每个拍摄样本对应的拍摄标签，多个拍摄样本包括多个拍摄环境，拍摄标签包括样本拍摄评分以及样本拍摄策略；基于第一训练样本集对预设的神经网络进行训练，得到拍摄模型。

采用上述技术方案，使用包括样本拍摄评分以及样本拍摄策略的标签的拍摄样本对拍摄模型进行训练并部署于飞行设备，飞行设备可具备拍摄策略的制定与拍摄结果的评分的能力。

在一些实施例中，基于周围环境信息与预训练的拍摄模型，确定与拍摄任务对应的拍摄策略，包括：在拍摄主体为人物的情形下，基于任务信息以及拍摄主体的信息生成参考拍摄姿势，以供拍摄主体基于参考拍摄姿势进行拍摄姿势调整；获取拍摄主体的拍摄姿势，及基于周围环境信息、拍摄姿势以及拍摄模型，确定拍摄策略。

采用上述技术方案，在拍摄主体为人物的情形下，通过生成参考拍摄姿势，可以更好地指导拍摄主体进行拍摄姿势调整，提升拍摄效果，且综合考量周围环境信息、拍摄姿势以及拍摄模型来确定拍摄策略，满足不同拍摄姿势下对拍摄策略的需求，便于展示拍摄主体的姿势细节，进一步提升拍摄效果。

第二方面，本申请实施例还提供一种拍摄控制装置，拍摄控制装置包括处理器及存储器，存储器用于存储指令，处理器用于调用存储器中的指令，使得拍摄控制装置执行第一方面所述的拍摄控制方法。

第三方面，本申请实施例还提供一种拍摄控制系统，包括：交互设备和第二方面所述的拍摄控制装置；交互设备用于接收用户的拍摄指令，基于预训练的语义理解模型确定与拍摄指令对应的拍摄任务的任务信息，及将任务信息传输至拍摄控制装置。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，当所述计算机指令在飞行设备上运行时，使得所述飞行设备执行如第一方面所述的拍摄控制方法。

附图说明

图1为根据本申请一实施例提供的拍摄控制系统的结构示意图。

图2为根据本申请一实施例提供的飞行设备的功能模块示意图。

图3为根据本申请一实施例提供的拍摄控制装置的功能模块示意图。

图4为根据本申请一实施例提供的拍摄控制方法的步骤流程图。

图5为根据本申请另一实施例提供的拍摄控制方法的步骤流程图。

图6为根据本申请一实施例提供的拍摄控制装置的结构示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施方式仅是本申请一部分实施方式，而不是全部的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。

进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本申请中“至少一个”是指一个或者多个，“多个”是指两个或多于两个。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在相关技术中，在使用飞行设备进行空中拍摄的过程中，用户需要自主控制飞行设备进行拍摄。飞行设备无法根据用户的拍摄习惯自主进行拍摄学习，无法满足用户的个性化拍摄需求。

鉴于此，本申请实施例提供一种拍摄控制方法、装置、系统及计算机可读存储介质，可以解决飞行设备无法根据用户的拍摄习惯自主进行拍摄学习，无法满足用户的个性化拍摄需求的问题。

参考图1所示，该拍摄控制系统10可以包括交互设备11和可在空中飞行的飞行设备12。交互设备11和飞行设备12可通过无线方式（包括但不限于无线保真（wirelessfidelity，Wi-Fi）、‌蓝牙、专用无线电波等）进行通信。

在一些实施例中，交互设备11包括但不限于便携式终端设备（例如，手机、平板电脑等）、车机设备、飞行设备12的遥控器等。飞行设备12包括但不限于无人机、飞行相机等可进行空中拍摄的设备。图1以交互设备11为手机，飞行设备12为无人机为例进行示意。

交互设备11可用于接收用户的拍摄指令。例如，拍摄指令可以是用户通过语音输入、文字输入等形式发出的指令。交互设备还可基于预训练的语义理解模型识别拍摄指令对应的拍摄意图，即识别用户发起的拍摄任务的任务信息，及将任务信息传输至拍摄控制装置。

在一些实施例中，语义理解模型可以采用相关的自然语言处理技术（NaturalLanguage Processing，NLP）。例如，语义理解模型可以基于大语言模型（Large LanguageModel，LLM）和与空中拍摄任务相关的语义理解样本训练得到。该语义理解样本可以包括以语音或者文字等形式呈现的交互指令样本，以及该交互指令样本对应的空中拍摄任务的标签。

在一些实施例中，任务信息可以用于描述用户所期望拍摄得到的画面的拍摄要求。例如，任务信息可以包括：拍摄主体、拍摄类型、期望的拍摄手法、期望的拍摄效果等，但不限于此。拍摄主体可以是指被拍摄对象，例如，若需要自拍，拍摄主体即为操控飞行设备的用户。拍摄类型可以是指拍摄结果是以视频形式呈现还是以图像形式呈现。期望的拍摄效果和拍摄手法可以反映用户期望的构图、运镜、使用的相机拍摄模式等信息。

举例而言，用户以语音形式发出拍摄指令：“帮我拍一个希区柯克变焦人像视频”，交互设备11采集到语音拍摄指令后，将其转换为文字信息，并将该文字信息输入至语义理解模型，得到拍摄任务的任务信息。该任务信息可以指示：拍摄主体为控制飞行设备12的用户，拍摄类型为视频，期望的拍摄手法为：以人像为主体，在飞行设备12的相机靠近或远离人像时，通过光学变焦、数码裁剪变焦等方式保持人像在相机视野中的位置、大小不变；期望的拍摄效果：利用镜头变焦捕捉到的环境信息来营造用户心理活动变化。

如图2所示，飞行设备12可包括相机模组121、拍摄控制装置122以及动力装置123。相机模组121用于实现图像或者视频的拍摄，例如，相机模组121可包括相机、云台等。动力装置123用于为飞行设备12提供动力，例如，动力装置123可包括电池、电机、旋翼等。拍摄控制装置122用于控制相机模组121的拍摄，以及控制动力装置123的运行，使得飞行设备12可以按照规划的飞行轨迹执行拍摄任务。

在一些实施例中，交互设备11在获取到拍摄任务的任务信息后，可将任务信息传输至拍摄控制装置122。拍摄控制装置122可用于执行本申请下述实施例提供的拍摄控制方法。拍摄控制装置122可以是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于处理器、微程序控制器（MicroprogrammedControl Unit，MCU）、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital SignalProcessor，DSP)等。

本申请实施例将拍摄控制装置122搭载于飞行设备12，有利于使得拍摄控制装置122及时获取飞行设备12的飞行姿态，所在位置等相关信息，降低信息传输延迟，提高飞行控制的实时性。

如图3所示，在一些实施例中，拍摄控制装置122可包括定位与导航模块1221、智能拍摄模块1222、联邦学习模块1223、飞行控制模块1224、以及系统监控模块1225。

例如，飞行设备12可配置有用于定位与导航的相机与激光雷达。在通过相机和激光雷达获取到飞行设备12所处的周围环境的图像信息与点云信息后，定位与导航模块1221可用于对图像信息与点云信息进行处理，例如，通过即时定位与地图构建（Simultaneouslocalization and mapping，SLAM）算法，基于图像信息与点云信息生成可实时更新的三维地图，并可确定飞行设备12在周围环境中的位置信息。三维地图可用于飞行设备的飞行轨迹规划与环境感知（例如，感知障碍物），例如，定位与导航模块1221可基于飞行设备12的位置信息以及三维地图进行飞行轨迹规划，以避开障碍物，确保飞行设备的飞行安全。

在一些实施例中，定位与导航模块1221在进行飞行轨迹规划时，还需考量拍摄任务的任务信息，使得飞行设备12可以按照规划的飞行轨迹执行拍摄任务。

智能拍摄模块1222可基于深度学习算法进行拍摄策略的制定。例如，智能拍摄模块1222可通过调用预训练的拍摄模型根据周围环境信息与拍摄主体进行拍摄策略的制定。拍摄模型可基于较多数量的图像、视频训练得到，拍摄模型可以学习拍摄这些图像、视频的构图策略、运镜策略、相机参数设定策略等。对于基于拍摄模型确定的相机参数或者由用户设定的相机参数，智能拍摄模块1222还可基于当前环境的光线强度进行相机参数的动态调整，以优化拍摄效果。

在一些实施例中，智能拍摄模块1222还可对拍摄得到的图像/视频进行审美评分。例如，拍摄模型在训练过程中，用于训练的图像、视频还具有评分标签，拍摄模型可以通过学习该些图像、视频的评分规则，进而后续可以对拍摄得到的图像/视频进行评分，便于用户可基于拍摄得到的图像/视频的评分评估是否进行重拍，或者分享具有较高评分的图像/视频给其他飞行设备用户，以进行拍摄交流。

联邦学习模块1223可用于收集飞行设备的历史飞行拍摄数据，并将历史飞行拍摄数据用于拍摄模型的更新和优化。通过联邦学习的方式更新拍摄模型，可确保历史飞行拍摄数据在传输与模型训练过程中的隐私和安全，避免出现用户隐私泄露，且又可提升用于模型更新的训练样本的多样性，实现提升飞行设备的智能拍摄能力，又可满足用户的个性化拍摄需求。

例如，历史飞行拍摄数据可包括历史运镜数据、历史飞行轨迹数据和历史拍摄结果等。

飞行控制模块1224可用于负责飞行设备12的飞行控制。例如，飞行控制模块1224可基于定位与导航模块1221提供的位置信息、三维地图和规划的飞行轨迹，控制飞行设备12的飞行姿态和飞行路径。 飞行控制模块1224还可实时监控飞行设备的飞行状态，基于飞行状态调整飞行姿态、速度等，确保飞行设备的飞行安全。

在一些实施例中，飞行控制模块1224还可用于飞行数据与拍摄数据的管理与存储，可支持飞行数据与拍摄数据的实时处理与传输。数据传输可采用相关的加密的传输协议，以确保数据在传输过程中的隐私和安全性。

系统监控模块1225可用于实时监控飞行设备12中的各模块/组件的运行状态，确保飞行设备12的稳定运行和飞行安全。例如，系统监控模块1225可用于实时监控相机模组121、动力装置123的运行状态。系统监控模块1225可在监控到各模块/组件的运行状态为异常状态时，输出对应的警示信息至交互设备11，以便用户及时介入异常处理。

以下结合图4与图5阐述第一飞行设备中的拍摄控制装置如何控制第一飞行设备进行拍摄的过程。第一飞行设备可以是指图1所示的飞行设备12。

图4是本申请一实施例提供的拍摄控制方法的步骤流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。

参阅图4所示，拍摄控制方法可以包括以下步骤。

步骤401，获取第一飞行设备所处的周围环境信息，以及用于指示拍摄任务的任务信息。

在一些实施例中，第一飞行设备可配置有相机，或者相机与激光雷达，第一飞行设备所处的周围环境信息可通过相机采集得到，或者由相机与激光雷达共同采集得到。拍摄控制装置可通过与相机，或者激光雷达进行通信，来实现获取第一飞行设备所处的周围环境信息。

在一些实施例中，拍摄控制装置可以从交互设备接收用于指示拍摄任务的任务信息，任务信息可指示拍摄任务的拍摄要求。例如，交互设备可以接收用户的拍摄指令，基于预训练的语义理解模型识别拍摄指令表征的拍摄任务的任务信息，及将任务信息传输至拍摄控制装置，以使得拍摄控制装置能够接收到拍摄任务的任务信息。任务信息可用于描述用户所期望拍摄得到的画面或视频的拍摄要求。例如，任务信息可以包括：拍摄主体、拍摄类型、期望的拍摄手法、期望的拍摄效果等，但不限于此。

步骤402，基于任务信息与周围环境信息，规划与拍摄任务对应的飞行轨迹。

在一些实施例中，飞行轨迹可包括按照时序排列的多个轨迹点，多个轨迹点的连线可表征规划的飞行轨迹。拍摄控制装置可以基于周围环境信息构建三维地图，并实现飞行设备位置的定位，再基于任务信息规划与拍摄任务对应的飞行轨迹。

以第一飞行设备配置有相机与激光雷达为例，周围环境信息包括相机采集到的周围环境的图像信息以及激光雷达采集到的周围环境的点云信息。拍摄控制装置可基于周围环境的图像信息与点云信息，通过SLAM算法进行三维地图的构建与飞行设备位置的定位，进而可基于第一飞行设备的位置信息、任务信息以及三维地图，规划与拍摄任务对应的飞行轨迹。本申请实施例基于SLAM算法进行定位与构图，可增强飞行设备在复杂环境中的导航和避障能力，使飞行设备能够在复杂环境中稳定工作。

例如，任务信息指示了拍摄主体、期望的拍摄手法、期望的拍摄效果等信息，拍摄控制装置可通过在三维地图中标记拍摄主体、障碍物等信息，以标识的障碍物、拍摄主体等信息为约束条件，以期望的拍摄手法和拍摄效果等信息为规划目标，得到规划的飞行轨迹。

在一些实施例中，拍摄控制装置可通过预训练的轨迹规划模型来实现规划与拍摄任务对应的飞行轨迹。例如，为了避免训练轨迹拍摄模型占用第一飞行设备较多的硬件资源（例如，处理器资源、‌内存资源、存储空间资源等），可以通过训练设备（例如，服务器、服务器集群等）来进行轨迹规划模型的训练，预训练的轨迹规划模型可在第一飞行设备出厂前部署于第一飞行设备。

例如，轨迹规划模型的训练步骤可以包括：

a₁. 获取轨迹规划样本，轨迹规划样本可包括多个拍摄任务样本，以及与每个拍摄任务样本对应的飞行轨迹；

例如，多个拍摄任务样本可以包括多个空中拍摄的视频，该多个视频可对应多个不同类型的拍摄任务，不同类型的拍摄任务可以是指具有不同的拍摄主体、不同的拍摄手法、不同的拍摄效果等。

b₁. 将拍摄任务样本按批次输入至第一预设模型，得到预测的飞行轨迹，再基于拍摄任务样本对应的飞行轨迹和预测的飞行轨迹更新第一预设模型的模型参数，直至第一预设模型收敛。训练完成的第一预设模型可以作为轨迹规划模型使用，或者训练完成的第一预设模型经过量化处理后作为轨迹规划模型使用。在本实施例中，第一预设模型可以是基于神经网络构建的模型，但不以此为限。

步骤403，基于周围环境信息与预训练的拍摄模型，确定与拍摄任务对应的拍摄策略。

在一些实施例中，拍摄策略可以包括运镜策略、构图策略、相机参数设定策略等中的一个或多个。例如，周围环境信息可表征周围环境的光线强度、拍摄主体是否为人物等，拍摄控制装置可基于周围环境信息与预训练的拍摄模型，确定与拍摄任务对应的拍摄策略。通过确定与拍摄任务对应的拍摄策略，来实现达成任务信息指示的期望的拍摄主体、期望的拍摄手法、期望的拍摄效果等拍摄要求等。

例如，运镜策略可以包括在进行拍摄时，通过对飞行设备的飞行动作、相机朝向等进行控制的策略，以达到诸如推、拉、摇、移、跟、升、降、甩等运镜技巧。

飞行动作可以包括飞行设备朝向、飞行设备速度、飞行设备是否悬停、飞行时的俯仰角、偏航角和滚动角等，但不限于此。

相机朝向可以为相机相对于拍摄主体的角度。例如，拍摄控制装置可以通过控制云台的朝向，实现控制相机的朝向。

例如，构图策略可以为设定拍摄的图像或者视频的画面布局的策略。构图策略可以包括九宫格构图、三角形构图、对称构图、三分法构图、黄金比例构图等。

例如，相机参数设定策略可以为设定相机参数的策略，相机参数可以包括：光圈、快门、感光度、焦距、景深、曝光等参数，但不限于此。

在一些实施例中，拍摄模型可基于第一训练样本集训练得到，训练得到的拍摄模型可部署于第一飞行设备。例如，为了避免训练拍摄模型占用第一飞行设备较多的硬件资源，同样可以通过训练设备来进行拍摄模型的训练，预训练的拍摄模型可在第一飞行设备出厂前部署于第一飞行设备。

例如，拍摄模型的训练步骤可以包括：

a₂. 获取第一训练样本集，第一训练样本集包括多个拍摄样本，以及每个拍摄样本对应的拍摄标签，多个拍摄样本可包括多个拍摄环境，拍摄样本可以是图像或者视频，拍摄标签可包括样本拍摄策略；

b₂. 基于第一训练样本集对第二预设模型进行训练，得到拍摄模型。例如，可以将拍摄样本按批次输入至第二预设模型，得到预测的拍摄策略，再基于拍摄样本对应的拍摄策略和预测的拍摄策略更新第二预设模型的网络参数，直至第二预设模型收敛。训练完成的第二预设模型可作为拍摄模型使用。在本实施例中，第二预设模型可以是基于神经网络构建的模型，但不以此为限。

在一些实施例中，部署于第一飞行设备中的拍摄模型还可基于第二训练样本集进行更新。例如，使用第二训练样本集对部署于第一飞行设备中的拍摄模型进行训练，以使得更新后的拍摄模型可提供更个性化的拍摄服务。第二训练样本集可包括第一飞行设备的历史飞行拍摄数据以及与第一飞行设备关联的至少一个第二飞行设备的历史飞行拍摄数据，进而使得拍摄模型不仅可根据用户历史使用第一飞行设备的数据进行自我优化，还可根据至少一个第二飞行设备的数据进行自我优化，且可克服第一飞行设备的历史飞行拍摄数据的数据量有限的缺陷，丰富训练样本，使得拍摄模型可提供更个性化的拍摄服务。

例如，与第一飞行设备关联的第二飞行设备可以是指：第二飞行设备的用户与第一飞行设备的用户属于同一个用户群体画像。同一个用户群体画像表征该群体中的用户具有相似的拍摄偏好，且可极大地丰富用于对拍摄模型进行更新的训练样本的类型与数量，提升拍摄模型的自我学习与优化能力。

在一些实施例中，可以由飞行设备的用户决定是否将飞行设备的历史飞行拍摄数据用于联邦学习。例如，飞行设备的用户可以通过交互设备提供的授权选项，确定是否将飞行设备的历史飞行拍摄数据用于联邦学习。若确定将飞行设备的历史飞行拍摄数据用于联邦学习，该飞行设备的拍摄模型可基于联邦学习进行自我学习与优化。

在一些实施例中，当用户确定将飞行设备的历史飞行拍摄数据用于联邦学习后，用户的基本信息与拍摄偏好可通过加密的方式上传至云端。云端可基于各个用户的基本信息与拍摄偏好，来进行用户群体画像的构建。对于属于同一个用户群体画像下的飞行设备，通过联邦学习的方式进行该用户群体画像下的飞行设备的拍摄模型的更新。用户的基本信息可包括年龄、性别、教育水平、职业等信息，拍摄偏好可包括用户对飞行设备的设备功能的使用偏好、拍摄手法偏好、拍摄效果偏好等。

在一些实施例中，拍摄模型的更新方式可包括：基于第一飞行设备的历史飞行拍摄数据以及与第一飞行设备关联的至少一个第二飞行设备的历史飞行拍摄数据，通过联邦学习对拍摄模型进行更新。通过联邦学习的方式即可保障使用较多数量的历史飞行拍摄数据对拍摄模型进行更新，又可保障各个用户的历史飞行拍摄数据的隐私性。

例如，通过联邦学习对拍摄模型进行更新过程可以是：拍摄控制装置基于第一飞行设备的历史飞行拍摄数据对拍摄模型进行训练，训练完毕后，拍摄控制装置可将得到的模型参数，通过加密方式上传至云端，云端可接收到各个飞行设备（第一飞行设备以及一个或多个第二飞行设备）的拍摄控制装置上传的模型参数。云端可结合所有的模型参数进行统一的聚合处理，比如通过加权平均得到新的模型参数，然后将新的模型参数再下发到各个飞行设备的拍摄控制装置，使得各个飞行设备均可在本地对拍摄模型进行更新。

在一些实施例中，历史飞行拍摄数据可包括历史运镜数据、历史飞行轨迹数据、历史拍摄结果。历史拍摄结果可以包括相机拍摄结果和/或对相机拍摄结果进行处理后的拍摄结果，对相机拍摄结果进行处理可以包括对相机拍摄结果进行美化、剪辑、渲染等处理。拍摄模型在训练阶段学习历史飞行轨迹数据下的运镜数据，以及对历史拍摄结果的美化、剪辑、渲染等处理方式，使得部署有拍摄模型的飞行设备可自主根据当前的飞行轨迹数据进行智能运镜，以及对拍摄结果进行智能美化、剪辑、渲染等处理。

步骤404，基于飞行轨迹与拍摄策略执行拍摄任务。

在确定飞行轨迹与拍摄策略之后，拍摄控制装置可基于飞行轨迹与拍摄策略执行拍摄任务。例如，拍摄控制装置可基于飞行轨迹控制动力装置，使得第一飞行设备按照此飞行轨迹进行飞行，拍摄控制装置还可基于拍摄策略控制相机模组，使得相机模组可拍摄得到与用户的拍摄指令对应的图像或者视频。

上述拍摄控制方法，可基于用户的拍摄指令进行飞行轨迹的规划与拍摄策略的制定，简化使用飞行设备进行空中拍摄的操作过程，降低操作门槛，且基于SLAM技术的三维环境感知能力，可增强飞行设备在复杂环境中的导航和避障能力，使飞行设备能够在复杂环境中稳定工作，同时利用人工智能技术进行拍摄策略的制定，提高飞行设备的构图与运镜能力，实现智能拍摄，且通过联邦学习技术，可增强飞行设备的自我学习和优化能力，使得飞行设备能够根据历史飞行拍摄数据进行拍摄模型的自我优化，提供更个性化的拍摄服务，且可保障拍摄数据的隐私性。

请参阅图5，为本申请另一实施例提供的拍摄控制方法的步骤流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。

参阅图5所示，拍摄控制方法可以包括以下步骤。

步骤501，获取第一飞行设备所处的周围环境信息，以及用于指示拍摄任务的任务信息。

本申请实施例的步骤501与前述实施例的步骤401类似，为了避免重复，此处不再赘述。

步骤502，基于任务信息与周围环境信息，规划与拍摄任务对应的飞行轨迹。

本申请实施例的步骤502与前述实施例的步骤402类似，为了避免重复，此处不再赘述。

步骤503，基于周围环境信息与预训练的拍摄模型，确定与拍摄任务对应的拍摄策略。

在本实施例中，拍摄模型除了可确定拍摄任务对应的拍摄策略，还具备对拍摄得到的图像/视频进行审美评分。在拍摄模型的预训练阶段，第一样本集中的拍摄样本（图像、视频）还具有评分标签，拍摄模型可以通过学习该些拍摄样本的评分规则，进而使得拍摄模型可以对拍摄得到的图像/视频进行评分，使得用户还可基于拍摄结果的拍摄评分评估是否进行重拍。例如，拍摄样本的评分值可基于拍摄样本的运镜、构图、光影和色彩等进行预先打分，形成评分标签。

又例如，拍摄模型可包括两个子网络，一个子网络用于拍摄策略的制定，另一个子网络用于对拍摄得到的图像/视频进行评分。用于拍摄策略制定的子网络的训练过程可参考前述实施例的描述，为了避免重复，此处不再赘述。

用于对拍摄得到的图像/视频进行评分的子网络的训练过程可包括：将拍摄样本按批次输入至子网络，得到预测的评分值，再基于拍摄样本对应的评分值和预测的评分值更新子网络的网络参数，直至子网络收敛。训练完成的子网络可用于对拍摄得到的图像/视频进行评分。

在一些实施例中，在拍摄主体为人物的情形下，拍摄控制装置还可生成拍摄姿势建议或者参考拍摄姿势，并将拍摄姿势建议或者参考拍摄姿势传输至交互设备，以供拍摄主体进行摄姿势调整的参考。例如，拍摄控制装置可基于任务信息以及拍摄主体的信息生成拍摄姿势建议或者参考拍摄姿势，以供拍摄主体基于拍摄姿势建议或者参考拍摄姿势进行拍摄姿势调整。

拍摄主体的信息可表征拍摄主体的性别、年龄等。一般而言，不同年龄、不同性别的用户可能会有不同的拍摄姿势偏好，且不同的任务信息亦可指示不同的拍摄要求，不同的拍摄要求适配的拍摄姿势也可能不同，通过进一步设定基于任务信息以及拍摄主体的信息生成拍摄姿势建议或者参考拍摄姿势，可以更好地指导拍摄主体进行拍摄姿势调整，以提升拍摄效果。

在一些实施例中，拍摄主体在不同拍摄姿势下对拍摄策略的需求也可能不同，例如，部分拍摄姿势下，拍摄主体通过姿势细节来表征自身的心情/内心活动，此种情形下，可能需关注拍摄主体的姿势细节（例如，需拍摄手部细节或者脸部细节等），而有的拍摄姿势无需特别关注拍摄主体的姿势细节。为了解决此问题，拍摄控制装置还可获取拍摄主体的拍摄姿势，及基于周围环境信息、拍摄姿势以及拍摄模型，确定拍摄策略，实现综合考量周围环境信息、拍摄姿势以及拍摄模型来确定拍摄策略，满足不同拍摄姿势下对拍摄策略的需求，便于展示拍摄主体的姿势细节，可进一步提升拍摄效果。

步骤504，基于飞行轨迹与拍摄策略执行拍摄任务。

本申请实施例的步骤504与前述实施例的步骤404类似，为了避免重复，此处不再赘述。

步骤505，输出拍摄任务对应的拍摄结果，以及拍摄结果的拍摄评分。

在一些实施例中，在执行完拍摄任务后，拍摄控制装置可输出拍摄任务对应的拍摄结果，以及拍摄结果的拍摄评分。例如，拍摄控制装置可将拍摄结果与拍摄评分传输至交互设备，以便用户在交互设备上查看拍摄结果与拍摄评分。通过展示拍摄结果的拍摄评分，可便于用户基于拍摄结果的拍摄评分评估是否进行重拍，或者分享具有高评分的图像/视频给其他飞行设备用户，以进行拍摄交流。

在一些实施例中，在拍摄结果可以是图像或者视频。例如，若任务信息指示的拍摄类型为图像拍摄，生成的拍摄结果为图像，若任务信息指示的拍摄类型为视频拍摄，生成的拍摄结果为视频。

上述拍摄控制方法，可基于用户的拍摄指令进行飞行轨迹的规划与拍摄策略的制定，简化使用飞行设备进行空中拍摄的操作过程，降低操作门槛，且基于SLAM技术的三维环境感知能力，可增强飞行设备在复杂环境中的导航和避障能力，使飞行设备能够在复杂环境中稳定工作，同时利用人工智能技术进行拍摄策略的制定，提高飞行设备的构图与运镜能力，实现智能拍摄，且通过联邦学习技术，可增强飞行设备的自我学习和优化能力，使得飞行设备能够根据历史飞行拍摄数据进行拍摄模型的自我优化，提供更个性化的拍摄服务，且可保障拍摄数据的隐私性，还可输出拍摄结果的拍摄评分，便于用户基于拍摄结果的拍摄评分评估是否进行重拍，或者进行拍摄结果分享，同时还可进行拍摄姿势建议以及基于拍摄姿势调整拍摄策略，可进一步提升拍摄效果。

请参考图6，为本申请实施例提供的拍摄控制装置122的硬件结构示意图。拍摄控制装置122可集成于图1所示的飞行设备12中，如图6所示，拍摄控制装置122可以包括处理器1001、存储器1002。存储器1002用于存储一个或多个计算机程序1003。一个或多个计算机程序1003被配置为被该处理器1001执行。该一个或多个计算机程序1003包括指令，上述指令可以用于实现在拍摄控制装置122中执行上述的拍摄控制方法。

可以理解的是，本实施例示意的结构并不构成对拍摄控制装置122的具体限定。在另一些实施例中，拍摄控制装置122可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。

处理器1001可以包括一个或多个处理单元，例如：处理器1001可以包括应用处理器（application processor，AP），调制解调器，图形处理器（graphics processing unit，GPU），图像信号处理器（image signal processor，ISP），控制器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器1001还可以设置有存储器，用于存储指令和数据。在一些实施例中，处理器1001中的存储器为高速缓冲存储器。该存储器可以保存处理器1001刚用过或循环使用的指令或数据。如果处理器1001需要再次使用该指令或数据，可从该存储器中直接调用。避免了重复存取，减少了处理器1001的等待时间，因而提高了系统的效率。

在一些实施例中，处理器1001可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，SIM接口，和/或USB接口等。

在一些实施例中，处理器1001用于执行单指令多数据（SIMD）、超长指令字（VLIW）等加速方案。

在一些实施例中，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本实施例还提供一种计算机可读存储介质，该存储介质中存储有计算机指令，当该指令在飞行设备上运行时，使得飞行设备执行上述相关方法步骤实现上述实施例中的拍摄控制方法。

其中，本实施例提供的拍摄控制装置、计算机存储介质均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例是示意性的，例如，该模块或单元的划分，为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种拍摄控制方法，应用于第一飞行设备，其特征在于，所述拍摄控制方法包括：

获取所述第一飞行设备所处的周围环境信息，以及用于指示拍摄任务的任务信息；

基于所述任务信息与所述周围环境信息，规划与所述拍摄任务对应的飞行轨迹；

基于所述周围环境信息与预训练的拍摄模型，确定与所述拍摄任务对应的拍摄策略，其中，所述拍摄模型基于第一训练样本集训练得到，且所述拍摄模型还基于第二训练样本集进行更新，所述第二训练样本集包括所述第一飞行设备的历史飞行拍摄数据以及与所述第一飞行设备关联的第二飞行设备的历史飞行拍摄数据；

基于所述飞行轨迹与所述拍摄策略执行所述拍摄任务。

2.如权利要求1所述的拍摄控制方法，其特征在于，所述与所述第一飞行设备关联的第二飞行设备包括：所述第二飞行设备的用户与所述第一飞行设备的用户属于同一个用户群体画像。

3.如权利要求1或2所述的拍摄控制方法，其特征在于，所述拍摄模型的更新步骤包括：

基于所述第一飞行设备的历史飞行拍摄数据以及与所述第一飞行设备关联的第二飞行设备的历史飞行拍摄数据，通过联邦学习对所述拍摄模型进行更新，所述历史飞行拍摄数据包括历史运镜数据、历史飞行轨迹数据、历史拍摄结果，所述历史拍摄结果包括相机拍摄结果和/或对所述相机拍摄结果进行处理后的拍摄结果。

4.如权利要求1或2所述的拍摄控制方法，其特征在于，所述周围环境信息包括周围环境的图像信息与点云信息，所述基于所述任务信息与所述周围环境信息，规划与所述拍摄任务对应的飞行轨迹，包括：

基于所述周围环境的图像信息与点云信息，通过即时定位与地图构建算法进行设备定位与三维地图构建；

基于所述第一飞行设备的位置信息、所述任务信息以及所述三维地图，规划与所述拍摄任务对应的飞行轨迹。

5.如权利要求1所述的拍摄控制方法，其特征在于，所述拍摄控制方法还包括：

输出所述拍摄任务对应的拍摄结果，以及所述拍摄结果的拍摄评分，所述拍摄评分基于所述拍摄模型评分得到。

6.如权利要求5所述的拍摄控制方法，其特征在于，所述拍摄模型的训练步骤包括：

获取所述第一训练样本集，所述第一训练样本集包括多个拍摄样本，以及与所述多个拍摄样本中的每个拍摄样本对应的拍摄标签，所述多个拍摄样本包括多个拍摄环境，所述拍摄标签包括样本拍摄评分以及样本拍摄策略；

基于所述第一训练样本集对预设的神经网络进行训练，得到所述拍摄模型。

7.如权利要求1或2所述的拍摄控制方法，其特征在于，所述基于所述周围环境信息与预训练的拍摄模型，确定与所述拍摄任务对应的拍摄策略，包括：

在拍摄主体为人物的情形下，基于所述任务信息以及所述拍摄主体的信息生成参考拍摄姿势，以供所述拍摄主体基于所述参考拍摄姿势进行拍摄姿势调整；

获取所述拍摄主体的拍摄姿势，根据所述周围环境信息、所述拍摄姿势以及所述拍摄模型，确定所述拍摄策略。

8.一种拍摄控制装置，包括处理器及存储器，其特征在于，所述存储器用于存储指令，所述处理器用于调用所述存储器中的指令，使得所述拍摄控制装置执行如权利要求1至权利要求7中任一项所述的拍摄控制方法。

9.一种拍摄控制系统，其特征在于，包括：交互设备和飞行设备，所述飞行设备包括如权利要求8所述的拍摄控制装置；

所述交互设备用于接收用户的拍摄指令，基于预训练的语义理解模型确定与所述拍摄指令对应的拍摄任务的任务信息，及将所述任务信息传输至所述拍摄控制装置。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，当所述计算机指令在飞行设备上运行时，使得所述飞行设备执行如权利要求1至权利要求7中任一项所述的拍摄控制方法。