[go: up one dir, main page]

CN118301285A - 一种图像显示方法、终端及计算机可读存储介质 - Google Patents

一种图像显示方法、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN118301285A
CN118301285A CN202410316326.9A CN202410316326A CN118301285A CN 118301285 A CN118301285 A CN 118301285A CN 202410316326 A CN202410316326 A CN 202410316326A CN 118301285 A CN118301285 A CN 118301285A
Authority
CN
China
Prior art keywords
image
panoramic
model
target
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410316326.9A
Other languages
English (en)
Inventor
崔婵婕
李乾坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202410316326.9A priority Critical patent/CN118301285A/zh
Publication of CN118301285A publication Critical patent/CN118301285A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种图像显示方法、终端及计算机可读存储介质，图像显示方法适用于显示设备，显示设备包括显示装置，图像显示方法包括：显示设备基于显示装置的视线矢量与目标区域的球体全景模型的表面，确定视线矢量在球体全景模型的表面上的交叉点的三维坐标信息；基于交叉点的三维坐标信息，确定交叉点在全景图像中的像素信息；基于交叉点在全景图像中的像素信息，确定显示包含交叉点的目标图像的控制参数；基于控制参数获取目标图像并进行渲染，显示渲染后的目标图像和球体全景模型的表面。本申请提供的图像显示方法能够将经过渲染的目标图像以及全景图像进行显示，以便于全方位查看监控空间，提升体验观感。

Description

一种图像显示方法、终端及计算机可读存储介质
技术领域
本发明涉及图像技术领域，特别是涉及一种图像显示方法、终端及计算机可读存储介质。
背景技术
监控系统是安防系统中应用最多的系统之一，视频监控是安防的主流。视频监控以其生动形象、内容丰富等特点，收到了人们越来越多的关注，视频技术也得到了飞速的发展。监控摄像头类型众多，例如固定安装的枪机、可转动缩放的球机、360全景相机、鱼眼相机等多种产品。然后目前监控显示多为平面可视化大屏显示，将同一区域的多个相机平铺在一个大屏的多个网格内，无法同时关注某一区域的所有相机影像。而且一些全景影像也无法按照影像本身属性显示为球面，只能平面化显示，观感不佳。
发明内容
本发明主要解决的技术问题是提供一种图像显示方法、终端及计算机可读存储介质，解决现有技术中监控空间无法全方位查看、观感不佳的问题。
为解决上述技术问题，本发明采用的第一个技术方案是：提供一种图像显示方法，图像显示方法适用于显示设备，显示设备包括显示装置，图像显示方法包括：
显示设备基于显示装置的视线矢量与目标区域的球体全景模型的表面，确定视线矢量在球体全景模型的表面上的交叉点的三维坐标信息；球体全景模型是基于目标区域的全景图像进行渲染生成的；
基于交叉点的三维坐标信息，确定交叉点在全景图像中的像素信息；
基于交叉点在全景图像中的像素信息，确定显示包含交叉点的目标图像的控制参数；
基于控制参数获取目标图像并进行渲染，显示渲染后的目标图像和球体全景模型的表面。
其中，目标区域的球体全景模型的获取方法包括：
获取目标区域的全景图像；
预先构建初始球体模型，初始球体模型的表面具有多个顶点数据以及顶点数据对应的纹理数据；
基于初始球体模型上的各顶点数据、纹理数据以及全景图像，生成球体全景模型。
其中，目标区域的球体全景模型的获取方法包括：
基于采集目标区域的全景图像的全景采集装置的属性信息，确定球体全景模型对应的水平显示视角范围和垂直显示视角范围；
将球体全景模型表面处于水平显示视角范围和垂直显示视角范围内的图像进行显示。
其中，基于显示装置的视线矢量与目标区域的球体全景模型的表面，确定视线矢量在球体全景模型的表面上的交叉点的三维坐标信息，包括：
基于显示装置的属性信息，确定视线对应的射线方程；显示装置的属性信息包括左眼和右眼分别对应的视场角信息、位置信息和朝向信息；
基于球体全景模型的属性信息，确定球体全景模型的球面方程；球体全景模型的属性信息包括球体半径；
基于射线方程和球面方程，确定显示装置的视线矢量在球体全景模型的表面上的交叉点的三维坐标信息。
其中，基于射线方程和球面方程，确定显示装置的视线矢量在球体全景模型的表面上的交叉点的三维坐标信息，包括：
基于射线方程和球面方程，确定显示装置的视线矢量在球体全景模型的表面上的候选交叉点的三维坐标信息；
基于候选交叉点在球体全景模型表面的三维坐标信息，确定各候选交叉点对应的水平角度信息和垂直角度信息；
选取水平角度信息处于水平显示视角范围且垂直角度信息处于垂直显示视角范围的候选交叉点作为交叉点。
其中，像素信息包括像素点坐标；
基于交叉点的三维坐标信息，确定交叉点在全景图像中的像素信息，包括：
基于交叉点在球体全景模型表面的三维坐标信息，确定交叉点对应的水平角度信息和垂直角度信息；
基于交叉点对应的水平角度信息和垂直角度信息、水平显示视角范围和垂直显示视角范围以及全景图像的分辨率，确定交叉点在目标区域的全景图像上的像素点坐标。
其中，基于交叉点在全景图像中的像素信息，确定显示包含交叉点的目标图像的控制参数，包括：
基于交叉点在全景图像上的像素点坐标在预设关系表中查找；预设关系表包括多个预设坐标，各预设坐标具有对应的预设操作参数；
将与像素点坐标匹配的预设坐标对应的预设操作参数作为采集目标图像的目标采集装置的控制参数，控制参数包括偏航角和俯仰角；目标图像为以交叉点作为中心点的全景图像中的局部区域的放大图像。
其中，基于控制参数获取目标图像并进行渲染，显示渲染后的目标图像和球体全景模型的表面，包括：
基于控制参数调节目标采集装置，并获取目标采集装置显示的目标图像；
对目标图像进行二维渲染，得到渲染后的目标图像；
显示渲染后的目标图像和球体全景模型。
其中，显示设备还包括手柄；
基于控制参数调节目标采集装置，并获取目标采集装置显示的目标图像，包括：
通过手柄基于控制参数调节目标采集装置转动，显示目标图像；
对目标图像进行二维渲染，得到渲染后的目标图像的步骤之后，还包括：
通过手柄对目标图像的进行倍率调节和/或聚焦。
为解决上述技术问题，本发明采用的第二个技术方案是：提供一种图像显示装置，图像显示装置包括：
处理模块，用于显示设备基于显示装置的视线矢量与目标区域的球体全景模型的表面，确定视线矢量在球体全景模型的表面上的交叉点的三维坐标信息；球体全景模型是基于目标区域的全景图像进行渲染生成的；
分析模块，用于基于交叉点的三维坐标信息，确定交叉点在全景图像中的像素信息；
确定模块，用于基于交叉点在全景图像中的像素信息，确定显示包含交叉点的目标图像的控制参数；
显示模块，用于基于控制参数获取目标图像并进行渲染，显示渲染后的目标图像和球体全景模型的表面。
为解决上述技术问题，本发明采用的第三个技术方案是：提供一种终端，终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现如上述的图像显示方法中的步骤。
为解决上述技术问题，本发明采用的第四个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的图像显示方法中的步骤。
本发明的有益效果是：区别于现有技术的情况，提供的一种图像显示方法、终端及计算机可读存储介质，图像显示方法适用于显示设备，显示设备包括显示装置，图像显示方法包括：显示设备基于显示装置的视线矢量与目标区域的球体全景模型的表面，确定视线矢量在球体全景模型的表面上的交叉点的三维坐标信息；球体全景模型是基于目标区域的全景图像进行渲染生成的；基于交叉点的三维坐标信息，确定交叉点在全景图像中的像素信息；基于交叉点在全景图像中的像素信息，确定显示包含交叉点的目标图像的控制参数；基于控制参数获取目标图像并进行渲染，显示渲染后的目标图像和球体全景模型的表面。本申请通过基于目标区域的全景图像确定对应的球体全景模型，基于显示装置的视线矢量在球体全景模型的表面的交叉点的三维坐标信息，确定交叉点在全景图像中的像素坐标，进而确定目标采集装置的控制参数，以便于获取包含交叉点的目标图像，将经过渲染的目标图像以及球体全景模型进行显示，以便于全方位查看监控空间，提升体验观感。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明提供的图像显示方法的流程示意图；
图2是本发明提供的图像显示方法中获取球体全景模型一具体实施例的流程示意图；
图3是图1提供的图像显示方法中步骤S1一具体实施例的流程示意图；
图4是图3提供的图像显示方法中步骤S13一具体实施例的流程示意图；
图5是图1提供的图像显示方法中步骤S2一具体实施例的流程示意图；
图6是图1提供的图像显示方法中步骤S3一具体实施例的流程示意图；
图7是图1提供的图像显示方法中步骤S4一具体实施例的流程示意图；
图8是本发明提供的图像显示装置一实施例的框架示意图；
图9是本发明提供的终端一实施例的框架示意图；
图10是本发明提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种图像显示方法做进一步详细描述。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
随着计算机、网络及图像处理、传输技术的飞速发展，虚拟现实(VirtualReality，VR)技术已越来越成熟，应用领域也不断扩展。但目前尚无结合虚拟现实技术的监控设备，因此本申请提供一种将VR头戴设备与安防设备相结合的图像显示方法以实时查看实际场景监控的。
本申请实施例提供的图像显示方法可由服务器或终端单独实施，或由服务器及终端协同实施。在一些实施例中，终端或服务器可以通过运行计算机程序来实现本申请实施例提供的图像显示方法。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如支持虚拟场景的客户端，如游戏APP；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
本实施例提供的图像显示方法可适用于对场地空间进行监控，该方法可以由显示设备来执行，该显示设备可以由软件和/或硬件的方式实现，显示设备可以为用户佩戴的VR眼镜、VR头盔、手持显示设备等。
下面以显示设备作为执行主体为例说明本申请实施例提供的图像显示方法。
请参阅图1，图1是本发明提供的图像显示方法的流程示意图。
本实施例中提供一种图像显示方法，该图像显示方法包括如下步骤。
S1：显示设备基于显示装置的视线矢量与目标区域的球体全景模型的表面，确定视线矢量在球体全景模型的表面上的交叉点的三维坐标信息；球体全景模型是基于目标区域的全景图像进行渲染生成的。
S2：基于交叉点的三维坐标信息，确定交叉点在全景图像中的像素信息。
S3：基于交叉点在全景图像中的像素信息，确定显示包含交叉点的目标图像的控制参数。
S4：基于控制参数获取目标图像并进行渲染，显示渲染后的目标图像和球体全景模型的表面。
具体地，步骤S1中显示设备基于显示装置的视线矢量与目标区域的球体全景模型的表面，确定视线矢量在球体全景模型的表面上的交叉点的三维坐标信息的具体实施方式如下所示。
在一实施例中，目标区域的球体全景模型的获取方法包括如下步骤。
在一实施例中，提供一种图像显示系统，图像显示系统包括相机设备以及显示设备，相机设备和显示设备之间通信连接。相机设备包括全景采集装置以及目标采集装置，显示设备包括显示装置和手柄。本实施例中，显示装置可以为VR装置。与相机设备的交互可以使用Net SDK和Play SDK等数据开发接口，采用的显示设备使用PICO Neo3，与显示设备相关的交互使用显示设备标准开发接口OpenXR SDK。相机设备登录功能主要通过Net SDK中CLIENT_Login With High Level Security接口实现，登录需传入显示设备的IP地址，端口号，用户名和密码，登录成功后返回登录ID。同一个IP地址的设备只需登录一次，从不同的通道号中返回各自的视频流。
本实施例中，全景采集装置可以为枪机摄像机，目标采集装置可以为球机摄像机。其中，全景采集装置和目标采集装置均与显示装置通信连接，以便于显示装置对全景采集装置和目标采集装置分别采集的图像进行处理和显示。手柄与目标采集装置之间通信连接，以便于手柄控制目标采集装置中显示图像的尺寸和中心位置。
请参阅图2，图2是本发明提供的图像显示方法中获取球体全景模型一具体实施例的流程示意图。
S101：获取目标区域的全景图像。
具体地，通过全景采集装置对目标区域的空间位置进行实时视频数据采集得到目标区域的全景图像。其中，全景采集装置可以为360度全景摄像机。全景采集装置通过PlaySDK的视频播放功能，将实时视频数据传输给显示设备。显示设备接收到全景采集装置传输的全景图像时设置解码回调函数和解码方式。由于显示设备具有显卡，可以通过显示设备的硬件解码视频数据中的每帧全景图像，输出的全景图像为NV12格式。其中，全景图像的分辨率为(Width，Height)。
在一实施例中，通过目标区域的不同位置安装的图像采集装置采集目标区域的图片，每帧图片上都包含至少一个标识物，每个标识物上都设有一条重垂线，根据在标识物上设置的重垂线进行影像拼合，拼合影像时，可根据重垂线将每张图片进行拼合得到目标区域的全景图像。采用重垂线可以减少误差，用于拍摄后拼接影像方面，仅以此举例，不以此为限，在实际应用中选择相应的视频采集装置及拍摄角度。
S102：预先构建初始球体模型，初始球体模型的表面具有多个顶点数据以及顶点数据对应的纹理数据。
具体地，获取显示装置的显示屏的尺寸信息，进而根据尺寸信息建立虚拟的初始球体模型，该初始球体模型的直径R可以小于或等于尺寸信息，从而使得显示装置的显示屏可以完整地显示初始球体模型。
为了提供可以从上下左右任意角度全方位观看的观景效果，全景图像的渲染过程中，通常需要将全景图像贴附在初始球体模型表面的方式、对处于显示范围的全景图像进行渲染。
本实施例中，采用360度全景渲染方法将全景图像渲染至初始球体模型上。具体地采用OpenglES进行图像渲染。
在一实施例中，将初始球体模型的表面划分为多个三角形面片，通过等经纬度划分的方式得到一系列的顶点坐标。
具体地，确定初始球体模型中的每一度(hAngle，vAngle)的顶点坐。初始球体模型的水平方向角度hAngle的取值范围为0～360度，垂直方向角度vAngle的取值范围为0～180度。
基于如下公式计算得到每一个顶点在初始球体模型的球面的三维坐标(x，y，z)。
全景图像通常是二维图像，其中每个像素点在图像中的位置信息可以用其坐标表示。由于全景图像以贴附于初始球体模型表面的方式进行渲染显示，因此每个初始球体模型的顶点都可以与全景图像中的像素点相对应，而像素点的坐标通常就称为相应球体模型顶点对应的纹理坐标。
基于如下公式计算得到初始球体模型的球面上每一个顶点对应在全景图像中的坐标(texx，texy)，作为每一个顶点对应的纹理坐标。
texx＝1-hAngle/360 (公式4)
texy＝1-vAngle/180 (公式5)
S103：基于初始球体模型上的各顶点数据、纹理数据以及全景图像，生成球体全景模型。
具体地，将全景图像作为纹理映射在初始球体模型的表面，以使各三角形面片内存储全景图像的部分图像。
通过上述步骤可以实现显示设备将全景采集装置获取的全景图像渲染至初始球体模型的表面，从而得到表面渲染有图像内容的球体全景模型。当沿着球体全景模型的表面移动时，根据当前顶点的纹理坐标从全景图像中采样颜色信息，从而实现全景图像在球体表面的正确显示。
在一实施例中，目标区域的球体全景模型的获取方法还包括如下步骤。
在进行全景图像展示时，通常显示给用户的并不是整个全景图像，而是处于球体全景模型显示范围内的全景图像，显示范围通常可以由观看者的视线方向、预设的视场角、以及球体模型半径(可以根据球体模型数据获知，关于球体模型数据请参见后面步骤102中的说明)确定。预设的视场角包括对应于水平方向的视场角(fovh)和对应于垂直方向的视场角(fovv)。
S104：基于采集目标区域的全景图像的全景采集装置的属性信息，确定球体全景模型对应的水平显示视角范围和垂直显示视角范围。
具体地，全景采集装置的属性信息包括全景采集装置的水平方向视场角(fovh)、垂直方向视场角(fovv)和下倾角(Pdown)。根据全景采集装置的水平方向视场角、垂直方向视场角以及下倾角确定全景图像在三维渲染球面的绘制位置的起始角度和终止角度。
采用如下公式计算得到球体全景模型对应的水平显示视角范围和垂直显示视角范围。
hAngleright＝360-hAngle-left (公式7)
S105：将球体全景模型表面处于水平显示视角范围和垂直显示视角范围内的图像进行显示。
在一实施例中，将全景图像作为纹理映射在初始球体模型的水平显示视场角范围(hAngleleft，hAngleright)和垂直显示视场角范围(vAngletop，hAnglebot)内的表面，以使水平显示视场角范围和垂直显示视场角范围内的各三角形面片内存储全景图像的部分图像。
在一实施例中，目标区域的球体全景模型的获取方法还包括如下步骤。
在一实施例中，确定视线矢量在球体全景模型的表面上的交叉点的三维坐标信息具体包括如下步骤。
请参阅图3，图3是图1提供的图像显示方法中步骤S1一具体实施例的流程示意图。
S11：基于显示装置的属性信息，确定视线对应的射线方程。
具体地，显示装置的属性信息包括左眼和右眼分别对应的视场角信息、位置信息和朝向信息。其中，视场角信息由上下左右四个角度分量组成；位置信息由x、y、z三个分量组成；朝向信息由x、y、z、w四个分量组成，为单位四元数。
基于左眼的位置信息和右眼的位置信息作为视线的起点位置position。
position＝(View[0].position+View[1].Position)/2 (公式10)
式中：View[0].position表示左眼的位置信息；View[1].position表示右眼的位置信息。
根据左眼的朝向信息和右眼的朝向信息确定视线的朝向信息。
式中：View[0].Orientation表示左眼的朝向信息；View[1].Orientation表示右眼的朝向信息。
具体地，根据视线对应的位置信息以及朝向信息确定视线对应的射线方程P(t)。
P(t)＝position+D·t (公式14)
式中：D表示dirX、dirY和dirZ三个分量。
S12：基于球体全景模型的属性信息，确定球体全景模型的球面方程；球体全景模型的属性信息包括球体半径。
具体地，基于球体全景模型的半径确定球体全景模型的球面方程。
x2+y2+z2＝R2 (公式15)
S13：基于射线方程和球面方程，确定显示装置的视线矢量在球体全景模型的表面上的交叉点的三维坐标信息。
请参阅图4，图4是图3提供的图像显示方法中步骤S13一具体实施例的流程示意图。
S131：基于射线方程和球面方程，确定显示装置的视线矢量在球体全景模型的表面上的候选交叉点的三维坐标信息。
具体地，基于射线方程和球面方程，确定显示装置的视线矢量在球体全景模型的表面上的两个候选交叉点的三维坐标信息为其中，a＝dirX*dirX+dirY*dirY+dirZ*dirZ；b＝2*(dirX*position.x+dirY*position.y+dirZ*position.z；c＝position.x*position.x+position.y*position.y+position.z*position.z。
S132：基于候选交叉点在球体全景模型表面的三维坐标信息，确定各候选交叉点对应的水平角度信息和垂直角度信息。
具体地，采用如下公式基于候选交叉点在球体全景模型表面的三维坐标信息，确定各候选交叉点对应的水平角度信息和垂直角度信息。
通过上述公式可以计算得到两个候选交叉点分别对应的水平角度信息和垂直角度信息。
S133：选取水平角度信息处于水平显示视角范围且垂直角度信息处于垂直显示视角范围的候选交叉点作为交叉点。
具体地，响应于候选交叉点对应的水平角度信息处于球体全景模型的水平显示视角范围内，且候选交叉点对应的垂直角度信息处于球体全景模型的垂直显示视角范围内，则将该候选交叉点保留。
响应于候选交叉点对应的水平角度信息未处于球体全景模型的水平显示视角范围内，和/或候选交叉点对应的垂直角度信息未处于球体全景模型的垂直显示视角范围内，则将该候选交叉点删除。
通过上述步骤得到视线与球体全景模型的表面上的交叉点的三维坐标信息。
具体地，步骤S2中基于交叉点的三维坐标信息，确定交叉点在全景图像中的像素信息的具体实施方式如下所示。
请参阅图5，图5是图1提供的图像显示方法中步骤S2一具体实施例的流程示意图。
S21：基于交叉点在球体全景模型表面的三维坐标信息，确定交叉点对应的水平角度信息和垂直角度信息。
具体地，通过上述公式16和公式17可以计算得到保留的交叉点分别对应的水平角度信息和垂直角度信息。
S22：基于交叉点对应的水平角度信息和垂直角度信息、水平显示视角范围和垂直显示视角范围以及全景图像的分辨率，确定交叉点在目标区域的全景图像上的像素点坐标。
具体地，采用如下公式基于交叉点对应的水平角度信息和垂直角度信息、水平显示视角范围和垂直显示视角范围以及全景图像的分辨率，确定交叉点在目标区域的全景图像上的像素点坐标(Pixx，Pixy)。
具体地，步骤S3中基于交叉点在全景图像中的像素信息，确定显示包含交叉点的目标图像的控制参数的具体实施方式如下所示。
请参阅图6，图6是图1提供的图像显示方法中步骤S3一具体实施例的流程示意图。
S31：基于交叉点在全景图像上的像素点坐标在预设关系表中查找；预设关系表包括多个预设坐标，各预设坐标具有对应的预设操作参数。
具体地，预先构建预设关系表，预设关系表包括多个预设坐标，各预设坐标具有对应的预设操作参数。其中，预设坐标表示全景图像中任一像素点坐标。
本实施例中，通过全景采集装置采集的全景图像中各像素点具有对应的预设坐标，利用预先建立的目标转换关系，将预设坐标转换为在球体全景模型上的PTZ坐标，根据转换后的PTZ坐标调整目标采集装置的俯仰角、航向角，使得目标采集装置采集的目标图像可以将预设坐标对应的像素点作为中心点。其中，各预设坐标对应的目标采集装置的俯仰角和航向角作为预设坐标的预设操作参数。
通过上述构建的预设关系表，可以根据全景图像中各像素点的坐标位置，确定目标采集装置的画面中以该像素点作为中心点所需旋转的航向角和俯仰角。
S32：将与像素点坐标匹配的预设坐标对应的预设操作参数作为采集目标图像的目标采集装置的控制参数，控制参数包括偏航角和俯仰角；目标图像为以交叉点作为中心点的全景图像中的局部区域的放大图像。
具体地，将像素点坐标与预设关系表中的预设坐标进行比对，确定与像素点坐标匹配的预设坐标，提高响应速度。
将预设坐标对应的预设操作参数作为采集目标图像的目标采集装置的控制参数，以使基于控制参数调节的目标采集装置中显示的目标图像的中心点为像素点坐标。
在一实施例中，预设操作参数还包括调节倍率和焦距。
具体地，步骤S4中将基于控制参数获取目标图像并进行渲染，显示渲染后的目标图像和球体全景模型的表面的具体实施方式如下所示。
请参阅图7，图7是图1提供的图像显示方法中步骤S4一具体实施例的流程示意图。
S41：基于控制参数调节目标采集装置，并获取目标采集装置显示的目标图像。
具体地，基于控制参数调节目标采集装置，以使目标采集装置基于偏航角和俯仰角进行转动，以使目标采集装置中显示的目标图像的中心点为交叉点。
根据交叉点在全景图像中坐标位置、全景采集装置和目标采集装置的标定结果，调动目标采集装置转动到目标图像聚焦交叉点的位置。
S42：对目标图像进行二维渲染，得到渲染后的目标图像。
具体地，对目标图像进行平面渲染，得到渲染后的目标图像。
在一实施例中，获取初始平面模型，初始平面模型包括多个顶点数据、各顶点数据具有纹理数据。目标图像是二维图像，其中每个像素点在图像中的位置信息可以用其坐标表示。由于目标图像以贴附于初始平面模型表面的方式进行渲染显示，因此每个初始平面模型的顶点都可以与目标图像中的像素点相对应，而像素点的坐标通常就称为相应初始平面模型顶点对应的纹理坐标。
将目标图像作为纹理映射在初始平面模型的表面，以使各三角形面片内存储目标图像的部分图像。
通过上述步骤可以实现显示设备将目标采集装置获取的目标图像渲染至初始平面模型的表面，从而得到表面渲染有图像内容的平面模型。
S43：显示渲染后的目标图像和球体全景模型。
本实施例中，使用Openg lES对全景图像进行三维渲染、对目标图像进行二维渲染，以使显示装置上显示渲染后的目标图像和球体全景模型。其中，显示装置上显示的是渲染后的目标图像悬浮于球体全景模型的表面。
在一实施例中，显示设备还包括手柄。其中，手柄由扳机键、侧按键、摇杆、APP/返回键、HOME键、A/X键、B/Y键组成。
在一实施例中，OpenXR SDK可获取到各个按键的单击和释放状态，扳机键的按下和释放状态、按压值，摇杆的单击和释放状态、摇杆位置等。其中，A/X键、B/Y键可以控制目标采集装置的变倍功能；B/Y键按下时可以开启球机增大倍数、释放时可以停止目标采集装置增大倍数；A/X键按下时可以开启目标采集装置减小倍数，释放时停止目标采集装置减小倍数。
具体地，使用摇杆位置控制目标采集装置的旋转功能，根据实时获取的摇杆位置的值，分别为水平方向的x和垂直方向的y值，并记录目标采集装置上次方向状态和当前方向状态。摇杆的坐标系统为x轴向右为正，y轴向上为正，分别对应目标采集装置向右和向上转动。获取目标采集装置触碰状态时，首先根据当前x值和y值给定当前方向状态，当x和y都等于0时，状态为默认状态，目标采集装置控制为停止运动；其他状态根据x和y的值分别定义为向上、向下、向左、向右、左上、左下、右上、右下方向。若当前方向动态和上次方向状态一致时，则不进行任何操作；若当前方向状态和上次方向状态不一致时，首先调用上一状态的停止运动功能，然后调用当前状态的开启运动功能。
使用手柄的扳机键控制目标图像的显示状态。初始状态时，目标图像默认显示为当前视野的右上角，扳机键扣动时，目标图像的显示位置在给定帧数内逐步从右上角移动到视野中心，且渲染平面逐渐增大；扳机键再次扣动时，目标图像的显示位置将逐步从视野中心移动到视野右上角，且渲染平面逐渐缩小。具体地，预先定义好视野右上角和视野中心的位置和缩放尺度，实时记录每一次扳机的按键状态进行累加，当按键次数为奇数时，根据视野中心和右上角的位置、缩放尺度以及当前帧数计算当前绘制位置和缩放尺度，传给渲染层进行绘制。
目标采集装置控制功能主要通过NetSDK中CLIENT_DHPTZControlEx该接口实现，CLIENT_NET_API BOOL CALL_METHOD CLIENT_DHPTZControlEx(LLONG lLoginID,intnChannelID,DWORD dwPTZCommand,LONG lParam1,LONG lParam2,LONG lParam3,BOOLdwStop)。其中lLoginID表示目标采集装置的登录ID，nChannelID表示目标采集装置的通道号，dwPTZCommand为目标采集装置的控制命令类型，lParam1，lParam2，lParam3分别表示不同目标采集装置的控制命令所需参数，dwStop表示目标采集装置的运动状态。
全景采集装置和目标采集装置的联动功能通过传递dwPTZCommand为DH_EXTPTZ_EXACTGOTO实现，其中lParam1传参P，lParam2传参T，lParam3传参Z。全景采集装置和目标采集装置的联动功能为枪球联动，枪球联动是将枪型摄像机和球形摄像机通过智能化技术进行联合控制与协同工作的机制。这种联动功能使得两个不同类型的摄像设备能够根据预设的规则或实时触发事件相互配合。联动时，一旦球形摄像机检测到特定行为或异常事件(如入侵检测、人数统计等)，系统会自动调整枪型摄像机的方向和焦距，使其精确地对准并追踪目标，以便获取更清晰详细的画面。
目标采集装置的转动功能转动到向上、向下、向左、向右、左上、左下、右上、右下方向分别通过传递dwPTZCommand为DH_PTZ_UP_CONTROL、DH_PTZ_DOWN_CONTROL、DH_PTZ_LEFT_CONTROL、DH_PTZ_RIGHT_CONTROL、DH_EXTPTZ_LEFTTOP、DH_EXTPTZ_LEFTDOWN、DH_EXTPTZ_RIGHTTOP、DH_EXTPTZ_RIGHTDOWN实现，其中单个方向转动只需传参lParam2，表示运行速度；复合方向转动则需额外传递lParam1，表示运行速度；dwStop传参0表示开始运动，传参1表示停止运动。
具体地，通过手柄基于控制参数调节目标采集装置转动，显示目标图像。
具体地，通过手柄对目标图像的进行倍率调节和/或聚焦。具体地，目标采集装置的变倍功能放大、缩小分别通过传递dwPTZCommand为DH_PTZ_ZOOM_ADD_CONTROL和DH_PTZ_ZOOM_DEC_CONTROL来实现，传参lParam2，表示运行速度，dwStop传参0表示开始运动，传参1表示停止运动。
本实施例中提供的手柄的不同按键可分别控制目标采集装置的变倍和聚焦，手柄的转盘可以控制球机的转动。
本实施例提供的图像显示方法适用于显示设备，显示设备包括显示装置，图像显示方法包括：显示设备基于显示装置的视线矢量与目标区域的球体全景模型的表面，确定视线矢量在球体全景模型的表面上的交叉点的三维坐标信息；球体全景模型是基于目标区域的全景图像进行渲染生成的；基于交叉点的三维坐标信息，确定交叉点在全景图像中的像素信息；基于交叉点在全景图像中的像素信息，确定显示包含交叉点的目标图像的控制参数；基于控制参数获取目标图像并进行渲染，显示渲染后的目标图像和球体全景模型的表面。本申请通过基于目标区域的全景图像确定对应的球体全景模型，基于显示装置的视线矢量在球体全景模型的表面的交叉点的三维坐标信息，确定交叉点在全景图像中的像素坐标，进而确定目标采集装置的控制参数，以便于获取包含交叉点的目标图像，将经过渲染的目标图像以及球体全景模型进行显示，以便于全方位查看监控空间，提升体验观感。
请参阅图8，图8是本发明提供的图像显示装置一实施例的框架示意图。本实施例提供一种图像显示装置60，图像显示装置60包括处理模块61、分析模块62、确定模块63、显示模块64。
处理模块61用于显示设备基于显示装置的视线矢量与目标区域的球体全景模型的表面，确定视线矢量在球体全景模型的表面上的交叉点的三维坐标信息；球体全景模型是基于目标区域的全景图像进行渲染生成的。
分析模块62用于基于交叉点的三维坐标信息，确定交叉点在全景图像中的像素信息。
确定模块63用于基于交叉点在全景图像中的像素信息，确定显示包含交叉点的目标图像的控制参数。
显示模块64用于基于控制参数获取目标图像并进行渲染，显示渲染后的目标图像和球体全景模型的表面。
本实施例提供的图像采集装置，通过基于目标区域的全景图像确定对应的球体全景模型，基于显示装置的视线矢量在球体全景模型的表面的交叉点的三维坐标信息，确定交叉点在全景图像中的像素坐标，进而确定目标采集装置的控制参数，以便于获取包含交叉点的目标图像，将经过渲染的目标图像以及球体全景模型进行显示，以便于全方位查看监控空间，提升体验观感。
请参阅图9，图9是本发明提供的终端一实施例的框架示意图。终端80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一图像显示方法实施例的步骤。在一个具体的实施场景中，终端80可以包括但不限于：微型计算机、服务器，此外，终端80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器82用于控制其自身以及存储器81以实现上述任一图像显示方法实施例的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
请参阅图10，图10是本发明提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述任一图像显示方法实施例的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像显示方法，其特征在于，所述图像显示方法适用于显示设备，所述显示设备包括显示装置，所述图像显示方法包括：
所述显示设备基于所述显示装置的视线矢量与目标区域的球体全景模型的表面，确定所述视线矢量在所述球体全景模型的表面上的交叉点的三维坐标信息；所述球体全景模型是基于所述目标区域的全景图像进行渲染生成的；
基于所述交叉点的三维坐标信息，确定所述交叉点在所述全景图像中的像素信息；
基于所述交叉点在所述全景图像中的像素信息，确定显示包含所述交叉点的目标图像的控制参数；
基于所述控制参数获取所述目标图像并进行渲染，显示渲染后的所述目标图像和所述球体全景模型的表面。
2.根据权利要求1所述的图像显示方法，其特征在于，
所述目标区域的球体全景模型的获取方法包括：
获取目标区域的全景图像；
预先构建初始球体模型，所述初始球体模型的表面具有多个顶点数据以及所述顶点数据对应的纹理数据；
基于所述初始球体模型上的各所述顶点数据、所述纹理数据以及所述全景图像，生成所述球体全景模型。
其中，所述目标区域的球体全景模型的获取方法还包括：
基于采集所述目标区域的全景图像的全景采集装置的属性信息，确定所述球体全景模型对应的水平显示视角范围和垂直显示视角范围；
将所述球体全景模型表面处于所述水平显示视角范围和所述垂直显示视角范围内的图像进行显示。
3.根据权利要求1所述的图像显示方法，其特征在于，
所述基于所述显示装置的视线矢量与目标区域的球体全景模型的表面，确定所述视线矢量在所述球体全景模型的表面上的交叉点的三维坐标信息，包括：
基于所述显示装置的属性信息，确定所述视线对应的射线方程；所述显示装置的属性信息包括左眼和右眼分别对应的视场角信息、位置信息和朝向信息；
基于所述球体全景模型的属性信息，确定所述球体全景模型的球面方程；所述球体全景模型的属性信息包括球体半径；
基于所述射线方程和所述球面方程，确定所述显示装置的视线矢量在所述球体全景模型的表面上的交叉点的三维坐标信息。
4.根据权利要求3所述的图像显示方法，其特征在于，
所述基于所述射线方程和所述球面方程，确定所述显示装置的视线矢量在所述球体全景模型的表面上的交叉点的三维坐标信息，包括：
基于所述射线方程和所述球面方程，确定所述显示装置的视线矢量在所述球体全景模型的表面上的候选交叉点的三维坐标信息；
基于所述候选交叉点在所述球体全景模型表面的三维坐标信息，确定各所述候选交叉点对应的水平角度信息和垂直角度信息；
选取所述水平角度信息处于水平显示视角范围且所述垂直角度信息处于垂直显示视角范围的所述候选交叉点作为所述交叉点。
5.根据权利要求1所述的图像显示方法，其特征在于，所述像素信息包括像素点坐标；
所述基于所述交叉点的三维坐标信息，确定所述交叉点在所述全景图像中的像素信息，包括：
基于所述交叉点在所述球体全景模型表面的三维坐标信息，确定所述交叉点对应的水平角度信息和垂直角度信息；
基于所述交叉点对应的所述水平角度信息和所述垂直角度信息、水平显示视角范围和垂直显示视角范围以及所述全景图像的分辨率，确定所述交叉点在所述目标区域的全景图像上的像素点坐标。
6.根据权利要求5所述的图像显示方法，其特征在于，
所述基于所述交叉点在所述全景图像中的像素信息，确定显示包含所述交叉点的目标图像的控制参数，包括：
基于所述交叉点在所述全景图像上的像素点坐标在预设关系表中查找；所述预设关系表包括多个预设坐标，各所述预设坐标具有对应的预设操作参数；
将与所述像素点坐标匹配的所述预设坐标对应的所述预设操作参数作为采集所述目标图像的目标采集装置的控制参数，所述控制参数包括偏航角和俯仰角；所述目标图像为以所述交叉点作为中心点的所述全景图像中的局部区域的放大图像。
7.根据权利要求1～6任一项所述的图像显示方法，其特征在于，
所述基于所述控制参数获取所述目标图像并进行渲染，显示渲染后的所述目标图像和所述球体全景模型的表面，包括：
基于所述控制参数调节目标采集装置，并获取所述目标采集装置显示的所述目标图像；
对所述目标图像进行二维渲染，得到渲染后的所述目标图像；
显示所述渲染后的所述目标图像和所述球体全景模型。
8.根据权利要求7所述的图像显示方法，其特征在于，所述显示设备还包括手柄；
所述基于所述控制参数调节目标采集装置，并获取所述目标采集装置显示的所述目标图像，包括：
通过所述手柄基于所述控制参数调节所述目标采集装置转动，显示所述目标图像；
所述对所述目标图像进行二维渲染，得到渲染后的所述目标图像的步骤之后，还包括：
通过所述手柄对所述目标图像的进行倍率调节和/或聚焦。
9.一种终端，其特征在于，所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于执行程序数据以实现如权利要求1～8任一项所述的图像显示方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～8任一项所述的图像显示方法中的步骤。
CN202410316326.9A 2024-03-19 2024-03-19 一种图像显示方法、终端及计算机可读存储介质 Pending CN118301285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410316326.9A CN118301285A (zh) 2024-03-19 2024-03-19 一种图像显示方法、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410316326.9A CN118301285A (zh) 2024-03-19 2024-03-19 一种图像显示方法、终端及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN118301285A true CN118301285A (zh) 2024-07-05

Family

ID=91676772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410316326.9A Pending CN118301285A (zh) 2024-03-19 2024-03-19 一种图像显示方法、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN118301285A (zh)

Similar Documents

Publication Publication Date Title
CN114327700B (zh) 一种虚拟现实设备及截屏图片播放方法
US8253649B2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
US11282264B2 (en) Virtual reality content display method and apparatus
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
US20240078703A1 (en) Personalized scene image processing method, apparatus and storage medium
CN110072087B (zh) 基于3d地图的摄像机联动方法、装置、设备及存储介质
US11294535B2 (en) Virtual reality VR interface generation method and apparatus
WO2018188499A1 (zh) 图像、视频处理方法和装置、虚拟现实装置和存储介质
CN113223130B (zh) 一种路径漫游方法、终端设备以及计算机存储介质
JP7182920B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN105872353A (zh) 一种在移动设备上实现播放全景视频的系统和方法
US12417597B2 (en) Systems and methods for augmented reality video generation
CN110602383A (zh) 监控摄像头的位姿调节方法、装置、终端及存储介质
JP2024114712A (ja) 撮像装置、撮像方法、及び、プログラム
CN114040119A (zh) 全景视频显示方法、装置和计算机设备
WO2022111005A1 (zh) 虚拟现实设备及vr场景图像识别方法
CN117768628A (zh) 投影设备及一种投影处理方法
KR102176805B1 (ko) 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
CN114779981B (zh) 全景视频中可拖拽式热点交互方法、系统及存储介质
CN118301285A (zh) 一种图像显示方法、终端及计算机可读存储介质
CN114339029B (zh) 拍摄方法、装置及电子设备
CN118301286A (zh) 一种图像显示方法、终端及计算机可读存储介质
CN112887695A (zh) 一种全景图共享处理方法、系统以及终端
CN112286355A (zh) 一种用于沉浸式内容的交互方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination