[go: up one dir, main page]

WO2019041351A1 - 一种3d vr视频与虚拟三维场景实时混叠渲染的方法 - Google Patents

一种3d vr视频与虚拟三维场景实时混叠渲染的方法 Download PDF

Info

Publication number
WO2019041351A1
WO2019041351A1 PCT/CN2017/100412 CN2017100412W WO2019041351A1 WO 2019041351 A1 WO2019041351 A1 WO 2019041351A1 CN 2017100412 W CN2017100412 W CN 2017100412W WO 2019041351 A1 WO2019041351 A1 WO 2019041351A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
scene
camera
rendering
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/100412
Other languages
English (en)
French (fr)
Inventor
程斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ideapool Culture & Technology Co Ltd
Original Assignee
Ideapool Culture & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ideapool Culture & Technology Co Ltd filed Critical Ideapool Culture & Technology Co Ltd
Priority to PCT/CN2017/100412 priority Critical patent/WO2019041351A1/zh
Priority to US16/641,271 priority patent/US11076142B2/en
Publication of WO2019041351A1 publication Critical patent/WO2019041351A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Definitions

  • the invention relates to the field of computer graphics image processing, and in particular to a method for real-time aliasing rendering of a 3D VR video and a virtual three-dimensional scene.
  • VR is the abbreviation of Virtual Reality, Chinese means virtual reality.
  • VR video is a panoramic video mode that uses VR technology.
  • media such as planes, television, movies, and networks.
  • It is also a commercial market with key software and hardware manufacturers. But with the products in the market today, it is only possible to complete simple VR video capture and simple live broadcast functions, while a slightly more complicated effect requires a lot of complicated post-production work.
  • the video produced by the existing three-dimensional video rendering technology lacks realism in the performance of details, without real immersion, and is watched for a long time. It can cause eye irritation and dizziness.
  • the present invention proposes a real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene, the method comprising:
  • the adjusted virtual camera rendering parameters are generated according to the physical position of the 3D camera and the shooting angle relationship;
  • the texture data is aliased to a specific virtual three-dimensional object in the virtual scene in the form of a texture map, and the position of the virtual three-dimensional object is adjusted according to the physical position relationship between the virtual three-dimensional scene and the real scene.
  • the rendering process is adjusted, and the virtual camera and the realistic 3D scene are rendered by using virtual camera rendering parameters to obtain a simulated rendering image.
  • the texture data includes left eye scene texture data and right eye scene texture data, where the left eye scene texture data and the right eye scene texture data respectively correspond to the left and right lenses of the 3D camera, and is used as a left eye of the simulated human eye.
  • Scene and right eye scene are respectively correspond to the left and right lenses of the 3D camera, and is used as a left eye of the simulated human eye.
  • the left-eye scene texture data is used when the left-eye scene is aliased
  • the right-eye scene texture data is used when the right-eye scene is aliased.
  • the three-dimensional scene data of the left and right eyes combined with the virtual reality is formed.
  • the process of rendering the virtual and realistic combined left and right eye 3D scene data by using the virtual camera rendering parameter is further: when the left camera 3D scene data is rendered by using the virtual camera left lens parameter, the texture map uses the virtual camera left lens.
  • the data is used to render the right eye 3D scene data using the virtual camera right lens parameter, and the texture map uses the data of the virtual camera right lens.
  • the data of a set of rendered pictures simulating the left and right eyes is stored in a set of left and right eyes.
  • processing the video signal comprises performing deinterleaving processing on the interlaced data and performing image processing on the blue-green background of the video source data.
  • a virtual three-dimensional scene can be created by using a fixed scaling ratio.
  • the conversion ratio of the virtual three-dimensional scene to the real scene may be 100:1.
  • generating the virtual camera related parameters includes: generating a virtual camera position by using a camera position Set the simulated real camera position, camera rotation to simulate the real camera shooting angle, camera opening angle to simulate the real camera Zoom and the lens distance to simulate the real camera lens distance.
  • the texture map uses the data corresponding to the left camera lens of the virtual camera; when the right-eye scene video signal is rendered according to the virtual camera right-lens parameter, the texture map uses the corresponding virtual camera right Lens data.
  • the rendering includes 360 degree panoramic rendering and VR glasses mode rendering.
  • 360-degree panoramic rendering is to combine each set of left and right eye rendering images into a complete picture by 1:1
  • VR glasses rendering is to arrange each group of left and right eye renderings in the left and right 1:1 way. For a finished picture.
  • the invention adopts the 360 panoramic image of the left and right eyes and the virtual graphics and images of the virtual three-dimensional scene respectively to perform independent 360 panoramic rendering by using the positional view relationship of the simulated human eye, and performs VR by using the simulated human eye perspective imaging principle technology.
  • the rendering of the perspective scene ensures that the output effect is close to the human eye's perception angle, so that the user is immersed in the environment, so that when the user experiences the left and right eyes, respectively, the rendered image with the difference in viewing angle is more realistic, and the long-time viewing does not produce an eye. Discomfort, which greatly improves immersion and comfort.
  • FIG. 1 is a flowchart of a method for real-time aliasing rendering of a 3D VR video and a virtual three-dimensional scene according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of a method for real-time aliasing rendering of a 3D VR video and a virtual three-dimensional scene according to another embodiment of the present invention.
  • left and right eye simulations are performed by the left and right lenses of the 3D camera.
  • FIG. 3 is a schematic diagram showing the layout of VR glasses by performing left and right eye simulation on the left and right lenses of the 3D camera according to another embodiment of the present invention.
  • FIG. 4 is a schematic diagram of 360 panoramic layout of the left and right eye simulations performed by the left and right lenses of the 3D camera according to another embodiment of the present invention.
  • FIG. 1 is a flowchart of a method for real-time aliasing rendering of a 3D VR video and a virtual three-dimensional scene. As shown in Figure 1, the method includes:
  • S101 Collect and process a 3D camera signal.
  • the 3D camera video signal is collected in real time and the video signal is processed to generate texture data;
  • the processing the video signal may include performing deinterleaving processing on the interlaced data and performing image processing on the blue-green background of the video source data.
  • S102 Create a virtual three-dimensional scene. Creating a virtual three-dimensional scene according to a realistic scene scale; optionally, creating a virtual three-dimensional scene with a fixed scaling ratio;
  • generating the virtual camera related parameters includes: generating a virtual camera position to simulate a real camera position, a camera rotation to simulate a real camera shooting angle, a camera opening angle to simulate a real camera Zoom, and a lens distance to simulate a real camera lens distance;
  • aliasing forms a three-dimensional scene combined with virtual reality.
  • the texture data is aliased to a specific virtual three-dimensional object in the virtual scene in the form of a texture map, and the position of the virtual three-dimensional object is adjusted according to the physical position relationship between the virtual three-dimensional scene and the real scene.
  • a virtual reality combined 3D scene Form a virtual reality combined 3D scene.
  • S105 rendering a three-dimensional scene combined with virtual reality.
  • the rendering process is adjusted, and the virtual camera and the realistic 3D scene are rendered by using virtual camera rendering parameters to obtain a simulated rendering image.
  • FIG. 2 is a flow chart showing another embodiment of a method for real-time aliasing rendering of a 3D VR video and a virtual three-dimensional scene of FIG. 1.
  • the left and right lenses of the 3D camera are passed Simulate the human eye, the specific steps are:
  • S201 Collect and process left and right lens scene signals of the 3D camera in real time, and generate left eye scene texture data and right eye scene texture data.
  • the scene signals captured by the left and right lenses of the 3D camera are respectively used as a left eye scene signal and a right eye scene signal, and are used to simulate a left eye scene and a right eye scene of the human eye.
  • the processing the video signal may include performing deinterleaving processing on the interlaced data and performing image processing on the blue-green background of the video source data.
  • S202 Create a virtual three-dimensional scene. Create a virtual 3D scene according to the scale of the real scene; optionally, create a virtual 3D scene with a fixed scale.
  • the virtual camera rendering parameters are generated according to the physical position of the real 3D camera and the shooting angle relationship.
  • generating the virtual camera related parameters includes: generating a virtual camera position to simulate a real camera position, a camera rotation to simulate a real camera shooting angle, a camera opening angle to simulate a real camera Zoom, and a lens distance to simulate a real camera lens distance.
  • aliasing forms a three-dimensional scene combined with virtual reality.
  • the texture data is aliased to a specific virtual three-dimensional object in the virtual scene, specifically: the texture data is aliased in the form of a texture map according to the picture effect captured by the 3D camera.
  • the virtual virtual three-dimensional object in the virtual scene is adjusted according to the physical positional relationship between the virtual three-dimensional scene and the real scene, and the virtual reality combined three-dimensional scene is formed.
  • the left eye scene texture data is used when the left eye scene is aliased, and the right eye scene texture data is used when the right eye scene is aliased to form a virtual reality combined left and right eye 3D scene data.
  • the virtual and realistic combined left and right eye three-dimensional scene data is rendered by using virtual camera rendering parameters.
  • the texture map uses the virtual camera left lens data
  • the texture map uses the virtual camera right Lens data.
  • the simulated 3D rendered picture data can be stored in a set of left and right eyes.
  • rendering can include 360 degree panoramic rendering and VR glasses mode rendering.
  • the 360-degree panoramic rendering is a combination of each of the left and right eye rendering screens 1:1 to form a complete picture.
  • the scenes shot by the left and right lenses of the 3D camera are respectively used as the left eye scene and the right eye scene, and are collected and processed to generate multiple groups.
  • the left eye scene texture data and the right eye scene texture data are simulated for the left and right eyes.
  • the VR glasses mode rendering is to combine each set of left and right eye rendering pictures in a left and right 1:1 way to form a complete picture.
  • the present invention performs independent 360 panoramic rendering by using the 360 panoramic image of the left and right eyes and the virtual graphics and images of the virtual three-dimensional scene respectively by using the positional view relationship of the simulated human eye.
  • the left and right eyes respectively see that the rendered picture with poor viewing angle is more realistic and more immersive.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种3D VR视频与虚拟三维场景实时混叠渲染方法，包括：实时采集3D摄像机视频信号并进行处理，生成纹理数据；根据现实场景比例创建虚拟三维场景；按照3D摄像机物理位置和拍摄角度关系生成虚拟摄像机渲染参数；将所述纹理数据混叠到虚拟场景中的虚拟三维物件上，按照虚拟三维场景与真实场景的物理位置关系调整虚拟三维物件的位置，形成完整的虚拟现实结合的三维场景；采用虚拟摄像机渲染参数对所述虚拟和现实结合的三维场景进行渲染，得到仿真渲染画面；其中，将3D摄像机左右镜头拍摄的场景分别做为左右眼场景进行信号采集和处理，生成多组的左右眼场景纹理数据，并混叠渲染，得到仿真左右眼的一组渲染画面。

Description

一种3D VR视频与虚拟三维场景实时混叠渲染的方法 技术领域
本发明涉及计算机图形图像处理领域，具体涉及一种3D VR视频与虚拟三维场景实时混叠渲染的方法。
背景技术
VR是Virtual Reality的英文缩写，中文意为虚拟实境。而VR视频就是利用VR技术呈现的全景视频模式。它作为这两年新兴的视频模式发展十分迅速，已经成为平面、电视、电影、网络等多个媒体竞相发展的重要传播手段，也是各个软硬件产商重点投入的商业市场。但是利用现在市场中的产品，仅仅能够完成简单的VR视频拍摄和简单的直播功能，而稍微复杂一点的效果就需要大量复杂的后期制作工作。
当前在产品市场中，大都还只是集中在摄像设备(全景摄像机)以及观看设备(VR眼镜)的研发上，而在中间的制作设备上和三维图文引擎上的投入却很少，只有国外的少数几家公司可以提供类似的产品，而且还存在着功能单一，操作复杂等问题。这其中，在视频和图文图像的渲染也仅仅是三维视频与图文图像简单的叠加渲染，并不具备仿真的效果。通常使用的360全景渲染的虚拟摄像机并不采用仿真左右眼方式，而是通过后期的再次制作，将渲染好的视频简单地输出给VR眼镜等虚拟设备，来模拟左右眼观看的情景。而由于现实中，左右眼分别看到的物体和场景会有视角差，因此，通过现有的三维视频渲染技术制作的视频在细节的表现上缺乏逼真感，没有真实的沉浸感，长时间观看会产生眼部不适以及眩晕感。
发明内容
针对上面提到的现有技术中存在的技术问题，本发明提出了一种3D VR视频与虚拟三维场景实时混叠渲染方法，该方法包括：
实时采集3D摄像机视频信号并对视频信号进行处理，生成纹理数据；
根据现实场景比例创建虚拟三维场景；
按照3D摄像机物理位置和拍摄角度关系生成调节虚拟摄像机渲染参数；
根据3D摄像机拍摄的画面效果，将所述纹理数据以纹理贴图的形式混叠到虚拟场景中的具体虚拟三维物件上，并按照虚拟三维场景与真实场景的物理位置关系调整虚拟三维物件的位置，形成虚拟现实结合的三维场景；
对应虚拟摄像机渲染参数调整渲染流程，采用虚拟摄像机渲染参数对所述虚拟和现实结合的三维场景进行渲染，得到仿真渲染画面。
可选地，所述纹理数据包括左眼场景纹理数据和右眼场景纹理数据，该左眼场景纹理数据和右眼场景纹理数据分别对应所述3D摄像机左右镜头，做为仿真人眼的左眼场景和右眼场景。
在将所述纹理数据混叠到虚拟场景中的具体虚拟三维物件上过程中，混叠左眼场景的时候使用所述左眼场景纹理数据，混叠右眼场景的时候使用右眼场景纹理数据，形成虚拟现实结合的左右眼三维场景数据。
其中，采用虚拟摄像机渲染参数对所述虚拟和现实结合的左右眼三维场景数据进行渲染的过程进一步为：使用虚拟摄像机左镜头参数对左眼三维场景数据进行渲染时，纹理贴图使用虚拟摄像机左镜头的数据；使用虚拟摄像机右镜头参数对右眼三维场景数据进行渲染时，纹理贴图使用虚拟摄像机右镜头的数据。
仿真左右眼的一组渲染画面的数据采用左右眼一组的方式存储。
可选地，对所述视频信号进行处理包括对隔行数据进行去交织处理和对视频源数据为蓝绿背景进行抠像处理。
在根据现实场景比例创建虚拟三维场景步骤中，可选用固定的换算比例创建虚拟三维场景。所述虚拟三维场景与所述现实场景的换算比例可以为100:1。
可选地，生成所述虚拟摄像机相关参数包括：摄像机位置生成虚拟摄像机位 置模拟真实摄像机位置、摄像机旋转模拟真实摄像机拍摄角度、摄像机开口角模拟真实摄像机Zoom以及镜头距离模拟真实摄像机镜头距离。
根据虚拟摄像机左镜头参数对左眼场景视频信号进行渲染时，纹理贴图使用对应虚拟摄像机左镜头的数据；根据虚拟摄像机右镜头参数对右眼场景视频信号进行渲染时，纹理贴图使用对应虚拟摄像机右镜头的数据。
可选地，渲染包括360度全景渲染以及VR眼镜方式渲染。其中，360度全景渲染是把每组左右眼渲染画面以上下1:1的方式排版组合为一张完整画面；VR眼镜方式渲染是把每组左右眼渲染画面以左右1:1方式排版最终组合为一张完成的画面。
本发明把左眼和右眼的360全景画面和虚拟三维场景的虚拟图形和图像分别采用仿真人眼的位置视角关系进行独立的两次360全景渲染，通过采用模拟人眼视角成像原理技术进行VR视角场景的渲染，保证输出效果接近人眼感受视角，使用户沉浸到该环境中，从而使用户体验的时候左右眼分别看到有视角差的渲染画面更加真实，并且长时间观看不会产生眼部不适，从而大幅提高沉浸感和舒适性。
附图说明
图1为本发明实施例的一种3D VR视频与虚拟三维场景实时混叠渲染的方法的流程图。
图2为根据本发明另一实施例的一种3D VR视频与虚拟三维场景实时混叠渲染的方法的流程图，在本实施例中，通过3D摄像机左右镜头进行左右眼仿真。
图3为图2的根据本发明的另一实施例的通过3D摄像机左右镜头进行左右眼仿真的VR眼镜方式排版示意图。
图4为图2的根据本发明的另一实施例的通过3D摄像机左右镜头进行左右眼仿真的360全景排版示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，下面所描述的实施例仅是本发明的实施例，其仅用于更加清楚地对本发明进行解释和说明，并不能以此来限定本发明的保护范围。
参考图1，图1为一种3D VR视频与虚拟三维场景实时混叠渲染的方法的流程图。如图1所示，该方法包括：
S101，采集并处理3D摄像机信号。在该步骤中，实时采集3D摄像机视频信号并对视频信号进行处理，生成纹理数据；
其中，对所述视频信号进行处理可以包括对隔行数据进行去交织处理和对视频源数据为蓝绿背景进行抠像处理。
S102，创建虚拟三维场景。根据现实场景比例创建虚拟三维场景；可选地，采用固定的换算比例创建虚拟三维场景；
S103，调节虚拟摄像机相关参数。按照真实3D摄像机物理位置和拍摄角度关系生成虚拟摄像机渲染参数；
可选地，生成所述虚拟摄像机相关参数包括：摄像机位置生成虚拟摄像机位置模拟真实摄像机位置、摄像机旋转模拟真实摄像机拍摄角度、摄像机开口角模拟真实摄像机Zoom以及镜头距离模拟真实摄像机镜头距离；
S104，混叠形成虚拟现实结合的三维场景。根据3D摄像机拍摄的画面效果，将所述纹理数据以纹理贴图的形式混叠到虚拟场景中的具体虚拟三维物件上，并按照虚拟三维场景与真实场景的物理位置关系调整虚拟三维物件的位置，形成虚拟现实结合的三维场景。
S105，渲染虚拟现实结合的三维场景。对应虚拟摄像机渲染参数调整渲染流程，采用虚拟摄像机渲染参数对所述虚拟和现实结合的三维场景进行渲染，得到仿真渲染画面。
参考图2，图2所示为图1的一种3D VR视频与虚拟三维场景实时混叠渲染的方法的另一实施例的流程图。在该实施例中，通过3D摄像机的左右镜头 仿真人眼，具体步骤为：
S201，实时采集处理3D摄像机左右镜头场景信号，生成左眼场景纹理数据和右眼场景纹理数据。将3D摄像机的左右镜头拍摄的场景信号分别做为左眼场景信号和右眼场景信号，用于仿真人眼的左眼场景和右眼场景。
其中，对所述视频信号进行处理可以包括对隔行数据进行去交织处理和对视频源数据为蓝绿背景进行抠像处理。
S202，创建虚拟三维场景。根据现实场景比例创建虚拟三维场景；可选地，采用固定的换算比例创建虚拟三维场景。
S203，调节虚拟摄像机相关参数。按照真实3D摄像机物理位置和拍摄角度关系生成虚拟摄像机渲染参数。
可选地，生成所述虚拟摄像机相关参数包括：摄像机位置生成虚拟摄像机位置模拟真实摄像机位置、摄像机旋转模拟真实摄像机拍摄角度、摄像机开口角模拟真实摄像机Zoom以及镜头距离模拟真实摄像机镜头距离。
S204，混叠形成虚拟现实结合的三维场景。根据3D摄像机拍摄的画面效果，将所述纹理数据混叠到虚拟场景中的具体虚拟三维物件上，具体为：根据3D摄像机拍摄的画面效果，将所述纹理数据以纹理贴图的形式混叠到虚拟场景中的具体虚拟三维物件上，并按照虚拟三维场景与真实场景的物理位置关系调整虚拟三维物件的位置，形成虚拟现实结合的三维场景
其中，混叠左眼场景的时候使用所述左眼场景纹理数据，混叠右眼场景的时候使用右眼场景纹理数据，形成虚拟现实结合的左右眼三维场景数据。
S205，采用虚拟摄像机渲染参数对所述虚拟和现实结合的左右眼三维场景数据进行渲染。其中，根据虚拟摄像机左镜头参数对左眼三维场景数据进行渲染时，纹理贴图使用虚拟摄像机左镜头的数据；根据虚拟摄像机右镜头参数对右眼三维场景数据进行渲染时，纹理贴图使用虚拟摄像机右镜头的数据。
此外，仿真3D渲染画面数据可采用左右眼一组的方式存储。
参考图3，在通过3D摄像机左右镜头进行左右眼仿真的VR眼镜方式排版 的方式下，将3D摄像机的左右镜头拍摄的场景分别做为左眼场景和右眼场景，并进行采集处理，生成多组的左眼场景纹理数据和右眼场景纹理数据，对左右眼进行仿真处理。在此方式下，渲染可以包括360度全景渲染以及VR眼镜方式渲染。其中，360度全景渲染是把每组左右眼渲染画面以上下1:1的方式排版组合为一张完整画面。
参考图4，在通过3D摄像机左右镜头进行左右眼仿真的360全景排版的方式下，将3D摄像机的左右镜头拍摄的场景分别做为左眼场景和右眼场景，并进行采集处理，生成多组的左眼场景纹理数据和右眼场景纹理数据，对左右眼进行仿真处理。在此方式下，VR眼镜方式渲染是把每组左右眼渲染画面以左右1:1方式排版最终组合为一张完整的画面。
通过上述实施例可以看出，本发明通过把左眼和右眼的360全景画面和虚拟三维场景的虚拟图形和图像分别采用仿真人眼的位置视角关系进行独立的两次360全景渲染，从而使用户体验的时候左右眼分别看到有视角差的渲染画面更加真实和更有沉浸感。
以上对本发明的具体实施方式进行了详细的描述，但本领域内的技术人员根据本发明的创造性概念，可以对本发明进行各种变形和修改，但所做的各种变形和修改不脱离本发明的精神和范围，皆属于本发明权利要求的范围之内。

Claims (10)

  1. 一种3D VR视频与虚拟三维场景实时混叠渲染方法，其特征在于，该方法包括：
    实时采集3D摄像机视频信号并对视频信号进行处理，生成纹理数据；
    根据现实场景比例创建虚拟三维场景；
    按照3D摄像机物理位置和拍摄角度关系生成调节虚拟摄像机渲染参数；
    根据3D摄像机拍摄的画面效果，将所述纹理数据以纹理贴图的形式混叠到虚拟场景中的具体虚拟三维物件上，并按照虚拟三维场景与真实场景的物理位置关系调整虚拟三维物件的位置，形成虚拟现实结合的三维场景；
    对应虚拟摄像机渲染参数调整渲染流程，采用虚拟摄像机渲染参数对所述虚拟和现实结合的三维场景进行渲染，得到仿真渲染画面。
  2. 如权利要求1所述的3D VR视频与虚拟三维场景实时混叠渲染方法，其特征在于，所述纹理数据包括左眼场景纹理数据和右眼场景纹理数据，该左眼场景纹理数据和右眼场景纹理数据分别对应所述3D摄像机左右镜头，做为仿真人眼的左眼场景和右眼场景。
  3. 如权利要求2所述的3D VR视频与虚拟三维场景实时混叠渲染方法，其特征在于，在将所述纹理数据混叠到虚拟场景中的具体虚拟三维物件上过程中，混叠左眼场景的时候使用所述左眼场景纹理数据，混叠右眼场景的时候使用右眼场景纹理数据，形成虚拟现实结合的左右眼三维场景数据。
  4. 如权利要求3所述的3D VR视频与虚拟三维场景实时混叠渲染方法，其特征在于，采用虚拟摄像机渲染参数对所述虚拟和现实结合的左右眼三维场景数据进行渲染的过程进一步为：
    根据虚拟摄像机左镜头参数对左眼三维场景数据进行渲染时，纹理贴图使用虚拟摄像机左镜头的数据；
    根据虚拟摄像机右镜头参数对右眼三维场景数据进行渲染时，纹理贴图使 用虚拟摄像机右镜头的数据。
  5. 如权利要求1或2所述的3D VR视频与虚拟三维场景实时混叠渲染方法，其特征在于，对所述视频信号进行处理包括对隔行数据进行去交织处理和对视频源数据为蓝绿背景进行抠像处理。
  6. 如权利要求1或2所述的3D VR视频与虚拟三维场景实时混叠渲染方法，其特征在于，采用固定的换算比例创建所述虚拟三维场景。
  7. 如权利要求1或2所述的3D VR视频与虚拟三维场景实时混叠渲染方法，其特征在于，生成所述虚拟摄像机相关参数包括：摄像机位置生成虚拟摄像机位置模拟真实摄像机位置、摄像机旋转模拟真实摄像机拍摄角度、摄像机开口角模拟真实摄像机Zoom以及镜头距离模拟真实摄像机镜头距离。
  8. 如权利要求1或2所述的3D虚拟现实视频与虚拟场景实时混叠渲染方法，其特征在于，仿真3D渲染画面数据采用左右眼一组的方式存储。
  9. 如权利要求1或2所述的3D VR视频与虚拟三维场景实时混叠渲染方法，其特征在于，渲染包括360度全景渲染以及VR眼镜方式渲染。
  10. 如权利要求9所述的3D VR视频与虚拟三维场景实时混叠渲染方法，其特征在于，360度全景渲染是把每组左右眼渲染画面以上下1:1的方式排版组合为一张完整画面；VR眼镜方式渲染是把每组左右眼渲染画面以左右1:1方式排版最终组合为一张完整的画面。
PCT/CN2017/100412 2017-09-04 2017-09-04 一种3d vr视频与虚拟三维场景实时混叠渲染的方法 Ceased WO2019041351A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2017/100412 WO2019041351A1 (zh) 2017-09-04 2017-09-04 一种3d vr视频与虚拟三维场景实时混叠渲染的方法
US16/641,271 US11076142B2 (en) 2017-09-04 2017-09-04 Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/100412 WO2019041351A1 (zh) 2017-09-04 2017-09-04 一种3d vr视频与虚拟三维场景实时混叠渲染的方法

Publications (1)

Publication Number Publication Date
WO2019041351A1 true WO2019041351A1 (zh) 2019-03-07

Family

ID=65524749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/100412 Ceased WO2019041351A1 (zh) 2017-09-04 2017-09-04 一种3d vr视频与虚拟三维场景实时混叠渲染的方法

Country Status (2)

Country Link
US (1) US11076142B2 (zh)
WO (1) WO2019041351A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275731A (zh) * 2020-01-10 2020-06-12 杭州师范大学 面向中学实验的投影式实物交互桌面系统和方法
CN111460542A (zh) * 2020-04-03 2020-07-28 湖南翰坤实业有限公司 一种基于bim和vr的建筑设计图纸处理方法和系统
CN111696216A (zh) * 2020-06-16 2020-09-22 浙江大华技术股份有限公司 三维增强现实全景融合方法及系统
CN111862349A (zh) * 2019-04-26 2020-10-30 北京字节跳动网络技术有限公司 虚拟画笔实现方法、装置和计算机可读存储介质
CN113487662A (zh) * 2021-07-02 2021-10-08 广州博冠信息科技有限公司 画面显示方法、装置、电子设备和存储介质
CN113593049A (zh) * 2021-07-27 2021-11-02 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN113836745A (zh) * 2021-10-13 2021-12-24 国网山西省电力公司输电检修分公司 一种用于智能巡检装置的仿真系统及方法
CN114581611A (zh) * 2022-04-28 2022-06-03 阿里巴巴（中国）有限公司 虚拟场景构建方法以及装置
CN114845147A (zh) * 2022-04-29 2022-08-02 北京奇艺世纪科技有限公司 屏幕渲染方法、显示画面合成方法装置及智能终端
CN115509360A (zh) * 2022-10-11 2022-12-23 云宝宝大数据产业发展有限责任公司 基于元宇宙虚拟现实vr交互系统
CN115830281A (zh) * 2022-11-22 2023-03-21 山东梦幻视界智能科技有限公司 一种基于MiniLED显示屏的裸眼VR沉浸式体验装置
CN116260956A (zh) * 2023-05-15 2023-06-13 四川中绳矩阵技术发展有限公司 一种虚拟现实拍摄方法及系统
CN117527995A (zh) * 2023-11-06 2024-02-06 中影电影数字制作基地有限公司 一种基于空间模拟拍摄的模拟化实景拍摄方法及系统
WO2024027063A1 (zh) * 2022-08-04 2024-02-08 珠海普罗米修斯视觉技术有限公司 直播方法、装置、存储介质、电子设备及产品

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446939B (zh) * 2020-11-19 2025-03-11 深圳市中视典数字科技有限公司 三维模型动态渲染方法、装置、电子设备及存储介质
CN114286077B (zh) * 2021-01-08 2024-05-17 海信视像科技股份有限公司 一种虚拟现实设备及vr场景图像显示方法
CN112911317B (zh) * 2021-01-13 2022-09-02 西安飞蝶虚拟现实科技有限公司 未来教室中插入虚拟直播视频环境的方法和系统
CN113055589A (zh) * 2021-01-29 2021-06-29 视伴科技(北京)有限公司 一种调整虚拟摄影机的方法及装置
CN113516769B (zh) * 2021-07-28 2023-04-21 自然资源部国土卫星遥感应用中心 虚拟现实三维场景加载与渲染方法、装置和终端设备
CN114067071B (zh) * 2021-11-26 2022-08-30 湖南汽车工程职业学院 一种基于大数据的高精地图制作系统
CN114155322A (zh) * 2021-12-01 2022-03-08 北京字跳网络技术有限公司 一种场景画面的展示控制方法、装置以及计算机存储介质
CN114332356B (zh) * 2021-12-06 2025-05-02 图腾视界(广州)数字科技有限公司 一种虚实画面结合方法和装置
CN114513646B (zh) * 2022-01-04 2023-09-15 聚好看科技股份有限公司 一种三维虚拟场景中全景视频的生成方法及设备
CN114793276A (zh) * 2022-04-22 2022-07-26 上海爱客博信息技术有限公司 一种拟真现实元宇宙平台3d全景拍摄方法
CN115063561B (zh) * 2022-06-23 2025-06-27 成都索贝数码科技股份有限公司 图像数据解析装置、场景估计装置、3d融合系统
CN115409944B (zh) * 2022-09-01 2023-06-02 浙江巨点光线智慧科技有限公司 基于低代码数字孪生的三维场景渲染及数据修正系统
CN115639976B (zh) * 2022-10-28 2024-01-30 深圳市数聚能源科技有限公司 一种虚拟现实内容多模式多角度同步展示方法及系统
CN115834863A (zh) * 2022-12-13 2023-03-21 不鸣科技(杭州)有限公司 基于虚拟现实的画面渲染方法、装置、设备及程序产品
CN115908766B (zh) * 2023-02-20 2023-05-26 北京红棉小冰科技有限公司 三维虚拟人物图像的生成方法、装置及电子设备
CN117853631A (zh) * 2023-04-20 2024-04-09 蔡嘉良 一种一体机性能提升方法
CN116883550B (zh) * 2023-07-01 2024-02-23 浙江利恩工程设计咨询有限公司 一种三维虚拟实景动画显示方法
CN118052923B (zh) * 2024-04-16 2024-07-02 深圳海拓时代科技有限公司 一种对象渲染方法、设备及存储介质
CN118540452B (zh) * 2024-07-22 2024-09-20 北京墨境天合数字图像科技有限公司 一种基于虚幻引擎的拍摄系统及使用方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100085423A1 (en) * 2004-09-30 2010-04-08 Eric Belk Lange Stereoscopic imaging
CN103136793A (zh) * 2011-12-02 2013-06-05 中国科学院沈阳自动化研究所 一种基于增强现实的实景融合方法及装置
CN104836938A (zh) * 2015-04-30 2015-08-12 江苏卡罗卡国际动漫城有限公司 一种基于ar技术的虚拟演播室系统
CN106027855A (zh) * 2016-05-16 2016-10-12 深圳迪乐普数码科技有限公司 一种虚拟摇臂的实现方法和终端
CN106375748A (zh) * 2016-09-07 2017-02-01 深圳超多维科技有限公司 立体虚拟现实全景视图拼接方法、装置及电子设备
CN106385576A (zh) * 2016-09-07 2017-02-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN106412558A (zh) * 2016-09-08 2017-02-15 深圳超多维科技有限公司 一种立体虚拟现实直播方法、装置及设备
CN106851244A (zh) * 2017-01-10 2017-06-13 北京阿吉比科技有限公司 基于网络视频直播平台观看3d全景视频的方法及系统
CN107077755A (zh) * 2016-09-30 2017-08-18 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885023B2 (en) * 2010-09-01 2014-11-11 Disney Enterprises, Inc. System and method for virtual camera control using motion control systems for augmented three dimensional reality
US20150312561A1 (en) * 2011-12-06 2015-10-29 Microsoft Technology Licensing, Llc Virtual 3d monitor
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US10237614B2 (en) * 2017-04-19 2019-03-19 Cisco Technology, Inc. Content viewing verification system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100085423A1 (en) * 2004-09-30 2010-04-08 Eric Belk Lange Stereoscopic imaging
CN103136793A (zh) * 2011-12-02 2013-06-05 中国科学院沈阳自动化研究所 一种基于增强现实的实景融合方法及装置
CN104836938A (zh) * 2015-04-30 2015-08-12 江苏卡罗卡国际动漫城有限公司 一种基于ar技术的虚拟演播室系统
CN106027855A (zh) * 2016-05-16 2016-10-12 深圳迪乐普数码科技有限公司 一种虚拟摇臂的实现方法和终端
CN106375748A (zh) * 2016-09-07 2017-02-01 深圳超多维科技有限公司 立体虚拟现实全景视图拼接方法、装置及电子设备
CN106385576A (zh) * 2016-09-07 2017-02-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN106412558A (zh) * 2016-09-08 2017-02-15 深圳超多维科技有限公司 一种立体虚拟现实直播方法、装置及设备
CN107077755A (zh) * 2016-09-30 2017-08-18 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备
CN106851244A (zh) * 2017-01-10 2017-06-13 北京阿吉比科技有限公司 基于网络视频直播平台观看3d全景视频的方法及系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11561651B2 (en) 2019-04-26 2023-01-24 Beijing Bytedance Network Technology Co., Ltd. Virtual paintbrush implementing method and apparatus, and computer readable storage medium
CN111862349A (zh) * 2019-04-26 2020-10-30 北京字节跳动网络技术有限公司 虚拟画笔实现方法、装置和计算机可读存储介质
CN111275731A (zh) * 2020-01-10 2020-06-12 杭州师范大学 面向中学实验的投影式实物交互桌面系统和方法
CN111275731B (zh) * 2020-01-10 2023-08-18 杭州师范大学 面向中学实验的投影式实物交互桌面系统和方法
CN111460542A (zh) * 2020-04-03 2020-07-28 湖南翰坤实业有限公司 一种基于bim和vr的建筑设计图纸处理方法和系统
CN111696216A (zh) * 2020-06-16 2020-09-22 浙江大华技术股份有限公司 三维增强现实全景融合方法及系统
CN111696216B (zh) * 2020-06-16 2023-10-03 浙江大华技术股份有限公司 三维增强现实全景融合方法及系统
CN113487662A (zh) * 2021-07-02 2021-10-08 广州博冠信息科技有限公司 画面显示方法、装置、电子设备和存储介质
CN113487662B (zh) * 2021-07-02 2024-06-11 广州博冠信息科技有限公司 画面显示方法、装置、电子设备和存储介质
CN113593049A (zh) * 2021-07-27 2021-11-02 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN113593049B (zh) * 2021-07-27 2023-08-04 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN113836745A (zh) * 2021-10-13 2021-12-24 国网山西省电力公司输电检修分公司 一种用于智能巡检装置的仿真系统及方法
CN113836745B (zh) * 2021-10-13 2023-08-22 国网山西省电力公司超高压变电分公司 一种用于智能巡检装置的仿真系统及方法
CN114581611B (zh) * 2022-04-28 2022-09-20 阿里巴巴（中国）有限公司 虚拟场景构建方法以及装置
CN114581611A (zh) * 2022-04-28 2022-06-03 阿里巴巴（中国）有限公司 虚拟场景构建方法以及装置
CN114845147A (zh) * 2022-04-29 2022-08-02 北京奇艺世纪科技有限公司 屏幕渲染方法、显示画面合成方法装置及智能终端
CN114845147B (zh) * 2022-04-29 2024-01-16 北京奇艺世纪科技有限公司 屏幕渲染方法、显示画面合成方法装置及智能终端
WO2024027063A1 (zh) * 2022-08-04 2024-02-08 珠海普罗米修斯视觉技术有限公司 直播方法、装置、存储介质、电子设备及产品
CN115509360A (zh) * 2022-10-11 2022-12-23 云宝宝大数据产业发展有限责任公司 基于元宇宙虚拟现实vr交互系统
CN115509360B (zh) * 2022-10-11 2023-10-20 云宝宝大数据产业发展有限责任公司 基于元宇宙虚拟现实vr交互系统
CN115830281A (zh) * 2022-11-22 2023-03-21 山东梦幻视界智能科技有限公司 一种基于MiniLED显示屏的裸眼VR沉浸式体验装置
CN116260956A (zh) * 2023-05-15 2023-06-13 四川中绳矩阵技术发展有限公司 一种虚拟现实拍摄方法及系统
CN116260956B (zh) * 2023-05-15 2023-07-18 四川中绳矩阵技术发展有限公司 一种虚拟现实拍摄方法及系统
CN117527995A (zh) * 2023-11-06 2024-02-06 中影电影数字制作基地有限公司 一种基于空间模拟拍摄的模拟化实景拍摄方法及系统

Also Published As

Publication number Publication date
US11076142B2 (en) 2021-07-27
US20200358996A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
WO2019041351A1 (zh) 一种3d vr视频与虚拟三维场景实时混叠渲染的方法
US11663778B2 (en) Method and system for generating an image of a subject from a viewpoint of a virtual camera for a head-mountable display
TWI813098B (zh) 用於新穎視圖合成之神經混合
CN114631127B (zh) 说话头的小样本合成
US9699438B2 (en) 3D graphic insertion for live action stereoscopic video
US10334220B2 (en) Aggregating images and audio data to generate virtual reality content
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
CN114401414B (zh) 沉浸式直播的信息显示方法及系统、信息推送方法
JP2019079552A (ja) イメージ形成における及びイメージ形成に関する改良
CN101277454A (zh) 一种基于双目摄像机的实时立体视频生成方法
CN106688231A (zh) 立体图像记录和回放
CN102075694A (zh) 用于视频制作、后期制作和显示适应的立体编辑
US11019258B2 (en) Aggregating images and audio data to generate content
CN109997175A (zh) 确定虚拟对象的大小
CN112446939A (zh) 三维模型动态渲染方法、装置、电子设备及存储介质
CN107862718B (zh) 4d全息视频捕捉方法
CN107005689B (zh) 数字视频渲染
JP6384940B2 (ja) ３ｄ画像の表示方法及びヘッドマウント機器
CN107562185B (zh) 一种基于头戴vr设备的光场显示系统及实现方法
WO2017128887A1 (zh) 全景图像的校正3d显示方法和系统及装置
WO2019085022A1 (zh) 光场3d显示单元图像的生成方法及生成装置
CN105141941A (zh) 一种数字全景3d影片制作的方法及系统
CN106780759A (zh) 基于图片构建场景立体全景图的方法、装置及vr系统
EP3057316B1 (en) Generation of three-dimensional imagery to supplement existing content
CN108769648A (zh) 一种基于720度全景vr的3d场景呈现方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17923739

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17923739

Country of ref document: EP

Kind code of ref document: A1