[go: up one dir, main page]

CN106557170A - 对虚拟现实设备上的图像进行缩放的方法及装置 - Google Patents

对虚拟现实设备上的图像进行缩放的方法及装置 Download PDF

Info

Publication number
CN106557170A
CN106557170A CN201611049218.1A CN201611049218A CN106557170A CN 106557170 A CN106557170 A CN 106557170A CN 201611049218 A CN201611049218 A CN 201611049218A CN 106557170 A CN106557170 A CN 106557170A
Authority
CN
China
Prior art keywords
image
head
user
axis
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611049218.1A
Other languages
English (en)
Inventor
肖鹏
朱昊亮
陈增万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201611049218.1A priority Critical patent/CN106557170A/zh
Publication of CN106557170A publication Critical patent/CN106557170A/zh
Priority to KR1020170157514A priority patent/KR20180059366A/ko
Priority to EP17873373.9A priority patent/EP3545387A4/en
Priority to PCT/KR2017/013483 priority patent/WO2018097632A1/en
Priority to US15/822,340 priority patent/US11068048B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请提出对虚拟现实设备上的图像进行缩放的方法及装置。方法包括:检测VR设备用户的头部姿态;当VR设备用户的头部姿态为预定义的图像放大姿态时,对VR设备上的图像进行放大操作;当VR设备用户的头部姿态为预定义的图像缩小姿态时,对VR设备上的图像进行缩小操作。本申请实现了对VR设备上的图像进行智能缩放。

Description

对虚拟现实设备上的图像进行缩放的方法及装置
技术领域
本发明涉及VR(Virtual Reality,虚拟现实)技术领域,尤其涉及对VR设备上的图像进行缩放的方法及装置。
背景技术
目前,对二维显示设备上的图像的缩放一般通过按键或者触摸进行控制。随着VR技术的发展,亟需对VR设备上的图像进行缩放的解决方案。
发明内容
本发明提供对VR设备上的图像进行缩放的方法及装置,以实现对VR设备上的图像进行缩放。
本发明的技术方案是这样实现的:
一种对VR设备上的图像进行缩放的方法,该方法包括:
检测VR设备用户的头部姿态;
当VR设备用户的头部姿态为预定义的图像放大姿态时,对VR设备上的图像进行放大操作;
当VR设备用户的头部姿态为预定义的图像缩小姿态时,对VR设备上的图像进行缩小操作。
所述预定义的图像放大姿态为:头部左倾,所述预定义的图像缩小姿态为:头部右倾;
或者,所述预定义的图像放大姿态为:头部右倾,所述预定义的图像缩小姿态为:头部左倾;
或者,所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰;
或者,所述预定义的图像放大姿态为:头部后仰,所述预定义的图像缩小姿态为:头部前倾。
所述对VR设备上的图像进行放大操作之前进一步包括:检测用户在图像上的注视焦点;所述对VR设备上的图像进行放大操作包括:以用户在图像上的注视焦点为中心,对VR设备上的图像进行放大操作;
所述对VR设备上的图像进行缩小操作之前进一步包括:检测用户在图像上的注视焦点;所述对VR设备上的图像进行缩小操作包括:以用户在图像上的注视焦点为中心,对VR设备上的图像进行缩小操作。
所述对VR设备上的图像进行放大操作之前进一步包括:检测用户在图像上的注视焦点,根据该注视焦点,确定用户在图像上的感兴趣部分;所述对VR设备上的图像进行放大操作包括:对用户在图像上的感兴趣部分进行放大操作;
所述对VR设备上的图像进行缩小操作之前进一步包括:检测用户在图像上的注视焦点,根据该注视焦点,确定用户在图像上的感兴趣部分;所述对VR设备上的图像进行缩小操作包括:对用户在图像上的感兴趣部分进行缩小操作。
所述对VR设备上的图像进行放大操作之前进一步包括:判断当前图像的分辨率是否低于预设第一分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行放大操作;否则,不对图像进行放大操作;
所述对VR设备上的图像进行缩小操作之前进一步包括:判断当前图像的分辨率是否高于预设第二分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行缩小操作;否则,不对图像进行缩小操作。
所述检测VR设备用户的头部姿态包括:
将预定义的图像放大姿态指向的方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像放大姿态;
若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像缩小姿态。
所述方法进一步包括:从VR设备的陀螺仪获取用户头部在X、Y、Z轴方向的角速度;
所述发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为预定义的图像放大姿态之前进一步包括:
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值;
所述发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为预定义的图像缩小姿态之前进一步包括:
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值。
当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时,
所述检测VR设备用户的头部姿态包括:
获取VR设备用户的初始视线方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直且指向用户头部左侧的方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为前倾;
若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为后仰。
所述用户的初始视线方向为:从用户双眼的中心指向用户在VR图像上的注视焦点的方向。
所述方法进一步包括:从VR设备的陀螺仪获取用户头部在X、Y、Z轴方向的角速度;
所述发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为前倾之前进一步包括:
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值;
所述发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为后仰之前进一步包括:
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值。
当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时;或者,当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时,
且,当所述VR设备位于交通工具上时,
所述当VR设备用户的头部姿态为预定义的图像放大姿态之后、对VR设备上的图像进行放大操作之前进一步包括:
计算交通工具上安装的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量与VR设备上的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量的差值,若该差值的绝对值大于预设值,则执行所述对VR设备上的图像进行放大操作的动作,否则,不执行所述对VR设备上的图像进行放大操作的动作;
所述当VR设备用户的头部姿态为预定义的图像缩小姿态之后、对VR设备上的图像进行缩小操作之前进一步包括:计算交通工具上安装的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量与VR设备上的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量的差值,若该差值的绝对值大于预设值,则执行所述对VR设备上的图像进行缩小操作的动作,否则,不执行所述对VR设备上的图像进行缩小操作的动作。
所述对VR设备上的图像进行放大操作之后进一步包括:
检测用户头部在X轴正方向上的速度分量,若该速度分量大于或等于0,则继续对VR设备上的图像进行放大操作;若该速度分量小于0,则停止对VR设备上的图像进行放大操作;
所述对VR设备上的图像进行缩小操作之后进一步包括:
检测用户头部在X轴负方向上的速度分量,若该速度分量大于或等于0,则继续对VR设备上的图像进行缩小操作;若该速度分量小于0,则停止对VR设备上的图像进行缩小操作。
一种对VR设备上的图像进行缩放的装置,该装置包括:
头部姿态检测模块,用于检测VR设备用户的头部姿态;
图像控制模块,用于在头部姿态检测模块检测到VR设备用户的头部姿态为预定义的图像放大姿态时,对VR设备上的图像进行放大操作;在头部姿态检测模块检测到VR设备用户的头部姿态为预定义的图像缩小姿态时,对VR设备上的图像进行缩小操作。
所述头部姿态检测模块检测到的预定义的图像放大姿态为:头部左倾,预定义的图像缩小姿态为:头部右倾;
或者,所述头部姿态检测模块检测到的预定义的图像放大姿态为:头部右倾,所述预定义的图像缩小姿态为:头部左倾;
或者,所述头部姿态检测模块检测到的预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰;
或者,所述头部姿态检测模块检测到的预定义的图像放大姿态为:头部后仰,所述预定义的图像缩小姿态为:头部前倾。
所述装置进一步包括:视线捕捉模块,用于检测用户在图像上的注视焦点;
所述图像控制模块对VR设备上的图像进行放大操作包括:以视线捕捉模块检测到的用户在图像上的注视焦点为中心,对VR设备上的图像进行放大操作;
所述图像控制模块对VR设备上的图像进行缩小操作包括:以视线捕捉模块检测到的用户在图像上的注视焦点为中心,对VR设备上的图像进行缩小操作。
所述图像控制模块对VR设备上的图像进行放大操作具体用于,检测用户在图像上的注视焦点,根据该注视焦点,确定用户在图像上的感兴趣部分,对用户在图像上的感兴趣部分进行放大操作;
所述图像控制模块对VR设备上的图像进行缩小操作具体用于,检测用户在图像上的注视焦点,根据该注视焦点,确定用户在图像上的感兴趣部分,对用户在图像上的感兴趣部分进行缩小操作。
所述图像控制模块对VR设备上的图像进行放大操作之前进一步用于,判断当前图像的分辨率是否低于预设第一分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行放大操作;否则,不对图像进行放大操作;
所述图像控制模块对VR设备上的图像进行缩小操作之前进一步用于,判断当前图像的分辨率是否高于预设第二分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行缩小操作;否则,不对图像进行缩小操作。
所述头部姿态检测模块检测VR设备用户的头部姿态包括:
将预定义的图像放大姿态指向的方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像放大姿态;
若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像缩小姿态。
所述头部姿态检测模块进一步用于,从VR设备的陀螺仪获取用户头部在X、Y、Z轴方向的角速度;
所述头部姿态检测模块发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为预定义的图像放大姿态之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值;
所述头部姿态检测模块发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为预定义的图像缩小姿态之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值。
当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时,
所述头部姿态检测模块具体用于,
将视线捕捉模块检测到的VR设备用户的初始视线方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直且指向用户头部左侧的方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为前倾;
若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为后仰。
所述头部姿态检测模块进一步用于,从VR设备的陀螺仪获取用户头部在X、Y、Z轴方向的角速度;
且,发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为前倾之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值;
所述发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为后仰之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值。
当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时;或者,当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时,
且,当所述VR设备位于交通工具上时,
当VR设备用户的头部姿态为预定义的图像放大姿态时,所述图像控制模块对VR设备上的图像进行放大操作具体用于,
计算交通工具上安装的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量与VR设备上的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量的差值,若该差值的绝对值大于预设值,则对VR设备上的图像进行放大操作,否则,不对VR设备上的图像进行放大操作;
当VR设备用户的头部姿态为预定义的图像缩小姿态时,所述图像控制模块对VR设备上的图像进行缩小操作具体用于,
计算交通工具上安装的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量与VR设备上的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量的差值,若该差值的绝对值大于预设值,则对VR设备上的图像进行缩小操作,否则,不对VR设备上的图像进行缩小操作。
所述图像控制模块对VR设备上的图像进行放大操作之后进一步用于,
检测用户头部在X轴正方向上的速度分量,若该速度分量大于或等于0,则继续对VR设备上的图像进行放大操作;若该速度分量小于0,则停止对VR设备上的图像进行放大操作;
所述图像控制模块对VR设备上的图像进行缩小操作之后进一步用于,
检测用户头部在X轴负方向上的速度分量,若该速度分量大于或等于0,则继续对VR设备上的图像进行缩小操作,直至达到图像的缩小终止条件为止;若该速度分量小于0,则停止对VR设备上的图像进行缩小操作。
所述装置位于VR设备上。
本申请通过检测VR设备用户的头部姿态,当为预定义的图像放大姿态时,对VR设备上的图像进行放大,当为预定义的图像缩小姿态时,对VR设备上的图像进行缩小,实现了对VR设备上的图像进行智能缩放;
进一步地,通过检测用户在图像上的注视焦点,以注视焦点为中心对VR设备上的图像进行缩放,使得缩放后的图像更符合用户需求;
进一步地,通过只对用户感兴趣部分进行缩放,降低了VR设备处理器的功耗;
进一步地,当VR设备位于交通工具上时,通过检测交通工具与VR设备在交通工具行驶方向上的加速度分量之差,来确定交通工具是否发生加/减速运动,从而确定用户头部是否是由于惯性而发生前倾/后仰,从而避免了对图像进行错误的缩放操作;
进一步地,通过检测用户头部在X轴正、反方向上的速度分量,确定用户头部是否保持前倾或后仰,从而确定是否继续对图像进行放大或缩小,使得图像缩放操作更加准确。
附图说明
图1为本申请一实施例提供的对VR设备上的图像进行缩放的方法流程图;
图2-1为本申请提供的VR图像的示例图;
图2-2为本申请提供的检测用户在图2-1所示VR图像上的注视焦点的示例图;
图2-3为本申请提供的根据用户在图2-1所示VR图像上的注视焦点确定用户感兴趣部分的示例图;
图2-4为本申请提供的对图2-3确定出的用户感兴趣部分进行放大的示例图;
图3为本申请另一实施例提供的对VR设备上的图像进行缩放的方法流程图;
图4为本申请实施例根据VR设备用户的初始状态确定X、Y、Z轴的示意图;
图5为本申请实施例提供的对VR设备上的图像进行缩放的装置的组成示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本申请一实施例提供的对VR设备上的图像进行缩放的方法流程图,其具体步骤如下:
步骤100:预定义图像放大姿态和图像缩小姿态。
例如:预定义图像放大姿态为:头部左倾,图像缩小姿态为:头部右倾;
或者,预定义图像放大姿态为:头部右倾,图像缩小姿态为:头部左倾;
或者,预定义图像放大姿态为:头部前倾,图像缩小姿态为:头部后仰;
或者,预定义图像放大姿态为:头部后仰,图像缩小姿态为:头部前倾。
步骤101:检测VR设备用户的头部姿态。
其中,检测VR设备用户的头部姿态可包括:
将预定义的图像放大姿态指向的方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像放大姿态;若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像缩小姿态;
或者,发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,且用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值,则确认用户的头部姿态为预定义的图像放大姿态;发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,且用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值,则确认用户的头部姿态为预定义的图像缩小姿态。
例如:当预定义图像放大姿态为:头部前倾,预定义图像缩小姿态为:头部后仰时,检测VR设备用户的头部姿态可包括:
获取VR设备用户的初始视线方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直且指向用户头部左侧的方向作为Z轴正向,建立第一三维直角坐标系;其中,用户的初始视线方向可为从用户两眼的中心指向用户在VR图像上的注视焦点的方向;
从VR设备的加速度感应器获取用户头部位移矢量在第一三维直角坐标系的X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为前倾;若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为后仰;
或者,发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,且用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值,则确认用户的头部姿态为前倾;发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,且用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值,则确认用户的头部姿态为后仰。
步骤102:当VR设备用户的头部姿态为预定义的图像放大姿态时,对VR设备上的图像进行放大操作;当VR设备用户的头部姿态为预定义的图像缩小姿态时,对VR设备上的图像进行缩小操作。
其中,对VR设备上的图像进行放大操作之前可进一步包括:检测用户在图像上的注视焦点;
对VR设备上的图像进行放大操作包括:以用户在图像上的注视焦点为中心,对VR设备上的图像进行放大操作;
对VR设备上的图像进行缩小操作之前进一步包括:检测用户在图像上的注视焦点;
对VR设备上的图像进行缩小操作包括:以用户在图像上的注视焦点为中心,对VR设备上的图像进行缩小操作。
对VR设备上的图像进行放大操作之前还可进一步包括:判断当前图像的分辨率是否低于预设第一分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行放大操作;否则,不对图像进行放大操作;
对VR设备上的图像进行缩小操作之前还可进一步包括:判断当前图像的分辨率是否高于预设第二分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行缩小操作;否则,不对图像进行缩小操作。
进一步地,考虑到当用户在移动的交通工具如:汽车等上使用VR设备时,交通工具的启动、制动、转弯等会产生加速度,此时会导致用户由于惯性而让头部前倾或后仰。为了避免该种情况下作出错误的对VR图像进行放大或缩小的决定,给出如下解决方案:
当预定义的图像放大姿态为:头部前倾,图像缩小姿态为:头部后仰时;或者,当预定义的图像放大姿态为:头部前倾,图像缩小姿态为:头部后仰时,首先,在交通工具内安装一加速度感应器,且VR设备内置加速度感应器,且设置第二三维直角坐标系为:X轴正向始终指向交通工具行驶方向,X、Y、Z轴相互垂直。
步骤102中,当确认VR设备用户的头部姿态为前倾之后、对VR设备上的图像进行放大操作之前进一步包括:
计算交通工具上的加速度感应器当前测量的加速度矢量与VR设备上的加速度感应器当前测量的加速度矢量在第二三维直角坐标系的X轴正方向上的分量的差值,若该差值的绝对值大于预设值,则执行所述对VR设备上的图像进行放大操作的动作,否则,不对VR设备上的图像进行放大操作;
且,步骤102中,当确认VR设备用户的头部后仰之后、对VR设备上的图像进行缩小操作之前进一步包括:计算交通工具上的加速度感应器当前测量的加速度的矢量与VR设备上的加速度感应器当前测量的加速度的矢量在第二三维直角坐标系的X轴正方向上的分量的差值,若该差值的绝对值大于预设值,则执行所述对VR设备上的图像进行缩小操作的动作,否则,不对VR设备上的图像进行缩小操作。
在实际应用中,上述步骤101~102的执行主体可都为VR设备,VR设备可与交通工具内置的加速度感应器实时通信并遵循相同的协议规范,如ITO协议。
在实际应用中,为了减少VR设备处理器的功耗,步骤102中,当确认VR设备用户的头部姿态为预定义的图像放大姿态之后、对VR设备上的图像进行放大操作之前进一步包括:
检测VR设备用户在VR图像上的注视焦点,根据该注视焦点的位置识别出用户感兴趣的部分,且后续只对VR图像上用户感兴趣的部分进行放大操作。
且,步骤102中,当确认VR设备用户的头部姿态为预定义的图像缩小姿态之后、对VR设备上的图像进行缩小操作之前进一步包括:
检测VR设备用户在VR图像上的注视焦点,根据该注视焦点的位置识别出用户感兴趣的部分,且后续只对VR图像上用户感兴趣的部分进行缩小操作。
例如:在识别用户感兴趣的部分时,可采用边缘检测技术识别出注视焦点所在物体的边界,然后确定该物体即为用户感兴趣的物体,对该物体进行放大或缩小。
如图2-1所示,VR图像上包含两枚硬币;检测出用户的注视焦点如图2-2所示;则采用边缘检测技术检测出包含用户的注视焦点的物体的边界,即为右边硬币的边界,如图2-3所示;则只对右边硬币进行放大,如图2-4所示。
图3为本申请另一实施例提供的对VR设备上的图像进行缩放的方法流程图,本实施例中,预定义图像放大姿态为头部前倾,图像缩小姿态为头部后仰,其具体步骤如下:
步骤301:VR设备获取VR设备用户的初始视线方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直且指向用户头部左侧的方向作为Z轴正向,建立第一三维直角坐标系。
VR设备可通过眼球追踪技术获取VR设备用户的初始视线方向,该方向即用户脸部面向的方向。具体地,可先采用眼球追踪技术获取用户双眼在VR设备上的图像的注视焦点,然后以用户双眼的中心点到该注视焦点的方向作为X轴正向。
图4为根据VR设备用户的初始状态确定X、Y、Z轴的示意图。
步骤302:VR设备从自身的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量。
在具体实现中,VR设备是以头盔或者眼镜等方式可供用户佩戴在头部的。本实施例中,VR设备内置加速度感应器和陀螺仪。
步骤303:VR设备判断是否满足:用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,若是,执行步骤304;否则,执行步骤307。
步骤304:VR设备从自身的陀螺仪获取用户头部在X、Y、Z轴方向的角速度。
步骤305:VR设备判断X、Y、Z轴方向的角速度是否都小于预设角速度阈值,若是,执行步骤306;否则,执行步骤307。
步骤306:VR设备确定用户头部前倾,对自身显示的图像进行放大操作,返回步骤302。
VR设备对图像进行放大操作之前,可进一步判断:当前是否满足图像放大条件,若满足,则对图像进行放大操作;否则,不对图像进行放大操作,直接返回步骤302。
其中,图像放大条件例如:图像的分辨率低于预设第一分辨率阈值、用户的注视焦点位于图像上等之一或者任意组合。
另外,VR设备对图像进行放大操作之前,还可进一步检测用户在图像上的注视焦点,在对图像进行放大操作时,以用户在图像上的注视焦点为中心对图像进行放大操作。
步骤306中,VR设备对自身显示的图像进行放大操作之后可进一步检测用户头部在第一三维直角坐标系的X轴正方向上的速度分量,若该速度分量大于或等于0,则继续对自身显示的图像进行放大操作,直至达到图像的放大终止条件(例如:图像的分辨率大于预设最大分辨率)为止;若该速度分量小于0,则停止对自身显示的图像进行放大操作。
步骤307:VR设备判断是否满足:用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,若是,执行步骤308;否则,返回步骤302。
步骤308:VR设备判断从陀螺仪获取的用户头部在X、Y、Z轴方向的角速度是否都小于预设角速度阈值,若是,执行步骤309;否则,返回步骤302。
步骤309:VR设备确定用户头部后仰,对自身显示的图像进行缩小操作,返回步骤302。
VR设备对图像进行缩小操作之前,可进一步判断:当前是否满足图像缩小条件,若满足,则对图像进行缩小操作;否则,不对图像进行缩小操作,直接返回步骤302。
其中,图像缩小条件例如:图像的分辨率高于预设第二分辨率阈值、用户的注视焦点位于图像上等之一或者任意组合。
另外,VR设备对图像进行缩小操作之前,还可进一步检测用户在图像上的注视焦点,在对图像进行缩小操作时,以用户在图像上的注视焦点为中心对图像进行缩小操作。
步骤309中,VR设备对自身显示的图像进行缩小操作之后可进一步检测用户头部在第一三维直角坐标系的X轴负方向上的速度分量,若该速度分量大于或等于0,则继续对自身显示的图像进行缩小操作,直至达到图像的缩小终止条件(例如:图像的分辨率小于预设最小分辨率)为止;若该速度分量小于0,则停止对自身显示的图像进行缩小操作。
图5为本申请实施例提供的对VR设备上的图像进行缩放的装置的组成示意图,该装置主要包括:头部姿态检测模块51和图像控制模块52,其中:
头部姿态检测模块51,用于实时检测VR设备用户的头部姿态,并将检测到的VR设备用户的头部姿态发送给图像控制模块52。
图像控制模块52,用于在头部姿态检测模块51检测到VR设备用户的头部姿态为预定义的图像放大姿态时,对VR设备上的图像进行放大操作;在头部姿态检测模块检测到VR设备用户的头部姿态为预定义的图像缩小姿态时,对VR设备上的图像进行缩小操作。
一实施例中,头部姿态检测模块51检测到的预定义的图像放大姿态为:头部左倾,预定义的图像缩小姿态为:头部右倾;
或者,头部姿态检测模块51检测到的预定义的图像放大姿态为:头部右倾,所述预定义的图像缩小姿态为:头部左倾;
或者,头部姿态检测模块51检测到的预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰;
或者,头部姿态检测模块51检测到的预定义的图像放大姿态为:头部后仰,所述预定义的图像缩小姿态为:头部前倾。
该装置可进一步包括:视线捕捉模块,用于实时检测用户在图像上的注视焦点,并发送给图像控制模块52;
且图像控制模块52对VR设备上的图像进行放大操作包括:以视线捕捉模块检测到的用户在图像上的注视焦点为中心,对VR设备上的图像进行放大操作;
图像控制模块52对VR设备上的图像进行缩小操作包括:以视线捕捉模块检测到的用户在图像上的注视焦点为中心,对VR设备上的图像进行缩小操作。
图像控制模块52对VR设备上的图像进行放大操作具体用于,检测用户在图像上的注视焦点,根据该注视焦点,确定用户在图像上的感兴趣部分,对用户在图像上的感兴趣部分进行放大操作;
图像控制模块52对VR设备上的图像进行缩小操作具体用于,检测用户在图像上的注视焦点,根据该注视焦点,确定用户在图像上的感兴趣部分,对用户在图像上的感兴趣部分进行缩小操作。
图像控制模块52对VR设备上的图像进行放大操作之前可进一步用于,判断当前图像的分辨率是否低于预设第一分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行放大操作;否则,不对图像进行放大操作;
图像控制模块52对VR设备上的图像进行缩小操作之前可进一步用于,判断当前图像的分辨率是否高于预设第二分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行缩小操作;否则,不对图像进行缩小操作。
头部姿态检测模块51检测VR设备用户的头部姿态可包括:
将预定义的图像放大姿态指向的方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像放大姿态;
若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像缩小姿态。
头部姿态检测模块51可进一步用于,从VR设备的陀螺仪获取用户头部在X、Y、Z轴方向的角速度;
头部姿态检测模块51发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为预定义的图像放大姿态之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值;
头部姿态检测模块51发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为预定义的图像缩小姿态之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值。
当预定义的图像放大姿态为:头部前倾,预定义的图像缩小姿态为:头部后仰时,头部姿态检测模块51可具体用于,
从视线捕捉模块获取VR设备用户的初始视线方向,将该方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直且指向用户头部左侧的方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为前倾;
若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为后仰。
头部姿态检测模块51可进一步用于,从VR设备的陀螺仪获取用户头部在X、Y、Z轴方向的角速度;
且,发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为前倾之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值;
发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为后仰之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值。
当预定义的图像放大姿态为:头部前倾,预定义的图像缩小姿态为:头部后仰时;或者,当预定义的图像放大姿态为:头部前倾,预定义的图像缩小姿态为:头部后仰时,且,当VR设备位于交通工具上时,
当VR设备用户的头部姿态为预定义的图像放大姿态时,图像控制模块52对VR设备上的图像进行放大操作具体用于,
计算交通工具上安装的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量与VR设备上的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量的差值,若该差值的绝对值大于预设值,则对VR设备上的图像进行放大操作,否则,不对VR设备上的图像进行放大操作;
当VR设备用户的头部姿态为预定义的图像缩小姿态时,图像控制模块52对VR设备上的图像进行缩小操作具体用于,
计算交通工具上安装的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量与VR设备上的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量的差值,若该差值的绝对值大于预设值,则对VR设备上的图像进行缩小操作,否则,不对VR设备上的图像进行缩小操作。
图像控制模块52对VR设备上的图像进行放大操作之后进一步用于,
检测用户头部在X轴正方向上的速度分量,若该速度分量大于或等于0,则继续对VR设备上的图像进行放大操作;若该速度分量小于0,则停止对VR设备上的图像进行放大操作;
图像控制模块52对VR设备上的图像进行缩小操作之后进一步用于,
检测用户头部在X轴负方向上的速度分量,若该速度分量大于或等于0,则继续对VR设备上的图像进行缩小操作,直至达到图像的缩小终止条件为止;若该速度分量小于0,则停止对VR设备上的图像进行缩小操作。
上述装置可位于VR设备上,其中,VR设备为头盔状,可佩戴在用户头部。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (24)

1.一种对虚拟现实VR设备上的图像进行缩放的方法,其特征在于,该方法包括:
检测VR设备用户的头部姿态;
当VR设备用户的头部姿态为预定义的图像放大姿态时,对VR设备上的图像进行放大操作;
当VR设备用户的头部姿态为预定义的图像缩小姿态时,对VR设备上的图像进行缩小操作。
2.根据权利要求1所述的方法,其特征在于,所述预定义的图像放大姿态为:头部左倾,所述预定义的图像缩小姿态为:头部右倾;
或者,所述预定义的图像放大姿态为:头部右倾,所述预定义的图像缩小姿态为:头部左倾;
或者,所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰;
或者,所述预定义的图像放大姿态为:头部后仰,所述预定义的图像缩小姿态为:头部前倾。
3.根据权利要求1所述的方法,其特征在于,所述对VR设备上的图像进行放大操作之前进一步包括:检测用户在图像上的注视焦点;所述对VR设备上的图像进行放大操作包括:以用户在图像上的注视焦点为中心,对VR设备上的图像进行放大操作;
所述对VR设备上的图像进行缩小操作之前进一步包括:检测用户在图像上的注视焦点;所述对VR设备上的图像进行缩小操作包括:以用户在图像上的注视焦点为中心,对VR设备上的图像进行缩小操作。
4.根据权利要求1所述的方法,其特征在于,所述对VR设备上的图像进行放大操作之前进一步包括:检测用户在图像上的注视焦点,根据该注视焦点,确定用户在图像上的感兴趣部分;所述对VR设备上的图像进行放大操作包括:对用户在图像上的感兴趣部分进行放大操作;
所述对VR设备上的图像进行缩小操作之前进一步包括:检测用户在图像上的注视焦点,根据该注视焦点,确定用户在图像上的感兴趣部分;所述对VR设备上的图像进行缩小操作包括:对用户在图像上的感兴趣部分进行缩小操作。
5.根据权利要求1至4任一所述的方法,其特征在于,所述对VR设备上的图像进行放大操作之前进一步包括:判断当前图像的分辨率是否低于预设第一分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行放大操作;否则,不对图像进行放大操作;
所述对VR设备上的图像进行缩小操作之前进一步包括:判断当前图像的分辨率是否高于预设第二分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行缩小操作;否则,不对图像进行缩小操作。
6.根据权利要求1至4任一所述的方法,其特征在于,所述检测VR设备用户的头部姿态包括:
将预定义的图像放大姿态指向的方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像放大姿态;
若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像缩小姿态。
7.根据权利要求6所述的方法,其特征在于,所述方法进一步包括:从VR设备的陀螺仪获取用户头部在X、Y、Z轴方向的角速度;
所述发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为预定义的图像放大姿态之前进一步包括:
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值;
所述发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为预定义的图像缩小姿态之前进一步包括:
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值。
8.根据权利要求2所述的方法,其特征在于,当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时,
所述检测VR设备用户的头部姿态包括:
获取VR设备用户的初始视线方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直且指向用户头部左侧的方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为前倾;
若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为后仰。
9.根据权利要求8所述的方法,其特征在于,所述用户的初始视线方向为:从用户双眼的中心指向用户在VR图像上的注视焦点的方向。
10.根据权利要求8所述的方法,其特征在于,所述方法进一步包括:从VR设备的陀螺仪获取用户头部在X、Y、Z轴方向的角速度;
所述发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为前倾之前进一步包括:
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值;
所述发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为后仰之前进一步包括:
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值。
11.根据权利要求2所述的方法,其特征在于,当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时;或者,当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时,
且,当所述VR设备位于交通工具上时,
所述当VR设备用户的头部姿态为预定义的图像放大姿态之后、对VR设备上的图像进行放大操作之前进一步包括:
计算交通工具上安装的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量与VR设备上的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量的差值,若该差值的绝对值大于预设值,则执行所述对VR设备上的图像进行放大操作的动作,否则,不执行所述对VR设备上的图像进行放大操作的动作;
所述当VR设备用户的头部姿态为预定义的图像缩小姿态之后、对VR设备上的图像进行缩小操作之前进一步包括:计算交通工具上安装的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量与VR设备上的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量的差值,若该差值的绝对值大于预设值,则执行所述对VR设备上的图像进行缩小操作的动作,否则,不执行所述对VR设备上的图像进行缩小操作的动作。
12.根据权利要求6所述的方法,其特征在于,所述对VR设备上的图像进行放大操作之后进一步包括:
检测用户头部在X轴正方向上的速度分量,若该速度分量大于或等于0,则继续对VR设备上的图像进行放大操作;若该速度分量小于0,则停止对VR设备上的图像进行放大操作;
所述对VR设备上的图像进行缩小操作之后进一步包括:
检测用户头部在X轴负方向上的速度分量,若该速度分量大于或等于0,则继续对VR设备上的图像进行缩小操作;若该速度分量小于0,则停止对VR设备上的图像进行缩小操作。
13.一种对虚拟现实VR设备上的图像进行缩放的装置,其特征在于,该装置包括:
头部姿态检测模块,用于检测VR设备用户的头部姿态;
图像控制模块,用于在头部姿态检测模块检测到VR设备用户的头部姿态为预定义的图像放大姿态时,对VR设备上的图像进行放大操作;在头部姿态检测模块检测到VR设备用户的头部姿态为预定义的图像缩小姿态时,对VR设备上的图像进行缩小操作。
14.根据权利要求13所述的装置,其特征在于,所述头部姿态检测模块检测到的预定义的图像放大姿态为:头部左倾,预定义的图像缩小姿态为:头部右倾;
或者,所述头部姿态检测模块检测到的预定义的图像放大姿态为:头部右倾,所述预定义的图像缩小姿态为:头部左倾;
或者,所述头部姿态检测模块检测到的预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰;
或者,所述头部姿态检测模块检测到的预定义的图像放大姿态为:头部后仰,所述预定义的图像缩小姿态为:头部前倾。
15.根据权利要求13所述的装置,其特征在于,所述装置进一步包括:视线捕捉模块,用于检测用户在图像上的注视焦点;
所述图像控制模块对VR设备上的图像进行放大操作包括:以视线捕捉模块检测到的用户在图像上的注视焦点为中心,对VR设备上的图像进行放大操作;
所述图像控制模块对VR设备上的图像进行缩小操作包括:以视线捕捉模块检测到的用户在图像上的注视焦点为中心,对VR设备上的图像进行缩小操作。
16.根据权利要求13所述的装置,其特征在于,
所述图像控制模块对VR设备上的图像进行放大操作具体用于,检测用户在图像上的注视焦点,根据该注视焦点,确定用户在图像上的感兴趣部分,对用户在图像上的感兴趣部分进行放大操作;
所述图像控制模块对VR设备上的图像进行缩小操作具体用于,检测用户在图像上的注视焦点,根据该注视焦点,确定用户在图像上的感兴趣部分,对用户在图像上的感兴趣部分进行缩小操作。
17.根据权利要求13至16任一所述的装置,其特征在于,所述图像控制模块对VR设备上的图像进行放大操作之前进一步用于,判断当前图像的分辨率是否低于预设第一分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行放大操作;否则,不对图像进行放大操作;
所述图像控制模块对VR设备上的图像进行缩小操作之前进一步用于,判断当前图像的分辨率是否高于预设第二分辨率,或/和,当前用户的注视焦点位于图像上,若是,则对图像进行缩小操作;否则,不对图像进行缩小操作。
18.根据权利要求13至16任一所述的装置,其特征在于,所述头部姿态检测模块检测VR设备用户的头部姿态包括:
将预定义的图像放大姿态指向的方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像放大姿态;
若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为预定义的图像缩小姿态。
19.根据权利要求18所述的装置,其特征在于,所述头部姿态检测模块进一步用于,从VR设备的陀螺仪获取用户头部在X、Y、Z轴方向的角速度;
所述头部姿态检测模块发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为预定义的图像放大姿态之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值;
所述头部姿态检测模块发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为预定义的图像缩小姿态之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值。
20.根据权利要求14任一所述的装置,其特征在于,当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时,
所述头部姿态检测模块具体用于,
将视线捕捉模块检测到的VR设备用户的初始视线方向作为X轴正向,将与X轴垂直且指向用户头顶的方向作为Y轴正向,将与X轴和Y轴垂直且指向用户头部左侧的方向作为Z轴正向,建立第一坐标系;
从VR设备的加速度感应器获取用户头部位移矢量在X、Y、Z轴方向的分量;
若发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为前倾;
若发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值,则确认用户的头部姿态为后仰。
21.根据权利要求20所述的装置,其特征在于,所述头部姿态检测模块进一步用于,从VR设备的陀螺仪获取用户头部在X、Y、Z轴方向的角速度;
且,发现用户头部位移矢量在X轴正方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为前倾之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值;
所述发现用户头部位移矢量在X轴负方向的分量的绝对值大于预设第一位移阈值,且用户头部位移矢量在Y轴和Z轴方向的分量的绝对值都小于预设第二位移阈值之后、确认用户的头部姿态为后仰之前进一步用于,
发现用户头部在X、Y、Z轴方向的角速度都小于预设角速度阈值。
22.根据权利要求14所述的装置,其特征在于,当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时;或者,当所述预定义的图像放大姿态为:头部前倾,所述预定义的图像缩小姿态为:头部后仰时,
且,当所述VR设备位于交通工具上时,
当VR设备用户的头部姿态为预定义的图像放大姿态时,所述图像控制模块对VR设备上的图像进行放大操作具体用于,
计算交通工具上安装的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量与VR设备上的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量的差值,若该差值的绝对值大于预设值,则对VR设备上的图像进行放大操作,否则,不对VR设备上的图像进行放大操作;
当VR设备用户的头部姿态为预定义的图像缩小姿态时,所述图像控制模块对VR设备上的图像进行缩小操作具体用于,
计算交通工具上安装的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量与VR设备上的加速度感应器当前测量的加速度矢量在交通工具行驶方向上的分量的差值,若该差值的绝对值大于预设值,则对VR设备上的图像进行缩小操作,否则,不对VR设备上的图像进行缩小操作。
23.根据权利要求18所述的装置,其特征在于,所述图像控制模块对VR设备上的图像进行放大操作之后进一步用于,
检测用户头部在X轴正方向上的速度分量,若该速度分量大于或等于0,则继续对VR设备上的图像进行放大操作;若该速度分量小于0,则停止对VR设备上的图像进行放大操作;
所述图像控制模块对VR设备上的图像进行缩小操作之后进一步用于,
检测用户头部在X轴负方向上的速度分量,若该速度分量大于或等于0,则继续对VR设备上的图像进行缩小操作,直至达到图像的缩小终止条件为止;若该速度分量小于0,则停止对VR设备上的图像进行缩小操作。
24.根据权利要求13所述的装置,其特征在于,所述装置位于VR设备上。
CN201611049218.1A 2016-11-25 2016-11-25 对虚拟现实设备上的图像进行缩放的方法及装置 Pending CN106557170A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201611049218.1A CN106557170A (zh) 2016-11-25 2016-11-25 对虚拟现实设备上的图像进行缩放的方法及装置
KR1020170157514A KR20180059366A (ko) 2016-11-25 2017-11-23 가상 현실 기기 상에서의 이미지 줌인 및 줌아웃을 위한 방법 및 장치
EP17873373.9A EP3545387A4 (en) 2016-11-25 2017-11-24 METHOD AND DEVICE FOR PROVIDING AN IMAGE
PCT/KR2017/013483 WO2018097632A1 (en) 2016-11-25 2017-11-24 Method and device for providing an image
US15/822,340 US11068048B2 (en) 2016-11-25 2017-11-27 Method and device for providing an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611049218.1A CN106557170A (zh) 2016-11-25 2016-11-25 对虚拟现实设备上的图像进行缩放的方法及装置

Publications (1)

Publication Number Publication Date
CN106557170A true CN106557170A (zh) 2017-04-05

Family

ID=58443798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611049218.1A Pending CN106557170A (zh) 2016-11-25 2016-11-25 对虚拟现实设备上的图像进行缩放的方法及装置

Country Status (3)

Country Link
EP (1) EP3545387A4 (zh)
KR (1) KR20180059366A (zh)
CN (1) CN106557170A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464291A (zh) * 2017-08-22 2017-12-12 广州魔发科技有限公司 一种脸部图像的处理方法及装置
CN111629195A (zh) * 2019-02-28 2020-09-04 邓云天 一种3dvr照片的显示方法
WO2021168922A1 (zh) * 2020-02-25 2021-09-02 上海唯二网络科技有限公司 通过头戴式vr显示设备实现人机交互的方法及装置
CN113905224A (zh) * 2020-06-22 2022-01-07 邓云天 一种vr3d视频
CN115442581A (zh) * 2021-12-29 2022-12-06 北京罗克维尔斯科技有限公司 车载vr眼镜控制方法、装置及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118202A (zh) * 2013-03-12 2013-05-22 上海斐讯数据通信技术有限公司 一种通过摇动控制手机的方法
WO2015062320A1 (zh) * 2013-11-01 2015-05-07 王洪亮 人体耦合智能信息输入系统及方法
CN104796594A (zh) * 2014-01-16 2015-07-22 中兴通讯股份有限公司 一种预览界面特殊效果即时呈现方法及终端设备
CN105359084A (zh) * 2013-07-01 2016-02-24 Lg电子株式会社 显示装置及其控制方法
CN105898346A (zh) * 2016-04-21 2016-08-24 联想(北京)有限公司 控制方法、电子设备及控制系统
CN106131483A (zh) * 2016-06-24 2016-11-16 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的巡检方法及相关设备、系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213403B1 (en) * 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
US20150346813A1 (en) * 2014-06-03 2015-12-03 Aaron Michael Vargas Hands free image viewing on head mounted display
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118202A (zh) * 2013-03-12 2013-05-22 上海斐讯数据通信技术有限公司 一种通过摇动控制手机的方法
CN105359084A (zh) * 2013-07-01 2016-02-24 Lg电子株式会社 显示装置及其控制方法
WO2015062320A1 (zh) * 2013-11-01 2015-05-07 王洪亮 人体耦合智能信息输入系统及方法
CN104796594A (zh) * 2014-01-16 2015-07-22 中兴通讯股份有限公司 一种预览界面特殊效果即时呈现方法及终端设备
CN105898346A (zh) * 2016-04-21 2016-08-24 联想(北京)有限公司 控制方法、电子设备及控制系统
CN106131483A (zh) * 2016-06-24 2016-11-16 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的巡检方法及相关设备、系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464291A (zh) * 2017-08-22 2017-12-12 广州魔发科技有限公司 一种脸部图像的处理方法及装置
CN111629195A (zh) * 2019-02-28 2020-09-04 邓云天 一种3dvr照片的显示方法
WO2021168922A1 (zh) * 2020-02-25 2021-09-02 上海唯二网络科技有限公司 通过头戴式vr显示设备实现人机交互的方法及装置
CN113905224A (zh) * 2020-06-22 2022-01-07 邓云天 一种vr3d视频
CN115442581A (zh) * 2021-12-29 2022-12-06 北京罗克维尔斯科技有限公司 车载vr眼镜控制方法、装置及计算机设备
CN115442581B (zh) * 2021-12-29 2024-01-16 北京罗克维尔斯科技有限公司 车载vr眼镜控制方法、装置及计算机设备

Also Published As

Publication number Publication date
KR20180059366A (ko) 2018-06-04
EP3545387A4 (en) 2019-12-11
EP3545387A1 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
US11068048B2 (en) Method and device for providing an image
US9962839B2 (en) Robot apparatus, method for controlling the same, and computer program
CN106557170A (zh) 对虚拟现实设备上的图像进行缩放的方法及装置
JP5323910B2 (ja) 移動ロボットの遠隔操縦のための衝突防止装置及び方法
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US8717283B1 (en) Utilizing motion of a device to manipulate a display screen feature
EP3629133B1 (en) Interface interaction apparatus and method
US20120054690A1 (en) Apparatus and method for displaying three-dimensional (3d) object
EP3644826A1 (en) A wearable eye tracking system with slippage detection and correction
US20160282937A1 (en) Gaze tracking for a mobile device
EP3018629B1 (en) Imaging system
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
JP2015118442A (ja) 情報処理装置、情報処理方法およびプログラム
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
CN104298340A (zh) 控制方法和电子设备
EP4488806A1 (en) Input recognition method in virtual scene, device and storage medium
US10771707B2 (en) Information processing device and information processing method
JP2017004356A (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
CN104699249A (zh) 一种信息处理方法及电子设备
JP2012113450A (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
CN103369127B (zh) 电子装置和图像撷取方法
CN108256487A (zh) 一种基于反向双目的驾驶状态检测装置和方法
CN117173252A (zh) Ar-hud驾驶员眼盒标定方法、系统、设备及介质
TW201539252A (zh) 觸控系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170405

RJ01 Rejection of invention patent application after publication