[go: up one dir, main page]

CN101753999B - 图像处理设备和方法、图像处理系统和图像处理程序 - Google Patents

图像处理设备和方法、图像处理系统和图像处理程序 Download PDF

Info

Publication number
CN101753999B
CN101753999B CN2009102529502A CN200910252950A CN101753999B CN 101753999 B CN101753999 B CN 101753999B CN 2009102529502 A CN2009102529502 A CN 2009102529502A CN 200910252950 A CN200910252950 A CN 200910252950A CN 101753999 B CN101753999 B CN 101753999B
Authority
CN
China
Prior art keywords
image
cutout
section
image display
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009102529502A
Other languages
English (en)
Other versions
CN101753999A (zh
Inventor
稻熊律夫
氏乡隆信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101753999A publication Critical patent/CN101753999A/zh
Application granted granted Critical
Publication of CN101753999B publication Critical patent/CN101753999B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了图像处理设备和方法、图像处理系统和图像处理程序。图像处理设备包括：完整图像显示控制部分，其执行控制以在完整图像显示窗口中显示预定区域的完整图像；以及剪切图像显示控制部分，其执行控制以放大包括在完整图像中的多个跟踪对象并将跟踪对象显示在剪切图像显示窗口中。所述剪切图像显示控制部分以如下方式执行控制：在多个跟踪对象之间的相对距离等于或小于预定值的情况下，包括多个跟踪对象的一个剪切图像被显示在剪切图像显示窗口中；并且在多个跟踪对象之间的相对距离大于预定值的情况下，包括各个跟踪对象的两个剪切图像被显示在剪切图像显示窗口中。

Description

图像处理设备和方法、图像处理系统和图像处理程序
技术领域
本发明涉及用于跟踪和显示多个运动物体的图像处理设备和方法、图像处理系统和图像处理程序。
背景技术
存在这样的图像处理系统，其通过使用监视相机等跟踪运动物体来显示该运动物体。JP-A-2006-121261描述了一种技术，该技术基于从GPS(全球定位系统)获得的运动物体的位置信息和高度信息来计算上面安装有相机的旋转体(swivel)的俯仰-摇摆(pan-tilt)角度信息，并根据旋转体基座的角度控制相机，以免丢失使用单个相机对运动物体的跟踪。而且，在“Kakushindo-tsuki kasetsugunno sougosayounimotozukufujusuutaishou tsuiseki”(Computer Vision and Image Media第43卷No.SIG4(CVIM 4)，2006年6月)中描述了一种跟踪多个运动物体的技术。
发明内容
当多个运动物体被单个相机跟踪时，可能存在一运动物体取决于该运动物体的运动而无法再被跟踪的情况。为了消除这种不便，多个运动物体中的每一个可以被不同的相机所跟踪。但是，在此情况下，要想在由各个相机生成的图像内保持跟踪所有运动物体之间的位置关系是相当困难的。
作为在保持跟踪位置关系的同时跟踪检测到的运动物体的技术，一般使用雷达系统。但是，雷达系统提供较差的视觉信息并因此不适于识别运动物体。
存在另一种技术，该技术通过在跟踪处理中单独提取各个运动物体来跟踪和显示多个运动物体。根据该技术，在两个运动物体相互重叠的情况下，重叠的运动物体被跟踪为一个运动物体，并且当两个运动物体分离时，这两个运动物体被识别为新生成的运动物体。因此，难以精确地跟踪多个运动物体。
在多个运动物体被跟踪并且所有运动物体被显示在单个屏幕上的情况下，当运动物体彼此之间相距很远时，每个运动物体在屏幕上的显示大小变得太小而无法被一一识别。同时，当为每个运动物体提供一窗口以显示每个运动物体时，在多个运动物体一起相互靠近的情况下，在多于一个窗口中显示相同的图像。因此，变得难以有效地使用显示屏幕。
因此，希望在对多个运动物体的跟踪和显示处理中能够有效地使用显示屏幕，同时使用户更容易识别出各个运动物体。
根据本发明的一个实施例，提供了一种图像处理设备包括：完整图像显示控制部分，其执行控制以在完整图像显示窗口中显示预定区域的完整图像；以及剪切图像显示控制部分，其执行控制以放大包括在完整图像中的多个跟踪对象并将跟踪对象显示在剪切图像显示窗口中。所述剪切图像显示控制部分以如下方式执行控制：在多个跟踪对象之间的相对距离等于或小于预定值的情况下，包括多个跟踪对象的一个剪切图像被显示在剪切图像显示窗口中；并且在多个跟踪对象之间的相对距离大于预定值的情况下，包括相应跟踪对象的两个剪切图像被显示在剪切图像显示窗口中。
根据本发明的另一实施例，提供了一种图像处理系统，包括：图像发送设备，其具有生成图像数据的相机部分、通过对相机部分生成的图像数据编码而生成压缩图像数据的图像数据处理部分，以及发送由图像数据处理部分生成的压缩图像数据的数据发送部分；以及图像处理设备，其具有接收压缩图像数据的数据接收部分、完整图像显示控制部分和剪切图像显示控制部分，所述完整图像显示控制部分执行控制以在完整图像显示窗口中显示从通过对在数据接收部分处接收到的压缩图像数据进行解码而获得的图像数据生成的预定区域的完整图像，所述剪切图像显示控制部分执行控制以放大包括在完整图像中的多个跟踪对象并将跟踪对象显示在剪切图像显示窗口中。所述剪切图像显示控制部分以如下方式执行控制：在多个跟踪对象之间的相对距离等于或小于预定值的情况下，包括多个跟踪对象的一个剪切图像被显示在剪切图像显示窗口中；并且在多个跟踪对象之间的相对距离大于预定值的情况下，包括相应跟踪对象的两个剪切图像被显示在剪切图像显示窗口中。
根据本发明的又一实施例，提供了一种图像处理方法，包括以下步骤：执行控制以在完整图像显示窗口中显示预定区域的完整图像；以及执行控制以放大包括在所述完整图像中的多个跟踪对象并将所述跟踪对象显示在剪切图像显示窗口中。在显示跟踪对象的步骤中，所述控制以如下方式被执行：在多个跟踪对象之间的相对距离等于或小于预定值的情况下，包括多个跟踪对象的一个剪切图像被显示在剪切图像显示窗口中；并且在多个跟踪对象之间的相对距离大于预定值的情况下，包括相应跟踪对象的两个剪切图像被显示在剪切图像显示窗口中。
根据本发明的又一实施例，提供了一种图像处理程序，其致使计算机执行以下步骤：执行控制以在完整图像显示窗口中显示预定区域的完整图像；以及执行控制以放大包括在所述完整图像中的多个跟踪对象并将跟踪对象显示在剪切图像显示窗口中。在显示跟踪对象的步骤中，所述控制以如下方式被执行：在多个跟踪对象之间的相对距离等于或小于预定值的情况下，包括多个跟踪对象的一个剪切图像被显示在剪切图像显示窗口中；并且在多个跟踪对象之间的相对距离大于预定值的情况下，包括相应跟踪对象的两个剪切图像被显示在剪切图像显示窗口中。
根据本发明的实施例，用户变得能够获得通过广角成像尚未获得的跟踪对象的详细图像，同时在完整图像显示窗口中保持对跟踪对象之间的位置关系的跟踪。根据本发明的实施例，在各个跟踪对象之间的相对距离等于或小于预定阈值的情况下，用户能够通过在一个剪切图像显示窗口中显示所有跟踪对象来跟踪多个跟踪对象。根据本发明的实施例，即使在多个跟踪对象之间的相对距离大于预定值的情况下，通过在剪切图像显示窗口中显示包括相应跟踪对象的两个剪切图像，用户变得能够针对多个跟踪对象中的每一个保持对其详细图像的跟踪。
如上所述，根据本发明的实施例，即使在存在大量跟踪对象时，用户也变得能够根据显示在完整图像显示窗口中的跟踪对象之间的位置关系来精确地保持对跟踪对象的跟踪。
附图说明
图1是示出根据应用了本发明的实施例的图像处理系统的视图；
图2是示出图像发送设备和图像处理设备的内部配置的视图；
图3是示出在为图像处理设备提供的显示器上示出的显示屏幕的示例的视图；
图4是用于描述基于运动物体检测的运动物体跟踪和显示处理操作的流程图；
图5是示出在为图像处理设备提供的显示器上示出的显示屏幕的示例的视图；
图6是示出多个运动物体被剪切出并显示在为图像处理设备提供的显示器上示出的显示屏幕上的方式的视图；
图7是示出多个运动物体被剪切出并显示在为图像处理设备提供的显示器上示出的显示屏幕上的方式的视图；
图8是示出多个运动物体被剪切出并显示在为图像处理设备提供的显示器上示出的显示屏幕上的方式的视图；
图9是示出多个运动物体被剪切出并显示在为图像处理设备提供的显示器上示出的显示屏幕上的方式的视图；
图10是示出符合1280×1024像点的SXGA的显示屏幕的视图；
图11是示出一显示屏幕的示例的视图，在该显示屏幕上显示有利用HD相机成像的跟踪对象；
图12是示出一显示屏幕的示例的视图，在该显示屏幕上显示有利用HD相机成像的跟踪对象；
图13是示出一显示屏幕的示例的视图，在该显示屏幕上显示有利用HD相机成像的跟踪对象；
图14是用于描述根据经度和纬度信息的运动物体跟踪和显示处理操作的流程图；
图15是示出图像发送设备、参考对象和运动物体之间的位置关系的视图；
图16是示出由图像发送设备所显示的完整图像显示窗口的视图；
图17是示出多个生成的图像中的预定数目个连续图像被显示在完整图像显示窗口中并且正在完整图像显示窗口中显示的图像中的预定剪切范围的图像被显示在剪切图像显示窗口中的方式的视图；
图18是示出根据应用了本发明的另一实施例的图像处理系统的配置的视图；
图19是示出图像发送设备和图像处理设备的内部配置的视图；
图20是示出全景完整图像的视图；
图21是示出为图像处理系统提供的图像发送设备的内部配置的视图；
图22是示出在为图像处理设备提供的显示器上示出的显示屏幕的示例的视图；
图23是示出在为图像处理设备提供的显示器上示出的显示屏幕的示例的视图；以及
图24是示出在为图像处理设备提供的显示器上示出的显示屏幕的示例的视图。
具体实施方式
在下文中，将参考附图来详细描述本发明被应用到的具体实施例。
图1是示出根据应用了本发明的实施例的图像处理系统1的视图。图像处理系统1包括经由网络4(例如LAN(局域网)和因特网)彼此连接的图像发送设备2和图像处理设备3。
图2是示出图像发送设备2和图像处理设备3的内部配置的视图。图像发送设备2将从成像信号生成的图像信号经由网络4发送到图像处理设备3。图像处理设备3对经由网络4接收自图像发送设备2的图像信号应用预定的信号处理。然后，图像处理设备3使完整图像和剪切图像显示在不同窗口中，其中完整图像是成像区域的图像，剪切图像是通过从完整图像中剪切出包括作为跟踪对象的运动物体的一区域而获得的图像。
图像发送设备2包括相机部分10、图像数据处理部分11、外部传感器12和数据发送部分13。相机部分10包括成像部分101和成像信号处理部分102。图像数据处理部分11包括编码器(ENC)103、运动物体和静止物体检测部分104和元数据生成部分105。
在相机部分10中，成像部分101具有成像镜头(未示出)和由CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)构成的成像元件(未示出)。在成像部分101中，成像元件经由成像镜头捕获预定区域的图像以生成成像信号，并将成像信号提供给成像信号处理部分102。成像信号处理部分102对从成像部分101提供的成像信号应用诸如样本保持、增益控制和A/D(模数)转换之类的处理，以及诸如白平衡调整和伽玛校正之类的处理。成像信号处理部分102将通过上述处理生成的图像数据提供给图像数据处理部分11中的编码器103和运动物体和静止物体检测部分104。
编码器103利用MPEG(运动图片专家组)-4编码方法对从成像信号处理部分102提供的图像数据应用编码处理，并将压缩后的图像数据提供到数据发送部分13。
运动物体和静止物体检测部分104执行从提供自成像信号处理部分102的图像数据中检测运动物体和静止物体的处理。运动物体和静止物体检测部分104将运动物体和静止物体的检测信息提供到元数据生成部分105。
来自外部传感器12的运动物体的检测信息也被提供到元数据生成部分105。外部传感器12例如由红外传感器、温度传感器或声音传感器构成。外部传感器12将用于通知基于红外线、温度或声音检测到运动物体的信息提供到元数据生成部分105。元数据生成部分105生成元数据并将元数据提供给数据发送部分13，元数据包括从运动物体和静止物体检测部分104提供的运动物体和静止物体的检测信息以及来自外部传感器12的检测信息。
数据发送部分13将从编码器103提供的图像数据根据TCP/IP(传输控制协议/因特网协议)、经由网络4发送到图像处理设备3。数据发送部分13还将从元数据生成部分105提供的元数据经由网络4发送到图像处理设备3。
图像处理设备3包括数据接收部分111、位置信息提取部分112、完整图像生成部分113、剪切图像生成部分114、完整图像显示部分115和剪切图像显示部分116。
虽然在图中没有示出，但是图像处理设备3包括CPU(中央处理单元)、工作RAM(随机访问存储器)、存储根据本发明的一个实施例的图像处理程序、数据等的ROM(只读存储器)。通过在CPU上运行图像处理程序，图像处理设备3执行一系列处理。图像处理程序可例如被记录在记录介质(例如CD-ROM)中，从而其可以从外部提供。
数据接收部分111从图像发送设备2接收图像数据和元数据。数据接收部分111将接收到的图像数据提供给完整图像生成部分113。而且，数据接收部分111将接收到的图像数据和元数据提供给位置信息提取部分112。
位置信息提取部分112指定一图像帧，在该图像帧中，根据运动物体和静止物体的检测信息的元数据，从在数据接收部分111处接收到的图像数据中检测出运动物体。图像处理设备3还包括操作部分(未示出)，其用于响应于用户的操作从在完整图像显示窗口中显示的完整图像中指定多个跟踪对象。当响应于用户操作指定跟踪对象时，运动物体之中被定义为跟踪对象的运动物体被设置。通知该设置的设置信号被提供到位置信息提取部分112。
位置信息提取部分112对在其中检测运动物体的图像帧应用预定的算法处理，以提取出图像中作为跟踪对象的运动物体的位置信息，并将提取出的位置信息提供到剪切图像生成部分114。哪些运动物体被设置为跟踪对象是例如通过用户的设置操作来指定的。而且，位置信息提取部分112将在数据接收部分111处接收的图像数据提供到剪切图像生成部分114。
可替换地，可以按如下方式进行配置：位置信息提取部分112使用GPS(全球定位系统)从外部取得跟踪对象的位置信息，并执行处理以将跟踪对象的位置信息转换成图像中的位置信息。
完整图像生成部分113将从数据接收部分111提供的图像数据的图像作为完整图像提供给完整图像显示部分115。
剪切图像生成部分114根据从位置信息提取部分112提供的跟踪对象的位置信息计算各个跟踪对象之间的相对距离，并判断相对距离是否大于预定值，即，预定阈值。相对距离是根据完整图像中的跟踪对象的大小和完整图像中的各个跟踪对象之间的距离中的任意一项或其两者来计算的。剪切图像生成部分114随后基于该判断指定剪切范围，并将该剪切范围的信息作为视角(angle-of-view)信息提供给完整图像生成部分113。完整图像生成部分113根据提供自剪切图像生成部分114的视角信息从完整图像中剪切出剪切范围的图像，并将剪切图像提供给剪切图像生成部分114。
在根据由位置信息提取部分112提取出的提取信息计算的各个跟踪对象之间的相对距离等于或小于预定阈值的情况下，剪切图像生成部分114根据位置信息指定一个剪切范围，该剪切范围包括各个跟踪对象之间的相对距离等于或小于预定阈值的所有跟踪对象。剪切图像生成部分114随后生成该剪切范围的图像，作为剪切图像。同时，在各个跟踪对象之间的相对距离大于预定阈值的情况下，剪切图像生成部分114根据位置信息指定两个剪切范围，这两个剪切范围各自包括的跟踪对象之间的相对距离远大于预定阈值。剪切图像生成部分114随后生成指定的剪切范围的图像，作为剪切图像。
剪切图像生成部分114响应于用户操作或根据其自己的判断以任意放大比率对所生成的(一个或多个)剪切图像进行放大。而且，剪切图像生成部分114可以响应于用户操作或根据其自己的判断以任意缩小比率对曾放大的图像进行缩小。剪切图像生成部分114将所生成的(一个或多个)剪切图像提供到剪切图像显示部分116。剪切图像生成部分114能够响应于用户的设置操作来任意改变剪切图像的放大比率或缩小比率。另外，(一个或多个)剪切范围是根据由位置信息提取部分112提取出的跟踪对象的位置信息来指定的，以便完全地包括跟踪对象。
应该注意，剪切图像生成部分114能够通过根据跟踪对象的位置信息在各个跟踪对象之间重复执行算法处理来生成三个或更多剪切图像。
图像处理设备3包括显示器，例如LCD(液晶显示器)。提供给图像处理设备3的显示器例如显示如图3所示的显示屏幕21。在显示屏幕21上，预定区域的完整图像被显示在完整图像显示窗口22中。而且，在显示屏幕21上，从被显示在完整图像显示窗口22中的完整图像中剪切出的(一个或多个)剪切图像被显示在剪切图像显示窗口24中。完整图像显示部分115将从完整图像生成部分113提供的完整图像显示在完整图像显示窗口22中。剪切图像显示部分116将从剪切图像生成部分114提供的(一个或多个)剪切图像显示在剪切图像显示窗口24中。
以这种方式，图像处理设备3包括完整图像生成部分113和完整图像显示部分115，并执行控制以在完整图像显示窗口中显示预定区域的完整图像。而且，图像处理设备3包括剪切图像生成部分114和剪切图像显示部分116，并执行控制以对包括在完整图像中的多个跟踪对象进行放大并将跟踪对象显示在剪切图像显示窗口中。
应该意识到，从图像发送设备2发送的图像数据的图像可以是运动图像或静止图像。
在图像是运动图像的情况下，图像可以在完整图像显示窗口和剪切图像显示窗口中被实时地显示。
在图像是静止图像的情况下，在剪切图像显示窗口中显示的剪切图像是与显示在完整图像显示窗口中的完整图像同时发生的图像。可替换地，可以按如下方式进行配置：显示在剪切图像显示窗口中的剪切图像可以按任意的设置时间间隔被更新。在此情况下，剪切图像显示部分116响应于用户的设置操作或根据其自己的判断每隔任意时间对将显示在剪切图像显示窗口中的图像进行更新。
现在将描述图像处理系统1的运动物体跟踪和显示处理的操作示例。图4是用于描述基于运动物体检测的运动物体跟踪和显示处理操作的流程图。
在步骤S1中，位置信息提取部分112通过运动物体检测处理来开始位置信息提取处理。
在步骤S2中，位置信息提取部分112根据从元数据生成部分105提供的运动物体检测信息的元数据从提供自数据接收部分111的图像帧中提取出该包括运动物体的图像帧中作为跟踪对象的运动物体的位置信息。
例如，如图5所示，运动物体和静止物体检测部分104在对应于显示屏幕21的成像区域中检测到运动物体31到33。在此情况下，元数据生成部分105生成用于通知检测到运动物体31到33的信息的元数据。位置信息提取部分112使用从数据接收部分111提供的图像数据来指定包括运动物体31到33的图像帧。这里，假设响应于用户的设置操作，运动物体31到33都被设置为跟踪对象。通过该设置的设置信号被提供到位置信息提取部分112。
在步骤S3中，位置信息提取部分112计算在所指定的图像帧中与包围一跟踪对象的图像区域的左上端相对应的坐标(左上端点)以及与右下端相对应的坐标(右下端点)。这里，坐标被表示为(x，y)。
在步骤S4中，位置信息提取部分112在过去获得的并被存储在设置在图像处理设备3中的缓冲器(未示出)中的多个连续的图像帧中，对包括一运动物体的图像的图像区域的左上端点和右下端点的坐标(x，y)执行计算处理。这里，左上端点和右下端点可以被设置为使得完全地包括图像区域中的运动物体。位置信息提取部分112随后使用计算出的过去的图像帧中的左上端点和右下端点的坐标(x，y)来计算该图像帧中的各个运动物体的运动速度。
在步骤S5中，位置信息提取部分112基于在步骤S4中计算出的各个运动物体的运动速度来计算在从数据接收部分111提供的随后的图像帧中包围每个跟踪对象的图像区域的左上端点和右下端点的坐标(x，y)的预测值。包围每个跟踪对象的图像区域因此被指定。
例如，参考图5，位置信息提取部分112使用显示屏幕21作为坐标平面来计算包围运动物体31的图像区域41的左上端点A1(X11，Y11)和右下端点B1(X12，Y12)。而且，位置信息提取部分112计算在显示屏幕21中包围运动物体32的图像区域42的左上端点A2(X21，Y21)和右下端点B2(X22，Y22)以及包围运动物体33的图像区域43的左上端点A3(X31，Y31)和右下端点B3(X32，Y32)。位置信息提取部分112随后将计算出的坐标作为运动物体的位置信息提供给剪切图像生成部分114。对于图5所示示例，指定图像区域的图像帧被设置为使得在坐标屏幕的纵向方向上和横向方向上与运动物体相接触。
在步骤S6中，剪切图像生成部分114使用由位置信息提取部分112计算出的坐标来计算各个跟踪对象之间在横向方向和纵向方向上的相对距离。这里，令显示屏幕作为x-y坐标平面，则剪切图像生成部分114根据指定运动物体的图像区域在特定位置上的端点(左上端点)之间的纵向方向上和横向方向上的距离以及各个运动物体的大小来计算作为跟踪对象的各个运动物体之间的相对距离。应该意识到，各个运动物体之间的相对距离的计算方法不局限于上述方法并且各种其他方法也是可用的。例如，剪切图像生成部分114计算从出现在x-y坐标平面的左侧的图像区域的左上端点的x坐标到出现在右侧的图像区域的右下端点的x坐标之间的距离，作为横向方向上的相对距离。同样，剪切图像生成部分114计算从出现在x-y坐标平面的上侧的图像区域的左上端点的y坐标到出现在下侧的图像区域的右下端点的y坐标之间的距离，作为纵向方向上的相对距离。
在图5的示例中，运动物体31和运动物体33之间的相对距离可以被表示为X31和X12之间的距离，作为在横向方向上的相对距离，并且被表示为Y11和Y32之间的距离，作为在纵向方向上的相对距离。应该意识到，相对距离不局限于以上述方式计算出的那些距离。例如，可以按如下方式进行配置：各个运动物体的中心点被指定，并且相对距离由在横向方向上中心点之间的距离和在纵向方向上中心点之间的距离来表示。
在步骤S7中，剪切图像生成部分114判断在步骤S6中计算出的各个运动物体之间的在横向方向和纵向方向中的至少一个方向上的相对距离是否大于预定阈值(预定值)。更具体而言，剪切图像生成部分114将各个跟踪对象之间在横向方向上的相对距离与预定阈值像比较，并将各个跟踪对象之间在纵向方向上的相对距离与预定阈值像比较。剪切图像生成部分114随后判断是否在横向方向和纵向方向中的至少一个方向上的相对距离大于预定阈值。这里，预定阈值例如可以是在坐标平面上包围各个跟踪对象的图像区域在横向方向上的距离的和，或者是包围各个跟踪对象的图像区域在纵向方向上的距离的和。在此情况下，剪切图像生成部分114将各个跟踪对象之间在横向方向上的相对距离与包围各个跟踪对象的图像区域在横向方向上的距离的和相比较，并且还将各个跟踪对象之间在纵向方向上的相对距离与包围各个跟踪对象的图像区域在纵向方向上的距离的和相比较。剪切图像生成部分114随后判断是否在横向方向和纵向方向中的至少一个方向上的相对距离大于相应的和。
在剪切图像生成部分114在步骤S7中确定各个跟踪对象之间在横向方向和纵向方向中的至少一个方向上的相对距离大于预定阈值的情况下，流程前进至步骤S8。在步骤S8中，剪切图像生成部分114指定各个跟踪对象的剪切范围，并将剪切范围的信息作为视角信息提供给完整图像生成部分113。完整图像生成部分113随后根据从剪切图像生成部分114提供的视角信息将从完整图像中剪切出的剪切范围的图像提供到剪切图像生成部分114。剪切图像生成部分114通过对从完整图像生成部分113提供的剪切范围的图像应用预定处理来生成将被显示在剪切图像显示部分116上的剪切图像。这里，剪切图像例如响应于用户的设置操作而被以任意放大比率放大。剪切图像生成部分114随后将所生成的剪切图像提供到剪切图像显示部分116。剪切图像显示部分116将从剪切图像生成部分114提供的剪切图像显示在不同的剪切图像显示窗口中。
在剪切图像生成部分114在步骤S7中确定多个运动物体之间的距离至少在横向方向和纵向方向中的一个方向上等于或小于预定阈值的情况下，流程前进至步骤S9。在步骤S9中，剪切图像生成部分114生成一剪切图像并将该生成的剪切图像提供给剪切图像显示部分116，所述剪切图像包括来自完整图像的多个运动物体中的所有运动物体。在步骤S9中，剪切图像生成部分114指定一剪切范围并将该剪切范围的信息作为视角信息提供给完整图像生成部分113，所述剪切范围包括多个运动物体。完整图像生成部分113根据提供自剪切图像生成部分114的视角信息将从完整图像中剪切出的剪切范围的图像提供给剪切图像生成部分114。剪切图像生成部分114通过对从完整图像生成部分113提供的剪切范围的图像应用预定信号处理来生成将被显示在剪切图像显示部分116上的剪切图像。这里，剪切图像例如响应于用户的设置操作而被以任意放大比率放大。剪切图像显示部分116将从剪切图像生成部分114提供的剪切图像显示在一个剪切图像显示窗口中。
剪切图像生成部分114能够将在中心位置上的视角设置在最接近完整图像的左端的位置上的运动物体的视角和最接近完整图像的右端的位置上的运动物体的视角之间，作为剪切图像的中心位置。在此情况下，例如，假定由a×b(a和b是任意自然数)个像点构成的图像范围是剪切范围，则在右端的运动物体的中心位置P2(Xp2，Yp2)和在左端的运动物体的中心位置P1(Xp1，Yp1)之间的距离不得不短于(a，b)。
但是，应该意识到，剪切范围的中心点不一定是剪切范围中的P1和P2的中心。为了使得运动物体在剪切图像中的运动更平滑，优选的是测量移动量和运动方向(例如每隔10帧)，并且逐步确定在接下来的10帧之前的移动量(例如，在剪切范围已经被移动了15个像点或更多的情况下，剪切范围在每帧中移动20个像点，否则在每帧中移动7个像点)，而不是计算每一帧中剪切范围的中心位置并移动剪切范围。
因此，包括P1和P2的剪切图像的图像区域在由a×b个像点构成的视图的显示角度方面以步进速度移动。
而且，剪切图像的图像区域的中心部分的运动方向是取决于多个运动物体是在正方向上还是负方向上运动来确定的。在多个运动物体在同一方向(正方向)上运动的情况下，中心位置在同一方向上运动。在多个运动物体在不同方向(负方向)上运动的情况下，中心位置在移动量的绝地值最大的方向上运动。
在图像处理系统1中，在多个运动物体没有在同一方向上运动并且各个运动物体最终走出视图的显示角度的情况下，新的显示区域被增大，如上所述。在此情况下，进一步准备大小为c×d(c和d是任意自然数)的新的显示区域。
例如，在针对包括P1和P2的剪切图像的大小为a×b个像点的显示区域从左向右移动的情况下，P1和P2之间的距离在P2开始向右移动时超过(a，b)。在此情况下，跟踪显示的中心位置被设置在P1，并且使用P2作为跟踪显示的中心位置的大小为c×d个像点的显示区域被新准备。因此，P1保持显示在大小为a×b个像点的显示区域中，而P2在大小为c×d个像点的显示区域中被跟踪和显示。
根据图像处理系统1，如上所述，即使在运动物体已经移动并且不再在预定图像区域中被跟踪和显示时，也可以通过新提供一显示区域来连续跟踪和显示该运动物体。
而且，根据图像处理系统1，运动物体在显示图像区域中的显示位置是通过针对每个图像帧设置将被显示的图像区域的视角的左端和右端来设置的。在这种实例中，针对多个运动物体，可以基于相邻运动物体之间像素数目的差异来确定运动物体从左侧或右侧起的顺序。根据图像处理系统1，例如，包括在大小为a×b个像点的显示区域中的运动物体是从右侧起显示的，并且没有在该显示区域中的运动物体在大小为c×d个像点的新准备的显示区域中被显示，并且跟踪中心的位置针对视图的每个显示角度被计算。
现在将描述跟踪和显示多个运动物体的示例。在上述图3中，被显示在显示屏幕21上的完整图像显示窗口22中并被跟踪的、作为跟踪对象的运动物体311、321和331在由箭头T1所指示的同一方向上以基本相同的速度行进。通过重复执行上述算法处理，剪切图像生成部分114确定各个运动物体311、321和331之间的相对距离等于或小于预定阈值。剪切图像生成部分114随后指定剪切范围231，以将运动物体311、321和331显示在一个剪切图像中。随后，剪切图像生成部分114生成该指定剪切范围231的剪切图像，并将生成的剪切图像提供给剪切图像显示部分116。剪切图像显示部分116因此将该剪切图像显示在剪切图像显示窗口24中。在作为跟踪对象的各个运动物体311、321和331之间的相对距离等于或小于预定阈值的情况下，用户能够将运动物体311、321和331识别为一组运动物体。
可替换地，多个运动物体可以被剪切出并显示，例如，如图6至图9所示。例如，如图6所示的将被显示在显示屏幕21上的完整图像显示窗口22中并被跟踪的、作为跟踪对象的运动物体312、322和332在由箭头T1所指示的同一方向上行进。这里，运动物体312和运动物体322的行进速度基本相同。因此，剪切图像生成部分114以左上端点A4(X41，Y41)和右下端点B4(X42，Y42)来指定包围运动物体312的图像区域。而且，运动物体322由左上端点A5(X51，Y51)和右下端点B5(X52，Y52)来指定，运动物体332由左上端点A6(X61，Y61)和右下端点B6(X62，Y62)来指定。剪切图像生成部分114确定运动物体312和运动物体322之间的相对距离等于或小于预定阈值。为了将运动物体312和运动物体322显示在一个剪切图形中，剪切图像生成部分114设置由左上端点P1(X101，Y101)和右下端点Q1(X102，Y102)所指定的剪切范围232。剪切图像生成部分114随后生成所设置的剪切范围232的剪切图像，并将所生成的剪切图像提供给剪切图像显示部分116。剪切图像显示部分116因此将该剪切范围232的剪切图像显示在剪切图像显示窗口242中。这里，运动物体312和运动物体322的行进速度和运动物体332的行进速度是不同的。剪切图像生成部分114确定，运动物体312和运动物体322中的至少一个和运动物体332之间的相对距离大于阈值。剪切图像生成部分114随后设置由左上端点P2(X201，Y201)和右下端点Q2(X202，Y202)所指定的剪切范围233。
随后，剪切图像生成部分114生成包括运动物体332的剪切范围233的剪切图像，并将所生成的剪切图像提供给剪切图像显示部分116。剪切图像显示部分116将该剪切范围233的剪切图像显示在剪切图像显示窗口241中。
图7至图9示出如下情况的示例：在由箭头T1所指示的同一方向上行进的运动物体312和运动物体322和在与运动物体312和运动物体322的行进方向相反的方向上(由箭头T2所指示的方向)行进的运动物体332被显示在显示屏幕21上的完整图像显示窗口22中。
在图7所示示例中，剪切图像生成部分114确定运动物体312和运动物体322之间的相对距离等于或小于预定阈值，并设置由左上端点P1(X101，Y101)和右下端点Q1(X102，Y102)所指定的剪切范围232，以便将运动物体312和运动物体322显示在一个剪切图像中。剪切图像生成部分114随后生成所设置的剪切范围232的剪切图像，并将所生成的剪切图像提供给剪切图像显示部分116。剪切图像显示部分116因此将剪切范围232的剪切图像显示在剪切图像显示窗口242中。而且，剪切图像生成部分114确定运动物体312和运动物体322中的至少一个和运动物体332之间的相对距离大于预定阈值。剪切图像生成部分114随后设置由左上端点P2(X201，Y201)和右下端点Q2(X202，Y202)所指定的剪切范围233，以便将包括运动物体332的剪切图像显示在不同于剪切图像显示窗口242的剪切图像显示窗口中。剪切图像生成部分114随后生成所指定的剪切范围233的剪切图像，并将所生成的剪切图像提供给剪切图像显示部分116。剪切图像显示部分116因此将剪切范围233的剪切图像显示在剪切图像显示窗口241中。
而且，如图8所示，当在由箭头T1所指示的方向上行进的运动物体312和运动物体322与在由箭头T2所指示的方向上行进的运动物体332彼此靠近时，剪切图像生成部分114确定运动物体312和运动物体322中的至少一个和运动物体332之间的相对距离等于或小于预定阈值。剪切图像显示部分116随后将运动物体312、运动物体322和运动物体332显示在具有放大显示区域的剪切图像显示窗口243中。
假设在由箭头T1所指示的方向上行进的运动物体312和运动物体322与在由箭头T2所指示的方向上行进的运动物体332如图8所示的那样彼此靠近，并且随后如图9所示的那样移动分开。在该实例中，剪切图像生成部分114确定运动物体312和运动物体322中的至少一个和运动物体332之间的相对距离大于预定阈值。因此，剪切图像显示部分116将运动物体312和运动物体322显示在剪切图像显示窗口241中，并且还将运动物体332显示在剪切图像显示窗口242中。
现在将描述图像处理系统1的运动物体跟踪显示的示例。图10示出符合1280×1024像点的SXGA的显示屏幕51。显示屏幕51具有作为完整图像显示窗口的完整图像显示区域501、相机控制面板502、第一详细图像显示区域503、第二详细图像显示区域504和作为剪切图像显示窗口的最大显示区域505。显示屏幕51还具有用于所显示的每个图像的操作按钮506和在其上显示文件名和时间代码的显示部分507，其中操作按钮506包括REW(回倒)按钮、REC(记录)按钮、PLAY(播放)按钮、STOP(停止)按钮和FF(快进)按钮。
完整图像显示区域501是由640×360个像点构成的显示区域，并且它是显示跟踪对象的区域。第一详细图像显示区域503和第二详细图像显示区域504两者都是由600×450个像点构成的区域。最大显示区域505是由1250×480个像点构成的区域。
在多个跟踪对象被显示在完整图像显示区域501中的情况下，被确定为各个跟踪对象之间的相对距离大于预定阈值的多个跟踪对象被分割，从而使得多个跟踪对象被放大并显示在第一详细图像显示区域503和第二详细图像显示区域504中。
而且，在多个跟踪对象被显示在完整图像显示区域501中的情况下，被确定为各个跟踪对象之间的相对距离等于或小于预定阈值的多个跟踪对象被显示在最大显示区域505中。
相机控制面板502具有用于控制相机部分10的操作按钮，例如，用于缩放、聚焦、光圈(镜头光圈)、快门、增益、亮度(照度)、白平衡、镜头俯仰和摇摆控制的按钮。
图11至图13是示出一显示屏幕的多个示例，该显示屏幕显示运动物体34、35和36，运动物体34、35和36出现在相机部分10的位置之前约3km处并且被由HD相机所构成的相机部分10所捕获，该HD相机具有1920×1080个像点的输出像素并且视角被设置为10度。
图11是示出显示屏幕51的视图，显示屏幕51在完整图像显示区域501中显示水平宽度为520米的一区域，该区域包括作为跟踪对象的运动物体34至36，运动物体34至36分别具有水平宽度50米、10米和30米。在图11所示示例中，给定水平宽度340米作为预定阈值。运动物体34至36被完全包括在具有水平宽度340米的图像区域中。更具体而言，在完整图像显示区域501中，指定在最左端位置上的运动物体36的左上端点P6的x坐标X601和指定在最右端位置上的运动物体34的右下端点Q4的x坐标X402之间的距离表示距离340米或更短。
剪切图像生成部分114生成具有相同像素大小的剪切图像(详细图像)并将该剪切图像提供到剪切图像显示部分116，该剪切图像是从完整图像显示区域501剪切出的一水平宽度为340米的图像区域，以完全包括运动物体34至36。剪切图像显示部分116因此将从剪切图像生成部分114提供的剪切图像显示在最大显示区域505中。
存在如下情况：在完整图像显示区域501中，没有运动物体被完全包括在水平宽度为340米的图像区域中。在图12所示示例中，在从完整图像显示区域501进行剪切时，运动物体34至36都没有被完全包括在水平宽度为340米的图像区域中。更具体而言，在完整图像显示区域501中，指定在最左端位置上的运动物体36的左上端点P6的x坐标X601和指定在最右端位置上的运动物体34的右下端点Q4的x坐标X402之间的距离表示超出340米的距离。
剪切图像生成部分114从完整图像显示区域501中指定包括运动物体36的剪切范围，并生成针对将被显示在第一详细图像显示区域503中的运动物体36的剪切图像。而且，剪切图像生成部分114指定包括运动物体34和35的剪切范围并生成针对将被显示在第二详细图像显示区域504中的运动物体34和35的剪切图像。剪切图像显示部分116随后将包括运动物体36的剪切图像显示在第一详细图像显示区域503中，并且还将包括运动物体34和35的剪切图像显示在第二详细图像显示区域504中。
而且，在图13所示示例中，所有运动物体34至36都被完全包括在水平宽度为520米的区域内。这里，用户能够在显示详细图像时设置由HD相机构成的相机部分10的成像模式中的数字x2缩放。这里，在完整图像显示区域501中的X601和X402之间的距离超过水平宽度260米的情况下，剪切图像显示部分116将运动物体36显示在第一详细图像显示区域503中，并且还将运动物体34和35显示在第二详细图像显示区域504中。
图14是用于描述由图像处理系统1执行的根据经度和纬度信息的运动物体跟踪和显示处理操作的流程图。该根据经度和纬度信息的运动物体跟踪和显示处理适合于所捕获的图像是静止图像的情况。
在步骤S11中，位置信息提取部分112开始根据经度和纬度信息的运动物体跟踪和显示处理。
在步骤S12中，位置信息提取部分112根据在从数据接收部分111提供的图像帧中的经度和纬度来计算图像发送设备2和参考对象X的位置，例如，如图15所示。图像发送设备2的安装位置由图像发送设备2的中心位置R0(Lon0，Lat0)表示。参考对象X的中心位置RX由RX(LonX，LatX)表示。而且，在步骤S12中，位置信息提取部分112以如下方式、使用P[dg]和Q[deg]来计算方位角C(P，Q)：图像发送设备2将视线的原点放在参考对象X的中心位置RX(LonX，LatX)。
在步骤S13中，如图16所示，位置信息提取部分112将像素值和原点C0设置为初始值，以使得在图像处理设备3所显示的完整图像显示窗口61中，落在视图的水平和垂直角度的中心。原点C0(0，0)是根据C(P，Q)＝C(m/2，n/2)来计算的。
在步骤S14中，位置信息提取部分112计算在图像发送设备2到参考对象X的中心位置RX的视线和从图像发送设备2到运动物体31D的中心位置R1的方向之间产生的角度(θ，φ)。位置信息提取部分112使用图像发送设备2的中心位置R0(Lon0，Lat0)和运动物体31D的中心位置R1(Lon1，Lat1)来计算从图像发送设备2到运动物体31D的中心位置R1之间的距离。
在步骤S15中，位置信息提取部分112基于在步骤S14中计算出的图像发送设备2的视线和从图像发送设备2到运动物体31D的中心位置R1的方向之间产生的角度(θ，φ)和从图像发送设备2到运动物体31D的中心位置R1之间的距离，来指定包括运动物体31D的图像的图像区域41D。由位置信息提取部分112所指定的图像区域41D并不局限于如图15所示那样的使得该区域帧与运动物体31D相接触的情况。可以按如下方式来配置：位置信息提取部分112将图像范围41D指定为一小区域，以使得在例如从图像发送设备2到运动物体31D的距离长的情况下运动物体31D将被显示得大。可替换地，可以按如下方式来配置：位置信息提取部分112将图像区域41D指定为一大区域，以使得在例如从图像发送设备2到运动物体31D的距离短的情况下运动物体31D将被显示得小。
在步骤S16中，位置信息提取部分112执行处理以将角坐标转换为像素坐标，以便将在步骤S15中计算出的图像区域41D的图像显示在剪切图像显示窗口中。
在步骤S17中，位置信息提取部分112以与步骤S12到步骤S16中相同的方式对多个运动物体应用计算处理，并指定作为跟踪对象的运动物体的图像区域。
在步骤S18中，位置信息提取部分112在过去获得的并被存储在设置在图像处理设备3中的缓冲器(未示出)中的多个连续的图像帧中，执行包括运动物体的图像的图像区域中的左上端点和右下端点的坐标(x，y)的计算处理。位置信息提取部分112随后使用计算出的过去的图像帧中的左上端点和右下端点的坐标(x，y)来计算图像帧中的各个运动物体的运动速度。随后，位置信息提取部分112计算在从数据接收部分111提供的下一图像帧中、包括运动物体的图像区域的左上端点和右下端点的坐标(x，y)的预测值。因此，位置信息提取部分112指定包括多个预期的运动物体的图像区域的左上端点和右下端点的坐标(x，y)。
在步骤S19中，剪切图像生成部分114基于由位置信息提取部分112所指定的坐标值来计算多个运动物体中的各个运动物体之间在纵向方向和横向方向上的相对距离。
在步骤S20中，剪切图像生成部分14判断在步骤S19中计算出的各个运动物体之间在纵向方向和横向方向中的至少一个方向上的相对距离是否大于预定阈值。在剪切图像生成部分114在步骤S20中确定在纵向方向和横向方向中的至少一个方向上的相对距离大于预定阈值的情况下，流程前进至步骤S21。在步骤S21中，剪切图像生成部分114指定剪切范围，以在不同的剪切图像显示窗口中显示各个运动物体。剪切图像生成部分114随后生成指定的剪切范围的剪切图像并将生成的剪切图像提供给剪切图像显示部分116。剪切图像显示部分116因此将所指定的剪切范围的剪切图像显示在不同的剪切图像显示窗口中。而且，在剪切图像生成部分114在步骤S20中确定在纵向方向和横向方向中的至少一个方向上的相对距离等于或小于预定阈值的情况下，流程前进至步骤S22。在步骤S22中，剪切图像显示部分116根据从剪切图像生成部分114提供的剪切范围的信息，将包括多个运动物体的剪切图像显示在一个剪切图像显示窗口中。
根据执行上述处理的图像处理系统1，通过在完整图像显示窗口和(一个或多个)剪切图像显示窗口中显示多个跟踪对象，可以获得通过广角成像尚未获得的跟踪对象的详细图像，同时保持对跟踪对象之间的位置关系的跟踪。
而且，根据图像处理系统1，即使在多个跟踪对象未被显示在一个剪切图像显示窗口中的情况下，也可以通过指定各个跟踪对象的剪切范围而在多个剪切图像显示窗口中显示多个跟踪对象。
而且，根据图像处理系统1，在多个跟踪对象之间的相对距离等于或小于预定阈值的情况下，可以通过将所有跟踪对象显示在一个剪切图像显示窗口中而将多个跟踪对象作为一个群组进行跟踪。因此，即使当存在大量跟踪对象时，也可以根据被显示在完整图像显示窗口中的跟踪对象之间的位置关系来精确地保持对跟踪对象的跟踪。
而且，根据图像处理系统1，例如，即使在多个跟踪对象彼此交叉并且难以对隐藏在一运动物体后面的另一给定的运动物体进行成像的情况下，也可以根据运动物体在过去的图像帧中的位置来剪切和显示该隐藏的跟踪对象。
现在将描述根据本发明被应用到的另一实施例的图像处理系统。在根据本发明的另一实施例的图像处理系统中，单个图像发送设备上安装有旋转基座，该图像发送设备利用一个屏幕、通过接合(join)通过在横向方向上和纵向方向上进行旋转而获得的多个图像来生成全景完整图像。可替换地，该实施例通过使用多个图像发送设备成像连续的区域并接合所生成的图像来生成全景完整图像。
在根据本发明的另一实施例的图像处理系统中，例如，如图17所示，在多个所生成图像(图像7011、7012、7013、...、701n-1、701n、...、70n1、70n2、70n3、...、70nn-1和70nn)之中，预定数目个连续图像(例如，图像7011、7012、7013、7014、7015和7016)被显示在完整图像显示窗口702中。而且，在被显示在完整图像显示窗口702中的图像中的预定剪切范围的图像被显示在剪切图像显示窗口703中。
在根据本发明的另一实施例的图像处理系统中，如上所述，跟踪对象在全景完整图像中被跟踪和显示。利用根据本发明的另一实施例的图像处理系统，可以跟踪和显示从利用单个相机部分所捕获的图像中消失的运动物体。
图18是示出根据本发明被应用到的另一实施例的图像处理系统200的配置的视图。在图像处理系统200中，与图像处理系统1相同的组件被标注为相同的标号，并且这里省略对这些相同组件的详细描述。如图18所示，图像处理系统200包括经由网络4彼此连接的图像发送设备2A和图像处理设备3A。
图19是示出图像发送设备2A和图像处理设备3A的内部配置的视图。如图19所示，除了图像发送设备2的配置之外，图像发送设备2A还包括旋转基座15和控制旋转基座15的控制部分14。
旋转基座15上安装有相机部分10，并且在控制部分14的控制下在横向方向和纵向方向上逐屏旋转。控制部分14向数据发送部分13提供旋转基座15的位置信息。相机部分10根据由控制部分14控制的旋转基座15的旋转操作来逐屏捕获连续图像。在此情况下，控制部分14根据角度信息、与旋转基座15的运动相关联地控制相机部分10的每个脉冲的运动距离。
基于相机部分10的旋转视角的脉冲值和旋转基座15的运动距离是以如下方式设置的：相机部分10的旋转视角度的中心落在原点(0，0)。
成像信号处理部分102将图像的中心位置被捕获时旋转基座15的位置信息附加到由成像部分101所捕获的图像的图像数据。成像信号处理部分102向编码器103和运动物体和静止物体检测部分104提供已附加了旋转基座15的位置信息的图像数据。图像发送设备2A随后将已附加了旋转基座15的位置信息的图像数据发送到图像处理设备3A。
虽然图中未示出，但是图像处理设备3A包括CPU、工作RAM和存储了根据本发明一实施例的图像处理程序、数据等的ROM。通过在CPU上运行图像处理程序，图像处理设备3A执行一系列处理。
图像处理设备3A的全景图像生成部分113A对经由数据接收部分111接收自图像发送设备2A的图像数据执行解码处理，并使用解码后的图像数据来生成全景完整图像。随后，全景图像生成部分113A将所生成的全景完整图像提供给全景图像显示部分115A和剪切图像生成部分114A。全景图像生成部分113A执行接合接收自图像发送设备2A的图像数据的处理，并通过随后减少经接合的图像来生成全景完整图像。可替换地，可以按如下方式配置：全景图像生成部分113A首先执行减少接收自图像发送设备2A的多个图像数据项的处理，然后通过接合多个减少后的图像数据项来生成全景完整图像。全景图像生成部分113A随后将所生成的全景完整图像提供给剪切图像生成部分114A和全景图像显示部分115A。
位置信息提取部分112通过基于从数据接收部分111提供的图像数据和作为运动物体和静止物体的检测信息的元数据执行预定的算法处理，来提取出图像中的运动物体的位置信息。可以按如下方式配置：位置信息提取部分112取入来自外部的运动物体的位置信息(例如GPS)，并将运动物体的位置信息转换成图像中的位置信息。
位置信息提取部分112能够例如从其经度和纬度已经通过GPS被指定的两个点、根据如下算术表达式(1)所表示的Hubeny距离公式来计算两点之间的距离：
D＝sqrt((M*dP)*(M*dP)+(N*cos(P)*dR)*(N*cos(P)*dR))  ...(1)
其中D是两个点之间的距离(米)，P是两个点的平均纬度(弧度)，dP是两个点之间的纬度差，dR是两个点之间的经度差，M是子午圈曲率半径(meridian radius of curvature)，N是卯酉圈曲率半径(primevertical radius of curvature)。
而且，由GPS指定的两点之间的距离的计算方法可以参考“TotalInverse Solution for the Geodesic and Great Elliptic”，B.R.Bowring，SurveyReview，33，261(1996年7月)，461-476。
剪切图像生成部分114A指定包括作为跟踪对象的运动物体的剪切范围，并生成剪切范围的剪切图像。剪切图像生成部分114A随后将剪切图像提供到剪切图像显示部分116A。这里，剪切图像生成部分114A执行与上述剪切图像生成部分114A所执行的处理相同的处理。更具体而言，在相对距离大于预定阈值的情况下，剪切图像生成部分114A指定剪切范围以将各个运动物体显示在不同的剪切图像显示窗口中，并生成剪切范围的各个图像的剪切图像。随后，剪切图像生成部分114A将所指定的各个剪切范围的剪切图像提供给剪切图像显示部分116A。而且，在相对距离等于或小于预定阈值的情况下，剪切图像生成部分114A指定剪切范围以将运动物体显示在一个剪切显示屏幕上，作为一组运动物体。剪切图像生成部分114A随后生成所指定的剪切范围的剪切图像并将所生成的剪切图像提供给剪切图像显示部分116A。
剪切图像显示部分116A因此将从剪切图像生成部分114A提供的剪切图像显示在剪切图像显示窗口中。如剪切图像显示部分116，剪切图像显示部分116A在相对距离大于预定阈值的情况下，在不同的剪切图像显示窗口中显示各个运动物体。
例如，如图20所示，全景图像生成部分113A生成由角坐标指定的全景完整图像704，其中心在(0，0)，并且在横坐标上扩展-α度(向左)和+α度(向右)并在纵坐标上扩展-β度(向上)和+β度(向下)。以这种方式，全景图像生成部分113A使用角度来逐脉冲地控制运动距离。剪切图像生成部分114A指定包括作为跟踪对象的运动物体32D的剪切范围705。这里，剪切图像生成部分114A以如下方式指定剪切范围705：运动物体32D最接近剪切范围705的中心。剪切图像生成部分114A生成剪切范围705的剪切图像并将所生成的剪切图像提供给剪切图像显示部分116A。
可以按如下方式配置：图像处理系统200例如包括如图21所示的具有n个(n是等于或大于2的整数)图像发送部分2B1、2B2、...和2Bn的图像发送设备2B，以取代图像发送设备2A。在此情况下，图像发送部分2B1、2B2、...和2Bn中的每一个生成连续区域的图像，并将多个图像经由数据控制部分17发送到图像处理设备3A。图像处理设备3A从接收自数据控制部分17的多个连续图像生成全景完整图像。
关于图21所示的图像发送部分2B1、2B2、...和2Bn，与图19所示的图像发送设备2A相同的组件被标注以相同的标号，并且这里对这些相同组件的详细描述被省略。而且，基于图像发送部分2B1、2B2、...和2Bn具有相同配置的假设，下面将单独描述图像发送部分2B1。
图像发送部分2B1包括相机部分10、图像数据处理部分11B、外部传感器12和缓冲器部分16。图像数据处理部分11B包括编码器1031作为第一编码器、编码器1032作为第二编码器、运动物体和静止物体检测部分104、元数据生成部分105和大小改变部分106。
由成像信号处理部分102生成的图像帧被与分配给相机部分10的号码(相机号)和帧号相关。
编码器1031通过利用例如Motion JPEG对从相机部分10以第一分辨率输出的多个图像帧进行编码来生成第一压缩图像数据。
大小改变部分106通过对从相机部分10以第一分辨率输出的图像帧应用诸如跳过(skipping)和内插(interpolation)之类的处理来生成具有低于第一分辨率的第二分辨率(例如QVGA)的图像帧。
编码器1032通过对从大小改变部分106输出的具有第二分辨率的多个图像帧应用编码处理来生成第二压缩图像数据。如编码器1031，编码器1032也例如利用Motion JPEG来执行压缩编码。
来自编码器1031的具有第一分辨率的图像数据、来自编码器1032的具有第二分辨率的图像数据和来自元数据生成部分105的元数据被提供到缓冲器部分16。缓冲器部分16将所提供的数据暂时存储在缓冲存储器中，并将数据随后提供到数据控制部分17。
数据控制部分17将n项第一分辨率的图像数据、n项第二分辨率的图像数据和从各个图像发送部分2B1、2B2、...和2Bn提供的元数据放到一文件中，并将该文件发送到图像处理设备3A。
数据接收部分111将接收自图像发送部分2B中的数据控制部分17的第一分辨率的图像数据和第二分辨率的图像数据提供给全景图像生成部分113A。数据接收部分111将接收自图像发送部分2B中的数据控制部分17的第一分辨率的图像数据和第二分辨率的图像数据提供给位置信息提取部分112。
全景图像生成部分113A对第一分辨率的图像数据和第二分辨率的图像数据执行解码处理。全景图像生成部分113A将解码后的第一分辨率的图像数据提供到剪切图像生成部分114A。而且，全景图像生成部分113A使用解码后的第二分辨率的图像数据来生成全景完整图像。全景图像生成部分113A随后将全景完整图像的图像数据提供到全景图像显示部分115A。全景图像显示部分115A因此将提供自全景图像生成部分113A的全景完整图像显示在完整图像显示窗口中。
剪切图像生成部分114A根据由位置信息提取部分112提取出的位置信息、基于第一分辨率的图像数据中的各个跟踪对象之间的相对距离来生成跟踪对象的剪切图像。
以这种方式，在从多个相机部分10所生成的图像数据生成全景完整图像的情况下，假定每个所用镜头的视角是已知的，则通过从镜头数目×镜头视角中减去重叠区域所获得的值被定义为全景完整图像的完整区域的视角。而且，每个相机部分的视角是通过将完整区域的视角除以镜头数目而获得的值。而且，可以从全景完整图像中每个像素的角度来计算剪切范围。
应该注意，图像处理系统200能够通过获得跟踪对象的位置信息(以下称为位置信息Pn)(例如根据GPS)、信标信息、雷达等来跟踪和显示跟踪对象。
在此情况下，图像处理设备3A从图像发送部分2A接收例如附加了旋转基座15的位置信息的图像数据。通过位置信息提取部分112从外部与图像数据不同步地获得了位置信息Pn。
位置信息提取部分112将位置信息Pn转换成弧度格式，并将已转换成弧度格式的位置信息Pn提供到剪切图像生成部分114A。
剪切图像生成部分114A计算在计算原点O和运动物体的中心位置P之间的距离时指定的运动物体的中心位置P的经度和纬度坐标(x，y)的方位角，并计算与原点O的方位角之差。该差值是将被剪切出的视角的中心。剪切图像生成部分114A搜索近似图像，并指定一剪切范围以将近似图像与多个邻近图像一起显示。
剪切图像生成部分114A在每次提供位置信息Pn时计算利用原点O所产生的角度，并计算与位置信息Pn相对应的位置的坐标。图像处理设备3A因此能够连续地显示运动物体。
以这种方式，图像处理系统200计算两点之间的距离，即，基于原点O的经度和纬度信息和位置信息Pn两者来计算原点到运动物体的距离。因此，在跟踪对象的大小预先已知或者可以预测的情况下，图像处理系统200能够通过控制相机部分10的缩放操作来放大和显示跟踪对象。
图像处理系统200能够显示例如在图22到图24中所示出的显示屏幕。图22和图23所示的显示屏幕706显示视频，例如足球比赛。全景完整图像显示窗口707滚动显示足球场，作为全景完整图像。剪切图像生成部分114A根据作为跟踪对象的边裁C1和边裁C2的运动来指定剪切范围。在图22的示例中，剪切图像生成部分114A确定边裁C1和边裁C2在横向方向上的距离L1等于或小于预定阈值。剪切图像生成部分114A随后指定包括边裁C1和边裁C2的剪切范围708，并生成作为剪切范围708的放大图像的剪切图像。剪切图像显示部分116A因此将包括边裁C1和边裁C2的剪切图像显示在剪切图像显示窗口709中。
在图23所示的显示示例中，剪切图像生成部分114A确定边裁C1和边裁C2之间在横向方向上的距离L2大于预定阈值。剪切图像生成部分114A随后指定包括边裁C1的剪切范围710和包括边裁C2的剪切范围711。剪切图像生成部分114A生成作为剪切范围710的放大图像的剪切图像和作为剪切范围711的放大图像的剪切图像。剪切图像显示部分116A因此将作为剪切范围710的放大图像的剪切图像和作为剪切范围711的放大图像的剪切图像分别显示在剪切图像显示窗口712和剪切图像显示窗口713中。
在图22和图23所示的显示示例中，可以将边裁C1的位置和边裁C2的位置之间的中心位置设置为在全景完整图像显示窗口707中显示的完整图像的显示视角的中心位置。
在图像处理系统200使用多个图像发送部分2B1、2B2、...和2Bn生成的图像来生成全景完整图像的情况下，应该意识到，指定全景完整图像的中心位置的方法并不局限于上述使用两点的中心位置的方法。在此情况下，由各个图像发送部分生成的各个图像帧中的运动物体的数目被加和。然后，图像帧中的运动物体的数目的最大数目(模值)被指定，并且通过将中心位置设置到已捕获的运动物体的数目与该模值相同的相机部分10，从而显示视角被指定。随后，显示视角逐步移动时所依据的相机部分10的移动量被计算。成像方向被设置为例如在具有仅次于模值的次大值的相机部分10的方向上移动。相机部分10的移动量例如最大是4度/秒(560像素)，通常大约是140像素。每帧的移动量大约是10像素，最大是40像素。
在图22和图23所示的显示示例中，全景图像生成部分113A根据边裁C1的位置和边裁C2的位置来计算虚拟视角的中心。全景图像显示部分115A根据边裁的在每个画面间有所不同的运动来在全景完整图像显示窗口707中滚动显示全景完整图像。
而且，图24所示的显示屏幕720是个人计算机所显示的显示屏幕的示例。在显示屏幕720中，运动物体的位置信息(高度、距离相机部分10的角度(俯仰和摇摆)、纬度、经度等等)被显示在区域724中。而且，相机部分10的安装位置的位置信息(纬度、经度、视线角度、高度等等)被显示在区域725中。在监视相机检测到运动物体C3(例如可疑个人)的情况下，显示屏幕720将包括运动物体C3的剪切范围722的剪切图像显示在剪切图像显示窗口723中。以这种方式，图像处理系统200通过在剪切图像显示窗口723中显示运动物体而被用作用于监视的监视系统。在图24的示例中，图像可以是运动图像或静止图像。在图像是静止图像的情况下，在图像显示窗口723中显示的图像每隔任意的预设时间被更新。
如上所述，根据本发明的实施例的图像处理系统通过使用完整图像和(一个或多个)剪切图像来同时跟踪和显示多个运动物体。因此，用户能够保持跟踪完整图像中的多个跟踪对象中的各个跟踪对象之间的位置关系，同时用户能够在剪切图像中详细地保持跟踪跟踪对象的整体图片，这在仅仅广角成像中是无法跟踪的。
而且，利用根据本发明的实施例的图像处理系统，即使在特定跟踪对象与多个跟踪对象的群组之间的距离大于预定阈值的情况下，通过新准备一具有预定视角的显示区域，用户也将不会丢失对该跟踪对象的跟踪。
而且，利用根据本发明的实施例的图像处理系统，用户能够将相互之间的相对距离等于或小于预定阈值的多个跟踪对象作为一个群组来跟踪。因此，即使当存在大量跟踪对象时，也可以对所有跟踪对象保持跟踪。
应该意识到，本发明并不局限于上述实施例，无庸置疑，在本发明的范围内可能存在各种修改。
在上述实施例中，图像处理设备3包括完整图像生成部分113和完整图像显示部分115，以控制预定范围的完整图像被显示在完整图像显示窗口中。而且，图像处理设备3包括剪切图像生成部分114和剪切图像显示部分116，以控制包括在完整图像中的多个跟踪对象被放大和显示在(一个或多个)剪切图像显示窗口中。但是，应该意识到，本发明并不局限于上述实施例。例如，图像生成部分、图像显示部分等可以从图像处理设备的外部提供，只要上述完整图像显示控制处理和剪切图像显示控制处理被执行即可。
本发明包含与2008年12月4日递交到日本特许厅的日本在先专利申请JP 2008-309969所公开的内容相关的主题，该日本在先申请的全部内容通过引用被结合于此。
本领域技术人员应该理解，取决于涉及要求和其他因素，可能发生各种修改、组合、子组合和替换，只要它们落在所附权利要求书及其等同物的范围内即可。

Claims (5)

1.一种图像处理设备，包括：
完整图像显示控制部分，其执行控制以在完整图像显示窗口中显示预定区域的完整图像；以及
剪切图像显示控制部分，其执行控制以放大包括在所述完整图像中的多个跟踪对象并将所述跟踪对象显示在剪切图像显示窗口中，
其中所述剪切图像显示控制部分以如下方式执行控制：在所述多个跟踪对象之间的相对距离等于或小于预定值的情况下，包括所述多个跟踪对象的一个剪切图像被显示在所述剪切图像显示窗口中；并且在所述多个跟踪对象之间的相对距离大于所述预定值的情况下，包括所述多个跟踪对象的两个剪切图像被显示在所述剪切图像显示窗口中，其中
所述相对距离通过相对距离计算装置计算：计算与包围作为所述多个跟踪对象的每个运动物体的区域的左上端点和右下端点相对应的坐标，对连续的图像帧应用坐标计算处理并计算每个运动物体的运动速度，计算与在下一帧中预期的包围每个运动物体的区域的左上端点和右下端点相对应的坐标，
其中，所述相对距离计算装置计算从出现在x-y坐标平面的左侧的图像区域的左上端点的x坐标到出现在右侧的图像区域的右下端点的x坐标之间的距离，作为横向方向上的相对距离；所述相对距离计算装置计算从出现在x-y坐标平面的上侧的图像区域的左上端点的y坐标到出现在下侧的图像区域的右下端点的y坐标之间的距离，作为纵向方向上的相对距离。
2.如权利要求1所述的图像处理设备，还包括：
操作部分，其响应于用户的操作，从显示在所述完整图像显示窗口中的完整图像中指定所述多个跟踪对象。
3.如权利要求1所述的图像处理设备，
其中所述相对距离是基于所述完整图像中的跟踪对象的大小和所述完整图像中的跟踪对象之间的距离中的一种或两者来计算的。
4.如权利要求2所述的图像处理设备，
其中所述剪切图像显示控制部分响应于来自所述操作部分的操作来改变所述剪切图像的放大比率。
5.一种图像处理方法，包括以下步骤：
执行控制以在完整图像显示窗口中显示预定区域的完整图像；以及
执行控制以放大包括在所述完整图像中的多个跟踪对象并将所述跟踪对象显示在剪切图像显示窗口中，
其中，在显示所述跟踪对象的步骤中，以如下方式执行控制：在所述多个跟踪对象之间的相对距离等于或小于预定值的情况下，包括所述多个跟踪对象的一个剪切图像被显示在所述剪切图像显示窗口中；并且在所述多个跟踪对象之间的相对距离大于所述预定值的情况下，包括所述多个跟踪对象的两个剪切图像被显示在所述剪切图像显示窗口中，其中
所述相对距离通过以下步骤计算：计算与包围作为所述多个跟踪对象的每个运动物体的区域的左上端点和右下端点相对应的坐标，对连续的图像帧应用坐标计算处理并计算每个运动物体的运动速度，计算与在下一帧中预期的包围每个运动物体的区域的左上端点和右下端点相对应的坐标，
其中，计算从出现在x-y坐标平面的左侧的图像区域的左上端点的x坐标到出现在右侧的图像区域的右下端点的x坐标之间的距离，作为横向方向上的相对距离；计算从出现在x-y坐标平面的上侧的图像区域的左上端点的y坐标到出现在下侧的图像区域的右下端点的y坐标之间的距离，作为纵向方向上的相对距离。
CN2009102529502A 2008-12-04 2009-12-04 图像处理设备和方法、图像处理系统和图像处理程序 Expired - Fee Related CN101753999B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008309969A JP4715909B2 (ja) 2008-12-04 2008-12-04 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
JP2008-309969 2008-12-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201310308898.4A Division CN103491342A (zh) 2008-12-04 2009-12-04 图像处理设备和方法、图像处理系统和图像处理程序

Publications (2)

Publication Number Publication Date
CN101753999A CN101753999A (zh) 2010-06-23
CN101753999B true CN101753999B (zh) 2013-08-14

Family

ID=42230613

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310308898.4A Pending CN103491342A (zh) 2008-12-04 2009-12-04 图像处理设备和方法、图像处理系统和图像处理程序
CN2009102529502A Expired - Fee Related CN101753999B (zh) 2008-12-04 2009-12-04 图像处理设备和方法、图像处理系统和图像处理程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201310308898.4A Pending CN103491342A (zh) 2008-12-04 2009-12-04 图像处理设备和方法、图像处理系统和图像处理程序

Country Status (3)

Country Link
US (4) US8363107B2 (zh)
JP (1) JP4715909B2 (zh)
CN (2) CN103491342A (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5322799B2 (ja) * 2009-06-18 2013-10-23 オリンパスイメージング株式会社 撮像装置及び撮像方法
CN102713999B (zh) 2010-01-20 2016-01-20 株式会社半导体能源研究所 电子设备和电子系统
JP5573349B2 (ja) * 2010-05-17 2014-08-20 パナソニック株式会社 パノラマ展開画像撮影システムおよび方法
JP5005080B2 (ja) * 2010-09-06 2012-08-22 キヤノン株式会社 パノラマ画像の生成方法
JP5218861B2 (ja) * 2010-09-30 2013-06-26 株式会社Ｊｖｃケンウッド 目標追跡装置、目標追跡方法
JP5229593B2 (ja) * 2010-09-30 2013-07-03 株式会社Ｊｖｃケンウッド 目標追跡装置、目標追跡方法
US8842974B2 (en) * 2010-10-01 2014-09-23 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content delivery system
US8908103B2 (en) 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
JP5649429B2 (ja) 2010-12-14 2015-01-07 パナソニックＩｐマネジメント株式会社 映像処理装置、カメラ装置および映像処理方法
US8620026B2 (en) * 2011-04-13 2013-12-31 International Business Machines Corporation Video-based detection of multiple object types under varying poses
JP2013013065A (ja) * 2011-06-01 2013-01-17 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP5810296B2 (ja) * 2011-06-07 2015-11-11 パナソニックＩｐマネジメント株式会社 画像表示装置及び画像表示方法
JP5226903B1 (ja) * 2011-06-29 2013-07-03 オリンパスイメージング株式会社 追尾装置及び追尾方法
WO2013001143A2 (en) * 2011-06-30 2013-01-03 Nokia Corporation Method, apparatus and computer program product for generating panorama images
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
BR112014002827B1 (pt) 2011-08-05 2021-09-28 Fox Sports Productions, Llc Método e sistema para a captura seletiva e apresentação de porções de imagem de difusão nativa em um sistema de múltiplas câmeras de difusão; e método e sistema para a captura seletiva e apresentação de porções de difusão de imagem nativa em um sistema de múltiplas câmeras de difusão
KR101812656B1 (ko) * 2011-08-30 2017-12-27 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
KR101814604B1 (ko) * 2011-08-30 2018-01-04 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
JP6162382B2 (ja) * 2012-04-23 2017-07-12 マスプロ電工株式会社 動物の監視装置
US8811670B2 (en) * 2012-09-28 2014-08-19 The Boeing Company Method and system for using fingerprints to track moving objects in video
US9036910B1 (en) 2012-09-28 2015-05-19 The Boeing Company Method and system for processing a sequence of images using fingerprints
JP2016506167A (ja) * 2012-12-25 2016-02-25 ▲ホア▼▲ウェイ▼技術有限公司 ビデオ再生方法、端末、およびシステム
US20140240455A1 (en) * 2013-02-26 2014-08-28 Honeywell International Inc. System and Method to Create Evidence of an Incident in Video Surveillance System
US9025051B2 (en) * 2013-02-28 2015-05-05 Nokia Technologies Oy Method and apparatus for automatically rendering dolly zoom effect
JP2014225108A (ja) * 2013-05-16 2014-12-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
CN104184986B (zh) * 2013-05-28 2018-06-05 华为技术有限公司 一种视频监控方法、装置及系统
GB2517730A (en) * 2013-08-29 2015-03-04 Mediaproduccion S L A method and system for producing a video production
US20150116501A1 (en) * 2013-10-30 2015-04-30 Sony Network Entertainment International Llc System and method for tracking objects
DE102013226101A1 (de) * 2013-12-16 2015-07-02 Robert Bosch Gmbh Überwachungskameravorrichtung mit Tiefeninformationsbestimmung
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
US9607015B2 (en) 2013-12-20 2017-03-28 Qualcomm Incorporated Systems, methods, and apparatus for encoding object formations
US9554060B2 (en) * 2014-01-30 2017-01-24 Google Inc. Zoom images with panoramic image capture
JP2015210702A (ja) * 2014-04-28 2015-11-24 キヤノン株式会社 画像処理装置及び画像処理方法
US9955059B2 (en) * 2014-10-29 2018-04-24 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US10023341B1 (en) * 2015-05-29 2018-07-17 Express Scripts Strategic Development, Inc. Systems and methods for spill detection
US10372989B2 (en) * 2015-10-30 2019-08-06 Canon Kabushiki Kaisha Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
CN105744158B (zh) * 2016-02-03 2019-01-08 广东欧珀移动通信有限公司 视频图像显示的方法、装置及移动终端
US10198838B2 (en) 2016-03-31 2019-02-05 Qualcomm Incorporated Geometric work scheduling with dynamic and probabilistic work trimming
WO2018002678A1 (en) * 2016-06-30 2018-01-04 Bodó Zajzon Method and device for predicting and testing physiological conditions of a female mammal
JP6407207B2 (ja) * 2016-07-08 2018-10-17 アンリツネットワークス株式会社 映像信号復号装置、映像表示システム、映像表示方法
WO2018105006A1 (ja) * 2016-12-05 2018-06-14 Eizo株式会社 画像処理装置、画像表示装置及びプログラム
EP3606034A4 (en) 2017-03-31 2020-12-16 Hitachi, Ltd. MOBILE BODY IMAGE CAPTURING DEVICE AND MOBILE BODY IMAGE CAPTURING METHOD
JP7073120B2 (ja) * 2018-01-26 2022-05-23 キヤノン株式会社 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム
CN111010590B (zh) * 2018-10-08 2022-05-17 阿里巴巴（中国）有限公司 一种视频裁剪方法及装置
JP2019110545A (ja) * 2019-02-04 2019-07-04 ヴィド スケール インコーポレイテッド ビデオ再生方法、端末、およびシステム
WO2020170604A1 (ja) * 2019-02-21 2020-08-27 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP7186120B2 (ja) * 2019-03-27 2022-12-08 オリンパス株式会社 画像ファイル生成装置
CN112347817B (zh) * 2019-08-08 2022-05-17 魔门塔(苏州)科技有限公司 一种视频目标检测与跟踪方法及装置
CN114641984A (zh) * 2019-10-29 2022-06-17 苏州随闻智能科技有限公司 视频图像显示方法和装置
CN112954267B (zh) * 2019-12-11 2023-02-07 杭州海康威视数字技术股份有限公司 一种用于生成报警视频的摄像机
CN111083557B (zh) * 2019-12-20 2022-03-08 浙江大华技术股份有限公司 一种视频录播控制方法及装置
CN112367467B (zh) * 2020-10-30 2022-04-22 维沃移动通信有限公司 显示控制方法、装置、电子设备和介质
CN117459682A (zh) * 2020-11-09 2024-01-26 西安万像电子科技有限公司 图像传输方法、装置和系统
JP7126539B2 (ja) * 2020-12-18 2022-08-26 インターデイジタル マディソン パテント ホールディングス ソシエテ パー アクシオン サンプリフィエ ビデオ再生方法、端末、およびシステム
JP7795907B2 (ja) * 2021-12-24 2026-01-08 株式会社オプトル 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP2023140702A (ja) * 2022-03-23 2023-10-05 株式会社リコー 表示端末、通信システム、表示方法、通信方法、及びプログラム
JP2023168896A (ja) * 2022-05-16 2023-11-29 株式会社リコー 表示端末、通信システム、表示方法、通信方法、及びプログラム
CN116112781B (zh) * 2022-05-25 2023-12-01 荣耀终端有限公司 录像方法、装置及存储介质
US12388946B2 (en) * 2022-11-30 2025-08-12 Ricoh Company, Ltd. Display terminal, communication system, and display method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1285997C (zh) * 2002-11-29 2006-11-22 日本电信电话株式会社 链接内容浏览支持装置及其方法
CN1941847A (zh) * 2005-09-29 2007-04-04 Lg电子株式会社 用于手持终端的图形信号显示装置和方法
CN101068342A (zh) * 2007-06-05 2007-11-07 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266085B1 (en) * 1994-11-17 2001-07-24 Canon Kabushiki Kaisha Camera imaging and magnification device
JP3435623B2 (ja) * 1996-05-15 2003-08-11 株式会社日立製作所 交通流監視装置
US7015976B1 (en) * 2000-08-07 2006-03-21 Ati International Srl Automatic panning of digital content while zoomed
JP3789121B2 (ja) * 2002-11-27 2006-06-21 中央電子株式会社 表示方法および表示装置
US8004565B2 (en) * 2003-06-19 2011-08-23 Nvidia Corporation System and method for using motion vectors for object tracking
US7899208B2 (en) * 2004-01-06 2011-03-01 Sony Corporation Image processing device and method, recording medium, and program for tracking a desired point in a moving image
KR101017362B1 (ko) * 2004-01-08 2011-02-28 삼성전자주식회사 다이나믹 영상 재생을 위한 자동 줌 장치 및 방법
US9094615B2 (en) * 2004-04-16 2015-07-28 Intheplay, Inc. Automatic event videoing, tracking and content generation
JP3989523B2 (ja) * 2004-04-28 2007-10-10 中央電子株式会社 自動撮影方法および装置
JP2006013923A (ja) * 2004-06-25 2006-01-12 Sony Corp 監視装置
JP4140567B2 (ja) * 2004-07-14 2008-08-27 松下電器産業株式会社 物体追跡装置および物体追跡方法
JP4572099B2 (ja) * 2004-09-13 2010-10-27 三菱電機株式会社 移動体追跡支援システム
JP4515884B2 (ja) 2004-10-20 2010-08-04 日本航空電子工業株式会社 カメラスタビライザ目標位置補正方法
JP2006245793A (ja) * 2005-03-01 2006-09-14 Konica Minolta Holdings Inc 撮像システム
US7860162B2 (en) * 2005-09-29 2010-12-28 Panasonic Corporation Object tracking method and object tracking apparatus
JP4437546B2 (ja) * 2005-09-29 2010-03-24 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP2007158680A (ja) * 2005-12-05 2007-06-21 Victor Co Of Japan Ltd 追尾撮像装置およびこれを利用した追尾撮像システム
JP4658788B2 (ja) * 2005-12-06 2011-03-23 株式会社日立国際電気 画像処理装置、画像処理方法およびプログラム
KR100785952B1 (ko) * 2006-03-30 2007-12-14 한국정보통신대학교 산학협력단 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적디스플레이 방법
JP2007274543A (ja) 2006-03-31 2007-10-18 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP4309900B2 (ja) * 2006-05-22 2009-08-05 中央電子株式会社 映像監視システム
WO2008001575A1 (fr) * 2006-06-28 2008-01-03 Nikon Corporation Dispositif de localisation, dispositif de mise au point automatique et appareil photographique
JP2008167127A (ja) * 2006-12-28 2008-07-17 Mitsubishi Electric Corp 映像配信方法及び映像配信装置
JP4807284B2 (ja) * 2007-03-07 2011-11-02 カシオ計算機株式会社 カメラ装置、カメラ装置制御プログラム及びカメラ装置制御方法
JP5159189B2 (ja) * 2007-06-29 2013-03-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4961282B2 (ja) * 2007-07-03 2012-06-27 キヤノン株式会社 表示制御装置及びその制御方法
JP4293280B2 (ja) * 2008-04-28 2009-07-08 ソニー株式会社 制御装置、制御方法及び監視システム
JP5612774B2 (ja) * 2011-09-30 2014-10-22 富士フイルム株式会社 追尾枠の初期位置設定装置およびその動作制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1285997C (zh) * 2002-11-29 2006-11-22 日本电信电话株式会社 链接内容浏览支持装置及其方法
CN1941847A (zh) * 2005-09-29 2007-04-04 Lg电子株式会社 用于手持终端的图形信号显示装置和方法
CN101068342A (zh) * 2007-06-05 2007-11-07 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法

Also Published As

Publication number Publication date
US8363107B2 (en) 2013-01-29
JP2010136099A (ja) 2010-06-17
CN103491342A (zh) 2014-01-01
US20130114857A1 (en) 2013-05-09
US9786144B2 (en) 2017-10-10
US20100141772A1 (en) 2010-06-10
US20170124722A1 (en) 2017-05-04
JP4715909B2 (ja) 2011-07-06
CN101753999A (zh) 2010-06-23
US8957971B2 (en) 2015-02-17
US20150116504A1 (en) 2015-04-30
US9886770B2 (en) 2018-02-06

Similar Documents

Publication Publication Date Title
CN101753999B (zh) 图像处理设备和方法、图像处理系统和图像处理程序
AU2012256370B2 (en) Panorama processing
EP2779620B1 (en) Image generation device, and image generation method
EP2779621B1 (en) Image generation device, image generation method and program
US10284776B2 (en) Image generation apparatus and image generation method
US8957944B2 (en) Positional sensor-assisted motion filtering for panoramic photography
US9894272B2 (en) Image generation apparatus and image generation method
US20080152199A1 (en) Image orientation for display
US20110058014A1 (en) Image processing device, image processing method, and program
CN102783142B (zh) 图像显示装置和图像显示方法
CN111726520B (zh) 摄影装置、摄影系统、图像处理方法
EP2998935B1 (en) Image processing device, image processing method, and program
WO2017112800A1 (en) Macro image stabilization method, system and devices
US9113153B2 (en) Determining a stereo image from video
JP5597382B2 (ja) 広角画像表示制御方法及びその装置並びに広角画像撮像装置
JP5768172B2 (ja) 画像表示制御方法及びその装置並びに画像撮像装置
JP5398359B2 (ja) 情報処理装置、撮像装置及び制御方法
JP2011010010A (ja) 画像再生装置及び撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130814

Termination date: 20211204

CF01 Termination of patent right due to non-payment of annual fee