[go: up one dir, main page]

WO2018084069A1 - 画像合成システム、画像合成方法、および画像合成プログラム記録媒体 - Google Patents

画像合成システム、画像合成方法、および画像合成プログラム記録媒体 Download PDF

Info

Publication number
WO2018084069A1
WO2018084069A1 PCT/JP2017/038721 JP2017038721W WO2018084069A1 WO 2018084069 A1 WO2018084069 A1 WO 2018084069A1 JP 2017038721 W JP2017038721 W JP 2017038721W WO 2018084069 A1 WO2018084069 A1 WO 2018084069A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
kth
group
reliability
perturbation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/038721
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
正敏 奥富
正行 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Tokyo Institute of Technology NUC
Original Assignee
NEC Corp
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Tokyo Institute of Technology NUC filed Critical NEC Corp
Priority to US16/344,214 priority Critical patent/US10943339B2/en
Priority to JP2018548972A priority patent/JP6997969B2/ja
Publication of WO2018084069A1 publication Critical patent/WO2018084069A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Definitions

  • the present invention relates to an image composition system, an image composition method, and an image composition program recording medium.
  • one of the visible images or the non-visible images is used as a guide (hereinafter referred to as “guide image”), and the other is used.
  • guide image a guide
  • Techniques such as removing noise contained in an image (hereinafter referred to as “target image”), up-sampling the target image, and sharpening a fog region have been actively studied.
  • a visible camera and a non-visible camera have different camera parameters such as an angle of view and a posture, so that a positional deviation is generally generated.
  • the filter processing method using the guide image as in Non-Patent Documents 1, 2, and 3 is based on the premise that the alignment is accurately performed between the visible image and the invisible image. It has become.
  • artifacts such as a halo effect, a ghost effect, or ringing occur.
  • An object of the present invention is to provide an image composition system that can solve the above-described problems.
  • an image perturbation unit that generates a perturbation guide image group including first to Kth (K is an integer of 2 or more) perturbation guide images obtained by deforming a guide image;
  • a filter processing unit that generates a filtered image group including the first to Kth filtered images by performing first to Kth filtering on the target image; and the first to Kth perturbation guide images
  • First to Kth reliability for the first to Kth filtered images of the filtered image group based on a correlation value group consisting of first to Kth correlation values between the image and the target image
  • a reliability calculation unit for calculating a reliability group comprising: first to Kth weights for synthesizing the first to Kth filtered images based on the first to Kth reliability, respectively.
  • Compute weight group consisting of And viewed optimizing unit and an output image synthesis unit for synthesizing an output image from the filtered image group and the weight groups; an image synthesizing system comprising a.
  • the present invention it is possible to generate an image from which noise included in an image is removed, an upsampled image, and an image in which a fog region is clarified.
  • FIG. 1 is a block diagram showing a schematic configuration of an image composition system according to an embodiment of the present invention. It is a block diagram which shows the structure of the reliability calculation part used for the image composition system shown by FIG. It is a block diagram which shows an example of the input / output relationship in the weight optimization part used for the image composition system shown in FIG. It is a block diagram which shows the other example of the input / output relationship in the weight optimization part used for the image composition system shown in FIG. It is a block diagram which shows the further another example of the input / output relationship in the weight optimization part used for the image composition system shown in FIG. 3 is a flowchart for explaining the operation of the image composition system shown in FIG. 1.
  • FIG. 1 is a block diagram showing a schematic configuration of an image composition system according to an embodiment of the present invention.
  • the image processing system includes a target image input unit 101, a guide image input unit 102, a computer 200 that operates under program control, and an image output unit 301.
  • the computer 200 may be configured by, for example, a central processing unit, a processor, or a data processing device.
  • the computer 200 includes an image perturbation unit 210, a filter processing unit 220, a reliability calculation unit 230, a weight optimization unit 240, and an output image synthesis unit 250.
  • the target image input unit 101 receives an image or measurement value obtained by a camera, a measurement sensor, or the like as a target image.
  • the image or measurement value (target image) input to the target image input unit 101 is not limited to a visible image, and for example, an image acquired from another sensor may be input.
  • the target image input unit 101 records the input image or measurement value (target image) in a memory (not shown) or the like.
  • the guide image input unit 102 receives an image or measurement value obtained by a camera, a measurement sensor, or the like as a guide image. Similar to the target image input unit 101, the image or measurement value (guide image) to be input to the guide image input unit 102 is not limited to a visible image. For example, an image acquired from another sensor may be input. Good. For example, a depth image, a far infrared image, a near infrared image, or the like may be input to the target image input unit 101 as a guide image.
  • the guide image input unit 102 records the input image or measurement value (guide image) in a memory (not shown) or the like.
  • the image perturbation unit 210 perturbs the guide image input by the guide image input unit 102 with respect to the amount of displacement, and generates a perturbation guide image group.
  • the perturbation guide image may be generated by translating the image at regular intervals (for example, every several pixels) in the vertical and horizontal directions of the image.
  • the image perturbation unit 210 may generate a perturbation guide image group not only by translation but also by image deformation such as rotational deformation, affine deformation, or homography transformation.
  • the method of generating the perturbation guide image group is not limited to the amount of displacement, and for example, a part of a more general image degradation process such as a blur amount or a magnification is given as a perturbation.
  • the guide image may be converted and used as a perturbation guide image group.
  • the target image is And the kth perturbation guide image And the perturbation guide image group It expresses.
  • the perturbation guide image group includes first to Kth perturbation guide images.
  • the filter processing unit 220 generates a filtered image group including the first to Kth filtered images by performing the first to Kth filtering processes on the target image using the perturbation guide image group. More specifically, the filter processing unit 202 performs the target image And the perturbation guide image group Thus, a filtered image group is generated.
  • the method of Non-Patent Document 1, 2, or 3 may be used. Below, the generated filtered image group is It expresses.
  • the reliability calculation unit 230 is based on the correlation value group including the first to Kth correlation values between the first to Kth perturbation guide images and the target image, and the first to the first of the filtered image groups.
  • a reliability group including the first to Kth reliability levels for the K filtered image is calculated.
  • the correlation value group between the perturbation guide image group and the target image group for example, the first to Kth objective functions used in the first to Kth filter processing used in the filter processing unit 220 are used.
  • the first to Kth correlation values may be used.
  • the reliability calculation unit 230 includes a correlation value calculation unit 232 and a reliability calculation unit 234, as shown in FIG.
  • the correlation value calculation unit 232 calculates a correlation value group including the first to Kth correlation values based on an objective function group including the first to Kth objective functions.
  • the reliability calculation unit 234 calculates a reliability group based on the correlation value group.
  • the correlation value calculation unit 232 may calculate the correlation value using the value.
  • I a coefficient calculated as a result of ridge regression.
  • the quantity based on the two error terms between the target image and the perturbation guide image group is used as the objective function of the filter processing as shown in the following equation 9.
  • the correlation value calculation unit 232 may use the value as the correlation value.
  • I a coefficient calculated as a result of ridge regression.
  • ⁇ I and ⁇ G are parameters and are quantities determined by the user.
  • the correlation value calculation unit 232 calculates the correlation value using the value as shown in the following Expression 11. Good.
  • Is a kernel function
  • ⁇ s and ⁇ i are parameters determined by the user.
  • the correlation value used by this invention is not limited above, For example, what represents the correlation between a target image and a perturbation guide image group should just be shown. As an amount representing such a correlation, a normalized correlation in a local region between the target image and each perturbation guide image, a sum of squares of differences, a sum of absolute values of differences, or the like may be used. Alternatively, in the present invention, the correlation between the target image and the perturbation guide image group may be learned in advance by a method such as machine learning, and the correlation value may be calculated using this.
  • the reliability calculation unit 234 uses, for example, a softmax function as shown in Equation 14 below to calculate the kth reliability. May be calculated.
  • ⁇ is a parameter, which is an amount determined by the user.
  • the method of calculating the reliability group using the softmax function from the correlation value group in the reliability calculation unit 230 has been described, but the present invention is not limited to this.
  • the reliability may be anything as long as it is a monotonically increasing function of the correlation value.
  • the value of the correlation value may be used as it is.
  • the reliability calculation unit 230 may calculate the reliability using a quadratic function, a polynomial function, a logarithmic function, or the like.
  • the weight optimization unit 240 calculates a weight group composed of the first to Kth weights for synthesizing the first to Kth filtered images based on the first to Kth reliability. In this example, the weight optimization unit 240 determines the kth reliability. And kth reliability K-th weight for synthesizing the k-th filtered image based on the spatial smoothness and sparsity of Is calculated.
  • the kth weight As a method of calculating the k, for example, the kth reliability defined by the following equation 20 What is necessary is just to minimize the energy function based on the faithful term, spatial smoothness, and sparsity.
  • the first term on the right side in Equation 20 is the kth reliability.
  • the second term on the right side is a spatial smoothness
  • the third term on the right side is a term based on sparsity.
  • ⁇ and ⁇ are parameters for adjusting the size of each term, and are amounts determined by the user.
  • the kth reliability As a faithful term, the k-th reliability is defined as And kth weight What is defined as the sum of squares of the difference between and may be used.
  • the kth reliability K-th confidence level as faithful to And kth weight
  • the faithful term is the kth confidence level And kth weight As long as it is a function related to the difference between the two, for example, the sum of the absolute values of the differences may be used as the faithful term.
  • the kth weight is used as the amount representing the spatial smoothness.
  • the kth weight instead of the square sum of the spatial differentials, the sum of the absolute values of the spatial differentials may be used as an amount representing the spatial smoothness.
  • kth weight instead of the spatial differentiation of, double differentiation may be used as an amount representing spatial smoothness. That is, the amount representing the spatial smoothness is not limited to the above method as long as it is an amount that extracts a high-frequency component in some form.
  • ⁇ is a parameter for adjusting sparsity and is a parameter given by the user.
  • the weight optimization unit 240 may use the reliability value as it is as the weight function.
  • the weight optimization unit 240 is the only perturbation filter image group that has the maximum corresponding reliability with respect to the first to Kth reliability.
  • the first to Kth weights may be calculated by setting the weight to 1 and the other weights to zero.
  • the weight optimization unit 240 does not use the energy function as described above, but uses an energy function that considers only the faithful terms related to the reliability group and spatial smoothness, for example,
  • the weight group may be calculated by minimizing using a discrete optimization technique.
  • the output image composition unit 250 may calculate the kth weight. And the filtered image group And the output image as a linear combination of these Is synthesized.
  • the output image synthesizing unit 250 may synthesize the output image as shown in the following equation 41, for example.
  • the output image is represented by the kth weight.
  • filtered images However, the present invention is not limited to this.
  • the output image composition unit 250 calculates the kth weight. And filtered images
  • the output image may be synthesized as a non-linear combination.
  • the output image composition unit 250 may calculate the kth weight.
  • a synthesis rule that defines how to synthesize the output image is learned in some form in advance, and based on this synthesis rule, a filtered image group
  • the output image may be synthesized from
  • the image output unit 301 outputs an output image synthesized by the output image synthesis unit 250. Is output on a monitor.
  • the target image to be processed and the guide image are input by the target image input unit 101 and the guide image input unit 102 (step S101).
  • the image perturbation unit 210 perturbs and deforms the guide image to generate a perturbation guide image group composed of the first to Kth perturbation guide images (step S102).
  • the filter processing unit 220 generates a filter processing image group including the first to Kth filter processing images from the perturbation guide image group and the target image (step S103).
  • the reliability calculation unit 230 calculates a reliability group including the first to Kth reliability for the first to Kth filtered images of the filtered image group (step S104).
  • the weight optimization unit 240 calculates a weight group from the reliability group calculated by the reliability calculation unit 230 (step S105).
  • the output image synthesis unit 250 synthesizes an output image from the weight group calculated by the weight optimization unit 240 and the filtered image group, and the image output unit 301 outputs the output image (step) S106).
  • a filter process using a guide is applied to a visible image and a non-visible image including misalignment, while suppressing artifacts such as a ghost effect and a halo effect. It is possible to generate an image from which noise included in the image is removed, an upsampled image, and an image in which a fog region is clarified. The reason is that a filtered image is generated using a guide image that is perturbed with respect to the position, and weights for these linear combinations are adaptively calculated for each pixel based on the reliability of the filtering process. is there.
  • Each unit of the image composition system may be realized using a combination of hardware and software.
  • an image composition program is expanded in RAM (random access memory), and hardware such as a control unit (CPU (central processing unit)) is operated based on the image composition program.
  • CPU central processing unit
  • each unit is realized as various means.
  • the image composition program may be recorded on a recording medium and distributed.
  • the image composition program recorded on the recording medium is read into the memory via the wired, wireless, or recording medium itself, and operates the control unit and the like. Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • a computer that operates as an image composition system is based on an image composition program developed in a RAM, an image perturbation unit 210, a filter processing unit 220, a reliability calculation unit 230, a weight. This can be realized by operating as the optimization unit 240 and the output image synthesis unit 250.
  • An image perturbation unit for generating a perturbation guide image group composed of first to Kth (K is an integer of 2 or more) perturbation guide images obtained by deforming a guide image; and using the perturbation guide image group, a target A filter processing unit configured to generate a filtered image group including first to Kth filtered images by performing first to Kth filtering on the image; the first to Kth perturbation guide images and the target A confidence comprising first to Kth reliability for the first to Kth filtered images of the filtered image group based on a correlation value group comprising first to Kth correlation values with the image; A weight calculating unit for calculating a degree group; and a weight group including first to Kth weights for synthesizing the first to Kth filtered images based on the first to Kth reliability, respectively. Calculate weight optimal Parts and; image synthesizing system comprising; an output image synthesis unit for synthesizing an output image from said weight group and the filtered image group.
  • the reliability calculation unit may use the first to Kth correlation values between the first to Kth perturbation guide images and the target image as the first of the corresponding filter processing units.
  • the weight optimization unit minimizes an energy function based on a faithful term related to the reliability group calculated by the reliability calculation unit and a spatial smoothness of the reliability group, so that the weight
  • the image composition system according to any one of appendices 1 to 3, wherein the group is calculated.
  • the said weight optimization part calculates the energy function based on the faithful term regarding the said reliability group calculated in the said reliability calculation part, the spatial smoothness of the said reliability group, and the sparsity of the said reliability group.
  • the image composition system according to any one of appendices 1 to 3, wherein the weight group is calculated by minimizing the weight group.
  • the weight optimization unit sets the first to Kth reliability calculated by the reliability calculation unit to 1 having the maximum value for each pixel, and sets the others to zero.
  • the image composition system according to any one of appendices 1 to 3, wherein an image is used as the first to Kth weights.
  • An image perturbation step in which the image perturbation unit generates a perturbation guide image group composed of first to Kth (K is an integer of 2 or more) perturbation guide images obtained by deforming the guide image; and a filter processing unit A filtering process for generating a filtered image group composed of the first to Kth filtered images by performing first to Kth filtering on the target image using the perturbation guide image group; and reliability calculation; Based on a correlation value group including first to Kth correlation values between the first to Kth perturbation guide images and the target image, the first to Kth of the filtered image group.
  • Kth filter processing A weight optimization step of calculating a weight group composed of first to Kth weights for synthesizing an image; and an output image in which an output image synthesizer synthesizes an output image from the weight group and the filtered image group
  • An image synthesis method comprising: a synthesis step;
  • the reliability calculation unit corresponds to the first to Kth correlation values between the first to Kth perturbation guide images and the target image.
  • the weight optimization unit minimizes the energy function based on the faithful term related to the reliability group calculated in the reliability calculation step and the spatial smoothness of the reliability group.
  • the image composition method according to any one of appendices 7 to 9, wherein the weight group is calculated by generating the weight.
  • the weight optimization unit includes a faithful term related to the reliability group calculated in the reliability calculation step, spatial smoothness of the reliability group, and The image composition method according to any one of appendices 7 to 9, wherein the weight group is calculated by minimizing an energy function based on sparsity.
  • the weight optimization unit sets 1 as the one having the maximum value for each pixel in the first to Kth reliability calculated in the reliability calculation step.
  • the image synthesizing method according to any one of appendices 7 to 9, wherein a value other than that is used as the first to Kth weights.
  • the filter processing unit corresponding the first to Kth correlation values between the first to Kth perturbation guide images and the target image to the computer.
  • the said weight optimization procedure makes the said computer minimize the energy function based on the faithful term regarding the said reliability group calculated in the said reliability calculation procedure, and the spatial smoothness of the said reliability group.
  • the image composition program recording medium according to any one of supplementary notes 13 to 15, wherein the weight group is calculated.
  • the weight optimization procedure is performed by the computer to the faithful term related to the reliability group calculated in the reliability calculation procedure, spatial smoothness of the reliability group, and sparsity of the reliability group.
  • the image synthesis program recording medium according to any one of appendices 13 to 15, wherein the weight group is calculated by minimizing an energy function based on the energy function.
  • the computer sets the one having the maximum value for each pixel in the first to Kth reliability calculated in the reliability calculation step to 1, and otherwise.
  • the image composition program recording medium according to any one of appendices 13 to 15, wherein a value obtained by setting the value to zero is used as the first to Kth weights.
  • Target Image Input Unit 102 Guide Image Input Unit 200 Computer (Central Processing Unit; Processor; Data Processing Unit) 210 Image perturbation unit 220 Filter processing unit 230 Reliability calculation unit 232 Correlation value calculation unit 234 Reliability calculation unit 240 Weight optimization unit 250 Output image synthesis unit 301 Image output unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

位置ずれを含むマルチモーダル・マルチスペクトル画像からでも、高画質なフィルタ処理画像を生成することを可能とする。画像摂動部は、ガイド画像を変形させた第１乃至第Ｋの摂動ガイド画像から成る摂動ガイド画像群を生成する。フィルタ処理部は、摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成する。信頼度算出部は、第１乃至第Ｋの摂動ガイド画像とターゲット画像との間の第１乃至第Ｋの相関値に基づき、フィルタ処理画像群の第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する。重み最適化部は、第１乃至第Ｋの信頼度に基づき、それぞれ第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する。出力画像合成部は、重み群とフィルタ処理画像群とから出力画像を合成する。

Description

画像合成システム、画像合成方法、および画像合成プログラム記録媒体
本発明は、画像合成システム、画像合成方法、および画像合成プログラム記録媒体に関する。
昨今のデバイス技術とソフトウェアの進歩により、温度や距離，動きベクトルなどの計測量を高精度に計測することが可能になってきており、これらデバイスにより取得された画像を同時に利用することが盛んになってきている。例えば、可視画像と遠赤外画像、近赤外画像、深度画像などを同時に利用する画像処理が盛んになってきている。
一例をあげると、非特許文献１、２及び３に記載の技術のように、可視画像或いは非可視画像のうち、一方の画像をガイドとして用い（以下、「ガイド画像」とよぶ）、他方の画像（以下、「ターゲット画像」とよぶ）中に含まれるノイズを除去したり、ターゲット画像をアップサンプリングしたり、霧領域を鮮明化するなどの技術が盛んに研究されている。
Tomasi, Carlo, and Roberto Manduchi. "Bilateral filtering for gray and color images." Computer Vision, 1998. Sixth International Conference on. IEEE, 1998. He, Kaiming, Jian Sun, and Xiaoou Tang. "Guided image filtering." European conference on computer vision. Springer Berlin Heidelberg, 2010. Shen, Xiaoyong, et al. "Mutual-Structure for Joint Filtering." Proceedings of the IEEE International Conference on Computer Vision. 2015.
しかしながら、一般的に、可視カメラと非可視カメラとでは、画角や姿勢などのカメラパラメータが異なるため、位置ずれが発生することが一般的である。
これに対して、非特許文献１、２及び３のようにガイド画像を用いるフィルタ処理の方法は、可視画像と非可視画像との間で、位置合わせが正確に行われていることが前提となっている。位置ずれが存在する可視画像と非可視画像とに対して、非特許文献１、２或いは３に記載の方法を用いた場合、ハロー効果やゴースト効果、或いはリンギングなどのアーチファクトが発生する。
本発明の目的は、上述した課題を解決できる画像合成システムを提供することにある。
本発明の一形態は、ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動部と；前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理部と；前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出部と；前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化部と；前記重み群と前記フィルタ処理画像群より出力画像を合成する出力画像合成部と；を備える画像合成システムである。
本発明によれば、画像中に含まれるノイズが除去された画像、アップサンプリングされた画像、霧領域を鮮明化された画像を生成することが可能となる。
本発明の一実施の形態に係る画像合成システムの概略構成を示すブロック図である。 図１に示された画像合成システムに使用される、信頼度算出部の構成を示すブロック図である。 図１に示された画像合成システムに使用される、重み最適化部における入出力関係の一例を示すブロック図である。 図１に示された画像合成システムに使用される、重み最適化部における入出力関係の他の例を示すブロック図である。 図１に示された画像合成システムに使用される、重み最適化部における入出力関係の更に他の例を示すブロック図である。 図１に示した画像合成システムの動作を説明するためのフローチャートである。
次に、発明を実施するための形態について図面を参照して詳細に説明する。
[構成の説明]
図１は、本発明の実施の形態に係る画像合成システムの概略構成を示すブロック図である。
図１を参照すると、本発明の実施の形態に係る画像処理システムは、ターゲット画像入力部１０１と、ガイド画像入力部１０２と、プログラム制御により動作するコンピュータ２００と、画像出力部３０１とから成る。コンピュータ２００は、例えば、中央処理装置やプロセッサ、或いはデータ処理装置で構成されてよい。
コンピュータ２００は、画像摂動部２１０と、フィルタ処理部２２０と、信頼度算出部２３０と、重み最適化部２４０と、出力画像合成部２５０とから成る。
これらの手段は、それぞれ概略、次のように動作する。
ターゲット画像入力部１０１には、ターゲット画像として、カメラや測定用のセンサなどによって得られた画像や測定値が入力される。ターゲット画像入力部１０１に入力する画像或いは測定値（ターゲット画像）としては、可視画像に限定されず、例えば、その他のセンサから取得された画像を入力してもよい。そして、ターゲット画像入力部１０１は、入力された画像或いは測定値（ターゲット画像）をメモリ（図示せず）等に記録する。
ガイド画像入力部１０２には、ガイド画像として、カメラや測定用のセンサなどによって得られた画像や測定値が入力される。ターゲット画像入力部１０１と同様に、ガイド画像入力部１０２に入力する画像或いは測定値（ガイド画像）としては、可視画像に限定されず、例えば、その他のセンサから取得された画像を入力してもよい。例えば、ターゲット画像入力部１０１には、ガイド画像として、深度画像、遠赤外画像、近赤外画像などを入力してもよい。そして、ガイド画像入力部１０２は、入力された画像或いは測定値（ガイド画像）をメモリ（図示せず）等に記録する。
画像摂動部２１０は、ガイド画像入力部１０２にて入力したガイド画像を、位置ずれ量に関して摂動させ、摂動ガイド画像群を生成する。位置ずれ量に関して摂動させる方法としては、例えば、画像の縦方向と横方向に、一定の間隔毎（例えば数画素おき）に画像を平行移動させることで、摂動ガイド画像を生成してもよい。或いは、画像摂動部２１０は、平行移動だけでなく、回転変形やアフィン変形、或いはホモグラフィ変換などの画像変形により摂動ガイド画像群を生成してもよい。また、本発明の実施の形態において、摂動ガイド画像群を生成する方法は、位置ずれ量に限定されず、例えば、ボケ量や倍率など、より一般的な画像劣化過程の一部を摂動として与えてガイド画像を変換し、これを摂動ガイド画像群として用いてもよい。
以下では、説明のため、ターゲット画像を
Figure JPOXMLDOC01-appb-M000001
 と表し、ｋ番目の摂動ガイド画像を
Figure JPOXMLDOC01-appb-M000002
 と表し、摂動ガイド画像群を
Figure JPOXMLDOC01-appb-M000003
 と表す。
したがって、摂動ガイド画像の個数をＫ（１≦ｋ≦Ｋ）とすると、摂動ガイド画像群は、第１乃至第Ｋの摂動ガイド画像から成る。
フィルタ処理部２２０は、前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成する。より具体的には、フィルタ処理部２０２は、ターゲット画像
Figure JPOXMLDOC01-appb-M000004
 と、前記摂動ガイド画像群
Figure JPOXMLDOC01-appb-M000005
 より、フィルタ処理画像群を生成する。各フィルタ処理の方法としては、上記非特許文献１、２或いは３の手法などを用いればよい。以下では、生成されたフィルタ処理画像群を
Figure JPOXMLDOC01-appb-M000006
 と表す。
信頼度算出部２３０は、前記第１乃至第Ｋの摂動ガイド画像とターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する。前記摂動ガイド画像群とターゲット画像群との間の相関値群としては、例えば、フィルタ処理部２２０で用いた第１乃至第Ｋのフィルタ処理の際に使用した第１乃至第Ｋの目的関数を、第１乃至第Ｋの相関値として用いてもよい。
したがって、信頼度算出部２３０は、図２に示されるように、相関値計算部２３２と、信頼度計算部２３４とから成る。相関値計算部２３２は、第１乃至第Ｋの相関値から成る相関値群を、第１乃至第Ｋの目的関数から成る目的関数群に基づき計算する。信頼度計算部２３４は、相関値群に基づき、信頼度群を計算する。
例えば、相関値計算部２３２は、以下の数７に示すようにリッジ回帰に基づく量がフィルタ処理の目的関数として用いられる場合には、その値を用いて相関値を算出すればよい。
Figure JPOXMLDOC01-appb-M000007
 ここで、
Figure JPOXMLDOC01-appb-M000008
 は、リッジ回帰の結果算出された係数である。
また、以下の数９のように、リッジ回帰に基づく相関値に加え、ターゲット画像及び摂動ガイド画像群との誤差項の２つに基づく量がフィルタ処理の目的関数として用いられている場合には、相関値計算部２３２は、その値を相関値として用いてもよい。
Figure JPOXMLDOC01-appb-M000009
 ここで、
Figure JPOXMLDOC01-appb-M000010
 は、リッジ回帰の結果算出された係数である。また、λI，λGは、パラメータであり、利用者により決定される量である。
あるいは、カーネル関数K（・）に基づく量がフィルタ処理の目的関数として用いられる場合には、相関値計算部２３２は、以下の数１１のように、その値を用いて相関値を算出すればよい。 
Figure JPOXMLDOC01-appb-M000011
 ここで、
Figure JPOXMLDOC01-appb-M000012
 は、カーネル関数であり、σｓ，σiは利用者により決定されるパラメータである。
なお、本発明で用いる相関値は、上記に限定されず、例えば、ターゲット画像と摂動ガイド画像群との間の相関を表すものであれば良い。このような相関を表す量としては、ターゲット画像と各摂動ガイド画像との間の局所領域における正規化相関、差分の二乗和、差分の絶対値の和などを用いればよい。或いは、本発明では、ターゲット画像と摂動ガイド画像群との間の相関を、予め機械学習などの方法で学習し、これを用いて相関値を算出してもよい。
次に、信頼度計算部２３４は、例えば、以下の数１４のようなソフトマックス関数を用いて、第ｋの信頼度
Figure JPOXMLDOC01-appb-M000013
 を算出すればよい。
Figure JPOXMLDOC01-appb-M000014
 ここで、βはパラメータであり、利用者により決定される量である。
なお、上記実施の形態では、信頼度算出部２３０において相関値群からソフトマックス関数を用いて信頼度群を算出する方法について述べたが、本発明はこれに限定されない。一般的には、信頼度は相関値の単調増加関数であれば何でもよく、例えば、相関値の値をそのまま用いてもよい。或いは、信頼度算出部２３０は、二次関数、多項式関数、対数関数などを用いて信頼度を算出してもよい。
重み最適化部２４０は、第１乃至第Ｋの信頼度に基づき、それぞれ第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する。本例では、重み最適化部２４０は、第ｋの信頼度
Figure JPOXMLDOC01-appb-M000015
 及び、第ｋの信頼度
Figure JPOXMLDOC01-appb-M000016
 の空間平滑性とスパース性に基づき、前記第ｋのフィルタ処理画像を合成するための第ｋの重み
Figure JPOXMLDOC01-appb-M000017
 を算出する。
図３に示されるように、第ｋの重み
Figure JPOXMLDOC01-appb-M000018
 を算出する方法として、例えば、以下の数２０で定義される、第ｋの信頼度
Figure JPOXMLDOC01-appb-M000019
 に関する忠実項、空間的平滑性、スパース性に基づくエネルギー関数を最小化すればよい。
Figure JPOXMLDOC01-appb-M000020
 ここで、数２０における、右辺第一項は第ｋの信頼度
Figure JPOXMLDOC01-appb-M000021
 に関する忠実項、右辺第二項は空間的平滑性、右辺第三項はスパース性に基づく項である。また、η及びγは、各項の大きさを調整するためにパラメータであり、利用者により決定される量である。
例えば、第ｋの信頼度
Figure JPOXMLDOC01-appb-M000022
 に関する忠実項としては、以下の数２５で定義されるように、第ｋの信頼度
Figure JPOXMLDOC01-appb-M000023
 と第ｋの重み
Figure JPOXMLDOC01-appb-M000024
 との差分の二乗和として定義されたものを用いればよい。
Figure JPOXMLDOC01-appb-M000025
 なお、上記実施の形態では、第ｋの信頼度
Figure JPOXMLDOC01-appb-M000026
 に関する忠実項として、第ｋの信頼度
Figure JPOXMLDOC01-appb-M000027
 と第ｋの重み
Figure JPOXMLDOC01-appb-M000028
 との差分の二乗和として定義されたものを用いたが、本発明はこれに限定されない。忠実項は、第ｋの信頼度
Figure JPOXMLDOC01-appb-M000029
 と第ｋの重み
Figure JPOXMLDOC01-appb-M000030
 との差分に関する関数であればなんでもよく、例えば、忠実項として差分の絶対値の和などを用いてもよい。
また、空間平滑性としては、例えば、以下の数３２で表すように、第ｋの重み
Figure JPOXMLDOC01-appb-M000031
 の空間微分の二乗和を用いればよい。
Figure JPOXMLDOC01-appb-M000032
 なお、上記実施の形態では、空間平滑性を表す量として、第ｋの重み
Figure JPOXMLDOC01-appb-M000033
 の空間微分の二乗和を用いる形態について述べたが、本発明はこれに限定されない。例えば、第ｋの重み
Figure JPOXMLDOC01-appb-M000034
 の空間微分の二乗和の替わりに、空間平滑性を表す量として空間微分の絶対値の和を用いてもよい。或いは、第ｋの重み
Figure JPOXMLDOC01-appb-M000035
 の空間微分の替わりに、空間平滑性を表す量として二回微分を用いてもよい。すなわち、空間平滑性を表す量としては、なんらかの形態で高周波成分を抽出する量であればなんでもよく、上記の方法に限定されない。
また、スパース性に基づく項としては、例えば、下記の数３７に表すように、第ｋの重み
Figure JPOXMLDOC01-appb-M000036
 に関するノルムを用いればよい。
Figure JPOXMLDOC01-appb-M000037
 ここで、εは、スパース性を調整するパラメータであり、利用者により与えられるパラメータである。
なお、上記実施の形態では、重み関数として、信頼度群に関する忠実項、空間的平滑性、スパース性に基づくエネルギー関数を最小化することで算出する方法を述べたが、本発明はこれに限定されない。一般的に、重み最適化部２４０は、重み関数として、信頼度の値をそのまま用いてもよい。
或いは、図４に示されるように、重み最適化部２４０は、画素毎に、摂動フィルタ画像群のうち、第１乃至第Ｋの信頼度に対して、対応する信頼度が最大となるものだけ重みを１とし、その他の重みをゼロとすることで、第１乃至第Ｋの重みを算出してもよい。
或いは、図５に示されるように、重み最適化部２４０は、上述のようなエネルギー関数を用いるのではなく、信頼度群に関する忠実項と空間平滑性とのみを考慮したエネルギー関数を、例えば、離散最適化の手法を用いることで最小化し、重み群を算出してもよい。
出力画像合成部２５０は、前記第ｋの重み
Figure JPOXMLDOC01-appb-M000038
 と、前記フィルタ処理画像群
Figure JPOXMLDOC01-appb-M000039
 とから、これらの線形結合として出力画像
Figure JPOXMLDOC01-appb-M000040
 を合成する。
より具体的には、出力画像合成部２５０は、例えば、以下の数４１に示すように、出力画像を合成すればよい。
Figure JPOXMLDOC01-appb-M000041
 なお、上記実施の形態では、出力画像を第ｋの重み
Figure JPOXMLDOC01-appb-M000042
 とフィルタ処理画像群
Figure JPOXMLDOC01-appb-M000043
 との線形結合として表す場合について述べたが、本発明はこれに限定されない。例えば、出力画像合成部２５０は、第ｋの重み
Figure JPOXMLDOC01-appb-M000044
 とフィルタ処理画像群
Figure JPOXMLDOC01-appb-M000045
 との非線形結合として、出力画像を合成してもよい。或いは、出力画像合成部２５０は、第ｋの重み
Figure JPOXMLDOC01-appb-M000046
 に応じて、出力画像をどのように合成するかを規定する合成則を予め何らかの形で学習しておき、この合成則に基づいて、フィルタ処理画像群
Figure JPOXMLDOC01-appb-M000047
 から出力画像を合成してもよい。
画像出力部３０１は、出力画像合成部２５０にて合成した出力画像
Figure JPOXMLDOC01-appb-M000048
 をモニタなどで出力する。
[動作の説明]
次に、図６のフローチャートを参照して、本実施の形態に係る画像合成システムの全体の動作について詳細に説明する。
まず、ターゲット画像入力部１０１とガイド画像入力部１０２とにて、処理対象となるターゲット画像とガイド画像とを入力する（ステップＳ１０１）。
次に、画像摂動部２１０にて、ガイド画像を摂動変形させ、第１乃至第Ｋの摂動ガイド画像から成る摂動ガイド画像群を生成する（ステップＳ１０２）。
次に、フィルタ処理部２２０にて、摂動ガイド画像群とターゲット画像とから、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成する（ステップＳ１０３）。
次に、信頼度算出部２３０にて、フィルタ処理画像群の第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する（ステップＳ１０４）。
次に、重み最適化部２４０にて、信頼度算出部２３０にて算出された信頼度群から、重み群を算出する（ステップＳ１０５）。
次に、出力画像合成部２５０にて、重み最適化部２４０にて算出した重み群と、フィルタ処理画像群とから、出力画像を合成し、画像出力部３０１にて出力画像を出力する（ステップＳ１０６）。
[効果の説明] 
次に、本実施の形態の効果について説明する。
本発明の実施の形態を用いることで、位置ずれが含まれる可視画像と非可視画像とに対して、ガイドを用いたフィルタ処理を適用することで、ゴースト効果やハロー効果などのアーチファクトを抑えながら、画像中に含まれるノイズが除去された画像、アップサンプリングされた画像、霧領域を鮮明化された画像を生成することが可能となる。その理由は、位置連れに関して摂動させたガイド画像を用いてフィルタ処理画像を生成し、これらの線形結合のための重みを、画素毎にフィルタ処理の信頼度に基づき、適応的に算出するためである。
尚、画像合成システムの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に画像合成プログラムが展開され、該画像合成プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該画像合成プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された画像合成プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記実施の形態を別の表現で説明すれば、画像合成システムとして動作させるコンピュータを、ＲＡＭに展開された画像合成プログラムに基づき、画像摂動部２１０、フィルタ処理部２２０、信頼度算出部２３０、重み最適化部２４０、および出力画像合成部２５０として動作させることで実現することが可能である。
なお、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動部と；前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理部と；前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出部と；前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化部と；前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成部と；を備える画像合成システム。
（付記２）前記画像摂動部は、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、付記１に記載の画像合成システム。
(付記３)前記信頼度算出部は、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、付記１又は２に記載の画像合成システム。
(付記４)前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記１乃至３のいずれか１つに記載の画像合成システム。
（付記５）前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記１乃至３のいずれか１つに記載の画像合成システム。
(付記６)前記重み最適化部は、前記信頼度算出部にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、付記１乃至３のいずれか１つに記載の画像合成システム。
（付記７）画像摂動部が、ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動工程と；フィルタ処理部が、前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理工程と；信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出工程と；重み最適化部が、前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化工程と；出力画像合成部が、前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成工程と；を含む画像合成方法。
（付記８）前記画像摂動工程では、前記画像摂動部が、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、付記７に記載の画像合成方法。
(付記９)前記信頼度算出工程では、前記信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、付記７又は８に記載の画像合成方法。
(付記１０)前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記７乃至９のいずれか１つに記載の画像合成方法。
（付記１１）前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記７乃至９のいずれか１つに記載の画像合成方法。
（付記１２）前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、付記７乃至９のいずれか１つに記載の画像合成方法。
(付記１３)ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動手順と；前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理手順と；前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出手順と；前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化手順と；前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成手順と；をコンピュータに実行させる画像合成プログラムを記録した画像合成プログラム記録媒体。
（付記１４）前記画像摂動手順は、前記コンピュータに、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成させる、付記１３に記載の画像合成プログラム記録媒体。
（付記１５）前記信頼度算出手順は、前記コンピュータに、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出させる、付記１３又は１４に記載の画像合成プログラム記録媒体。
（付記１６）前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、付記１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
（付記１７）前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、付記１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
(付記１８)前記重み最適化手順は、前記コンピュータに、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いらせる、付記１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
　　１０１　　ターゲット画像入力部
　　１０２　　ガイド画像入力部
　　２００　　コンピュータ（中央処理装置；プロセッサ；データ処理装置）
　　２１０　　画像摂動部
　　２２０　　フィルタ処理部
　　２３０　　信頼度算出部
　　２３２　　相関値計算部
　　２３４　　信頼度計算部
　　２４０　　重み最適化部
　　２５０　　出力画像合成部
　　３０１　　画像出力部
この出願は、２０１６年１１月７日に出願された日本出願特願２０１６－２１７５４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (18)

  1. ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動部と、
    前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理部と、
    前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出部と、
    前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化部と、
    前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成部と、
    を備える画像合成システム。
  2. 前記画像摂動部は、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、請求項１に記載の画像合成システム。
  3. 前記信頼度算出部は、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、請求項１又は２に記載の画像合成システム。
  4. 前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項１乃至３のいずれか１つに記載の画像合成システム。
  5. 前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項１乃至３のいずれか１つに記載の画像合成システム。
  6. 前記重み最適化部は、前記信頼度算出部にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、請求項１乃至３のいずれか１つに記載の画像合成システム。
  7. 画像摂動部が、ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動工程と、
    フィルタ処理部が、前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理工程と、
    信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出工程と、
    重み最適化部が、前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化工程と、
    出力画像合成部が、前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成工程と、
    を含む画像合成方法。
  8. 前記画像摂動工程では、前記画像摂動部が、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、請求項７に記載の画像合成方法。
  9. 前記信頼度算出工程では、前記信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、請求項７又は８に記載の画像合成方法。
  10. 前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項７乃至９のいずれか１つに記載の画像合成方法。
  11. 前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項７乃至９のいずれか１つに記載の画像合成方法。
  12. 前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、請求項７乃至９のいずれか１つに記載の画像合成方法。
  13. ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動手順と、
    前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理手順と、
    前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出手順と、
    前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化手順と、
    前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成手順と、
    をコンピュータに実行させる画像合成プログラムを記録した画像合成プログラム記録媒体。
  14. 前記画像摂動手順は、前記コンピュータに、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成させる、請求項１３に記載の画像合成プログラム記録媒体。
  15. 前記信頼度算出手順は、前記コンピュータに、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出させる、請求項１３又は１４に記載の画像合成プログラム記録媒体。
  16. 前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、請求項１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
  17. 前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、請求項１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
  18. 前記重み最適化手順は、前記コンピュータに、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いらせる、請求項１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
     
PCT/JP2017/038721 2016-11-07 2017-10-26 画像合成システム、画像合成方法、および画像合成プログラム記録媒体 Ceased WO2018084069A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/344,214 US10943339B2 (en) 2016-11-07 2017-10-26 Image compositing system, image compositing method, and image compositing program recording medium
JP2018548972A JP6997969B2 (ja) 2016-11-07 2017-10-26 画像合成システム、画像合成方法、および画像合成プログラム記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-217543 2016-11-07
JP2016217543 2016-11-07

Publications (1)

Publication Number Publication Date
WO2018084069A1 true WO2018084069A1 (ja) 2018-05-11

Family

ID=62076084

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038721 Ceased WO2018084069A1 (ja) 2016-11-07 2017-10-26 画像合成システム、画像合成方法、および画像合成プログラム記録媒体

Country Status (3)

Country Link
US (1) US10943339B2 (ja)
JP (1) JP6997969B2 (ja)
WO (1) WO2018084069A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113243017A (zh) * 2018-12-31 2021-08-10 罗伯特·博世有限公司 确定图像数据是否在图像分析软件被配置以分析的预定范围内
US12026854B2 (en) 2019-05-16 2024-07-02 Mitsubishi Electric Corporation Image processing device, method, image reading device, and recording medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796443B2 (en) * 2018-10-17 2020-10-06 Kneron, Inc. Image depth decoder and computing device
CN112101173A (zh) * 2020-09-09 2020-12-18 青岛黄海学院 一种图像处理装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267494A1 (en) * 2007-04-30 2008-10-30 Microsoft Corporation Joint bilateral upsampling
WO2014192487A1 (ja) * 2013-05-29 2014-12-04 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
JP2015231220A (ja) * 2014-06-06 2015-12-21 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9967535B2 (en) * 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267494A1 (en) * 2007-04-30 2008-10-30 Microsoft Corporation Joint bilateral upsampling
WO2014192487A1 (ja) * 2013-05-29 2014-12-04 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
JP2015231220A (ja) * 2014-06-06 2015-12-21 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113243017A (zh) * 2018-12-31 2021-08-10 罗伯特·博世有限公司 确定图像数据是否在图像分析软件被配置以分析的预定范围内
US12026854B2 (en) 2019-05-16 2024-07-02 Mitsubishi Electric Corporation Image processing device, method, image reading device, and recording medium

Also Published As

Publication number Publication date
US20200074604A1 (en) 2020-03-05
US10943339B2 (en) 2021-03-09
JP6997969B2 (ja) 2022-01-18
JPWO2018084069A1 (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
JP4585456B2 (ja) ボケ変換装置
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN101394460B (zh) 图像处理设备、方法以及图像捕获设备
JP5243477B2 (ja) ブラー補正装置およびブラー補正方法
JP6840957B2 (ja) 画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体
CN103139568B (zh) 基于稀疏度和保真度约束的视频稳像方法
CN105160687B (zh) 一种气动光学热辐射噪声校正方法与系统
US20110211765A1 (en) Image processing apparatus, image processnig method, and program
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
WO2018084069A1 (ja) 画像合成システム、画像合成方法、および画像合成プログラム記録媒体
KR101821285B1 (ko) 열화상 이미지 개선 장치 및 방법
JP7246900B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2011039675A (ja) 画像処理装置、画像処理方法、及び、コンピュータプログラム
WO2021106853A1 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、撮像装置、及びプログラム
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
CN112308775A (zh) 水下图像拼接方法及装置
CN112017130A (zh) 新颖的基于自适应各向异性全变分正则化的图像复原方法
WO2014069103A1 (ja) 画像処理装置
CN119342346A (zh) 基于imu的相机运动补偿方法、装置及存储介质
CN113506212A (zh) 一种改进的基于pocs的高光谱图像超分辨率重建方法
JP6645442B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2017010093A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6448526B2 (ja) 画像処理装置、撮像装置、画像処理プログラム
JP5566199B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
JP7443030B2 (ja) 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17867542

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018548972

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17867542

Country of ref document: EP

Kind code of ref document: A1