[go: up one dir, main page]

JP7511471B2 - 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 - Google Patents

情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 Download PDF

Info

Publication number
JP7511471B2
JP7511471B2 JP2020528851A JP2020528851A JP7511471B2 JP 7511471 B2 JP7511471 B2 JP 7511471B2 JP 2020528851 A JP2020528851 A JP 2020528851A JP 2020528851 A JP2020528851 A JP 2020528851A JP 7511471 B2 JP7511471 B2 JP 7511471B2
Authority
JP
Japan
Prior art keywords
recognition
unit
data
processing
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020528851A
Other languages
English (en)
Other versions
JPWO2020009060A1 (ja
Inventor
信之 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020009060A1 publication Critical patent/JPWO2020009060A1/ja
Application granted granted Critical
Publication of JP7511471B2 publication Critical patent/JP7511471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/646—Following a predefined trajectory, e.g. a line marked on the floor or a flight path

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)
  • Stored Programmes (AREA)

Description

本明細書で開示する技術は、主に外界を認識するための複数のセンサの検出情報を処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置に関する。
自動運転やＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天ときや夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダー、レーザーレーダーなど、種類の異なる多くの外界認識センサが車両に搭載され始めている。
各センサには得手不得手があり、認識対象物の種類や大きさ、対象物までの距離、あるいは、検出時の天候などに応じて、センサの認識性能が劣化することがある。例えば、車載用のレーダーは距離精度、相対速度精度は高いが、角度精度が低く、物体の種別を識別する識別機能は無いか、若しくは精度が低い。一方、カメラは距離精度、相対速度精度が比較的低いが、角度精度、識別精度はよい。
そこで、個々のセンサを単独での使用に限らず、２以上のセンサを組み合わせて、各センサの特徴を生かすことによって、より高精度な外界認識に寄与している。２以上のセンサを組み合わせることを、以下では「センサフュージョン」又は「フュージョン」と呼ぶことにする。
例えば、温度データ、雨量データ、視程データ、照度データなどの環境指標に基づいて、検出特性の異なる複数のセンサの組み合わせを切り替えて使用する道路交通監視システムについて提案がなされている（特許文献１を参照のこと）。
また、外部環境に対応するフュージョンの仕様を複数準備しておき、選択されたフュージョンの仕様において、外部環境に起因して認識精度が低下するセンサの検出領域をドライバーに通知して注意を促す車両走行制御システムについて提案がなされている（特許文献２を参照のこと）。
特開２００３－１６２７９５号公報 特開２０１７－１３２２８５号公報
本明細書で開示する技術の目的は、主に外界を認識するための複数のセンサをフュージョン処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置を提供することにある。
本明細書で開示する技術の第１の側面は、
センサの検出信号に基づいて物体を認識処理する認識部と、
前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部と、
を具備する情報処理装置である。
前記センサは、例えばミリ波レーダーである。そして、前記認識部は、認識前に前記センサの検出信号に基づいて物体の距離検出、速度検出、角度検出、前記物体の追跡の各処理を実施し、前記第１のデータは、前記検出信号、前記物体の距離検出結果、速度検出結果、角度検出結果、前記物体の追跡結果のうち少なくとも１つを含む。そして、前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施するようにしてもよい。
また、第１の側面に係る情報処理装置は、カメラ又はＬｉＤＡＲのうち少なくとも１つを含む、第２のセンサの検出信号に基づいて物体を認識処理する第２の認識部をさらに備えている。そして、前記処理部は、前記第２の認識部による認識結果は良好であるが、前記認識部による認識結果が良好でない場合に、前記第１のデータのフュージョン処理を実施する。あるいは、前記処理部は、前記第２の認識部による認識結果が良好でない場合に、前記第１のデータのフュージョン処理を実施する。
また、本明細書で開示する技術の第２の側面は、
センサの検出信号に基づいて物体を認識処理する認識ステップと、
前記認識ステップによる認識前の第１のデータと他のデータをフュージョン処理する処理ステップと、
を有する情報処理方法である。前記処理ステップでは、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施するようにしてもよい。
また、本明細書で開示する技術の第３の側面は、
センサの検出信号に基づいて物体を認識処理する認識部、
前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施するようにしてもよい。
第３の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、第３の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
また、本明細書で開示する技術の第４の側面は、
移動手段と、
センサと、
前記センサの検出信号に基づいて物体を認識処理する認識部と、
前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部と、
前記処理部による処理結果に基づいて前記移動手段を制御する制御部と、
を具備する移動体装置である。前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施するようにしてもよい。
本明細書で開示する技術によれば、主に外界を認識するための複数のセンサをフュージョン処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、車両制御システム１００の概略的な機能の構成例を示すブロック図である。 図２は、情報処理装置１０００の機能的構成を示した図である。 図３は、カメラによる撮影画像を例示した図である。 図４は、ミリ波レーダーで検出するシーンを例示した図である。 図５は、図４に示したシーンをミリ波レーダーで検出した結果を示した図である。 図６は、レーダー認識処理部１０２０の内部構成例を示した図である。 図７は、認識対象とするシーンの一例を示した図である。 図８は、図７に示したシーンの認識処理前のデータを示した図である。 図９は、図７に示したシーンの認識処理後のデータを示した図である。 図１０は、認識対象とするシーンの他の例を示した図である。 図１１は、図１０に示したシーンの認識処理前のデータを示した図である。 図１２は、図１０に示したシーンの認識処理後のデータを示した図である。 図１３は、情報処理装置１０００によるフュージョン処理結果（ＬＡＴＥフュージョン処理のみ）の例を示した図である。 図１４は、情報処理装置１０００によるフュージョン処理結果（Ｅａｒｌｙフュージョン処理を含む）の例を示した図である。 図１５は、Ｌａｔｅフュージョン処理とＥａｒｌｙフュージョン処理で結果が相違する例を示した図である。 図１６は、Ｌａｔｅフュージョン処理とＥａｒｌｙフュージョン処理で結果が相違する例を示した図である。 図１７は、Ｅａｒｌｙフュージョン処理を適応的に実行するように構成された情報処理装置１０００の構成例を示した図である。 図１８は、図１７に示した情報処理装置１０００においてターゲット認識を行うための処理手順を示したフローチャートである。 図１９は、Ｅａｒｌｙフュージョン処理を適応的に実行するように構成された情報処理装置１０００の他の構成例を示した図である。 図２０は、図１９に示した情報処理装置１０００においてターゲット認識を行うための処理手順を示したフローチャートである。 図２１は、ミリ波レーダー１０８０のＲＡＷデータに基づいて、認識器１０２３では認識できない物体を認識する処理を説明するための図である。 図２２は、ミリ波レーダー１０８０のＲＡＷデータに基づいて、認識器１０２３では認識できない物体を認識する処理を説明するための図である。 図２３は、ミリ波レーダー１０８０のＲＡＷデータに基づいて、認識器１０２３では認識できない物体を認識する処理を説明するための図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、ミリ波レーダー、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
自動運転やＡＤＡＳの実現に向けて、より高精度な外界認識を行うために、種類の異なる多くの外界認識センサが車両に搭載され始めている。ところが、各センサには得手不得手がある。例えば、可視光を撮影するカメラは暗所を苦手とし、電波の反射を検出するレーダーは人や動物などの電波を反射し難い物体を苦手とする。
各センサの得手不得手は、各々の検出原理にも依拠する。レーダー（ミリ波レーダー）、カメラ、及びレーザーレーダー（ＬｉＤＡＲ）の得手不得手を以下の表１にまとめておく。同表中で、◎は大得意（高い精度を持つ）、○は得意（良好な精度を持つ）、△は苦手（精度が十分でない）を意味する。但し、レーダーは電波を反射させて対象物の距離などを測定し、カメラは被写体からの可視光の反射光を捕捉し、ＬｉＤＡＲは光を反射させて対象物の距離などを測定することを、各々の検出原理とする。
Figure 0007511471000001
これまでのセンサフュージョン技術の多くは、外部環境の変化などに起因して認識精度が低下したセンサを他のセンサで補う、若しくは使用するセンサの組み合わせを切り替えて、外部環境の変化により認識精度が劣化したセンサによる検出データを全く使用しないものである。
しかしながら、認識精度が低いセンサであっても、その検出データから全く何も認識できないというものでもない。例えば、カメラは暗所を苦手とするが、近場や、街灯若しくは街の明かりが照らされている場所にある物であれば、カメラで撮影した画像からある程度は認識することが可能である。
そこで、本明細書では、レーダーやカメラ、ＬｉＤＡＲといった車両に搭載された複数のセンサのうち、認識精度が低いセンサからの検出信号も有効に活用して、さらに認識精度を向上させる技術について、以下で提案する。
図２には、本明細書で開示する技術を適用した情報処理装置１０００の機能的構成を模式的に示している。
図示の情報処理装置１０００は、カメラ１０７０の検出信号を処理するカメラ認識処理部１０１０と、ミリ波レーダー１０８０の検出信号を処理するレーダー認識処理部１０２０と、ＬｉＤＡＲ１０９０の検出信号を処理するＬｉＤＡＲ認識処理部１０３０と、上記の各認識処理部１０１０～１０３０による処理結果をフュージョン処理するフュージョン処理部１０４０を備えている。
カメラ１０７０、ミリ波レーダー１０８０、及びＬｉＤＡＲ１０９０といった外界認識用のセンサは、検出範囲がほぼ同じとなるように各々の設置位置のキャリブレーションが施された上で、同一の車両に搭載されているものとする。また、同じ車両に上記のセンサ１０７０～１０９０以外の外界認識用のセンサがさらに搭載されていることも想定される。また、カメラ１０７０は、複数台のカメラで構成され、そのうち少なくとも一部はミリ波レーダー１０８０及びＬｉＤＡＲ１０９０とは検出範囲が異なるように設置されることも想定される。複数台のカメラの出力をフュージョン処理部１０４０でフュージョン処理するようにしてもよい。
カメラ認識処理部１０１０は、カメラ１０７０から入力されたＲＡＷデータを処理するＲＡＷデータ処理部１０１１と、そのＲＡＷデータを信号処理する信号処理部１０１２と、信号処理後のカメラ画像から物体を認識する認識器１０１３を備えている。ここで言うＲＡＷデータは、イメージセンサが捕捉した光の情報をそのまま記録したデータである。ＲＡＷデータ処理部１０１１はＲＡＷデータに対するフロントエンド処理（増幅、ノイズ除去、ＡＤ変換など）を実施し、信号処理部１０１２はバックエンド処理を実施する。認識器１０１３は、所定の画像認識アルゴリズムを実装したハードウェア、又は認識アルゴリズムを実施するソフトウェアのうちいずれの形態であってもよい。認識器１０１３からは、認識できた物体（ターゲット）の形状の分類の情報（ターゲットのリスト）が出力される。認識器１０１３が認識する物体形状の分類として、人、クルマ、標識、空、建物、道路、歩道などが挙げられる。認識器１０１３は、所定の画像認識アルゴリズムを実装したハードウェア、又は認識アルゴリズムを実施するソフトウェアのうちいずれの形態であってもよい。
カメラ認識処理部１０１０から後段のフュージョン処理部１０４０へ、認識器１０１３による認識結果として物体形状の分類（人、クルマ、標識、空、建物、道路、歩道など）が後段のフュージョン処理部１０４０に出力される。但し、認識器１０１３は、尤度の低い認識結果を出力しない。このため、悪天候時や夜間など認識器１０１３の認識性能が低下する状況下では、認識器１０１３から出力される情報量が少なくなることもある。また、本実施形態では、認識器１０１３による最終的な認識結果を得る前の早期データもフュージョン処理部１０４０に出力される。ここで言う早期データは、カメラ１０７０から入力される撮影画像（ＲＡＷデータ）、信号処理部１０１２から出力データ並びに信号処理途中のデータ、及び認識器１０１３による認識途中のデータなどであり、これら早期データの全部又は一部がフュージョン処理部１０４０に出力される。認識器１０１３による認識途中のデータには、認識の尤度が低いために認識器１０１３からは最終的に出力されない物体に関する情報（例えば、車体や塀などの物体の陰に隠れて、部分的又は断片的にのみ認識できた歩行者の情報など）が含まれることが想定される。以下では、認識器１０１３による認識処理以前の早期データを、便宜上、カメラ１０７０の「ＲＡＷデータ」と総称することにする。
また、レーダー認識処理部１０２０は、ミリ波レーダー１０８０から入力されたＲＡＷデータを処理するＲＡＷデータ処理部１０２１と、そのＲＡＷデータを信号処理する信号処理部１０２２と、信号処理後のレーダー検出結果から物体を認識する認識器１０２３を備えている。認識器１０２３は、所定の認識アルゴリズムを実装したハードウェア、又は認識アルゴリズムを実施するソフトウェアのうちいずれの形態であってもよい。認識器１０２３は、認識できたターゲット（人、クルマ、標識、建物など）をトラッキングして、各ターゲットの距離、仰角、方位角、速度、反射強度などの認識結果を出力する。
レーダー認識処理部１０２０から後段のフュージョン処理部１０４０へ、認識器１０２３による最終的な認識結果が出力される。但し、認識器１０１３は、尤度の低い認識結果を出力しない。このため、非金属などレーダーの反射強度の弱い物体に関しては、認識器１０２３から出力される情報が少なくなることが想定される。また、本実施形態では、認識器１０２３による最終的な認識結果を得る前の早期データもフュージョン処理部１０４０に出力される。ここで言う早期データは、ミリ波レーダー１０８０から入力される撮影画像（ＲＡＷデータ）、信号処理部１０２２から出力データ並びに信号処理途中のデータ、及び認識器１０２３による認識途中のデータなどであり、これら早期データの全部又は一部がフュージョン処理部１０４０に出力される。認識器１０２３による認識途中のデータには、認識の尤度が低いために認識器１０２３からは最終的に出力されない情報（例えば、塀や看板など近くの物体からの反射電波の影響により、反射強度が弱められたバイクなど）が含まれることが想定される。以下では、認識器１０２３による認識処理以前の早期データを、便宜上、ミリ波レーダー１０８０の「ＲＡＷデータ」と総称することにする。
また、ＬｉＤＡＲ認識処理部１０３０は、ＬｉＤＡＲ１０９０から入力されたＲＡＷデータを処理するＲＡＷデータ処理部１０３１と、そのＲＡＷデータを信号処理する信号処理部１０３２と、信号処理後のＬｉＤＡＲ検出結果から物体を認識する認識器１０３３を備えている。認識器１０３３は、所定の認識アルゴリズムを実装したハードウェア、又は認識アルゴリズムを実施するソフトウェアのうちいずれの形態であってもよい。認識器１０３３は、認識できたターゲット（人、クルマ、標識、建物など）をトラッキングして、各ターゲットの距離、仰角、方位角、高さ、反射率などの認識結果を出力する。
ＬｉＤＡＲ認識処理部１０３０から後段のフュージョン処理部１０４０へ、認識器１０３３による最終的な認識結果が出力される。但し、認識器１０１３は、尤度の低い認識結果を出力しない。また、本実施形態では、認識器１０３３による最終的な認識結果を得る前の早期データもフュージョン処理部１０４０に出力される。ここで言う早期データは、ＬｉＤＡＲ１０９０から入力される撮影画像（ＲＡＷデータ）、信号処理部１０３２から出力データ並びに信号処理途中のデータ、及び認識器１０３３による認識途中のデータなどであり、これら早期データの全部又は一部がフュージョン処理部１０４０に出力される。認識器１０３３による認識途中のデータには、認識の尤度が低いために認識器１０３３からは最終的に出力されない情報（部分的又は断片的にのみ認識できた歩行者の情報）などが含まれることが想定される。以下では、認識器１０３３による認識処理以前の早期データを、便宜上、ＬｉＤＡＲ１０９０の「ＲＡＷデータ」と総称することにする。
図２では、便宜上、各認識処理部１０１０～１０３０の構成を模式的に描いたが、センサの種別やセンサの機種・設計仕様などに依存して、内部の詳細な構成が定まるという点を理解されたい。例えば、カメラ認識処理部１０１０の一部又は全部のコンポーネントがカメラ１０７０のユニット内に搭載される、レーダー認識処理部１０２０の一部又は全部のコンポーネントがミリ波レーダー１０８０のユニット内に搭載される、あるいはＬｉＤＡＲ認識処理部１０３０の一部又は全部のコンポーネントがＬｉＤＡＲ１０９０のユニット内に搭載されるという構成も想定される。
また、同じ車両にカメラ１０７０、ミリ波レーダー１０８０、及びＬｉＤＡＲ１０９０以外の外界認識用のセンサ（図示しない）が搭載されている場合には、情報処理装置１０００は、そのセンサの検出信号に基づく認識処理用に、ＲＡＷデータ処理部、信号処理部及び認識器を含んだ認識処理部をさらに備えていてもよい。これらの場合も、各認識処理部から後段のフュージョン処理部１０４０へ、最終的な認識結果が出力されるとともに、センサのＲＡＷデータが出力される。
また、自動運転やＡＤＡＳの実現に向けて複数の外界認識センサが車両に搭載される傾向にあるが（前述）、もちろん、１台の車両にカメラ１０７０、ミリ波レーダー１０８０、及びＬｉＤＡＲ１０９０のうちいずれか１つの外界認識用のセンサしか搭載されないことも想定される。例えば、ＬｉＤＡＲ１０９０のみで十分な外界認識性能が得られる場合にはミリ波レーダー１０８０は使用されないケースや、カメラ１０７０の撮影映像はビューイングにのみ使用され外界認識には使用されないといったケースも想定される。このような場合、情報処理装置１０００は、上記の認識処理部１０１０～１０３０のうち、使用するセンサに対応する機能モジュールしか装備しない、あるいは各センサに対応するすべての機能モジュールを装備するが該当する（若しくは、センサから入力信号がある）機能モジュールのみが動作し、後段のフュージョン処理部１０４０へ出力するものと理解されたい。
フュージョン処理部１０４０は、同一の車両に搭載されたカメラ１０７０、ミリ波レーダー１０８０、及びＬｉＤＡＲ１０９０の各センサに基づく認識結果をフュージョン処理して、外界認識する。同じ車両がさらに他の外界認識用のセンサ（図示しない）を搭載している場合には、フュージョン処理部１０４０はそのセンサによる検出信号もさらにフュージョン処理する。本実施形態では、フュージョン処理部１０４０は、各センサの認識結果だけでなく、認識前のＲＡＷデータもフュージョン処理して、外界認識を実施する。そして、フュージョン処理部１０４０は、フュージョン処理して得られた外界認識結果を、車両制御システムに出力する。
図２に示す例では、車両制御システムは、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１０５０と、車両を動かすアクチュエータ（以下、「ＡＣＴ」とする）１０６０を含んでいる。ＥＣＵ１０５０は、フュージョン処理部１０４０における外界認識結果に基づいて、例えば自動車間制御（ＡＣＣ）、車線逸脱警報（ＬＤＷ）、レーンキープアシスト（ＬＫＡ）、自動緊急ブレーキ（ＡＥＢ）、死角検知（ＢＳＤ）といった、自動運転又は運転支援のための判断を実施する。そして、ＡＣＴ１０６０は、ＥＣＵ１０５０からの指示に従って、アクティブコーナリングライト（ＡＣＬ）、ブレーキアクチュエータ（ＢＲＫ）、操舵装置（ＳＴＲ）など各駆動部の駆動制御すなわち車両の操作を実施する。例えば、フュージョン処理部１０４０によって道路のレーンが認識された場合には、車両制御システムは、当該車両がレーンを逸脱しないように当該車両の走行を制御する。また、フュージョン処理部１０４０によって周辺車両や歩行者、道路脇の塀や看板といった障害物が認識された場合には、車両制御システムは、当該車両が障害物との衝突を回避するように当該車両の走行を制御する。自動運転は一般に「認知→判断→操作」の３ステップからなり、認知ステップでは何らかの物体があることを認知し、判断ステップでは認知されたものを判断して車の経路計画を判断する。図２に示すような構成例では、情報処理装置１０００内では主に認知ステップの処理が実施され、車両制御システム内のＥＣＵ１０５０では主に判断ステップの処理が実施され、ＡＣＴ１０６０では主に操作ステップの処理が実施される。但し、認知ステップと判断ステップの区分けは厳格ではなく、本実施例で記載の認知ステップの一部が判断ステップに位置付けられることもある。また、将来的には認知ステップを処理する機能の一部又は全部が、カメラ１０７０、ミリ波レーダー１０８０、ＬｉＤＡＲ１０９０などの各センサーユニット内に搭載される設計も見込まれる。
本実施形態では、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１とＥａｒｌｙフュージョン処理部１０４２とハイブリッドフュージョン処理部１０４３を備えている。Ｌａｔｅフュージョン処理部１０４１は、各認識処理部１０１０～１０３０による最終出力（Ｌａｔｅデータ）、すなわち各認識器１０１３、１０２３、１０３３による認識結果をフュージョン処理して外界認識を実施する。また、Ｅａｒｌｙフュージョン処理部１０４２は、各認識処理部１０１０～１０３０による認識距離以前の早期（Ｅａｒｌｙ）のデータ、すなわち、カメラ１０７０、ミリ波レーダー１０８０、並びにＬｉＤＡＲ１０９０の各センサのＲＡＷデータ（前述）をフュージョン処理して外界認識を実施する。また、ハイブリッドフュージョン処理部１０４３は、各認識処理部１０１０～１０３０による最終出力（Ｌａｔｅデータ）のうちいずれか１つ又は２以上と、各認識処理部１０１０～１０３０のうちいずれか１つ又は２以上のＲＡＷデータとをフュージョン処理して外界認識を実施する。ハイブリッドフュージョン処理部１０４３によれば、あるセンサの認識器による最終的な認識結果の尤度が低くても、他のセンサ又は同じセンサのＲＡＷデータとのフュージョン処理によって認識性能を高める効果がある。そして、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１とＥａｒｌｙフュージョン処理部１０４２とハイブリッドフュージョン処理部１０４３の認識結果をさらにフュージョン処理し、又はこれらフュージョン処理部１０４１～１０４３の認識結果を択一的に選択して、その処理結果を後段のＥＣＵ１０５０に出力する。
Ｌａｔｅフュージョン処理部１０４１は、各認識処理部１０１０～１０３０から認識器１０１３、１０２３、１０３３による最終的な認識結果を得るので、認識結果の信頼度が高い情報を処理する。しかしながら、認識器１０１３、１０２３、１０３３からは尤度の高い認識結果のみが出力され、信頼度の高い情報しか得られないので、使用できる情報量が少ないという問題がある。
一方、Ｅａｒｌｙフュージョン処理部１０４２は、各認識処理部１０１０～１０３０から認識器１０１３、１０２３、１０３３を通す前の、ＲＡＷデータを得るので、入力される情報量が非常に多い。しかしながら、ＲＡＷデータ若しくはＲＡＷデータに近いデータはノイズを含む。例えば、カメラ１０７０が夜間の暗い場所を撮影したときには、物体以外のさまざまな情報が含まれてしまうため、誤検出の可能性が高まり、情報の信頼度が低い。また、情報量が多いことから、処理量も多くなってしまう。
例えば、カメラ１０７０が夜間の暗い場所を撮影したときに、その撮影画像（すなわち、ＲＡＷデータ）には、図３に示すように複数人の像が含まれていたとする。街灯などに照らされて明るく写った歩行者３０１は高い認識率で認識できるので、認識器１０１３はその歩行者３０１をターゲットとして認識した結果を出力するが、街灯などが当たらず暗く写された歩行者３０２、３０２は認識率が低く、認識器１０１３はこのような歩行者３０２、３０２をターゲットとして認識しない結果を出力してしまう。すなわち、元のカメラ画像（すなわち、ＲＡＷデータ）には複数の歩行者３０１～３０３が写っているが、認識器１０１３を通すことによって信頼度の高い情報のみが出力されることになり、情報量が絞られてしまう。したがって、Ｌａｔｅフュージョン処理部１０４１には、信頼性の高い歩行者３０１の情報のみが入力され、ノイズなど不要な情報は切り捨てられるが、信頼性の低い歩行者３０２、３０３の情報も切り捨てられてしまう。一方、Ｅａｒｌｙフュージョン処理部１０４２には、すべての歩行者３０１～３０３の情報が入力されるが、ノイズなどさまざまな情報も併せて入力される。
また、ミリ波レーダー１０８０の検出結果のＲＡＷデータは、反射電波の受信部の前方の所定の検出範囲における、各反射物が存在する位置（方向及び距離）における反射電波の強度分布からなる。ＲＡＷデータは、さまざまな物体からの反射電波の強度データを含む。ところが、認識器１０３３を通すと、電波の反射強度が低い強度データは切り捨てられ、認識できたターゲットの方向、距離（奥行と幅を含む）、速度などの数値情報のみが抽出され、情報量が絞られてしまう。
例えば、図４に示すように、２台の車両４０１及び４０２の間に歩行者４０３が歩いているというシーンでは、車両４０１及び４０２とともに歩行者４０３も検出できることが望ましい。ところが、ミリ波レーダー１０８０を用いた場合、強い反射物の間に挟まれた物体の反射強度が弱まる傾向にある。したがって、図４に示すようなシーンをミリ波レーダー１０８０で計測すると、図５に示すように、ＲＡＷデータ５００中には、車両４０１及び４０２の各々からの強い反射波５０１及び５０２と、歩行者４０３からの弱い反射波５０３が含まれている。このようなミリ波レーダー１０８０の検出結果を認識器１０３３に通すと、情報として信頼性の低い反射波５０３は切り捨てられ、信頼性の高い反射波５０１及び５０２のみをターゲットとして認識するので、情報量が絞られてしまう。したがって、Ｌａｔｅフュージョン処理部１０４１には、信頼性の高い車両４０１及び４０２の情報のみが入力され、ノイズなど不要な情報は切り捨てられるが、信頼性の低い歩行者４０３の情報も切り捨てられてしまう。一方、Ｅａｒｌｙフュージョン処理部１０４２には、車両４０１及び４０２とともに、歩行者４０３の情報が出力されるが、ノイズなどさまざまな情報も併せて入力される。
要するに、Ｌａｔｅフュージョン処理部１０４１により各認識器１０１３、１０２３、１０３３の認識結果をフュージョン処理した結果は、信頼性の高い情報に絞られるため、信頼性は低いが重要性が高い情報が切り捨てられてしまうおそれがある。他方、Ｅａｒｌｙフュージョン処理部１０４２により各認識処理部１０１０～１０３０のＲＡＷデータをフュージョン処理した結果は、情報量は多いが、ノイズなど信頼性が低い情報を取り込んでしまうおそれがある。
そこで、本実施形態に係る情報処理装置１０００は、信頼性が高いが情報量が絞られてしまうＬａｔｅフュージョン処理部１０４１の処理結果を、情報量が多いがノイズも含むＥａｒｌｙフュージョン処理部１０４２の処理結果で補うことによって、十分な情報量で且つ信頼性の高い外界認識結果が得られるように構成されている。また、ハイブリッドフュージョン処理部１０４３は、各認識処理部１０１０～１０３０による最終出力（Ｌａｔｅデータ）のうちいずれか１つ又は２以上と、各認識処理部１０１０～１０３０のうちいずれか１つ又は２以上のＲＡＷデータとをフュージョン処理して、あるセンサの認識器による最終的な認識結果の尤度が低くても、他のセンサ又は同じセンサのＲＡＷデータとのフュージョン処理によって認識性能を高めることができる。すなわち、情報処理装置１０００は、カメラ１０７０、ミリ波レーダー１０８０、ＬｉＤＡＲ１０９０などの外界認識用の各センサのＲＡＷデータをＥａｒｌｙフュージョン処理部１０４２によりフュージョン処理した結果に基づいて、認識器１０１３、１０２３、１０３３では切り捨てられてしまうような重要な情報を復元できるように構成されている。
なお、本出願時の技術水準では、ＬｉＤＡＲ１０９０による外界認識の精度は、カメラやミリ波レーダーと比較して著しく高いが、ＬｉＤＡＲ認識処理部１０３０による認識結果を他の認識処理部１０１０又は１０２０の認識結果とともにＬａｔｅフュージョン処理部１０４１でフュージョン処理してもよいし、ＬｉＤＡＲ認識処理部１０３０による認識結果をＥａｒｌｙフュージョン処理部１０４２によるＲＡＷデータの処理結果で補うようにしてもよい。また、ＬｉＤＡＲ認識処理部１０３０を他の認識処理部１０１０又は１０２０の認識結果とともにハイブリッドフュージョン処理部１０４３でフュージョン処理してもよい。付言すれば、ＬｉＤＡＲ認識処理部１０３０の認識器１０３３による認識結果のみでも十分である場合には、Ｌａｔｅフュージョン処理部１０４１において、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の各認識器１０１３及び１０２３の認識結果又はＲＡＷデータとフュージョン処理しなくてもよい。
他方、本出願時の技術水準では、ＬｉＤＡＲ１０９０は、カメラ１０７０やミリ波レーダー１０８０など他の外界認識用センサと比較して、極めて高価である。このため、ＬｉＤＡＲ１０９０は使用せず（言い換えれば、ＬｉＤＡＲ１０９０を車両には搭載せず）、情報処理装置１０００は、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の各認識器１０１３及び１０２３による認識結果をＬａｔｅフュージョン処理部１０４０でフュージョン処理した結果を、カメラ１０７０及びミリ波レーダー１０８０の各ＲＡＷデータをＥａｒｌｙフュージョン処理部１０４２でフュージョン処理した結果により補うように構成されていてもよい。
また、ＬｉＤＡＲ１０９０は、光の反射波を利用するという性質上、降雨や降雪、霧など光を遮る天候や、夜間、トンネル内などの暗所では信頼性が劣化してしまうことが懸念される。また、カメラ１０７０にも同様のことが当てはまる。一方、ミリ波レーダー１０８０の信頼性は天候にあまり依存せず、比較的安定している。そこで、情報処理装置１０００は、天候などの環境情報やその他の外部情報に基づいて、フュージョン処理部１０４０において、各センサ１０７０～１０９０からの情報をフュージョンする際の比重を調整するようにしてもよい。例えば、晴天時であれば、フュージョン処理部１０４０内のＬａｔｅフュージョン処理部１０４１及びＥａｒｌｙフュージョン処理部１０４２は、ＬｉＤＡＲ認識処理部１０３０の認識器１０３３による認識結果やＬｉＤＡＲ１０９０のＲＡＷデータを高い比重でそれぞれ使用するが、降雨や降雪、霧のとき、あるいは夜間やトンネル内などの暗所の場合には、ＬｉＤＡＲ認識処理部１０３０の認識器１０３３による認識結果やＬｉＤＡＲ１０９０のＲＡＷデータを低い比重とし又は使用せずにフュージョン処理する。
図６には、レーダー認識処理部１０２０の内部構成例を示している。レーダー認識処理部１０２０は、ＲＡＷデータ処理部１０２１と、信号処理部１０２２と、認識器１０２３を備えている。
ＲＡＷデータ処理部１０２１は、ミリ波レーダー１０８０のＲＡＷデータを入力して、増幅、ノイズ除去、ＡＤ変換といった処理を実行する。ＲＡＷデータ処理部１０２１からＥａｒｌｙフュージョン処理部１０４２へ、ＲＡＷデータ、若しくは増幅、ノイズ除去、ＡＤ変換のうちいずれから処理後のデータが出力される。
信号処理部１０２２は、図６に示す例では、レーダーにより捕捉された各ターゲットまでの距離を検出する距離検出部６０１と、各ターゲットが移動する速度を検出する速度検出部６０２と、各ターゲットの方位を検出する角度検出部６０３と、ターゲットを追跡する追跡部６０４と、これら以外の処理を実行するＭＩＳＣ処理部６０５を備えている。ミリ波レーダー１０８０のＲＡＷデータからターゲットの距離、方位、大きさ、速度を検出するアルゴリズムは特に限定されない。例えば、ミリ波レーダー１０８０の製造元などが開発したアルゴリズムをそのまま適用してもよい。
信号処理部１０２２内で各部６０１～６０５の処理がすべて終了すると、レーダーにより距離、方位、大きさ、速度などが検出されたターゲットの情報が、後段の認識器１０２３に出力される。また、距離、方位、大きさ、速度を正確に検出できなかったターゲットの情報は、認識不能として認識器１０２３には出力されず、切り捨てられる。また、各部６０１～６０５のうち少なくとも１つの機能モジュールにおける処理後の信号が、Ｅａｒｌｙフュージョン処理部１０４２にも出力される。
なお、ＲＡＷデータ処理部１０２１からの入力データに対し、各部６０１～６０５が処理を実行する順序は必ずしも固定されたものではなく、製品の設計仕様などに応じて適宜順序が入れ替わることが想定される。また、上述した機能モジュール６０１～６０５のすべてがミリ波レーダー１０８０の検出信号に対して必須という訳ではなく、製品の設計仕様などに応じて取捨選択され、あるいは図示した以外の機能モジュールが信号処理部１０２２に装備されることも想定される。
認識器１０２３は、所定の認識アルゴリズムに従って、信号処理部１０２２による処理後の信号に基づいて、外界認識処理を行う。
例えば、車載のカメラ１０７０で撮影した画像が図７に示す通りとなるシーンにおいて、レーダー認識処理部１０２０の認識器１０２３による処理前のデータを図８に示し、認識器１０２３による認識処理後のデータを図９に示す。但し、図８は、ミリ波レーダー１０８０のＲＡＷデータ、又は信号処理部１０２２の処理途中のデータをイメージしている。また、図９では、レーダー認識処理部１０２０の認識器１０２３による認識結果を黒いブロックで示している。図９では、比較のため、ＬｉＤＡＲ認識処理部１０３０の認識器１０３３による認識結果をグレーのブロックで表示して、併せて示している。
図７に示すシーンは、車両の前方の道路を走行しているバイク７０１を障害物として認識できることが望ましい。但し、道路（若しくは、バイク７０１）の両側には家屋や塀７０２、７０３が並んでいる。図８に示すように、認識器１０２３による処理前の、ミリ波レーダー１０８０のＲＡＷデータは、さまざまな情報を含んでいる。ミリ波レーダー１０８０のＲＡＷデータは、サイドローブはあるものの、バイク７０１からの強い反射８０１を確認することができる。なお、左右の塀などからの比較的弱い反射８０２、８０３も確認することができる。ミリ波レーダー１０８０は、金属の感度が高い一方で、コンクリートなどの非金属の感度は低い。これら反射強度が弱い物体は、認識器１０２３を通すと認識できないが、ＲＡＷデータからは存在を確認することができる。また、図９に示したレーダー認識処理部１０２０の認識器１０２３による認識結果を参照すると、前方２０メートル付近にバイク７０１に対応すると思われる物体９０１とともに、道路（若しくは、バイク７０１）の両側には家屋や塀７０２、７０３に対応すると思われる物体９０２、９０３も認識されている。特に、ＲＡＷデータにおいて、認識物体９０１と認識物体９０２は重なり合っているが、認識処理を経ていないため仮に弱い反射強度であっても認識物体９０１と認識物体９０２をそれぞれ認識しているデータとなっている。そのため、ＲＡＷデータを認識器１０２３の認識結果とフュージョンすれば、認識物体９０１と認識物体９０２とを別の物体として認識することが可能である。もちろん、ミリ波レーダー１０８０の認識器１０２３のみによってバイクを認識できるシーンも多い。しかしながら、バイクの反射強度は車両に比べると弱く、図７に示すようにバイクの近くに他の反射物が存在するとミリ波レーダー１０８０のみでは捕捉し難くなり、ある反射強度以上のみを認識する認識処理後のデータでは、認識物体９０１と認識物体９０２を一塊のデータとして出力することになる。図２１には、ミリ波レーダー１０８０の検出範囲内２１００で、壁２１０１にバイク２１０２が接近している様子を模式的に示している。図２２には、この検出範囲内２１００から得られたミリ波レーダー１０８０の反射波を認識器１０２３で認識した結果を模式的に示している。認識器１０２３では、所定値未満の反射強度は切り捨てられ、所定値以上の反射強度を物体として認識する。このため、図２２に示す例では、壁２１０１とバイク２１０２が一体となった１つのかたまり２２０１を物体として認識することになる。これに対し、ミリ波レーダー１０８０のＲＡＷデータからは、認識器１０２３では切り捨てられるような弱い反射強度でも認識可能である。したがって、図２３に示すように、壁２１０１からの反射とバイク２１０２からの反射を別の物体２３０１及び２３０２として認識することが可能である。
また、車載のカメラ１０７０で撮影した画像が図１０に示す通りとなるシーンにおいて、レーダー認識処理部１０２０の認識器１０２３による処理前のデータを図１１に示し、認識器１０２３による認識処理後のデータを図１２に示す。但し、図１１は、ミリ波レーダー１０８０のＲＡＷデータ、又は信号処理部１０２２の処理途中のデータをイメージしている。また、図１２では、レーダー認識処理部１０２０の認識器１０２３による認識結果を黒いブロックで示している。図１２では、比較のため、ＬｉＤＡＲ認識処理部１０３０の認識器１０３３による認識結果をグレーのブロックで表示して、併せて示している。
図１０は、両側を塀１００１及び１００２で挟まれた狭い路地を走行しているシーンであり、両側の塀１００１及び１００２を障害物として認識できることが好ましい。図１１に示すように、認識器１０２３による処理前の、ミリ波レーダー１０８０のＲＡＷデータは、さまざまな情報を含んでいる。塀１００１及び１００２自体は金属ではなく、ミリ波レーダー１０８０では捕捉し難いが、塀１００１及び１００２の亀裂や段差からのものと思われる反射１１０１、１１０２を確認することができる。また、図１２に示したレーダー認識処理部１０２０の認識器１０２３による認識結果を参照すると、認識器１０２３は、各塀１００１及び１００２に散在する亀裂や段差からの反射があったいくつかの部分１２０１～１２０４のみを離散的に認識することができるが、塀１００１及び１００２を全体として認識することは難しく、ＬｉＤＡＲ１０９０の認識器１０３３の認識結果を利用（すなわち、フュージョン処理）しなければ塀１００１及び１００２を全体として認識することは難しい。一方で、図１１に示すＲＡＷデータからであれば、弱い反射波であっても、壁の存在を示す反射情報１１０１及び１１０２を取得することができる。
図１３には、情報処理装置１０００において、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の認識結果をＬａｔｅフュージョン処理部１０４１でフュージョン処理した際のターゲット認識結果の例を示している。但し、ターゲットを認識したという認識結果に「○」を、ターゲットを認識できなかったという認識結果に「×」を、それぞれ記入している。同じターゲットをカメラ認識処理部１０１０及びレーダー認識処理部１０２０でそれぞれ認識処理した場合、両方でターゲットを認識できる場合（パターン１）、いずれか一方でのみターゲットを認識できる場合（パターン２及び３）、いずれでもターゲットを認識できない場合（パターン４）、の４つのパターンが想定される。Ｌａｔｅフュージョン処理部１０４１は、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の両方で認識できたターゲットは、ターゲットを認識できたとして出力する（図１３中では、「○」が記入される）。他方、カメラ認識処理部１０１０及びレーダー認識処理部１０２０のうち一方でしか認識できなかったターゲット、並びに両方で認識できなかったターゲットについては、認識できなかったとして出力する（図１３中では、「×」が記入される）。
一方、図１４には、情報処理装置１０００において、カメラ１０７０及びミリ波レーダー１０８０のＲＡＷデータをＥａｒｌｙフュージョン処理部１０４２でフュージョン処理した際のターゲット認識結果の例を示している。但し、図１４中の各パターン１～４は図１３の対応するパターンと同じターゲットの認識を試みたものである。また、ターゲットを認識したという認識結果に「○」を、ターゲットを認識できなかったという認識結果に「×」を、それぞれ記入している。Ｌａｔｅフュージョン処理では、認識器１１３又は１２３の判定閾値で切り捨てられてしまうが、判定閾値で切り捨てられる前のＲＡＷデータを用いたＥａｒｌｙフュージョン処理では認識可能な物体もある。但し、Ｌａｔｅフュージョン処理とＥａｒｌｙフュージョン処理で認識結果が異なる物体は、実際に物体である尤度が低い点にも十分留意すべきである。
カメラ認識処理部１０１０の認識器１０１３及びレーダー認識処理部１０２０の認識器１０２３でともにターゲットを認識できたパターン１においては、カメラ１０７０のＲＡＷデータ及びミリ波レーダー１０８０のＲＡＷデータでも同様に認識することができるので、Ｅａｒｌｙフュージョン処理部１０４２は、ターゲットを認識できたとして出力する（図１４中では、「○」が記入される）。すなわち、認識器１０１３及び１０２３による認識結果と、ＲＡＷデータによる認識結果に相違がない場合には、Ｅａｒｌｙフュージョン処理部１０４２は、Ｌａｔｅフュージョン処理部１０４１と同様の認識結果を出力する。
また、カメラ認識処理部１０１０の認識器１０１３は認識できたがレーダー認識処理部１０２０の認識器１０２３は認識できなかったパターン２において、ミリ波レーダー１０８０のＲＡＷデータに基づいてターゲットを認識することができた場合には、Ｅａｒｌｙフュージョン処理部１０４２は、ターゲットを認識できたとして出力する。例えば、反射強度が弱く、認識器１０２３では切り捨てられてしまったターゲットを、ＲＡＷデータに基づいて認識できた場合などである。したがって、Ｌａｔｅフュージョン処理部１０４１が認識できないターゲットであっても、Ｅａｒｌｙフュージョン処理部１０４２を用いることによって認識できることになり（図１５を参照のこと）、情報量の豊富なＲＡＷデータを用いたＥａｒｌｙフュージョン処理によってターゲットの認識率が向上するということができる。
また、カメラ認識処理部１０１０の認識器１０１３は認識できなかったがレーダー認識処理部１０２０の認識器１０２３は認識できたパターン３において、カメラ１０７０のＲＡＷデータからも依然としてターゲットを認識することができない場合には、Ｅａｒｌｙフュージョン処理部１０４２は、ターゲットを認識できないとして出力する。すなわち、パターン３では、Ｅａｒｌｙフュージョン処理部１０４２は、Ｌａｔｅフュージョン処理部１０４１と同様の認識結果を出力する。
また、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の両方の認識器１０１３、１０２３で認識できなかったパターン４において、カメラ１０７０のＲＡＷデータからは依然としてターゲットを認識することができないが、ミリ波レーダー１０８０のＲＡＷデータに基づいてターゲットを認識することができた場合には、Ｅａｒｌｙフュージョン処理部１０４２は、ターゲットが存在する可能性があるという結果を出力する。例えば、反射強度が弱く、認識器１０２３では切り捨てられてしまったターゲットを、ＲＡＷデータに基づいて認識できた場合などである。したがって、Ｌａｔｅフュージョン処理部１０４１が認識できないターゲットであっても、Ｅａｒｌｙフュージョン処理部１０４２を用いることによって認識できることになり（図１６を参照のこと）、情報量の豊富なＲＡＷデータを用いたＥａｒｌｙフュージョン処理によってターゲットの認識率が向上するということができる。但し、Ｅａｒｌｙフュージョン処理でも認識率は十分高くないので、「○」ではなく「△」とする。
したがって、図１４に示す例では、パターン２及びパターン４の各々において、信頼性が高いが情報量が絞られてしまう最終の認識結果を用いたＬａｔｅフュージョン処理部１０４１の処理結果を、情報量が多いがノイズも含むＲＡＷデータを用いたＥａｒｌｙフュージョン処理部１０４２で処理した結果に基づいて補うことによって、ターゲットの認識率が向上するということができる。
但し、図１４中のパターン１やパターン３の場合のように、Ｅａｒｌｙフュージョン処理部１０４２を用いてもＬａｔｅフュージョン処理部１０４１による認識結果が変わらないような場合もあり、常にＥａｒｌｙフュージョン処理部１０４２を動作させていると、処理負荷が多くなることや、情報処理装置１０００の消費電力が増大することなどの弊害が懸念される。そこで、必要な場合にのみＥａｒｌｙフュージョン処理部１０４２の認識処理を起動するようにしてもよい。
図１７には、Ｅａｒｌｙフュージョン処理を適応的に実行するように構成された情報処理装置１０００の構成例を模式的に示している。但し、図１７中で、図２に示した機能モジュールと同じものについては、同一の参照番号を付している。
フュージョン処理部１０４２内の判定処理部１７０１は、ミリ波レーダー１０８０のＲＡＷデータが必要かどうかを判定して、必要な場合には、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼する。例えば、判定処理部１７０１は、カメラ認識処理部１０１０の認識器１０１３及びレーダー認識処理部１０２０の認識器１０２３の認識結果を比較して、図１３中のパターン２又はパターン４に相当する場合には、ＲＡＷデータも必要と判定して、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼する。あるいは、判定処理部１７０１は、天候などの環境情報やその他の外部情報を入力して、降雨、降雪、霧、夜間あるいはトンネル内などの暗所といったカメラ認識処理部１０１０やＬｉＤＡＲ認識処理部１０３０の認識器１０１３及び１０３３の認識率が低下する（若しくは、認識の信頼性が劣化する）事象を検出したときに、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼するようにしてもよい。
レーダー認識処理部１０２０は、判定処理部１７０１からの依頼に応答して、ミリ波レーダー１０８０のＲＡＷデータを出力する。そして、Ｅａｒｌｙフュージョン処理部１０４２はそのＲＡＷデータを用いてＥａｒｌｙフュージョン処理を実行し、又はハイブリッドフュージョン処理部１０４３はそのＲＡＷデータを用いてハイブリッドフュージョン処理を実行する。そして、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１の認識結果に加えて、Ｅａｒｌｙフュージョン処理部１０４２又はハイブリッドフュージョン処理部１０４３の認識結果も参照して、最終的な認識結果を出力する。
図１８には、図１７に示した情報処理装置１０００においてターゲット認識を行うための処理手順をフローチャートの形式で示している。但し、ここでは説明の簡素化のため、情報処理装置１０００は、カメラ１０７０及びミリ波レーダー１０８０の２つのセンサのフュージョン処理を行う場合に限定する。
物体検出処理が開始されると、カメラ認識処理部１０１０において、カメラ１０７０のＲＡＷデータ（撮影画像）に対して画像処理を実行して（ステップＳ１８０１）、認識器１０１３による認識結果を出力する（ステップＳ１８０２）。
また、レーダー認識処理部１０２０は、ミリ波レーダー１０８０のＲＡＷデータを信号処理する（ステップＳ１８０３）。そして、レーダー認識処理部１０２０は、ＲＡＷデータの出力依頼を受けているかどうかをチェックする（ステップＳ１８０４）。
フュージョン処理部１０４２内の判定処理部１７０１は、カメラ認識処理部１０１０の認識器１０１３及びレーダー認識処理部１０２０の認識器１０２３の認識結果を比較して、ミリ波レーダー１０８０のＲＡＷデータが必要かどうかを判定して、必要な場合には、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼する（前述）。具体的には、図１３中のパターン２に相当する状況下では、判定処理部１７０１は、ミリ波レーダー１０８０のＲＡＷデータが必要と判定する。
ここで、ＲＡＷデータの出力依頼を受けていなければ（ステップＳ１８０４のＮｏ）、レーダー認識処理部１０２０は、認識器１０２３によるに認識結果を出力する（ステップＳ１８０５）。また、レーダー認識処理部１０２０は、ＲＡＷデータの出力依頼を受けたときには（ステップＳ１８０４のＹｅｓ）、ミリ波レーダー１０８０のＲＡＷデータを出力するとともに（ステップＳ１８０６）、後段のフュージョン処理部１０４０に対して、ミリ波レーダー１０８０のＲＡＷデータを用いたＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理を依頼する（ステップＳ１８０７）。
次いで、フュージョン処理部１０４０は、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の処理内容をフュージョン処理する（ステップＳ１８０８）。フュージョン処理部１０４０は、Ｅａｒｌｙフュージョン処理又はハイブリッドフュージョン処理の依頼を受けているときには（ステップＳ１８０９のＹｅｓ）、Ｅａｒｌｙフュージョン処理部１０４１によるＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理部１０４３によるハイブリッドフュージョン処理を実施する（ステップＳ１８１０）。一方、Ｅａｒｌｙフュージョン処理又はハイブリッドフュージョン処理の依頼を受けていないときには（ステップＳ１８０９のＮｏ）、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１によるＬａｔｅフュージョン処理を実施する（ステップＳ１８１１）。
図１９には、Ｅａｒｌｙフュージョン処理を適応的に実行するように構成された情報処理装置１０００の他の構成例を模式的に示している。但し、図１９中で、図２に示した機能モジュールと同じものについては、同一の参照番号を付している。
カメラ認識処理部１０１０は、認識器１０１３がターゲットを認識できなかったとき、若しくは、ターゲットの認識率が十分でない場合に、ミリ波レーダー１０８０のＲＡＷデータが必要であると判定して、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼する。レーダー認識処理部１０２０は、カメラ認識処理部１０１０からの依頼に応答して、ミリ波レーダー１０８０のＲＡＷデータを出力する。そして、Ｅａｒｌｙフュージョン処理部１０４２はＲＡＷデータを用いてＥａｒｌｙフュージョン処理を実行し、又はハイブリッドフュージョン処理部１０４３はそのＲＡＷデータを用いてハイブリッドフュージョン処理を実行する。そして、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１の認識結果に加えて、Ｅａｒｌｙフュージョン処理部１０４２又はハイブリッドフュージョン処理部１０４３の認識結果も参照して、最終的な認識結果を出力する。
図２０には、図１９に示した情報処理装置１０００においてターゲット認識を行うための処理手順をフローチャートの形式で示している。但し、ここでは説明の簡素化のため、情報処理装置１０００は、カメラ１０７０及びミリ波レーダー１０８０の２つのセンサのフュージョン処理を行う場合に限定する。
物体検出処理が開始されると、カメラ認識処理部１０１０において、カメラ１０７０のＲＡＷデータ（撮影画像）に対して画像処理を実行する（ステップＳ２００１）。そして、カメラ認識処理部１０１０は、画像処理の結果が良好かどうかをチェックする（ステップＳ２００２）。
ここで、画像処理の結果が良好であれば（ステップＳ２００２のＹｅｓ）、カメラ認識処理部１０１０は、認識器１０１３による認識結果を出力する（ステップＳ２００３）。また、画像処理の結果が良好でなければ（ステップＳ２００２のＮｏ）、カメラ認識処理部１０１０は、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼する（ステップＳ２００４）。具体的には、図１３中のパターン４に相当する状況下では、画像処理の結果が良好でない。
また、レーダー認識処理部１０２０は、ミリ波レーダー１０８０のＲＡＷデータを信号処理する（ステップＳ２００５）。そして、レーダー認識処理部１０２０は、ＲＡＷデータの出力依頼を受けているかどうかをチェックする（ステップＳ２００６）。
ここで、ＲＡＷデータの出力依頼を受けていなければ（ステップＳ２００６のＮｏ）、レーダー認識処理部１０２０は、認識器１０２３によるに認識結果を出力する（ステップＳ２００７）。また、レーダー認識処理部１０２０は、ＲＡＷデータの出力依頼を受けたときには（ステップＳ２００６のＹｅｓ）、ミリ波レーダー１０８０のＲＡＷデータを出力するとともに（ステップＳ２００８）、後段のフュージョン処理部１０４０に対して、ミリ波レーダー１０８０のＲＡＷデータのＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理を依頼する（ステップＳ２００９）。
次いで、フュージョン処理部１０４０は、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の処理内容をフュージョン処理する（ステップＳ２０１０）。フュージョン処理部１０４０は、Ｅａｒｌｙフュージョン処理又はハイブリッドフュージョン処理の依頼を受けているときには（ステップＳ２０１１のＹｅｓ）、Ｅａｒｌｙフュージョン処理部１０４１によるＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理部１０４３によるハイブリッドフュージョン処理を実施する（ステップＳ２０１２）。一方、Ｅａｒｌｙフュージョン処理の依頼又はハイブリッドフュージョン処理を受けていないときには（ステップＳ２０１１のＮｏ）、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１によるＬａｔｅフュージョン処理を実施する（ステップＳ２０１３）。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、車載センサのフュージョンに関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間（家庭、オフィス、工場など）を自律的に移動するロボット、船舶、航空機など、さまざまなタイプの移動体装置に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）センサの検出信号に基づいて物体を認識処理する認識部と、
前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部と、
を具備する情報処理装置。この情報処理装置によれば、前記認識部で判定閾値により切り捨てる前の情報を含む第１のデータをフュージョン処理に利用することで、より多くの物体を認識することが可能になるという効果がある。
（２）前記センサはミリ波レーダーである、
上記（１）に記載の情報処理装置。この情報処理装置によれば、ミリ波レーダー用の認識器で認識した後の、尤度は高いが情報量が少ない認識結果を、認識器で判定閾値により切り捨てる前の豊富なＲＡＷデータとフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
（３）前記認識部は、認識前に前記センサの検出信号に基づいて物体の距離検出、速度検出、角度検出、前記物体の追跡の各処理を実施し、
前記第１のデータは、前記検出信号、前記物体の距離検出結果、速度検出結果、角度検出結果、前記物体の追跡結果のうち少なくとも１つを含む、
上記（２）に記載の情報処理装置。この情報処理装置によれば、ミリ波レーダーのＲＡＷデータや、ＲＡＷデータの信号処理の各段階で得られる物体の距離、速度、角度、追跡結果などの情報を、認識器の認識結果とフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
（４）第２のセンサの検出信号に基づいて物体を認識処理する第２の認識部をさらに備え、
前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
上記（１）乃至（３）のいずれかに記載の情報処理装置。この情報処理装置によれば、第１のセンサと第２のセンサの認識器による認識前のデータのフュージョン処理、及び、第１のセンサと第２のセンサの認識器による認識後のデータのフュージョン処理を実施して、より多くの物体を認識することが可能になるという効果がある。
（５）前記第２のセンサは、カメラ又はＬｉＤＡＲのうち少なくとも１つを含む、
上記（４）に記載の情報処理装置。この情報処理装置によれば、ミリ波レーダーとカメラ又はＬｉＤＡＲの認識結果をフュージョン処理するとともに、ミリ波レーダーとカメラ又はＬｉＤＡＲのＲＡＷデータをフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
（６）前記処理部は、前記認識部の認識結果及び前記第２の認識部の認識結果に基づいて、前記フュージョン処理における前記第１のデータの利用方法を決定する、
上記（４）又は（５）のいずれかに記載の情報処理装置。この情報処理装置によれば、前記認識部の認識結果及び前記第２の認識部の認識結果に基づいて、適応的に前記第１のデータをフュージョン処理に利用して、より多くの物体を認識することが可能になるという効果がある。
（７）前記処理部は、前記第２の認識部による認識の尤度は高いが、前記認識部による認識の尤度が低い場合に、前記フュージョン処理において前記第１のデータを利用する、
上記（６）に記載の情報処理装置。この情報処理装置によれば、前記フュージョン処理において前記第１のデータを適応的に利用することで、不要なフュージョン処理を回避しつつ、より多くの物体を認識することが可能になるという効果がある。
（８）前記処理部は、前記第２の認識部による認識結果に基づいて、前記フュージョン処理における前記第１のデータの利用方法を決定する、
上記（４）乃至（７）のいずれかに記載の情報処理装置。この情報処理装置によれば、前記フュージョン処理において前記第１のデータを適応的に利用することで、不要なフュージョン処理を回避しつつ、より多くの物体を認識することが可能になるという効果がある。
（９）前記処理部は、前記第２の認識部による認識の尤度が低い場合に、前記フュージョン処理において前記第１のデータを利用する、
上記（８）に記載の情報処理装置。この情報処理装置によれば、前記フュージョン処理において前記第１のデータを適応的に利用することで、不要なフュージョン処理を回避しつつ、より多くの物体を認識することが可能になるという効果がある。
（１０）センサの検出信号に基づいて物体を認識処理する認識ステップと、
前記認識ステップによる認識前の第１のデータと他のデータをフュージョン処理する処理ステップと、
を有する情報処理方法。この情報処理方法によれば、前記認識ステップにおいて認識後の第２のデータを、前記認識ステップにおいて判定閾値により切り捨てる前の情報を含む第１のデータとフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
（１１）前記処理ステップでは、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
上記（１０）に記載の情報処理方法。
（１２）センサの検出信号に基づいて物体を認識処理する認識部、
前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
（１３）前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
上記（１２）に記載のコンピュータプログラム。
（１４）移動手段と、
センサと、
前記センサの検出信号に基づいて物体を認識処理する認識部と、
前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部と、
前記処理部による処理結果に基づいて前記移動手段を制御する制御部と、
を具備する移動体装置。この移動体装置によれば、前記認識部による認識後の第２のデータを、前記認識部で判定閾値により切り捨てる前の情報を含む第１のデータとフュージョン処理することで、より多くの物体を認識することができ、物体との衝突を回避するように前記移動手段を成業することが可能になるという効果がある。
（１５）前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
上記（１４）に記載の移動体装置。
１００…車両制御システム
１０１…入力部、１０２…データ取得部、１０３…通信部
１０４…車内機器、１０５…出力制御部、１０６…出力部
１０７…駆動系制御部、１０８…駆動系システム
１０９…ボディ系制御部、１１０…ボディ系システム、１１１記憶部
１１２…自動運転制御部、１２１…通信ネットワーク
１３１…検出部、１３２…自己位置推定部、１３３…状況分析部
１３４…計画部、１３５…動作制御部
１４１…車外情報検出部、１４２…車内情報検出部
１４３…車両状態検出部
１５１…マップ解析部、１５２…交通ルール認識部
１５３…状況認識部、１５４…状況予測部
１６１…ルート計画部、１６２…行動計画部、１６３…動作計画部
１７１…緊急事態回避部、１７２…加減速制御部、１７３…方向制御部
１０００…情報処理装置
１０１０…カメラ認識処理部、１０１１…ＲＡＷデータ処理部
１０１２…信号処理部、１０１３…認識器
１０２０…レーダー認識処理部、１０２１…ＲＡＷデータ処理部
１０２２…信号処理部、１０２３…認識器
１０３０…ＬｉＤＡＲ認識処理部、１０３１…ＲＡＷデータ処理部
１０３２…信号処理部、１０３３…認識器
１０４０…フュージョン処理部、１０４１…Ｌａｔｅフュージョン処理部
１０４２…Ｅａｒｌｙフュージョン処理部
１０４３…ハイブリッドフュージョン処理部、１０５０…ＥＣＴ
１０６０…ＡＣＴ（アクチュエータ）、１０７０…カメラ
１０８０…ミリ波レーダー、１０９０…ＬｉＤＡＲ
６０１…距離検出部、６０２…速度検出部、６０３…角度検出部
６０４…追跡部、６０５…ＭＩＳＣ処理部

Claims (10)

  1. ミリ波レーダーの検出信号に基づいて物体を認識処理する第１の認識部と、
    カメラの検出信号に基づいて物体を認識処理する第２の認識部と、
    前記第１の認識部及び前記第２の認識部の処理内容をフュージョン処理する処理部と、
    を具備し、
    前記処理部は、前記第２の認識部による物体の認識率が所定の閾値以上の場合には、前記第１の認識部による認識結果と前記第２の認識部による認識結果を利用してＬａｔｅフュージョン処理を行うが、前記第２の認識部による物体の認識率が所定の閾値未満の場合には、前記第１の認識部による認識処理を実行する前のデータである前記ミリ波レーダーのＲＡＷデータを利用してＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理を行う、
    情報処理装置。
  2. 前記第１の認識部は、認識前に前記ミリ波レーダーの検出信号に基づいて捕捉した物体の距離検出、速度検出、角度検出、前記物体の追跡の各処理を実施し、
    前記ミリ波レーダーのＲＡＷデータは、前記検出信号、前記物体の距離検出結果、速度検出結果、角度検出結果、前記物体の追跡結果のうち少なくとも１つを含む、
    請求項１に記載の情報処理装置。
  3. 前記処理部は、前記第２の認識部による認識処理を実行する前のデータである前記カメラのＲＡＷデータと前記ミリ波レーダーのＲＡＷデータとのＥａｒｌｙフュージョン処理、前記第２の認識部による認識後の第２の認識データと前記ミリ波レーダーのＲＡＷデータとのハイブリッドフュージョン処理、前記ミリ波レーダーのＲＡＷデータと前記第１の認識部による認識後の第１の認識データとのハイブリッドフュージョン処理、又は、前記第２の認識データと前記第１の認識データとのＬａｔｅフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
    請求項１に記載の情報処理装置。
  4. 前記処理部は、前記第１の認識部の認識結果及び前記第２の認識部の認識結果に基づいて、前記Ｅａｒｌｙフュージョン処理又は前記ハイブリッドフュージョン処理における前記ミリ波レーダーのＲＡＷデータの利用方法を決定する、
    請求項１に記載の情報処理装置。
  5. ミリ波レーダーの検出信号に基づいて物体を認識処理する第１の認識ステップと、
    カメラの検出信号に基づいて物体を認識処理する第２の認識ステップと、
    前記第１の認識ステップ及び前記第２の認識ステップの処理内容をフュージョン処理する処理ステップと、
    を有し、
    前記処理ステップでは、前記第２の認識ステップによる物体の認識率が所定の閾値以上の場合には、前記第１の認識ステップによる認識結果と前記第２の認識ステップによる認識結果を利用してＬａｔｅフュージョン処理を行うが、前記第２の認識ステップによる物体の認識率が所定の閾値未満の場合には、前記第１の認識ステップによる認識処理を実行する前のデータである前記ミリ波レーダーのＲＡＷデータを利用してＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理を行う、
    情報処理方法。
  6. 前記処理ステップでは、前記第２の認識ステップによる認識処理を実行する前のデータである前記カメラのＲＡＷデータと前記ミリ波レーダーのＲＡＷデータとのＥａｒｌｙフュージョン処理、前記第２の認識ステップによる認識後の第２の認識データと前記ミリ波レーダーのＲＡＷデータとのハイブリッドフュージョン処理、前記ミリ波レーダーのＲＡＷデータと前記第１の認識ステップによる認識後の第１の認識データとのハイブリッドフュージョン処理、又は、前記第２の認識データと前記第１の認識データとのＬａｔｅフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
    請求項５に記載の情報処理方法。
  7. ミリ波レーダーの検出信号に基づいて物体を認識処理する第１の認識部、
    カメラの検出信号に基づいて物体を認識処理する第２の認識部、
    前記第１の認識部及び前記第２の認識部の処理内容をフュージョン処理する処理部、
    としてコンピュータを機能させ、
    前記処理部は、前記第２の認識部による物体の認識率が所定の閾値以上の場合には、前記第１の認識部による認識結果と前記第２の認識部による認識結果を利用してＬａｔｅフュージョン処理を行うが、前記第２の認識部による物体の認識率が所定の閾値未満の場合には、前記第１の認識部による認識処理を実行する前のデータである前記ミリ波レーダーのＲＡＷデータを利用してＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理を行う、
    コンピュータ可読形式で記述されたコンピュータプログラム。
  8. 前記処理部は、前記第２の認識部による認識処理を実行する前のデータである前記カメラのＲＡＷデータと前記ミリ波レーダーのＲＡＷデータとのＥａｒｌｙフュージョン処理、前記第２の認識部による認識後の第２の認識データと前記ミリ波レーダーのＲＡＷデータとのハイブリッドフュージョン処理、前記ミリ波レーダーのＲＡＷデータと前記第１の認識部による認識後の第１の認識データとのハイブリッドフュージョン処理、又は、前記第２の認識データと前記第１の認識データとのＬａｔｅフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
    請求項７に記載のコンピュータプログラム。
  9. 移動手段と、
    ミリ波レーダーと、
    カメラと、
    前記ミリ波レーダーの検出信号に基づいて物体を認識処理する第１の認識部と、
    前記カメラの検出信号に基づいて物体を認識処理する第２の認識部と、
    前記第１の認識部及び前記第２の認識部の処理内容をフュージョン処理する処理部と、
    前記処理部による処理結果に基づいて前記移動手段を制御する制御部と、
    を具備し、
    前記処理部は、前記第２の認識部による物体の認識率が所定の閾値以上の場合には、前記第１の認識部による認識結果と前記第２の認識部による認識結果を利用してＬａｔｅフュージョン処理を行うが、前記第２の認識部による物体の認識率が所定の閾値未満の場合には、前記第１の認識部による認識処理を実行する前のデータである前記ミリ波レーダーのＲＡＷデータを利用してＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理を行う、
    移動体装置。
  10. 前記処理部は、前記第２の認識部による認識処理を実行する前のデータである前記カメラのＲＡＷデータと前記ミリ波レーダーのＲＡＷデータとのＥａｒｌｙフュージョン処理、前記第２の認識部による認識後の第２の認識データと前記ミリ波レーダーのＲＡＷデータとのハイブリッドフュージョン処理、前記ミリ波レーダーのＲＡＷデータと前記第１の認識部による認識後の第１の認識データとのハイブリッドフュージョン処理、又は、前記第２の認識データと前記第１の認識データとのＬａｔｅフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
    請求項９に記載の移動体装置。
JP2020528851A 2018-07-02 2019-07-01 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 Active JP7511471B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018126397 2018-07-02
JP2018126397 2018-07-02
PCT/JP2019/026097 WO2020009060A1 (ja) 2018-07-02 2019-07-01 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置

Publications (2)

Publication Number Publication Date
JPWO2020009060A1 JPWO2020009060A1 (ja) 2021-08-05
JP7511471B2 true JP7511471B2 (ja) 2024-07-05

Family

ID=69060339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020528851A Active JP7511471B2 (ja) 2018-07-02 2019-07-01 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置

Country Status (6)

Country Link
US (2) US11959999B2 (ja)
EP (1) EP3819668A4 (ja)
JP (1) JP7511471B2 (ja)
KR (1) KR102718382B1 (ja)
CN (1) CN112368598B (ja)
WO (1) WO2020009060A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009060A1 (ja) * 2018-07-02 2020-01-09 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
JP6735801B2 (ja) * 2018-10-16 2020-08-05 三菱電機株式会社 物体認識装置およびこれを用いた車両制御装置並びに物体認識方法およびこれを用いた車両制御方法
CN113715753A (zh) * 2020-05-25 2021-11-30 华为技术有限公司 车辆传感器数据的处理方法和系统
JP7347343B2 (ja) * 2020-06-22 2023-09-20 株式会社デンソー 外界認識装置、外界認識方法、および外界認識プログラム
KR20230043954A (ko) * 2020-07-29 2023-03-31 뉴럴 프로펄전 시스템즈, 인크. 자율 주행에서 코너들 주위를 보기 위한 다중 주파수 레이더 어레이 시스템들 및 센서 융합
WO2022141910A1 (zh) * 2021-01-01 2022-07-07 杜豫川 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法
GB2619196B8 (en) * 2021-03-01 2024-09-04 Univ Tongji Multi-target vehicle detection and re-identification method based on radar and video fusion
CN112849296B (zh) * 2021-03-11 2023-12-22 湖南仕博测试技术有限公司 智能驾驶专用测试目标及其控制方法
KR20230139560A (ko) * 2022-03-28 2023-10-05 현대자동차주식회사 차량 및 그 제어방법
CN117315418A (zh) * 2023-09-04 2023-12-29 苏州畅行智驾汽车科技有限公司 自动驾驶感知系统冗余校验方法、系统和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007255977A (ja) 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
US20170242117A1 (en) 2016-02-19 2017-08-24 Delphi Technologies, Inc. Vision algorithm performance using low level sensor fusion
JP2021501344A (ja) 2017-11-06 2021-01-14 ヴィオニア ユーエス インコーポレイティド 合図を受けて行われる自動車センサ融合

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162795A (ja) 2001-11-22 2003-06-06 Nec Corp 気象データを用いたセンサ選択方法とこれを用いた道路交通監視システム
EP2347400B1 (en) * 2008-11-07 2014-03-12 Volvo Lastvagnar AB Method and system for combining sensor data
KR20120072131A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 이미지 센서와 거리센서의 데이터 융합에 의한 상황인식 방법 및 그 장치
WO2014190208A2 (en) * 2013-05-22 2014-11-27 Neurala, Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
EP2865575B1 (en) * 2013-10-22 2022-08-24 Honda Research Institute Europe GmbH Confidence estimation for predictive driver assistance systems based on plausibility rules
WO2016172690A1 (en) * 2015-04-23 2016-10-27 Lockheed Martin Corporation Method and apparatus for sensor fusion
US20160357187A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
US10762440B1 (en) * 2015-09-24 2020-09-01 Apple Inc. Sensor fusion and deep learning
CN108028023B (zh) 2015-09-30 2021-10-26 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
JP6690952B2 (ja) 2016-01-25 2020-04-28 日立オートモティブシステムズ株式会社 車両走行制御システム、及び車両走行制御方法
JP6256531B2 (ja) * 2016-06-10 2018-01-10 三菱電機株式会社 物体認識処理装置、物体認識処理方法および自動運転システム
DE102017206123A1 (de) * 2017-04-10 2018-10-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung
US20180336191A1 (en) * 2017-05-17 2018-11-22 Ashwin P. Rao Method for multi-sense fusion using synchrony
JP6480504B2 (ja) * 2017-05-31 2019-03-13 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
CN107991671A (zh) 2017-11-23 2018-05-04 浙江东车智能科技有限公司 一种基于雷达数据和视频信号融合识别危险目标的方法
US10852420B2 (en) * 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
WO2020009060A1 (ja) 2018-07-02 2020-01-09 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007255977A (ja) 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
US20170242117A1 (en) 2016-02-19 2017-08-24 Delphi Technologies, Inc. Vision algorithm performance using low level sensor fusion
JP2021501344A (ja) 2017-11-06 2021-01-14 ヴィオニア ユーエス インコーポレイティド 合図を受けて行われる自動車センサ融合

Also Published As

Publication number Publication date
WO2020009060A1 (ja) 2020-01-09
CN112368598B (zh) 2025-09-23
JPWO2020009060A1 (ja) 2021-08-05
EP3819668A4 (en) 2021-09-08
US20210224617A1 (en) 2021-07-22
KR20210025523A (ko) 2021-03-09
US20240142607A1 (en) 2024-05-02
US12181566B2 (en) 2024-12-31
KR102718382B1 (ko) 2024-10-17
CN112368598A (zh) 2021-02-12
US11959999B2 (en) 2024-04-16
EP3819668A1 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
JP7511471B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
JP7530830B2 (ja) 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置
JP7188394B2 (ja) 画像処理装置及び画像処理方法
JP2023126642A (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US12153127B2 (en) Information processing device and information processing method, computer program, information processing system, and mobile device
US11501461B2 (en) Controller, control method, and program
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
JP2025061744A (ja) 情報処理装置、および情報処理システム、並びにプログラム
WO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019069599A1 (ja) 画像処理装置及び画像処理方法
US20240426997A1 (en) Information processing apparatus, information processing method, and information processing system
WO2023079881A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7559748B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN118525258A (zh) 信息处理装置、信息处理方法、信息处理程序和移动装置
US20250390109A1 (en) Mobile device and method for controlling mobile device
US20250313236A1 (en) Information processing apparatus, information processing method, and program
WO2025100160A1 (ja) 認識システム、情報処理装置及び車両制御システム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2024048180A1 (ja) 情報処理装置、情報処理方法および車両制御システム
JP2024178673A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231017

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240625