JP2016015583A - 車載用撮像装置 - Google Patents
車載用撮像装置 Download PDFInfo
- Publication number
- JP2016015583A JP2016015583A JP2014136077A JP2014136077A JP2016015583A JP 2016015583 A JP2016015583 A JP 2016015583A JP 2014136077 A JP2014136077 A JP 2014136077A JP 2014136077 A JP2014136077 A JP 2014136077A JP 2016015583 A JP2016015583 A JP 2016015583A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- lens
- dirt
- camera
- contamination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/04—Wipers or the like, e.g. scrapers
- B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
- B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
- B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
- B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
- B60S1/0833—Optical rain sensor
- B60S1/0844—Optical rain sensor including a camera
- B60S1/0848—Cleaning devices for cameras on vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】カメラ部11A,11B,11C,11Dのレンズ又はレンズの保護ガラスに付着した汚れの状態を診断する付着物診断部22と、GPS31a、地図及び周辺施設情報を含むデータベース31bを備えたナビゲーション装置31から得られる所定の種類の施設と車両との位置情報に基づいて汚れの通知の有無を判定する汚れ通知判定部23と、を具備し、付着物診断部22により汚れ度合いが閾値以上と判断され、かつ、ナビゲーション装置31にて目的地への経路が設定され、かつ、汚れ通知判定部23により経路から所定距離範囲に施設が存在すると判定された場合に、車両に備える表示装置32、スピーカー装置33によって汚れていることをユーザーに通知する。
【選択図】図1
Description
車載用のカメラは、通常車外に設置されるため、カメラのレンズ表面等の汚れによって映像が不鮮明になることがある。
この問題を解決するために、画像に基づいて、カメラにおけるレンズ汚れの有無を判断し、その判断が「汚れ有り」の場合は、メータパネルの表示部に表示したり、スピーカーから合成音声等を出力したりすることによって、車両のユーザーに汚れの存在を知らせる。
ユーザーが車外に居ると判定されたときに、ユーザーの携帯装置に備わる画像表示手段(例えば、液晶表示装置)を利用して、カメラで撮像された画像を表示し、ユーザーが、その画像を見ることにより、カメラのレンズに付着物があることを自ら目視確認できるようにしている。
また、特許文献2のように、車外に居るユーザーにカメラの汚れを通知する場合に、ユーザーが常に携帯装置を携帯しておく必要があり、更に、カメラECUに携帯装置との通信機能が必要となり、システムが煩雑になるとともに、コストが高くなるといった課題もある。
本発明は、上記の課題を鑑みて創案されたものであって、サービスステーションや自宅駐車場など、ユーザーがカメラの汚れを除去しやすい場所で、しかも、ユーザーが車内に居る状態で、カメラの汚れの除去が必要であることを通知することができる車載用撮像装置を提供することを目的としている。
また、ナビゲーション装置の経路案内を利用して、所定の種類の施設を容易に探索することができ、汚れ除去を迅速に行うことが可能になる。
また、車両位置特定部によって所定の種類の施設を容易に探索することができ、汚れ除去を迅速に行うことが可能になる。
また、車両位置特定部によって車両の現在位置を特定し、この現在位置とデータベースとに基づいて車両を所定の種類の施設に停車させることで、汚れ除去を迅速に行うことが可能になる。
また、上記構成において、前記レンズ又はレンズの保護部材の汚れの種別に応じて、前記汚れ度合いの変化を監視する監視時間の設定値を変えるようにしても良い。この構成によれば、効率良く汚れの通知を行うことができる。
また、ナビゲーション装置の経路案内を利用して、所定の種類の施設を容易に探索することができ、汚れ除去を迅速に行うことが可能になる。
図1は、本発明の撮像装置10を示すブロック図である。
撮像装置10は、車両の周辺を撮像する複数のカメラ部11A,11B,11C,11Dと、複数のカメラ部11A,11B,11C,11Dで撮像された画像に基づいてカメラ部11A,11B,11C,11Dの汚れ状態を乗員へ通知するための制御を行うECU(Electronic Control Unit)部12とを備える。
カメラ部11Aは、レンズを通過した光を電気信号に変換する撮像素子からなる撮像部14と、撮像部14を制御する撮像素子制御部15と、撮像部14から出力された信号を撮像素子制御部15から出力された制御信号により映像信号に変換する映像信号処理部16と、映像を映像信号処理部16からECU部12へ出力するために映像信号処理部16、ECU部12間を接続するI/F(インターフェース)17と、撮像素子制御部15とECU部12との通信を行う外部通信部18とを備える。
カメラ部11A,11B,11C,11Dは、例えば、フロントガラスの近傍に設けられたフロントカメラ部、車体の左側に設けられた左サイドカメラ部、車体の右側に設けられた右サイドカメラ部、リアガラスの近傍に設けられたバックビューカメラ部から構成される。
カメラ部11A,11B,11C,11Dは、車室外に設けられるため、カメラ部11A,11B,11C,11Dに備えるレンズ(又は、レンズを保護するためにレンズの前方を覆う保護ガラス)には、水滴、泥、融雪剤等が付着するので、レンズ(又は保護ガラス)の透過性を確保するため、付着した汚れとなる付着物を除去する必要がある。レンズ(又は保護ガラス)の汚れ度合い(汚れの指標値)が所定値(閾値)以上となった場合には、撮像装置10のECU部12は、車両が、汚れ除去のための備品、設備を有するサービスステーションや自宅の駐車場等、又はそれらの近傍に到着した時点でレンズ(又は保護ガラス)が汚れていることを乗員に通知し、その汚れの除去を促す。
付着物診断部22は、カメラ部11A,11B,11C,11Dのレンズ(又はレンズの保護ガラス)に付着した汚れの状態を、カメラ部11A,11B,11C,11Dで撮像された画像から診断する。具体的には、汚れ度合い(汚れの程度を表す指標値)が所定値以上であるかどうか判断する。
そして、自車が施設や自宅に到着した、あるいは、自車又は経路から所定距離範囲に施設がある場合には、その判定に基づいて、CPU21が汚れ通知を行う。
車両の動力源とは、エンジンのみを搭載した車両では、ガソリン、軽油等の燃料であり、モータ搭載車両(電動車、ハイブリッド車)では、電力であり、燃料電池車両では、水素等の燃料である。また、補給口とは、エンジンのみを搭載した車両では給油口、モータ搭載車両では給電口、燃料電池車両では水素供給口である。
外部通信部26は、ECU部12と、後で詳述する車両側に設けられた各種機器との間で、車両通信ライン46を介して通信を行う。
RAM27は、カメラ部11A,11B,11C,11Dから入力される時系列の画像データ及びその他のデータを一時的に記憶する。記憶された画像データは、付着物診断部22によって各種処理が行われて汚れ状態の判断に利用される。
Flash ROM28には、ECU部12内の指令、診断、判定等の各種処理を行うためのデータが記憶されている。
ナビゲーション装置31は、自車の現在位置や目的地への経路の案内を行うために、GPS(Global Positioning System)31aと、地図や周辺施設情報等のデータベース31bとを備える。表示装置32は、レンズ(又はレンズの保護ガラス)が汚れていることを表示により通知する。スピーカー装置33は、レンズ(又はレンズの保護ガラス)が汚れていることを音声により通知する。
ナビゲーション装置31、表示装置32及びスピーカー装置33は、ECU部12に直接に接続されて、ECU部12から各種信号が入力される。
狭域無線通信装置34は、サービスステーション等の施設に設けられた狭域無線通信装置とで無線LANやDSRC等の狭域無線通信を行う。
また、モータ搭載車両である場合は、リッド開閉センサ43は、車両のバッテリに電力を供給するための補給口(給電口)を覆うリッドの開閉を検出する。また、モータ搭載車両では、燃料残量計44に代えて、バッテリの蓄電残量を検出するためのバッテリ残量計を備える。
図2は、撮像装置10の各種処理を示すフローチャートである。
まず、初期化処理を行い(ステップS1)、前回車両のイグニッションスイッチをONにした際に撮像装置10で行われた各種処理において、設定された変数、フラグの値やタイマーの経過時間等をリセットし、また、メモリに記憶された画像等を削除する。
次に、カメラ部のレンズ(又は保護ガラス)の表面に、除去すべき汚れが付着したかどうか、あるいは、その汚れが継続して付着しているかどうかを、汚れ判定処理によって判定する(ステップS2)。除去すべき汚れが付着している場合は、その内容を車両の乗員に通知する。この処理を、図3で詳述する。
また、汚れ通知処理では、例えば、車両にナビゲーション装置が接続されていなければ、サービスステーションや自宅の駐車場等に到着したときに車両から得られる情報を利用して乗員に汚れの除去を促す。この処理を、図5で詳述する。
更に、乗員へ汚れの通知をした後に、乗員によって汚れが除去されたかどうか、及びレンズ(又は保護ガラス)の透過性が確保されたかどうかを診断する払拭診断処理を行う(ステップS4)。この処理を、図6で詳述する。
まず、タイマーをONにし、経過時間tをt=0とする(ステップS11)。
次に、付着物診断部22は、カメラ部のレンズ(又は保護ガラス)の汚れ度合いを表す指標値が所定値(閾値)以上である汚れが、レンズ(又は保護ガラス)に付着したかどうか判断する(ステップS12)。
カメラ部のレンズ(又は保護ガラス)の汚れ度合いを求めるには、汚れ種別を判別し、その汚れの付着量を求める方法がある。
汚れ種別とは、(a)透過性の高い付着物(雨水等の透明又は透明に近い水分で、粘性が低いもの)、(b)(a)の付着物によりも透過性の低い付着物(泥、融雪剤等の乾燥したもの、又は水分を含む泥、融雪剤等で粘性の高いもの)、(c)レンズ表面の全体的な白濁した汚れ((a)の付着物よりも透過性が低い汚れ)である。白濁とは、水分中に含まれる不純物が乾燥することによって、その不純物が析出し、レンズ表面に堆積して白い汚れになることをいう。
また、汚れ度合いの時間的変化、閾値については、図7のグラフで説明する。
汚れ度合いが所定値以上である汚れがレンズ(又は保護ガラス)に付着した(ステップS12、Yes)場合は、CPU21は、第1の通知として、車両のメータパネルに設けられたインジケータ(警告灯)を点灯させ、警告表示させる(ステップS13)。
上記の警告表示としては、CPU21は、車両のメータパネルやナビゲーション装置に備えるディスプレイに、例えば「バックビューカメラが汚れています」などと表示させて通知させたり、車両に備えるスピーカー装置から音声で通知させる。表示装置32及びスピーカー装置33については、図8で詳述する。
車両のフロントガラス用ワイパが連続動作中である(ステップS14、Yes)場合は、この処理(ステップS14)を繰り返す。これは、汚れ通知判定部23が、フロントガラス用ワイパが連続動作していることを、降雨状態であって汚れが継続する可能性が高いと判断したことによる。従って、更なる処理(汚れの通知等)は行わない。
車両のフロントガラス用ワイパが連続動作中でない(ステップS14、No)場合は、CPU21は、経過時間tが所定時間tstに達したかどうか判断する(ステップS15)。タイマーを使用して所定時間、汚れ度合いの変化を監視する。
上記の所定時間(監視時間の設定値)tstは、汚れの種別に応じて変更される。汚れの種別が、透過性の低い付着物の場合には、透過性が回復する可能性が低いため、短時間(例えば、所定時間tst=tst1=5分間)に設定される。汚れの種別が、透過性の高い付着物や白濁の場合には、透過性が回復する可能性が高いため、長時間(例えば、所定時間tst=tst2=30分間)に設定される。
t≧tstである(ステップS15、Yes)場合は、付着物診断部22は、汚れ度合いが所定値以下かどうか判断する(ステップS16)。
汚れ度合いが所定値以下である(ステップS16、Yes)場合は、CPU21は、第1の通知のインジケータの警告を解除する(ステップS17)。
汚れ度合いが所定値以下でない(ステップS16、No)場合は、CPU21は、車両にナビゲーション装置が接続されているかどうかを示すナビ有無フラグflg1が0(ゼロ:ナビゲーション装置が接続されていない)か、又は1(ナビゲーション装置が接続されている)かを判断する(ステップS18)。
ナビ有無フラグflg1=1である場合は、図4に示す汚れ通知処理1を実行する(ステップS18、=1→結合子C1)。ナビ有無フラグflg1=0である場合は、図5に示す汚れ通知処理2を実行する(ステップS18、=0→結合子C2)。
CPU21によって車両、詳しくは撮像装置10にナビゲーション装置31が接続されていると判断された場合、汚れ通知判定部23は、まず、ナビゲーション装置31で経路案内中かどうか判断する(ステップS21)。
経路案内中である(ステップS21、Yes)場合は、汚れ通知判定部23は、案内中の経路から所定距離範囲内(例えば、1km以内)に、予め決められた施設、即ちレンズ(又は保護ガラス)の汚れを落とせる備品や水栓などを備えたサービスステーション等の施設が存在するかどうか判断する(ステップS22)。
その施設が存在する場合には、汚れ通知判定部23は、その施設を立ち寄り場所として追加するかをディスプレイ等に表示して、乗員に問い合わせる(ステップS23)。例えば、表示又は音声で「案内経路付近に○○があります。立ち寄り地点に設定しますか。」のように問い合わせる。このとき、施設の候補が複数存在する場合には、それらの複数の施設を表示する。
施設が存在しない(ステップS24、No)場合は、再度ステップS21を実行する(ステップS24、No→結合子C1)。
施設が存在する(ステップS24、Yes)場合は、汚れ通知判定部23は、その施設を目的地として設定するかをディスプレイ等に表示して、乗員に問い合わせる(ステップS25)。例えば、表示又は音声で「周辺に○○があります。目的地に設定しますか。」のように問い合わせる。このとき、施設の候補が複数存在する場合には、それらの複数の施設を表示する。
ナビゲーション装置にその施設を追加した(ステップS26、Yes)場合は、汚れ通知判定部23は、自車の現在位置が設定された地点かどうか判断する(ステップS27)。
自車の現在位置が設定された地点でない(ステップ27、No)場合は、この処理(ステップ27)を繰り返す。自車の現在位置が設定された地点である(ステップ27、Yes)場合は、汚れ通知判定部23は、車速Vが車速所定値Vstより小さい(V<Vst)か、又は車両の変速機のシフトポジションが「P(パーキング)」であるか、のいずれかを判断する(ステップS28)。車速所定値Vstは、例えば、1km/hである。
V<Vst、又はシフトポジション=「P」のいずれかである(ステップS28、Yes)場合は、CPU21は、第2−1の通知として、乗員にレンズ汚れを通知する(ステップS29)。例えば、ディスプレイへの表示や音声で「○○付近に到着しました。バックビューカメラの汚れを除去して下さい。」と通知する、あるいは、ディスプレイに汚れているカメラ部で撮像された映像を映し出したり、インジケータを点灯・点滅させたりするなどの通知を行う。
現在地が予め定められた施設ではない(ステップS30、No)場合は、この処理(ステップS30)を繰り返す。現在地が予め定められた施設である(ステップS30、Yes)場合は、汚れ通知判定部23は、V<Vst、又はシフトポジション=「P」のいずれかを判断する(ステップS31)。
V<Vst、又はシフトポジション=「P」のいずれかである(ステップS31、Yes)場合は、CPU21は、第2−2の通知として、レンズ汚れを通知する(ステップS32)。例えば、「○○付近に停車しました。バックビューカメラの汚れを除去して下さい。」と通知する、あるいは、ディスプレイに汚れているカメラ部で撮像された映像を映し出したり、インジケータを点灯・点滅させたりするなどの通知を行う。
上記したように、予め決められた施設に到着した後に、レンズ汚れ通知(第2−1の通知及び第2−2の通知)を行ったが、これに限らず、経路又は自車から所定距離範囲に、予め決められた施設が存在することが判明した時点で、レンズ汚れ通知や施設の候補の表示を行っても良い。
車両にナビゲーション装置が接続されていない場合、車両位置判定部24は、まず、V<Vst、又はシフトポジション=「P」のいずれかを判断する(ステップS41)。
V<Vst及びシフトポジション=「P」のいずれでもない(ステップS41、No)場合は、この処理(ステップS41)を繰り返す。
V<Vst、又はシフトポジション=「P」のいずれかである(ステップS41、Yes)場合は、車両位置判定部24は、動力源を補給するためのリッドをオープンしたかどうか判断する(ステップS42)。
車両が非接触給電装置の送電部上に停車していない(ステップS43、No)場合は、車両位置判定部24は、無線LANやDSRC等の狭域無線通信が成立したかどうか判断する(ステップS44)。サービスステーション等では、無線LANやDSRC等が行える狭域無線通信装置を設置している。
動力源量が増えていない(ステップS45、No)場合は、再度ステップS41を実行する。
また、V<Vst、又はシフトポジション=「P」のいずれかである(ステップS41、Yes)場合、リッドをオープンした(ステップS42、Yes)場合、車両が非接触給電装置上に停車した(ステップS43、Yes)場合、狭域無線通信が成立した(ステップS44、Yes)場合、動力源量が増えた(ステップS45、Yes)場合は、CPU21は、第2−3の通知として、レンズが汚れていること及び汚れ除去を促す内容を表示装置、スピーカー装置、インジケータで通知する(ステップS46)。
この払拭診断処理については、車両のイグニッションスイッチがOFFの状態でも、OFFされてから所定時間(例えば、10分間)ECU部12に通電を継続され、ECU部12によって処理が行われる。
例えば、CPU21は、レンズ汚れを通知する際に「レンズ汚れを払拭しますか」というメッセージを表示してその回答を求めたときに、乗員がレンズ汚れを払拭する意志があるかどうかを示すレンズ汚れ払拭意志フラグflg2が0(ゼロ:レンズ汚れを払拭する意志がない、又は車両のドアがオープンした)か、又は1(レンズ汚れを払拭する意志がある)かのいずれの回答があったか判断する(ステップS51)。
例えば、フロントカメラ部の汚れに対してはヘッドランプ又はフォグランプ、左サイドカメラ部の汚れに対しては左のウインカ、右サイドカメラ部の汚れに対しては右のウインカ、バックビューカメラ部の汚れに対してはブレーキランプ又はバックランプを点灯させる。
次に、CPU21は、車両のドアがオープンしたかどうか判断する(ステップS54)。車両の乗員(運転者又は同乗者)が降車してカメラ部の汚れを払拭したかどうかを判断するものである。
ドアがオープンしない場合は、処理を繰り返す(ステップS54、No)。ドアがオープンした(ステップS54、Yes)場合は、CPU21は、汚れているカメラ部で撮像された映像を取得し、画像Bとしてメモリ(RAM27)に保存する(ステップS55)。
カメラ部の汚れが除去されない(ステップS56、No)場合は、再度ステップS55を実行する。カメラ部の汚れが除去された(ステップS56、Yes)場合は、CPU21は、汚れ除去後のカメラ部の取付位置に応じて各灯火器類の内の所定の灯火器類を消灯させる(ステップS57)。これは、第3−2の通知として、灯火器類による汚れ解除通知である。そして、付着物診断部22は、全てのカメラ部の汚れが除去されたかどうか判断する(ステップS58)。
全てのカメラ部の汚れが除去されない(ステップS58、No)場合は、再度ステップS55を実行する。全てのカメラ部の汚れが除去された(ステップS58、Yes)場合は、処理を終了する。
グラフの縦軸は汚れ度合い(汚れの程度を表す指標値)、横軸は時間を表している。
時間T=0では、汚れ度合いは0、即ち汚れが無い状態である。
汚れ度合いは、T=0から時間Tが経過するにつれて次第に大きくなり、T=T1で、レンズ又は保護ガラスが汚れていることを通知する通知閾値SK1に達する。更に時間Tが経過すると、汚れ度合いも上昇し、時間T2で汚れ度合いは最大値MAXとなる。更に時間Tが経過すると、汚れ度合いは次第に減少する。時間T=T3では、汚れ度合いは、通知閾値SK1を下回っているが、汚れの付着している状態が継続しているので、レンズ又は保護ガラスの払拭を促す通知を行う。
また、泥等の汚れは、時間Tが経過しても、汚れ度合いが低下しない。
上記したように、水滴など透過性の高い付着物は、一時的な透過性低下の場合があるので、汚れの種別を判別して、汚れの通知を行う又は通知を行わない、を判断しても良い。例えば、泥や白濁の場合は汚れの通知を行い、水滴の場合は汚れの通知を行わないようにしても良い。
図8(A)はメータパネルを示す図、図8(B)はナビゲーション装置のディスプレイの表示を示す図である。
図8(A)に示すように、メータパネル51は、左右に離間したスピードメータ52及びタコメータ53と、スピードメータ52及びタコメータ53のそれぞれの間に配置されたメータディスプレイ54とを備える。メータディスプレイ54には、カメラ部のレンズ(又は保護ガラス)が汚れていることを通知したりクリーンアップを促す文字又はアイコンが表示される。この表示と共に、メータパネル51に設けられたスピーカー装置56から汚れを通知したりクリーンアップを促す音声で発せられる。
上記のメータディスプレイ54は、表示装置32(図1参照)の一部を構成している。また、スピーカー装置56は、スピーカー装置33(図1参照)の一部を構成している。
車両撮像領域表示部61は、映像表示部62に表示された映像が車両の前方、左側方、右側方及び後方のどの領域を撮像したものであるかを太線で囲んで示す。図では、バックビューカメラ部によって車両後方の領域61aが撮像され、映像表示部62に車両後方の映像が映し出されていることが示されている。通知表示部63には、例えば、カメラ部のレンズ又は保護ガラスの汚れの払拭を促す「バックビューカメラを拭いてください」の文字が表示される。また、ナビゲーション装置31は、図示せぬスピーカー装置を備え、そのスピーカー装置から汚れの除去を促す音声が発せられる。
上記したナビディスプレイ60の通知表示部63は、表示装置32(図1参照)の一部を構成している。また、ナビゲーション装置31のスピーカー装置は、スピーカー装置33(図1参照)の一部を構成している。
前述の画像A及び画像Bから差分画像が求められる。図中の符号71はレンズ面に付着した付着物の像、72はレンズの縁の像を示している。
画像Aには複数の付着物の像71が写り、画像Bには全く付着物の像が写っておらず、差分画像には、画像Aと同一の複数の付着物の像71が写っている場合は、汚れ状態としては、(1)汚れが除去された、と判定される。
画像Aには複数の付着物の像71が写り、画像Bに画像Aよりも少ない数の付着物の像71が写り、差分画像には画像Aよりも少ない数の付着物の像71が写っている場合は、汚れ状態としては、(2)汚れが部分的に除去された、と判定される。
(1)のように、差分画像に画像Aと同一の複数の付着物の像71が写っていて、汚れが除去された場合には、汚れ度合い(汚れの程度を表す指標値)が小さく、(3)のように、差分画像に付着物が写っておらず、汚れが除去されていない場合には、汚れ度合いが大きい。
汚れ度合いが、所定値未満であれば、「レンズ面がきれいになった(レンズ面の透過性が改善した)」と判断され、汚れ度合いが、所定値以上であれば、「再度クリーンアップが必要(レンズ面の透過性が改善しない)」と判断される。
また、ナビゲーション装置31の経路案内を利用して、所定の種類の施設を容易に探索することができ、汚れ除去を迅速に行うことが可能になる。
GPS31aによって所定の種類の施設を容易に探索することができ、汚れ除去を迅速に行うことが可能になる。
この構成によれば、GPS31aによって車両の現在位置を特定し、この現在位置とデータベースとに基づいて車両を所定の種類の施設に停車させることで、汚れ除去を迅速に行うことが可能になる。
また、レンズ又はレンズの保護部材の汚れの種別に応じて、汚れ度合いの変化を監視する監視時間の設定値である所定時間tstを変えるので、効率良く汚れの通知を行うことができる。
11A,11B,11C,11D カメラ部(カメラ)
22 付着物診断部
23 汚れ通知判定部
24 車両位置判定部
31 ナビゲーション装置
31a GPS(車両位置特定部)
31b データベース
32 表示装置
33 スピーカー装置
34 狭域無線通信装置
36 非接触給電装置(受電側)
37 灯火器類
SK1 通知閾値(所定値)
tst,tst1,tst2 所定時間(監視時間の設定値)
Claims (11)
- 車両の外部に搭載されるカメラのレンズ又はレンズの保護部材に付着した汚れの状態を診断する付着物診断部と、
前記車両の位置を特定する車両位置特定部、地図及び周辺施設情報を含むデータベースを備えたナビゲーション装置から得られる予め決められた施設であって前記汚れを除去可能な所定の種類の施設と前記車両との位置情報に基づいて汚れの通知の有無を判定する汚れ通知判定部と、を具備し、
前記付着物診断部により、前記カメラのレンズ又はレンズの保護部材の汚れ度合いが所定値以上と判断され、かつ、前記ナビゲーション装置にて目的地への経路が設定され、かつ、前記汚れ通知判定部により、前記経路から所定距離範囲に前記所定の種類の施設が存在すると判定された場合に、前記車両に備える表示装置及び/又はスピーカー装置によって前記カメラのレンズ又はレンズの保護部材が汚れていることをユーザーに通知するとともに前記所定の種類の施設の候補を前記表示装置に表示することを特徴とする車載用撮像装置。 - 車両の外部に搭載されるカメラのレンズ又はレンズの保護部材に付着した汚れの状態を診断する付着物診断部と、
前記車両の位置を特定する車両位置特定部、地図及び周辺施設情報を含むデータベースを備えたナビゲーション装置から得られる予め決められた施設であって前記汚れを除去可能な所定の種類の施設と前記車両との位置情報に基づいて汚れの通知の有無を判定する汚れ通知判定部と、を具備し、
前記付着物診断部により、前記カメラのレンズ又はレンズの保護部材の汚れ度合いが所定値以上と判断され、かつ、前記車両位置特定部によって特定された現在位置と前記データベースの情報とから、前記汚れ通知判定部により、前記車両から所定距離範囲に前記所定の種類の施設が存在すると判定された場合に、前記車両に備える表示装置及び/又はスピーカー装置によって前記カメラのレンズ又はレンズの保護部材が汚れていることをユーザーに通知するとともに前記所定の種類の施設の候補を表示することを特徴とする車載用撮像装置。 - 車両の外部に搭載されるカメラのレンズ又はレンズの保護部材に付着した汚れの状態を診断する付着物診断部と、
前記車両の位置を特定する車両位置特定部、地図及び周辺施設情報を含むデータベースを備えたナビゲーション装置から得られる予め決められた施設であって前記汚れを除去可能な所定の種類の施設と前記車両との位置情報に基づいて汚れの通知の有無を判定する汚れ通知判定部と、を具備し、
前記付着物診断部により、前記カメラのレンズ又はレンズの保護部材の汚れ度合いが所定値以上と判断され、かつ、前記車両位置特定部によって特定された現在位置と前記データベースの情報とに基づいて、前記汚れ通知判定部により、前記車両が前記所定の種類の施設内に停車したと判定した場合に、前記車両に備える表示装置及び/又はスピーカー装置によって前記カメラのレンズ又はレンズの保護部材が汚れていることをユーザーに通知することを特徴とする車載用撮像装置。 - 前記所定の種類の施設は、前記車両の駆動源に供給される動力源を補給可能なサービスステーション又は駐車場であることを特徴とする請求項1乃至3のいずれか一項に記載の車載用撮像装置。
- 車両の外部に搭載されるカメラのレンズ又はレンズの保護部材に付着した汚れの状態を診断する付着物診断部と、
動力源を補給する補給口を覆うために車両に設けられたリッドを開けたこと、前記車両が非接触給電装置上に停車したこと、又は前記サービスステーションに設置された無線LANやDSRC等の狭域無線通信装置との通信が前記車両にて成立したことの少なくとも一つの条件をトリガーとして、前記車両の前記サービスステーション内の存在を判定する車両位置判定部と、を具備し、
前記付着物診断部によって、前記カメラのレンズ又はレンズの保護部材の汚れ度合いが所定値以上と判断され、かつ、前記車両位置判定部によって、前記車両が前記サービスステーション内に存在すると特定された場合に、前記車両に備える表示装置及び/又はスピーカー装置によって、前記カメラのレンズ又はレンズの保護部材が汚れていることをユーザーに通知することを特徴とする車載用撮像装置。 - 前記車両位置判定部は、前記車両の前記動力源の量が増加した情報に基づいて、前記車両の前記サービスステーション内の存在を特定することを特徴とする請求項5に記載の車載用撮像装置。
- レンズ汚れが通知された後に、前記付着物診断部は、前記車両のイグニッションスイッチがOFF状態とON状態との両方で撮像された画像を比較して、前記レンズ汚れが除去されたかどうかを判定し、前記レンズ汚れが除去されていない場合は再度前記レンズ汚れを通知することを特徴とする請求項1乃至6のいずれか一項に記載の車載用撮像装置。
- レンズ汚れが通知された後に、前記車両が停車した直後に撮像された画像と直近に撮像された画像とを逐次比較して、前記汚れ状態が除去されていない場合は、前記カメラの取付位置に応じて車両に設けられた灯火器類を点灯又は点滅させ、汚れが除去された場合には、前記灯火器類を消灯することを特徴とする請求項7に記載の車載用撮像装置。
- 前記車両に備えるフロントガラス用ワイパが連続動作している場合は、前記レンズ又はレンズの保護部材が汚れていることを通知しないことを特徴とする請求項1乃至8のいずれか一項に記載の車載用撮像装置。
- 前記レンズ又はレンズの保護部材の汚れの種別に応じて、前記汚れ度合いの変化を監視する監視時間の設定値を変えることを特徴とする請求項1乃至9のいずれか一項に記載の車載用撮像装置。
- 前記監視時間の設定値は、汚れの種別が、透過性の低い付着物の場合に短時間に設定され、汚れの種別が、透過性の高い付着物や白濁の場合に長時間に設定されることを特徴とする請求項10に記載の車載用撮像装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014136077A JP6374238B2 (ja) | 2014-07-01 | 2014-07-01 | 車載装置 |
| US15/305,468 US20180141521A1 (en) | 2014-07-01 | 2015-04-17 | Vehicle-mounted imaging device |
| PCT/JP2015/061832 WO2016002308A1 (ja) | 2014-07-01 | 2015-04-17 | 車載用撮像装置 |
| CN201580032758.6A CN106464791B (zh) | 2014-07-01 | 2015-04-17 | 车载装置 |
| EP15815030.0A EP3166302B1 (en) | 2014-07-01 | 2015-04-17 | Vehicle-mounted imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014136077A JP6374238B2 (ja) | 2014-07-01 | 2014-07-01 | 車載装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016015583A true JP2016015583A (ja) | 2016-01-28 |
| JP2016015583A5 JP2016015583A5 (ja) | 2017-06-22 |
| JP6374238B2 JP6374238B2 (ja) | 2018-08-15 |
Family
ID=55018866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014136077A Active JP6374238B2 (ja) | 2014-07-01 | 2014-07-01 | 車載装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20180141521A1 (ja) |
| EP (1) | EP3166302B1 (ja) |
| JP (1) | JP6374238B2 (ja) |
| CN (1) | CN106464791B (ja) |
| WO (1) | WO2016002308A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018132861A (ja) * | 2017-02-14 | 2018-08-23 | クラリオン株式会社 | 車載用撮像装置 |
| WO2019003314A1 (ja) * | 2017-06-27 | 2019-01-03 | 本田技研工業株式会社 | 通知システムおよびその制御方法、車両、並びにプログラム |
| JP2019032619A (ja) * | 2017-08-04 | 2019-02-28 | パナソニックIpマネジメント株式会社 | 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体 |
| WO2019124014A1 (ja) * | 2017-12-18 | 2019-06-27 | 株式会社オートネットワーク技術研究所 | 車載撮像装置、洗浄方法及びコンピュータプログラム |
| JP2021150792A (ja) * | 2020-03-18 | 2021-09-27 | 株式会社デンソー | 車両用表示制御装置及び車両用システム |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6576887B2 (ja) * | 2016-08-09 | 2019-09-18 | クラリオン株式会社 | 車載装置 |
| US11400860B2 (en) * | 2016-10-06 | 2022-08-02 | SMR Patents S.à.r.l. | CMS systems and processing methods for vehicles |
| CN106926791A (zh) * | 2017-04-24 | 2017-07-07 | 南京云趟信息技术有限公司 | 一种用于工程车辆的摄像头检测系统 |
| US20180364728A1 (en) * | 2017-06-19 | 2018-12-20 | GM Global Technology Operations LLC | Systems and methods for vehicle cleaning |
| DE102017121376B4 (de) * | 2017-09-14 | 2021-01-14 | Motherson Innovations Company Limited | Verfahren zum Betreiben eines Kraftfahrzeugs mit zumindest einer Außenkamera sowie Kraftfahrzeug mit zumindest einer Außenkamera |
| US10843669B2 (en) * | 2017-09-28 | 2020-11-24 | Uatc, Llc | Sensor control system for autonomous vehicle |
| US11708054B2 (en) * | 2017-12-12 | 2023-07-25 | Denso Corporation | Vehicle cleaning system |
| TWI805725B (zh) * | 2018-06-07 | 2023-06-21 | 日商索尼半導體解決方案公司 | 資訊處理裝置、資訊處理方法及資訊處理系統 |
| EP3637144A1 (de) * | 2018-10-10 | 2020-04-15 | Covestro Deutschland AG | Fahrzeugumfeldsensor mit beweglicher sensoreinheit |
| WO2020170799A1 (ja) | 2019-02-21 | 2020-08-27 | 株式会社村田製作所 | グラフェントランジスタおよびその製造方法 |
| EP3934227B1 (en) | 2019-04-26 | 2024-11-13 | Murata Manufacturing Co., Ltd. | Cleaning device, imaging unit with cleaning device, and cleaning method |
| JP7399729B2 (ja) * | 2020-01-31 | 2023-12-18 | 株式会社東芝 | 設備診断システム |
| JP7319597B2 (ja) * | 2020-09-23 | 2023-08-02 | トヨタ自動車株式会社 | 車両運転支援装置 |
| SE2150168A1 (en) * | 2021-02-16 | 2022-08-17 | Husqvarna Ab | Robotic work tool system and method for determining whether there is an interfering object on a camera unit of a robotic work tool |
| US11576026B1 (en) | 2021-08-10 | 2023-02-07 | International Business Machines Corporation | Vehicle contamination notification using ad hoc networks |
| US20230049184A1 (en) * | 2021-08-13 | 2023-02-16 | Axon Enterprise, Inc. | Detecting change in quality and other obstructions in license plate recognition systems |
| CN115134533B (zh) * | 2022-08-30 | 2022-11-18 | 宁波均联智行科技股份有限公司 | 自动调用车载图像采集装置的拍摄方法及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000062019A1 (en) * | 1999-04-07 | 2000-10-19 | Mitsubishi Denki Kabushiki Kaisha | Navigator |
| JP2006229341A (ja) * | 2005-02-15 | 2006-08-31 | Sanyo Electric Co Ltd | 撮像装置 |
| JP2010273014A (ja) * | 2009-05-20 | 2010-12-02 | Toshiba Alpine Automotive Technology Corp | 移動体用カメラ装置及び付着物検出方法 |
| JP2011153961A (ja) * | 2010-01-28 | 2011-08-11 | Panasonic Corp | ナビゲーションシステム及びナビゲーション装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3538133B2 (ja) * | 2000-09-05 | 2004-06-14 | 住友ゴム工業株式会社 | タイヤ空気圧低下警報装置および方法 |
| US8253861B2 (en) * | 2004-10-20 | 2012-08-28 | Fujitsu Ten Limited | Display device, method of adjusting the image quality of the display device, device for adjusting the image quality and device for adjusting the contrast |
| JP5022609B2 (ja) * | 2006-02-27 | 2012-09-12 | 日立オートモティブシステムズ株式会社 | 撮像環境認識装置 |
| US20110298603A1 (en) * | 2006-03-06 | 2011-12-08 | King Timothy I | Intersection Collision Warning System |
| EP2439713B1 (en) * | 2009-06-04 | 2015-08-19 | Toyota Jidosha Kabushiki Kaisha | In-vehicle information processing device |
| JP5807405B2 (ja) * | 2011-06-27 | 2015-11-10 | アイシン精機株式会社 | 車両周辺撮影装置 |
| JP2014011785A (ja) * | 2012-07-03 | 2014-01-20 | Clarion Co Ltd | 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム |
| JP5887219B2 (ja) * | 2012-07-03 | 2016-03-16 | クラリオン株式会社 | 車線逸脱警報装置 |
| US9445057B2 (en) * | 2013-02-20 | 2016-09-13 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
| US9080878B2 (en) * | 2013-02-21 | 2015-07-14 | Apple Inc. | Automatic identification of vehicle location |
-
2014
- 2014-07-01 JP JP2014136077A patent/JP6374238B2/ja active Active
-
2015
- 2015-04-17 EP EP15815030.0A patent/EP3166302B1/en active Active
- 2015-04-17 CN CN201580032758.6A patent/CN106464791B/zh active Active
- 2015-04-17 WO PCT/JP2015/061832 patent/WO2016002308A1/ja not_active Ceased
- 2015-04-17 US US15/305,468 patent/US20180141521A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000062019A1 (en) * | 1999-04-07 | 2000-10-19 | Mitsubishi Denki Kabushiki Kaisha | Navigator |
| JP2006229341A (ja) * | 2005-02-15 | 2006-08-31 | Sanyo Electric Co Ltd | 撮像装置 |
| JP2010273014A (ja) * | 2009-05-20 | 2010-12-02 | Toshiba Alpine Automotive Technology Corp | 移動体用カメラ装置及び付着物検出方法 |
| JP2011153961A (ja) * | 2010-01-28 | 2011-08-11 | Panasonic Corp | ナビゲーションシステム及びナビゲーション装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018132861A (ja) * | 2017-02-14 | 2018-08-23 | クラリオン株式会社 | 車載用撮像装置 |
| WO2018150661A1 (ja) * | 2017-02-14 | 2018-08-23 | クラリオン株式会社 | 車載用撮像装置 |
| WO2019003314A1 (ja) * | 2017-06-27 | 2019-01-03 | 本田技研工業株式会社 | 通知システムおよびその制御方法、車両、並びにプログラム |
| JPWO2019003314A1 (ja) * | 2017-06-27 | 2020-04-23 | 本田技研工業株式会社 | 通知システムおよびその制御方法、車両、並びにプログラム |
| JP2019032619A (ja) * | 2017-08-04 | 2019-02-28 | パナソニックIpマネジメント株式会社 | 汚れ検出装置、カメラ、コンピュータプログラムおよび記録媒体 |
| WO2019124014A1 (ja) * | 2017-12-18 | 2019-06-27 | 株式会社オートネットワーク技術研究所 | 車載撮像装置、洗浄方法及びコンピュータプログラム |
| JP2021150792A (ja) * | 2020-03-18 | 2021-09-27 | 株式会社デンソー | 車両用表示制御装置及び車両用システム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3166302B1 (en) | 2019-06-05 |
| EP3166302A1 (en) | 2017-05-10 |
| WO2016002308A1 (ja) | 2016-01-07 |
| CN106464791A (zh) | 2017-02-22 |
| CN106464791B (zh) | 2019-06-25 |
| JP6374238B2 (ja) | 2018-08-15 |
| EP3166302A4 (en) | 2018-05-30 |
| US20180141521A1 (en) | 2018-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6374238B2 (ja) | 車載装置 | |
| JP6988914B2 (ja) | 車両用清掃システム | |
| CN104395156B (zh) | 车辆周围监视装置 | |
| RU2455177C2 (ru) | Оболочка бортового оптического сенсора и устройство бортового оптического сенсора | |
| EP2871831B1 (en) | Control unit of a vehicle-mounted device | |
| CN104823214B (zh) | 车载图像处理装置 | |
| JP2016015583A5 (ja) | 車載装置 | |
| WO2019073975A1 (ja) | 車両用洗浄システム | |
| US12097826B2 (en) | Systems and methods to wash a vehicle in a car wash | |
| WO2018150661A1 (ja) | 車載用撮像装置 | |
| JP2018026671A (ja) | 車載装置 | |
| CN111845647B (zh) | 一种汽车摄像头清洁系统及方法 | |
| EP3396938B1 (en) | Imaging device and method for determining foreign matter | |
| JP2010146284A (ja) | 車両用対象物検出装置及び車両用運転支援システム | |
| JP2013211653A (ja) | 撮像装置 | |
| JPH11326541A (ja) | 撮像環境推定装置 | |
| JP4515156B2 (ja) | 窓管理装置 | |
| JP5040895B2 (ja) | 視界状況判定装置、視界状況判定装置用プログラム及び視界状況判定方法 | |
| CN118082754A (zh) | 车辆及其清洗方法和清洗装置、计算机可读存储介质 | |
| US11396277B2 (en) | Method for operating a motor vehicle having at least one exterior camera and motor vehicle having at least one exterior camera | |
| JP2008265727A (ja) | 車両用バックモニタ装置 | |
| CN111196122A (zh) | 判定装置、车辆控制装置、判定方法及存储判定程序的非易失性存储介质 | |
| CN109300286B (zh) | 一种自适应检测方法及装置 | |
| CN112351168A (zh) | 一种摄像头激光自清洁装置及系统 | |
| CN109163779B (zh) | 一种利用电流检测水箱中玻璃水高度的设备及雨刷系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170512 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180719 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6374238 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |