JP4016735B2 - レーンマーク認識方法 - Google Patents
レーンマーク認識方法 Download PDFInfo
- Publication number
- JP4016735B2 JP4016735B2 JP2002173569A JP2002173569A JP4016735B2 JP 4016735 B2 JP4016735 B2 JP 4016735B2 JP 2002173569 A JP2002173569 A JP 2002173569A JP 2002173569 A JP2002173569 A JP 2002173569A JP 4016735 B2 JP4016735 B2 JP 4016735B2
- Authority
- JP
- Japan
- Prior art keywords
- lane mark
- edge
- angle
- lane
- recognition method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
【発明の属する技術分野】
本発明は、カメラ等の入力手段により得られた路面情報から画像処理によって車両走行レーンマークを認識するレーンマーク認識方法及びそれを用いた装置に関する。
【0002】
【従来の技術】
従来から、道路に敷設された白線等のレーンマークを画像処理により認識し、ドライバーに対して走行車線を逸脱している場合の警報を行ったり、レーンマークの認識結果を用いて車両のステアリング制御を行う手法が提案されている。
【0003】
画像処理により白線を認識するには、従来の一般的な手法では、画像の輝度に対して閾値を設定し、画像を二値化することで、輝度の高い部分を白線と認識していた。これは、白線は周囲の道路に比べて明度が高いため、画像上では道路領域と比較して高い輝度となることを利用したものである。この道路領域と白線領域の輝度の間に閾値を設定すれば、二値化により白線領域だけを検出することができる。
【0004】
しかし、白線の上に影がかかっている画像の場合、影のかかった白線領域では、そうでない領域に比べて輝度が低くなり、影のかかった領域の検出を良好に行うことができない、という不都合があった。また、影のかかった白線領域を検出できる輝度値を閾値とすると、この閾値では白線以外の部分も検出してしまう。
【0005】
特開平4−152406号によると、画像全体の輝度の平均値と最大値とに基づいて、閾値を設定する手法が開示されている。この手法により、画像の状況によって閾値を変更することができるため、より安定した白線認識が可能となる。
【0006】
しかしながら、この手法では、天候や影により画像の状態が変化すると、白線を良好に検出できなくなる、という不都合があった。
【0007】
また、輝度による二値化ではなく、エッジ抽出処理を行い、白線の輪郭線を検出することで白線を認識する手法がある。このエッジ抽出処理は、画像の輝度が変化している部分を抽出する。すなわち、この手法では、道路上の白線は周囲の道路が暗く、白線の端部に明るさの変化があることを利用して、この変化が生じている部分を白線の端部と認識する。このエッジ抽出処理は、明るさの変化を検出する処理であるため、天候の変化により画像の広い領域の明るさが変化しても、白線の端部分に輝度変化があれば白線を検出できるという利点がある。ただし、エッジ抽出処理を行う方法は、白線の端部分のエッジを安定して抽出できる反面、先行車両や轍など、道路内の余分なエッジ成分まで抽出する可能性が高い。
【0008】
そのため、白線のエッジであるか否かを判別する手法が重要となる。
【0009】
特開平11−195127号によると、エッジ点を求めるときに得られるエッジの角度情報を利用し、角度対となるエッジ点で囲まれた領域を白線と判定する手法が開示されている。これは、白線の場合、白線の左端と右端の部分とで対でエッジが抽出され、その角度差はおよそ180度となることを利用したもので、角度の対となるエッジ点がない場合、そのエッジ点は白線のものではないとして除外できる。
【0010】
【発明が解決しようとする課題】
レーンマークの中でも、エッジ点分布が線状に連なる白線が認識対象である場合、特開平11−195127号のようにエッジ点の位置角度情報から白線部分の推定が可能となる。ところが、上記従来例ではレーンマークとして道路鋲が敷設された路線までは考慮されていないため、道路鋲の認識までは不可能である。
【0011】
道路鋲を認識する場合、道路鋲パターンをテンプレートとして登録しておき、テンプレートマッチングによって道路鋲の位置を検出する方法もある。ところが、一般に画像上における道路鋲の大きさは小さく、ノイズによる影響を受けやすいことから、認識率を安定させることが難しい。
【0012】
また、白線用のアルゴリズムと道路鋲用のアルゴリズムが異なる場合、白線と道路鋲が混在した路線のレーンマークを認識するためには、正しくレーンマークの種別を判断する必要がある。このことより、個々のアルゴリズムが優れていてもレーンマーク種別の判断を誤ると認識できないため、総合的な認識率が低下する。
【0013】
本発明では、白線もしくは道路鋲で構成されたレーンマークを、レーンマークの種別で区別することなく安定して認識可能なアルゴリズムを提供することを目的とする。
【0014】
【課題を解決するための手段】
上記の目的を達成するため本発明のレーンマーク認識方法では、レーンマークを含む画像を入力する画像入力工程と、その画像入力工程で入力された入力画像における輝度変化部分であるエッジ点を抽出し、抽出された各エッジ点の方向を表す角度を算出するエッジ抽出工程と、エッジ抽出工程で抽出した前記エッジ点のうち、エッジ点の角度が所定の角度もしくは所定の角度範囲内であるものを抽出してレーンマークの位置推定を行うレーンマーク位置推定工程を備えている。
【0015】
また、エッジ抽出工程は、消失点からの距離が離れたエッジ点を抽出する工程を備えている。
【0016】
また、レーンマーク位置推定工程は、消失点からの距離が離れたエッジ点のうち、消失点に向いている角度を持つエッジ点から角度別のヒストグラムを作成し、出現頻度の高い角度をレーンマークの角度としている。
【0017】
また、レーンマーク位置推定工程は、レーンマークの角度をもつエッジ点の分布からレーンマーク位置を直線推定している。
【0018】
【発明の実施の形態】
図1は、本発明であるレーンマーク認識方法の処理フローである。
【0019】
本発明の一つの実施形態におけるレーンマーク認識方法は、レーンマークを含む画像を入力する画像入力工程である車両前方画像取得工程(ステップS1)と、この車両前方画像取得工程S1で入力された入力画像の輝度変化部分をエッジとし、このエッジの方向角を算出する角度情報付きエッジ抽出工程(ステップS2)と、エッジ点の位置と方向角から道路の消失点に向かっているエッジ点を選出するエッジ選出工程(ステップS3)と、消失点に向かって並んでいるエッジ点の位置分布を解析し、レーンマークのエッジ点と判定するレーンマーク位置推定工程(ステップS4〜S5)と、消失点等の情報を更新する工程(ステップS6)および、認識結果を出力する結果出力工程(ステップS7)によって構成される。
【0020】
ここで、消失点とは、自車両の左右にあるレーンマークが交差する無限遠点とする。
【0021】
以下、本実施例におけるレーンマーク認識方法の応用システム全体の構成を説明した後に、本実施例のレーンマーク認識方法における各ステップの詳細について説明する。
【0022】
本実施例のシステムを図10に示す。まずレーン認識部101において、車両前方に向けられたカメラ104等の入力手段から得られた車両前方画像を、画像処理手段105に転送する。画像処理手段105は本発明のレーンマーク認識方法によって、画像上のレーンマークの位置を認識し、自車両がレーンに対してどれだけずれているのかを算出する。ずれ量に関しては図7で説明する。ずれ量Sは、自車両71がレーンの中心にあれば0、右側に寄っていれば正の値、左側に寄っていれば負の値とし、−1から1までの値をとるものとする。算出されたずれ量Sはレーンキープ制御部102に転送する。レーンキープ制御部102は、転送されたずれ量Sから、必要であれば車両をレーンの中心に戻すようにステアリングアクチュエータ106の制御を行ったり、レーン逸脱警報107を鳴らしたりする。すなわち、本レーンマーク認識方法では、カメラの映像を解析して、白線あるいは道路鋲で構成されるレーンマークの位置を検出し、レーンに対する自車両のずれ量を算出するものである。
【0023】
以下、図1に従って本レーンマーク認識方法の詳細な説明を行う。
【0024】
まず、ステップS1では、入力手段であるカメラによって得られた車両前方の画像を取り込み、画像処理装置内の画像メモリに格納する。画像には白線もしくは道路鋲で構成されたレーンマークを含んでいることが絶対条件で、図2のようになる。図2(a)は白線、図2(b)は道路鋲の例を示している。
【0025】
ステップS2では、画像メモリに格納された入力画像の輝度変化部分をエッジとして抽出し、このエッジの角度情報を付加したデータとして算出する。このデータは、各エッジ点について位置情報x,yおよび、角度情報θを含んでいる。
【0026】
ここで、位置情報は画面上での値で単位はピクセル、角度情報θは画面上でのエッジの方向を表し、0度から360度の値をとる。本実施例では、エッジの方向は、輝度の高い方向に対して90度左に傾けた方向になるように定義する。輝度の高い方向に対して90度傾けているのは、エッジによる輪郭線の向きにあわせるためであり、傾ける方向に関しては右でも構わない。一般に、白線1,道路鋲2とも周囲の路面3と比較して輝度が高くなるため、本実施例の定義によるとエッジの方向は図3のようになる。
【0027】
図3は白線1および道路鋲2を拡大したもので、図3中の白丸は得られたエッジ点4、矢印がエッジ点の方向5となる。輝度の高い方向に対して90度左に傾けているため、エッジの方向に向かって右側の輝度が高く、左側の輝度が低くなる。図3では道路鋲2が円形の場合について示しているが、方形など他の形についても同様である。エッジ点の抽出方法の詳細は後述する。実際には路面にはレーンマーク以外にも、先行車,スリップ痕などの汚れ,模様,街路樹等の陰などエッジとして出てくる要素が多い。これらのエッジはすべてレーンマーク認識に不要なノイズとなる。そのため、ステップS3以降でノイズの分離を行う。
【0028】
ステップS3では、レーンマークのエッジ点をできるだけ残しつつ、ノイズとなるエッジ点を除外する。そのために、レーンマークが消失点に向かっている事を利用し、消失点に向かっているエッジ点のみを選別する。つまり消失点に向かっていないエッジ点を除外する。選別方法は、まずエッジ点の情報x,y,θから、x,yを通りθの角度を持つ直線の方程式を求める。その直線と消失点との距離を求めその距離があらかじめ設定しておいた所定の閾値よりも小さければ消失点に向かっていると判断しレーンマーク候補として残す。所定の閾値を設けることで、抽出されるエッジ点の角度は幅を持つことになり、ノイズによる角度ずれの影響を軽減する効果がある。次に、もともと消失点に近いエッジ点はθに関係なく除去する。消失点に近いエッジ点は、実空間上では遠くの離れた物体のエッジ点であることから、レーンマークは、画面上の消失点近辺において非常に小さく投影されることになる。その結果、消失点近辺ではレーンマークのエッジ点はわずかとなり、ノイズとなるレーンマーク以外のエッジ点の比率が高くなる。
【0029】
消失点の近傍であるかどうかを判定する手段としては、単純に画面上での消失点とエッジ点との距離を計算して判断する方法がある。すなわち、消失点を中心とした半径が一定の円もしくは楕円内にあるエッジ点をすべて除去する。また、計算コストを考慮して、y座標の差から判断する方法もある。こちらの方法は、消失点のy座標とエッジ点のy座標の差を求め、ある一定のしきい値以下であれば近傍と判断し除去する。道路平面上にあるレーンマークは画面上のy座標位置によってカメラからの俯角が得られるため、カメラの設置高と合わせて実際の距離が求まる。このことがy座標のみを用いる理由である。
【0030】
消失点近傍のエッジ点はあらかじめ除去することで、ノイズを軽減する効果がある。以上述べたエッジ点の選別によって、消失点から離れた手前側のエッジ点のうち、消失点に向かっているエッジ点のみが選出されることになる。図4は、白線1および道路鋲2において、消失点が右上にある場合のエッジ点選出結果である。白線1のエッジ点4はほぼそのまま残るが、道路鋲2のエッジ点4はほとんどのエッジ点が除外されている。ただし、白線1と同様の方向成分を持つ左端と右端のエッジ点は残るため、以降の処理で白線と同様の処理が可能となる。この選別処理によってレーンマーク以外のノイズとなるエッジ点のうち大部分は除去されるが、レーンマークに平行なエッジ点は残るため、ステップS4以降の解析で判定する。また、消失点の位置は一定ではなく、自車のレーンに対する傾き等で変化することから毎回計算しなければならないが、本ステップでは前フレームで求まった消失点位置を使用する。これは消失点の位置が短時間で極端に変わらない性質を利用している。開始時には、あらかじめカメラの設置位置からデフォルトの消失点位置を決めておきその値を使用する。消失点の求め方についてはステップS6で説明する。
【0031】
ステップS4では、ステップS3で抽出されたエッジ点の角度情報から自車両の左右のレーンマークの角度を推定する。解析のために、本実施例ではエッジ角度ヒストグラムを利用する。すなわち、エッジを構成するすべての画素について、角度毎のヒストグラムを作成する。このエッジ角度ヒストグラムでは、ある方向のエッジ角度の画素が多いと、これがピークとして現れる。たとえば、画像中に1本の真っ直ぐな白線のみが存在すると仮定した場合、ある特定のエッジ角度についてピークが現れる。そこで、図5(b)のようにヒストグラムを作成してピークを形成する角度の中から、左右のレーンマークの角度θl とθr を推定する。図5(a)(b)の例では、180度のずれは無視し、180度以上の角度は180度引いた値でヒストグラムを作成している。これは、白線1や道路鋲2は、図4(a)(b)のように左端と右端にほぼ180度違いのエッジがセットで現れるため、これらを合わせ込むことでよりピークを出しやすくする効果がある。ただし実際にはノイズ成分がピークを形成することも多く、これと区別するために、レーンの幅情報を利用して推定を行う。レーンの幅はほぼ一定であるため、左右のレーンマークの角度θl とθr の組み合わせを限定できる。図5(a)の例のように車線数が多い場合は、隣のレーンマークの角度θnlやθnrを利用することで、θl とθr を推定することも可能である。この場合もレーン幅がほぼ一定であることを利用している。
【0032】
ステップS5では、θl とθr の角度を持つエッジ点の分布から、左右レーンマークの直線を推定する。ここで、カーブなどでレーンマークが曲がっていることも考えられるが、この曲がりによる影響はほぼ無視することができる。これは、ステップS3で消失点近辺のエッジ点をすべて除外して、自車両に近い手前のレーンマークのエッジ点のみを用いることによって、カーブであっても部分的には直線近似が可能であるという性質が利用可能となるためである。レーンマークの直線推定にはハフ変換を使用する。ハフ変換とは、いくつかの点の配置から最も多くの点を通る直線を導き出す手法であり、画像処理では一般的な手法のため説明は割愛する。以下図6を用いてレーンマークの直線推定までの説明を行う。
【0033】
図6は自車両の左側の白線の例を示している。白線には左右の両端でエッジが出てくるため、左端のエッジ点と右端のエッジ点に分けてハフ変換を行う。ステップS4で求まった左の白線の角度がθl とすると、右端のエッジ点の方向角はθl 、左端のエッジ点の方向角は反対向きなのでθl+180 と推定できる。そこで、θl に近い角度を持つエッジ点の分布からハフ変換を行い、求まった直線を白線の右端の線62とする。同様に、θl+180 に近い角度を持つエッジ点の分布からハフ変換を行い、求まった直線を白線の左端の線61とする。このようにして求まった2本の直線から、中心線63を求め、左の白線とする。以上、白線で説明したがこれは道路鋲の場合でも同様である。また直線推定に用いたハフ変換は、最小二乗近似法などでも代用できる。
【0034】
ステップS6では消失点を算出する。消失点はステップS5で算出された左右のレーンマークの直線同士の交点として算出できる。一般に、消失点はカーブなどでレーンマークが曲がっている場合は、消失点は曲がっている方向になる。しかし、本実施例では遠方のエッジ点は無視しているため、手前のレーンマークを直線近似した交点を消失点としている。このようにして得られる消失点は、カーブによる変動が少ないことから変動範囲を限定することができ、消失点位置の予測解析が行いやすい。
【0035】
ステップS7では、認識結果を出力する。出力する情報はレーンに対する自車両の位置ずれ量Sとする(図7)。位置ずれ量Sは、自車両71がレーンの中央を走行している場合は0(図7(a))、右側のレーンマーク上にいる場合は1(図7(b))、左側のレーンマーク上にいる場合は−1(図7(c))とし、−1から1の間をとる。Sは、図8中の直線近似線81の2本の角度から式(1)で求められる。
【0036】
【数1】
【0037】
ここで、
【0038】
【数2】
【0039】
以上述べた各ステップの工程を図示したものが図9である。図9を用いて、本レーンマーク認識方法の処理を再度説明する。まず、図9(a)は、カメラから得られた画像から、ステップS2でエッジ点を抽出した結果を示している。図9では、各エッジ点の方向が分かりやすいように線分でエッジ点を示している。図9(b)は、ステップS3の途中段階で、前フレームで算出された消失点10の近辺領域91に含まれるエッジ点をすべて除去したものである。図9(c)では、さらに、消失点10に向かっていないエッジ点を除去している。図9(d)は、ステップS4で、角度のヒストグラムを解析し、出現頻度の高い角度でかつ、レーン幅条件を満たしている角度のエッジのみを抽出したものである。この例では、となりのレーンマークの角度となるθnlやθnrまで残しているが、θl とθr のみでもかまわない。図9(e)は、角度毎にハフ変換を行い直線近似線81を求めたものである。消失点10は直線近似線81の交点に更新される。図9で説明したように、本レーン認識方式では、白線と道路鋲を特に区別することなく認識処理を行っているため、白線と道路鋲が混在した路線に有効である。ただし、白線であっても道路鋲であってもレーンマークのエッジ点が検出できることが大前提であるため、道路鋲でも輝度差が出るように画像を取得し、エッジの検出閾値を十分下げることが重要である。
【0040】
最後に、エッジの検出手法について説明する。エッジの位置のみの検出手法については様々な方法があるが、エッジの方向成分まで含めて算出する方法としては、ソーベルフィルタによる方法や、二次元ゼロクロス法等が挙げられる。本実施例では、3×3のソーベルフィルタによる方法について説明する。
【0041】
3×3のソーベルフィルタでは、ある注目画素を中心とした上下左右の9つの画素値に対して、図11に示すような係数をそれぞれ乗算し、結果を合計することでエッジの強度を算出する。垂直方向,水平方向の二つの係数行列を用いてこの処理を行う。
【0042】
垂直方向の合計値をGx 、水平方向の合計値をGy とすると、注目画素の画素値Gは式(3)のようになる。
【0043】
【数3】
【0044】
この画素値Gはエッジの強度を表し、大きいほどその地点の近傍で輝度差が大きいことを示す。このGの値があらかじめ設定したエッジ抽出閾値よりも大きければ、その部分の画素はエッジ点として抽出することになる。白線1の場合は一般に路面3との輝度差が大きいため、エッジ抽出閾値を適当に設定しておいても問題ない。しかし道路鋲2の場合、路面3との輝度差が小さいことが多い。抽出漏れを防ぐため、エッジ抽出閾値は十分に下げておくことが必要である。
【0045】
エッジの角度θは、エッジ強度の各方向成分Gx とGy から、下記の式(4)で求まる。
【0046】
【数4】
【0047】
前述したように、角度θは画面上でのエッジの方向を表し、0度以上360度未満の値をとる。エッジの方向は、輝度の高い方向に対して90度左にずらした方向である。
【0048】
最後に、認識率を向上させるために入力画像に施す前処理の説明を行う。画像を入力する手段であるカメラは、周囲が見えやすいようにできるだけ高い位置に設置するのが望ましい。しかし車高の低い車等で、高い位置に設置できない場合も考えられる。この場合、カメラの設置高が低くなるため、図12(a)のように画面上の走行レーンの左右のレーンマークのエッジ成分121同士がなす角度は広がって、レーンマークのエッジ成分121は水平に近い状態になる。このとき、隣のレーンマークやガードレール、さらに隣のレーンを走行する他車両等のノイズのエッジ成分122のエッジ点も同時に水平に近づくため、これらノイズのエッジ成分122のエッジ角度とレーンマークのエッジ成分121のエッジ角度の差が出にくくなる。この状態では、本願発明のレーンマーク認識方法によると、エッジ点の角度情報を用いたノイズの除去が難しくなり認識率が低下する可能性がある。
【0049】
そこで、このような場合に認識率を向上させるための手段として、入力画像の縦横の比率を変更する前処理を行う。具体的には、入力画像を横方向に圧縮するか縦方向に伸張するなどして、図12(b)のように元の入力画像よりも縦横比が縦長となる画像を生成する。この処理はアフィン変換で実現できる。この処理によってレーンマークのエッジ成分121のエッジ角度と、それ以外のノイズのエッジ成分122のエッジ角度との差は大きくなる。
【0050】
このため、エッジ点の角度情報を用いたノイズの除去精度が向上し、本願発明のレーンマーク認識方法における認識率の向上に繋がる。また、前記前処理と同様の効果を狙うため、光学系、すなわちカメラのレンズやCCD等の受光部の形状を変更することによってあらかじめ縦長の画像を得るようにしても良い。
【0051】
【発明の効果】
本願発明のレーンマーク認識方法では、白線だけではなく道路鋲で構成されたレーンマークであってもレーンマーク位置にエッジがあれば検出可能となるため、レーンマークの種別で区別することなく安定して認識可能なアルゴリズムを提供できる。
【図面の簡単な説明】
【図1】本実施例に係わるレーンマーク認識方法の処理フローを示した図である。
【図2】本実施例の画像入力工程で得られたレーンマークを含む車両前方を示した図である。
【図3】本実施例に係わるレーンマーク認識方法のレーンマークのエッジ点の方向を示した図である。
【図4】本実施例に係わるレーンマーク認識方法における右上に消失点があるとした場合の消失点に向かっているエッジ点の説明図である。
【図5】本実施例に係わるレーンマーク認識方法のエッジ角度ヒストグラムを説明する図である。
【図6】本実施例に係わるレーンマーク認識方法の直線推定を説明する図である。
【図7】本実施例に係わるレーンマーク認識方法における自車両のレーンに対するずれ量Sを説明する図である。
【図8】本実施例に係わるレーンマーク認識方法における自車両のレーンに対するずれ量Sを求める方法を説明する図である。
【図9】本実施例に係わるレーンマーク認識方法の処理フローの過程を示した図である。
【図10】本実施例に係わるレーンマーク認識方法を用いたシステム構成ブロック図である。
【図11】エッジ位置を検出する一手法である3×3ソーベルフィルタ方法の係数行列を示した図である。
【図12】本実施例に係わるレーンマーク認識方法における入力画像に対する前処理を説明する図である。
【符号の説明】
1…白線、2…道路鋲、3…路面、4…エッジ点、5…エッジ点の方向、10…消失点、61…白線の左端、62…白線の右端、63…白線の中心線、71…自車両、81…直線近似線、91…近辺領域、101…レーン認識部、102…レーンキープ制御部、103…レーンキープ実行部、104…カメラ、105…画像処理手段、106…ステアリングアクチュエータ、107…レーン逸脱警報、121…レーンマークのエッジ成分、122…ノイズのエッジ成分。
Claims (7)
- レーンマークを含む画像を入力する画像入力工程と、
前記画像入力工程で入力された入力画像における輝度変化部分であるエッジ点を抽出し、抽出された各エッジ点の方向を表す角度を算出するエッジ抽出工程と、
該エッジ抽出工程で抽出した前記エッジ点のうち、前記エッジ点の角度が所定の角度もしくは所定の角度範囲内であるものを抽出してレーンマークの位置推定を行うレーンマーク位置推定工程とを備え、
前記レーンマーク位置推定工程の抽出するエッジ点の所定の角度もしくは所定の角度範囲は、前記エッジ点と消失点とを結ぶ直線の角度もしくは該直線の角度から180度ずらした範囲のものであることを特徴とするレーンマーク認識方法。 - 請求項1記載のレーンマーク認識方法において、
前記レーンマーク位置推定工程において抽出するエッジ点の所定の角度もしくは所定の角度範囲は、各エッジ点の位置に応じて変化するレーンマーク認識方法。 - 請求項1記載のレーンマーク認識方法において、
前記レーンマーク位置推定工程は、前記消失点から所定の範囲内にあるエッジ点を除外するレーンマーク認識方法。 - 請求項1記載のレーンマーク認識方法において、
前記レーンマーク位置推定工程は、前記消失点に向いている角度を持つエッジ点から角度別のヒストグラムを作成し、出現頻度が所定値以上の角度をもつエッジ点からレーンマークを推定するレーンマーク認識方法。 - 請求項3記載のレーンマーク認識方法において、
前記レーンマーク位置推定工程は、前記消失点から所定の範囲外にあるエッジ点のうち、前記消失点に向いている角度を持つエッジ点から角度別のヒストグラムを作成し、出現頻度が所定値以上の角度をもつエッジ点からレーンマークを推定するレーンマーク認識方法。 - 請求項4または請求項5記載のレーンマーク認識方法において、
前記レーンマーク位置推定工程は、前記ヒストグラムから得られた頻度の高い角度のうち、レーン幅から左右のレーンマークの角度を限定するレーンマーク認識方法。 - 請求項6記載のレーンマーク認識方法において、
前記レーンマーク位置推定工程は、前記レーンマークの角度をもつエッジ点の分布からレーンマーク位置を直線推定するレーンマーク認識方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002173569A JP4016735B2 (ja) | 2001-11-30 | 2002-06-14 | レーンマーク認識方法 |
| US10/305,251 US7362883B2 (en) | 2001-11-30 | 2002-11-27 | Lane marker recognition method |
| EP02026837A EP1320072A3 (en) | 2001-11-30 | 2002-11-29 | Lane marker recognition method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001365493 | 2001-11-30 | ||
| JP2001-365493 | 2001-11-30 | ||
| JP2002173569A JP4016735B2 (ja) | 2001-11-30 | 2002-06-14 | レーンマーク認識方法 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007153471A Division JP4671991B2 (ja) | 2001-11-30 | 2007-06-11 | レーンマーク認識装置 |
| JP2007153470A Division JP2007293892A (ja) | 2001-11-30 | 2007-06-11 | レーンマーク認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003228711A JP2003228711A (ja) | 2003-08-15 |
| JP4016735B2 true JP4016735B2 (ja) | 2007-12-05 |
Family
ID=26624776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002173569A Expired - Lifetime JP4016735B2 (ja) | 2001-11-30 | 2002-06-14 | レーンマーク認識方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7362883B2 (ja) |
| EP (1) | EP1320072A3 (ja) |
| JP (1) | JP4016735B2 (ja) |
Families Citing this family (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| ES2391556T3 (es) | 2002-05-03 | 2012-11-27 | Donnelly Corporation | Sistema de detección de objetos para vehículo |
| JP3956926B2 (ja) * | 2003-09-24 | 2007-08-08 | アイシン精機株式会社 | 路面走行レーン検出装置 |
| JP3864945B2 (ja) * | 2003-09-24 | 2007-01-10 | アイシン精機株式会社 | 路面走行レーン検出装置 |
| JP4107587B2 (ja) * | 2003-12-17 | 2008-06-25 | 三菱電機株式会社 | 車線認識画像処理装置 |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| JP4089911B2 (ja) * | 2005-02-23 | 2008-05-28 | 三菱電機株式会社 | 画像入力装置 |
| JP4637618B2 (ja) * | 2005-03-18 | 2011-02-23 | 株式会社ホンダエレシス | 車線認識装置 |
| JP4616046B2 (ja) * | 2005-03-22 | 2011-01-19 | 本田技研工業株式会社 | 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両 |
| JP4539415B2 (ja) * | 2005-04-15 | 2010-09-08 | 株式会社デンソー | 画像処理装置 |
| JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
| JP4616068B2 (ja) * | 2005-04-28 | 2011-01-19 | 本田技研工業株式会社 | 車両、画像処理システム、画像処理方法及び画像処理プログラム |
| JP4603421B2 (ja) | 2005-05-27 | 2010-12-22 | 本田技研工業株式会社 | 車両、画像処理システム、画像処理方法、及び画像処理プログラム |
| JP2006350641A (ja) * | 2005-06-15 | 2006-12-28 | Toyota Motor Corp | 平行線検出方法、平行線検出装置 |
| AT502320B1 (de) * | 2005-07-04 | 2007-07-15 | Advanced Comp Vision Gmbh Acv | Verfahren zur fahrspurerkennung |
| KR100666276B1 (ko) | 2005-07-13 | 2007-01-10 | 현대자동차주식회사 | 소실점을 이용한 자동차의 차선이탈 경보방법 |
| JP4185077B2 (ja) * | 2005-07-15 | 2008-11-19 | 本田技研工業株式会社 | 車両、画像処理システム、画像処理方法、及び画像処理プログラム |
| JP4731276B2 (ja) * | 2005-10-20 | 2011-07-20 | 池上通信機株式会社 | 速度計測装置、方法及びプログラム |
| JP4584120B2 (ja) * | 2005-11-21 | 2010-11-17 | トヨタ自動車株式会社 | 道路区画線検出装置、道路区画線の検出方法、道路区画線の検出プログラム |
| JP4731295B2 (ja) * | 2005-11-29 | 2011-07-20 | 池上通信機株式会社 | 速度計測装置、方法及びプログラム |
| JP4572826B2 (ja) * | 2005-12-06 | 2010-11-04 | トヨタ自動車株式会社 | 道路区画線検出装置 |
| WO2007077682A1 (ja) * | 2005-12-28 | 2007-07-12 | Honda Motor Co., Ltd. | 車両及びレーンマーク検出装置 |
| JP4248558B2 (ja) * | 2006-03-24 | 2009-04-02 | トヨタ自動車株式会社 | 道路区画線検出装置 |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| JP4813304B2 (ja) * | 2006-09-19 | 2011-11-09 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4222411B2 (ja) | 2006-11-08 | 2009-02-12 | 日本電気株式会社 | 消失点検出システム、消失点検出方法および消失点検出用プログラム |
| KR100819047B1 (ko) * | 2006-11-27 | 2008-04-02 | 한국전자통신연구원 | 교차로 중심선 예측 장치 및 방법 |
| JP2008168811A (ja) * | 2007-01-12 | 2008-07-24 | Honda Motor Co Ltd | 車線認識装置、車両、車線認識方法、及び車線認識プログラム |
| WO2008091565A1 (en) * | 2007-01-23 | 2008-07-31 | Valeo Schalter & Sensoren Gmbh | Method and system for universal lane boundary detection |
| JP4506790B2 (ja) * | 2007-07-05 | 2010-07-21 | アイシン・エィ・ダブリュ株式会社 | 道路情報生成装置、道路情報生成方法および道路情報生成プログラム |
| US8131098B2 (en) * | 2007-07-06 | 2012-03-06 | Panasonic Corporation | Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit |
| JP4937030B2 (ja) * | 2007-07-24 | 2012-05-23 | ルネサスエレクトロニクス株式会社 | 車両用画像処理装置 |
| US20090037039A1 (en) * | 2007-08-01 | 2009-02-05 | General Electric Company | Method for locomotive navigation and track identification using video |
| JP5012396B2 (ja) * | 2007-10-16 | 2012-08-29 | 日産自動車株式会社 | 白線検出装置、駐停車支援装置および白線検出方法 |
| JP4856656B2 (ja) * | 2008-01-22 | 2012-01-18 | 富士重工業株式会社 | 車両検出装置 |
| JP5014237B2 (ja) * | 2008-04-23 | 2012-08-29 | 本田技研工業株式会社 | レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム |
| US8099213B2 (en) * | 2008-07-18 | 2012-01-17 | GM Global Technology Operations LLC | Road-edge detection |
| JP4849346B2 (ja) * | 2008-09-08 | 2012-01-11 | トヨタ自動車株式会社 | 路面区画マーク認識装置および車線逸脱防止装置 |
| JP5123812B2 (ja) * | 2008-10-10 | 2013-01-23 | 日立オートモティブシステムズ株式会社 | 道路標示認識システム |
| JP5195377B2 (ja) * | 2008-12-10 | 2013-05-08 | トヨタ自動車株式会社 | 車線境界導出装置 |
| CN101477692B (zh) * | 2009-02-13 | 2012-08-22 | 阿里巴巴集团控股有限公司 | 图像特征提取方法及装置 |
| US8284997B2 (en) * | 2009-03-11 | 2012-10-09 | Honeywell International Inc. | Vision-based vehicle navigation system and method |
| US8306269B2 (en) * | 2009-03-12 | 2012-11-06 | Honda Motor Co., Ltd. | Lane recognition device |
| DE102009003697A1 (de) * | 2009-03-30 | 2010-10-07 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Fahrspurerkennung |
| JP5363920B2 (ja) | 2009-08-31 | 2013-12-11 | 富士重工業株式会社 | 車両用白線認識装置 |
| JP5868586B2 (ja) * | 2009-11-04 | 2016-02-24 | ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー | ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置 |
| WO2011065399A1 (ja) | 2009-11-25 | 2011-06-03 | 日本電気株式会社 | 走路認識装置、車両、走路認識方法及び走路認識プログラム |
| JP5350297B2 (ja) * | 2010-03-17 | 2013-11-27 | クラリオン株式会社 | 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム |
| CN101916516B (zh) * | 2010-08-13 | 2012-07-11 | 深圳市豪恩汽车电子装备有限公司 | 一种车道偏移识别方法 |
| JP5276637B2 (ja) * | 2010-09-08 | 2013-08-28 | 富士重工業株式会社 | 車線推定装置 |
| JP5472137B2 (ja) * | 2011-01-24 | 2014-04-16 | 株式会社デンソー | 境界検出装置、および境界検出プログラム |
| JP5830876B2 (ja) * | 2011-02-18 | 2015-12-09 | 富士通株式会社 | 距離算出プログラム、距離算出方法及び距離算出装置 |
| KR101046677B1 (ko) * | 2011-03-15 | 2011-07-06 | 동국대학교 산학협력단 | 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프 |
| WO2012147187A1 (ja) * | 2011-04-27 | 2012-11-01 | トヨタ自動車株式会社 | 周辺車両検出装置 |
| US9751529B2 (en) * | 2011-06-09 | 2017-09-05 | GM Global Technology Operations LLC | Lane sensing through lane marker identification for lane centering/keeping |
| TWI438729B (zh) * | 2011-11-16 | 2014-05-21 | Ind Tech Res Inst | 車道偏移警示方法及系統 |
| CN103164851B (zh) * | 2011-12-09 | 2016-04-20 | 株式会社理光 | 道路分割物检测方法和装置 |
| US8755967B1 (en) | 2012-03-23 | 2014-06-17 | Google Inc. | Estimating road lane geometry using lane marker observations |
| US8750567B2 (en) * | 2012-04-09 | 2014-06-10 | GM Global Technology Operations LLC | Road structure detection and tracking |
| JP5887219B2 (ja) * | 2012-07-03 | 2016-03-16 | クラリオン株式会社 | 車線逸脱警報装置 |
| JP5878090B2 (ja) * | 2012-07-12 | 2016-03-08 | 本田技研工業株式会社 | 走行区分線検出装置 |
| CN103971081A (zh) * | 2013-01-25 | 2014-08-06 | 株式会社理光 | 多车道检测方法和系统 |
| CN104376297B (zh) * | 2013-08-12 | 2017-06-23 | 株式会社理光 | 道路上的线型指示标志的检测方法和装置 |
| US9747507B2 (en) * | 2013-12-19 | 2017-08-29 | Texas Instruments Incorporated | Ground plane detection |
| KR101962700B1 (ko) * | 2013-12-24 | 2019-03-28 | 주식회사 만도 | 디포그센서를 이용한 차선인식 시스템 및 방법 |
| JP6130325B2 (ja) * | 2014-04-24 | 2017-05-17 | 本田技研工業株式会社 | 道路環境認識装置 |
| EP3082063A1 (en) | 2015-04-17 | 2016-10-19 | Tata Consultancy Services Limited | Method and system for ground truth determination in lane departure warning |
| JP6358629B2 (ja) * | 2016-06-28 | 2018-07-18 | 三菱ロジスネクスト株式会社 | フォークリフト |
| US11367266B2 (en) | 2017-02-14 | 2022-06-21 | Nec Corporation | Image recognition system, image recognition method, and storage medium |
| US11089288B2 (en) * | 2017-09-11 | 2021-08-10 | Tusimple, Inc. | Corner point extraction system and method for image guided stereo camera optical axes alignment |
| US11158088B2 (en) | 2017-09-11 | 2021-10-26 | Tusimple, Inc. | Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment |
| US11273836B2 (en) * | 2017-12-18 | 2022-03-15 | Plusai, Inc. | Method and system for human-like driving lane planning in autonomous driving vehicles |
| US11130497B2 (en) | 2017-12-18 | 2021-09-28 | Plusai Limited | Method and system for ensemble vehicle control prediction in autonomous driving vehicles |
| US20190185012A1 (en) | 2017-12-18 | 2019-06-20 | PlusAI Corp | Method and system for personalized motion planning in autonomous driving vehicles |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4819169A (en) * | 1986-09-24 | 1989-04-04 | Nissan Motor Company, Limited | System and method for calculating movement direction and position of an unmanned vehicle |
| US5247587A (en) * | 1988-07-15 | 1993-09-21 | Honda Giken Kogyo Kabushiki Kaisha | Peak data extracting device and a rotary motion recurrence formula computing device |
| US4970653A (en) | 1989-04-06 | 1990-11-13 | General Motors Corporation | Vision method of detecting lane boundaries and obstacles |
| JP2844242B2 (ja) * | 1990-03-19 | 1999-01-06 | 本田技研工業株式会社 | 自動走行装置 |
| JP2754871B2 (ja) * | 1990-06-01 | 1998-05-20 | 日産自動車株式会社 | 走行路検出装置 |
| JPH04152406A (ja) | 1990-10-16 | 1992-05-26 | Toyota Motor Corp | ライン検出装置 |
| US5245422A (en) * | 1991-06-28 | 1993-09-14 | Zexel Corporation | System and method for automatically steering a vehicle within a lane in a road |
| JP2850608B2 (ja) | 1991-11-28 | 1999-01-27 | 日産自動車株式会社 | 車両用走行路検出装置 |
| US6002793A (en) | 1992-01-30 | 1999-12-14 | Cognex Corporation | Machine vision method and apparatus for finding an object orientation angle of a rectilinear object |
| JP2766118B2 (ja) | 1992-04-14 | 1998-06-18 | 松下電器産業株式会社 | 傾き検出方法 |
| US5987174A (en) * | 1995-04-26 | 1999-11-16 | Hitachi, Ltd. | Image processing apparatus for vehicles |
| JP3084208B2 (ja) * | 1995-05-18 | 2000-09-04 | 株式会社日立製作所 | 画像処理装置 |
| JP3556766B2 (ja) * | 1996-05-28 | 2004-08-25 | 松下電器産業株式会社 | 道路白線検出装置 |
| JP3993259B2 (ja) * | 1996-07-31 | 2007-10-17 | アイシン精機株式会社 | 画像処理装置 |
| EP0827127B1 (en) * | 1996-08-28 | 2006-10-04 | Matsushita Electric Industrial Co., Ltd. | Local positioning apparatus, and method therefor |
| JPH10208047A (ja) * | 1997-01-23 | 1998-08-07 | Nissan Motor Co Ltd | 車載用走行環境認識装置 |
| JP3760426B2 (ja) * | 1997-09-10 | 2006-03-29 | 矢崎総業株式会社 | 走行車線検出方法及びその装置 |
| JP3800785B2 (ja) * | 1998-01-06 | 2006-07-26 | スズキ株式会社 | 白線認識装置 |
| JP2986439B2 (ja) * | 1998-01-12 | 1999-12-06 | 松下電器産業株式会社 | 車両用画像処理装置 |
| US6577334B1 (en) * | 1998-02-18 | 2003-06-10 | Kabushikikaisha Equos Research | Vehicle control |
| JP3463858B2 (ja) * | 1998-08-27 | 2003-11-05 | 矢崎総業株式会社 | 周辺監視装置及び方法 |
| JP3377753B2 (ja) | 1998-08-28 | 2003-02-17 | 吉野石膏株式会社 | エッジ角度検出装置及びエッジ角度検出方法 |
| DE19906863A1 (de) * | 1999-02-18 | 2000-10-19 | Nokia Mobile Phones Ltd | Verfahren zur Navigation eines Objekts |
| JP2000259998A (ja) * | 1999-03-12 | 2000-09-22 | Yazaki Corp | 車両用後側方監視装置 |
| JP2001101415A (ja) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | 画像認識装置および画像処理装置 |
| JP2001134769A (ja) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | 対象物認識装置 |
| JP3733875B2 (ja) * | 2000-09-29 | 2006-01-11 | 日産自動車株式会社 | 道路白線認識装置 |
-
2002
- 2002-06-14 JP JP2002173569A patent/JP4016735B2/ja not_active Expired - Lifetime
- 2002-11-27 US US10/305,251 patent/US7362883B2/en not_active Expired - Lifetime
- 2002-11-29 EP EP02026837A patent/EP1320072A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP1320072A2 (en) | 2003-06-18 |
| US7362883B2 (en) | 2008-04-22 |
| US20030103650A1 (en) | 2003-06-05 |
| EP1320072A3 (en) | 2007-03-28 |
| JP2003228711A (ja) | 2003-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4016735B2 (ja) | レーンマーク認識方法 | |
| EP0827127B1 (en) | Local positioning apparatus, and method therefor | |
| CN110555361B (zh) | 车道分类的图像处理方法 | |
| JP3169483B2 (ja) | 道路環境認識装置 | |
| KR101864066B1 (ko) | 차선 인식 장치, 차선 이탈 판단 장치, 차선 인식 방법 및 차선 이탈 판단 방법 | |
| JP3780848B2 (ja) | 車両の走行路認識装置 | |
| CN105678285B (zh) | 一种自适应的道路鸟瞰图变换方法和道路车道检测方法 | |
| US9257043B2 (en) | Lane correction system, lane correction apparatus and method of correcting lane | |
| KR100975749B1 (ko) | 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법 | |
| KR101176693B1 (ko) | 거리센서를 이용한 차선인식 방법 및 그 시스템 | |
| JP2003296736A (ja) | 障害物検知装置及びその方法 | |
| JP2006268097A (ja) | 車載物体検出装置、および物体検出方法 | |
| KR20110001427A (ko) | 관심영역 추출에 의한 차선 고속검출 방법 | |
| JP2008242571A (ja) | 物体検出装置 | |
| JP3800785B2 (ja) | 白線認識装置 | |
| JP4671991B2 (ja) | レーンマーク認識装置 | |
| JP2002150302A (ja) | 路面認識装置 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP2007293892A (ja) | レーンマーク認識方法 | |
| JP3285575B2 (ja) | 道路領域抽出装置および方法 | |
| JPH08320998A (ja) | レーンマーカ検出装置 | |
| JPH07220194A (ja) | 道路環境認識装置 | |
| JPH09198512A (ja) | 車両認識装置 | |
| Khalifa et al. | Vision based road lane detection system for vehicles guidance | |
| JPH11232466A (ja) | 道路形状認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040512 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070205 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070410 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070611 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070910 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4016735 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |