[go: up one dir, main page]

JP2005236464A - 監視カメラ映像配信システム - Google Patents

監視カメラ映像配信システム Download PDF

Info

Publication number
JP2005236464A
JP2005236464A JP2004040802A JP2004040802A JP2005236464A JP 2005236464 A JP2005236464 A JP 2005236464A JP 2004040802 A JP2004040802 A JP 2004040802A JP 2004040802 A JP2004040802 A JP 2004040802A JP 2005236464 A JP2005236464 A JP 2005236464A
Authority
JP
Japan
Prior art keywords
video
image
moving body
distribution system
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004040802A
Other languages
English (en)
Other versions
JP4479267B2 (ja
Inventor
Yoichi Horii
洋一 堀井
Junichi Kimura
淳一 木村
Shigeki Nagaya
茂喜 長屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004040802A priority Critical patent/JP4479267B2/ja
Priority to US11/037,337 priority patent/US7447332B2/en
Publication of JP2005236464A publication Critical patent/JP2005236464A/ja
Application granted granted Critical
Publication of JP4479267B2 publication Critical patent/JP4479267B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

【課題】できるだけ最新の商品の映像を含みながら、来店者の姿を含まない映像の配信を可能にし、来店者の肖像権やプライバシーを保護しながら、来店状況が認識できる映像の配信を可能にし、さらに、映像視聴の範囲および視聴できるユーザをコントロールできる映像の配信を可能とする。
【解決手段】人物等の移動体とそれ以外の領域を分離する手段を有し、移動体が撮影される以前の静止物の画像にて移動体の領域を補填して静止物のみの映像を合成する手段を有することにより、できるだけ最新の商品の映像を含みながら、来店者の姿を含まない映像の配信が可能となる。又、暗号の解読鍵を有するユーザのみが画像処理前の移動体を含む映像が視聴できる手段を有することにより、来店者の肖像権やプライバシーを保護しながら、来店状況が認識できる映像の配信が可能となる。
【選択図】図1

Description

監視カメラで撮影された映像をネットワーク経由で配信するシステムに関する。
近年、http://www.asahi.com/housing/zasshi/TKY200308200179.html(非特許文献1)に記載されているように、防犯を目的として商店や街角に監視カメラが設置されるようになってきている。一方、ネットワークが整備されるようになってから、いわゆるWebカメラが随所に置かれるようになり、遠隔地から映像を視聴することが容易となってきた。特開2002−84529号公報(特許文献1)や特開平11−234653号公報(特許文献2)に見られるように、監視カメラの映像をネットワーク経由で配信するシステムが考案されている。一方、商店などの店内に設置された監視カメラの映像を、一般家庭などに配信できれば、消費者は所望の商品の有無を確認でき、来店や購買を促すきっかけとなり得る。しかしながら、誰でも視聴できるネットワークにおいて、来店者の姿を含む映像が配信されるのは、個人の肖像権やプライバシーの観点から好ましくない場合もあり、また来店者の陰になって商品が見えないといった問題がある。
特開2002−84529号公報
特開平11−234653号公報 瀬川茂子、"監視カメラの増殖進化と「不自由」 犯罪多発で導入進む電子の目"、[online]、(AERA:2003年8月4日号)、朝日新聞社、[2004年2月9日検索]、インターネット<URL:http://www.asahi.com/housing/zasshi/TKY200308200179.html> 苗村 健、原島 博、" Thermo-Key: Human Region Segmentation from Video Using Thermal Information "、Symposium on Real world information systemsプログラム集、2003年9月、P.29-32
すなわち、本発明の目的は、「できるだけ最新の商品の映像を含みながら、来店者の姿を含まない映像の配信(1)」を可能とする方法の提供である。一方、飲食店等の混雑具合を知らせたい場合、上記とは逆に来店者の有無がわかる映像を配信する必要がある。もう一つの本発明の目的は、「来店者の肖像権やプライバシーを保護しながら、来店状況が認識できる映像の配信(2)」を可能とする方法の提供である。さらに、本来の監視カメラ設置の目的である緊急事態に備え、場合によっては撮影された映像を、そのまま視聴したり、記録できることが必要である。もう一つの本発明の目的は、「映像視聴の範囲および視聴できるユーザをコントロールできる映像の配信(3)」を可能とする方法の提供である。
上記目的を達成するために、
(1)人物等の移動体とそれ以外の領域を分離する手段を有し、移動体が撮影される以前の静止物の画像にて移動体の領域を補填して静止物のみの映像を合成する手段を有することにより、できるだけ最新の商品の映像を含みながら、来店者の姿を含まない映像の配信が可能となる。
(2)また、人物等の移動体とそれ以外の領域を分離する手段を有し、移動体が撮影される以前の静止物の画像にて移動体の領域を補填して静止物のみの映像を合成する手段を有し、移動体領域に例えばモザイク処理といった画像処理を施す手段を有し、該静止物の画像と画像処理を施した移動体領域を合成する手段を有することにより、来店者の肖像権やプライバシーを保護しながら、来店状況が認識できる映像の配信が可能となる。
(3)さらに、人物等の移動体とそれ以外の領域を分離する手段を有し、移動体が撮影される以前の静止物の画像にて移動体の領域を補填して静止物のみの映像を合成する手段を有し、移動体領域に例えばモザイク処理といった画像処理を暗号鍵を用いて施す手段を有し、該静止物の画像と画像処理を施した移動体領域を合成する手段を有し、暗号の解読鍵を有するユーザのみが画像処理前の移動体を含む映像が視聴できる手段を有することにより、来店者の肖像権やプライバシーを保護しながら、来店状況が認識できる映像の配信が可能となる。
本発明により、
(1)商店などの店内に設置された監視カメラの映像を用いて、一般家庭などにおける消費者に所望の商品の有無を確認できる映像を配信でき、来店や購買を促すきっかけとすることが可能となる。
(2)また、飲食店などの店内に設置された監視カメラの映像を用いて、来店者の肖像権やプライバシーを保護しながら、一般家庭などにおける消費者に店の混雑状況を確認できる映像を配信でき、来店を促すきっかけとすることが可能となる。
(3)さらに、本来の監視カメラ設置の目的である緊急事態に備え、映像視聴の範囲および視聴できるユーザをコントロールでき、場合によっては撮影された映像を、そのまま視聴したり、記録することが可能となる。
以下、図を用いて本発明の実施例について述べる。ここでは、人物等の移動体とそれ以外の領域を分離し、移動体が撮影される以前の静止物の画像にて移動体の領域を補填して静止物のみの映像を合成し、できるだけ最新の商品の映像を含みながら、来店者の姿を含まない映像を配信する方法について述べる。
図1に本発明の一実施例の構成図を示す。110は監視カメラが設置されている店舗、120は監視カメラを監視室および一般家庭などの別の場所に配信する管理センタ、130は防犯目的に該監視カメラ画像をモニタリングする監視室、140は一般家庭などの映像配信先を示す。
店舗110において、監視カメラ111は、商品棚や来店客を含む店内の映像を撮影し、エンコード部112においてデジタル情報に符号化した後、管理センタ120に伝送する。ここで符号化とは、Motion JPEGやMPEGといった動画像をデジタル情報に保存、配信する方式である。
管理センタ120において、店舗から伝送された監視カメラ画像を分配器121において2系統に分配する。そのうちの1系統は映像配信サーバ(A)(122)内の記憶部123に蓄積される。もう一つの系統は移動物体除去画像生成部124に伝送され、人物などの移動物体を除去処理した画像が映像配信サーバ(B)(125)内の記憶部126に蓄積される。移動物体除去画像生成については、後述の図2、図3、図4、図5を用いて詳しく述べる。
監視室130において、管理センタ120の映像配信サーバ(A)(122)に蓄積された画像をデコード部131にて復号化し、監視モニタ132に表示する。監視室では、このように店舗の映像を撮影したままの状態での映像を視聴することができる。
一般家庭140において、映像配信サーバ(B)(125)に蓄積された画像を受信してデコード部141にて復号化し、モニタ142に表示する。ここでは、店舗に来店した客などの移動物体が除去処理された画像が表示され、例えば商品といった静止物のみが表示される。さらに143に示すように、一定時間経過後には、商品が移動されたり、追加されたり、取り除かれたりした映像も表示されるため、店舗に来店した客の肖像権などのプライバシーを保護しつつ、一般家庭のユーザは、ある程度の時間遅れを持って静止物の状態を確認できるので、所望の商品の有無を確認することができる。ここで、一般家庭とは、ネットワークに接続された環境であって、この他に、会社や喫茶店といった別のネットワークに接続された環境であってもよい。
次に、図2を用いて図1の移動物体除去画像生成部124について述べる。210はCPU、220はメモリ、230は画像入力部、240は画像出力部を示す。移動物体除去画像生成部の処理の流れについては、後述の図3にて詳しく述べる。
CPU210では、画像入力ルーチン211、静止物表示画像生成ルーチン212、画像出力ルーチン213といったプログラムがロードされている。画像入力ルーチン211では、図1の分配器から伝送された画像データを取り込み、メモリの入力画像バッファ222に格納する。静止物表示画像生成ルーチン212では、入力画像バッファ222から、静止物表示画像バッファ223および移動体マスクバッファ224を計算する。計算の詳細は後述の図4にて述べる。画像出力ルーチン213では、静止物表示画像バッファの画像データを、画像出力部240を介して図1の映像配信サーバ(B)に伝送する。
メモリ220には上述した入力画像バッファ222、静止物表示画像バッファ223、移動体マスクバッファ224の他に、フレームカウンタt(221)および静止物表示画像生成ルーチン212で用いるパラメータT, B0, B1(225)が格納される。入力画像バッファAr, Ag, Abはそれぞれ入力画像の水平方向の解像度、垂直方向の解像度、フレームバッファサイズ(T)の積のサイズの容量を有し、それぞれ赤、緑、青成分の0から255の整数値の値を持つ。一方、静止物表示画像バッファSr Sg, Sbはそれぞれ入力画像の水平方向の解像度および垂直方向の解像度の積のサイズの容量を有し、それぞれ赤、緑、青成分の0から255の整数値の値を持つ。また、移動体マスクバッファMは入力画像の水平方向の解像度および垂直方向の解像度の積のサイズの容量を有し、0.0から1.0の浮動小数点の値を持つ。
次に、図3を用いて、移動物体除去画像生成部の処理の流れについて述べる。250において、フレームカウンタtに0を代入し、静止物表示画像バッファの全ての画素(x, y)についてSr(x, y), Sg(x, y), Sb(x, y)に0を代入して初期化する。251において、全ての画素(x, y)について、入力画像の赤緑青成分をそれぞれAr(t, x, y),Ag(t, x, y), Ab(t, x, y)に格納する。252において、入力画像バッファAr, Ag, Abおよび静止物表示画像バッファSr, Sg, Sbから静止物表示画像バッファSr, Sg, Sbの更新および移動体マスクバッファMを計算する。詳細は図4にて述べる。253において静止物表示画像バッファSr, Sg, Sbを出力する。254において、フレームカウンタtにt+1をTで割った余りを代入する。255において、処理が中断されていなければ251の処理に戻り、そうでなければ終了する。
次に、図4を用いて、静止物表示画像生成ルーチンについて述べる。図4(a)261において、262から266までの処理を、全ての画素(x, y)について行う。262において、タイムカウンタt=0からt=T-1までの間のAr(t, x, y), Ag(t, x, y), Ab(t, x, y)の最大値をそれぞれ計算し、MAXr, MAXg, MAXbに格納する。また同様に最小値をそれぞれ計算し、MINr, MINg, MINbに格納する。263において、上記で得られた赤緑青成分の最大値と最小値の差を計算し、それぞれDIFr, DIFg, DIFbに格納する。264において、DIFr, DIFg, DIFbの最大値を計算し、輝度値変化量Bに格納する。265において、図4(b)のようなB0, B1にて定義される関数を用いて、Bを0.0から1.0に写像し、M(x, y)に格納する。B0、B1は、マスク値の輝度の調整を行うための値であり、2つの閾値を用いることにより、移動体の領域とそれ以外の領域の境界を滑らかに表示することが可能となる。例えばB0とB1の差が小さいほどマスク値Mのコントラスが強くなる。また、B0とB1の平均値が大きいほどマスク値Mが明るくなる。266において、静止物表示画像バッファSr, Sg, Sbを、現在入力された入力画像バッファAr, Ag, Abと直前に計算された静止物表示画像バッファSr, Sg, Sbの移動体マスク値Mによる加重平均により算出する。
図5の具体例を用いて、上記の静止物表示画像生成ルーチンについて述べる。図5(a)は、ある画素(x, y)の入力画像のAr(t, x, y)の時系列変化を示す。例えば271に見られるように短期間におこる大きな変化は、画素(x, y)を例えば人間のような移動体が通過した箇所である。また、272に見られるように別の値に変化した後、安定して同程度の値を取るといった変化は、例えば商品といった静止物が移動され、そのあと静止している場合である。これらいずれの場合も図4で述べたように、過去Tフレームの最大値と最小値の差DIFrは大きな値をとり、図5(b)に示すように、移動体マスク値M(x, y)も大きな値をとる。つまり、画素(x, y)を移動体が通過した場合、BおよびMは大きな値になり、入力画像Ar, Ag, Abより、直前に計算された静止物表示画像バッファSr, Sg, Sbが重み付けられることになる。(逆に移動体が通過していない場合、入力画像が優先される。)
この結果、画素(x, y)を移動体が通過した場合、図5(c)の273に見られるように、移動体が通過する直前のSr, Sg, Sb値が優先されるため、移動体は表示されない。また、274に見られるように静止物が移動された直後はあたかも静止物が移動されていないように表示されるが、275に見られるように一定時間経過後(すなわちTフレーム後)、物体が移動した後の結果が表示される。
従って、例えば人間のような移動体であっても、Tフレームの間、全く動かなければ表示されることになる。しかしながら、実際の店舗においてこのような状況は希有であり、必要に応じてTの値を調節することにより、実運用が可能となる。例えば、Tの値を大きくすれば、移動体と判断されずに一般家庭140のモニタに表示されるためにはより長い期間にわたって画素の輝度値の変化が所定の閾値以下にある必要があり、移動体がより検出されやすくなる(つまり、移動体が表示されにくくなる)。また微小の変化の許容量については、B0およびB1にて調整が可能である。例えば、微小の変化を無視してよい場合には、B0およびB1を高く設定すればよい。
さらに、図5(d)および(e)に示すように、本方式では日照変化などのゆっくりとした輝度変化に対応することが可能である。つまり、入力画像Ar, Ag, Abが、ゆっくりと変化する場合、静止物表示バッファSr, Sg, Sbが随時更新され、これらを元に新たな入力画像Ar, Ag, Abとの比較によって、移動体とそれ以外の領域を分離するため、環境の変化に対しても適用できる方式である。
以下、図を用いて本発明の別の実施例について述べる。ここでは、人物等の移動体とそれ以外の領域を分離し、移動体が撮影される以前の静止物の画像にて移動体の領域を補填して静止物のみの映像を合成し、移動体領域に例えばモザイク処理といった画像処理を施し、該静止物の画像と画像処理を施した移動体領域を合成し、来店者の肖像権やプライバシーを保護しながら、来店状況が認識できる映像を配信する方法について述べる。
図6に本発明の別の実施例の構成図を示す。310は監視カメラが設置されている店舗、320は監視カメラを監視室および一般家庭に配信する管理センタ、330は防犯目的に該監視カメラ画像をモニタリングする監視室、340は一般家庭を示す。
店舗310において、監視カメラ311は、商品棚や来店客を含む店内の映像を撮影し、エンコード部312においてデジタル情報に符号化した後、管理センタ320に伝送する。管理センタ320において、店舗から伝送された監視カメラ画像を分配器321において2系統に分配する。そのうちの1系統は映像配信サーバ(C)(322)内の記憶部323に蓄積する。もう一つの系統は移動物体除去画像生成部324に伝送され、人物などの移動物体を例えばモザイクやシルエットといった人物が特定できない処理を施した画像が映像配信サーバ(D)(325)内の記憶部326にそれぞれ蓄積される。監視室330において、管理センタ320の映像配信サーバ(C)(322)に蓄積された画像をデコード部331にて復号化し、監視モニタ332に表示する。
監視室では、このように店舗の映像を撮影したままの状態での映像を視聴することができる。一般家庭340において、映像配信サーバD(325)に蓄積された画像のうちの少なくとも一つを選択し、デコード部341にて復号化し、モニタ342に表示する。ここでは、店舗に来店した客などの移動物体がモザイクやシルエット処理された画像が表示される。さらに343に示すように、一定時間経過後、商品が移動されたり、追加されたり、取り除かれたりした映像も表示されるため、店舗に来店した客の肖像権などのプライバシーを保護しつつ、一般家庭のユーザは所望の商品の確認ができる。
図7に本実施例の流れ図を示す。実施例1で述べた図3の253の処理の代わりに、414, 415, 416の処理が施される。この他の411、 412、 413、 417、418(移動体が通過した部分の抽出)の処理は図3と同等のため説明を省略する。
414において、入力画像にモザイクやシルエットといった処理を施し、移動体画像バッファCr(x, y), Cg(x, y), Cb(x, y)に格納する。詳細は後述の図8にて述べる。ここで、移動体画像バッファCr, Cg, Cbとは、それぞれ入力画像の水平方向の解像度および垂直方向の解像度の積のサイズの容量を有し、それぞれ赤、緑、青成分の0から255の整数値の値を持つ。415において、移動体画像バッファCr, Cg, Cbと静止物表示画像バッファSr, Sg, Sbを用いて移動体マスクバッファMにより加重平均をとり、合成画像バッファKr, Kg, Kbに格納する。ここで、合成画像バッファKr, Kg, Kbとは、それぞれ入力画像の水平方向の解像度および垂直方向の解像度の積のサイズの容量を有し、それぞれ赤、緑、青成分の0から255の整数値の値を持つ。416において、合成画像バッファKr, Kg, Kbを出力する。
図8に移動体画像処理ルーチンの一例を示す。図8(a)はモザイク処理であり、図8(b)はシルエット処理を示す。
まず、図8(a)を用いてモザイク処理について述べる。431, 432において、画像を縦横step画素のブロックに分け、それぞれのブロックについて、以下の433から439の処理を行う。433において、Dr, Dg, Dbに0を代入する。434, 435において、ブロック内の全ての画素について、436の処理を行う。436において、Dr, Dg, Dbにそれぞれ入力画像バッファAr, Ag, Abを加算する。437, 438において、ブロック内の全ての画素について、439の処理を行う。439において、Dr, Dg, Dbをstepの二乗で割った値を移動体画像バッファCr, Cg, Cbに代入する。以上の処理により、入力画像から、縦横step画素のブロックの平均の赤緑青成分のモザイク画像を生成し、移動体画像バッファCr, Cg, Cbに格納できる。
次に、図8(b)を用いてシルエット処理について述べる。451において、全ての画素について、452の処理を行う。452において、CrおよびCgに0を、Cbに255を代入する。以上の処理により、移動体が青色のシルエットで表現される合成画像を生成することができる。ここで代入する値(Cr、Cg、Cb)を変えることにより、シルエットを所望の色で表現することができる。
以下、図を用いて本発明の別の実施例について述べる。ここでは、人物等の移動体とそれ以外の領域を分離し、移動体が撮影される以前の静止物の画像にて移動体の領域を補填して静止物のみの映像を合成し、移動体領域に例えばモザイク処理といった画像処理を暗号鍵を用いて施し、該静止物の画像と画像処理を施した移動体領域を合成し、暗号の解読鍵を有するユーザのみが画像処理前の移動体を含む映像が視聴できるようにする映像を配信する方法について述べる。
図9に本実施例の構成図を示す。510は店舗などの監視カメラが設置されている店舗等の場所、520は監視カメラ映像を配信する管理センタ、530は監視カメラ映像を視聴する場所を示す。
店舗510において、監視カメラ511は、商品棚や来店客を含む店内の映像を撮影し、エンコード部512においてデジタル情報に符号化した後、管理センタ520に伝送する。ここで符号化とはアナログの映像信号をMotion JPEGやMPEGといったデジタル情報への変換を指す。
管理センタ520において、エンコードされた映像は映像分離部521において2系統に分離される。映像分離については後述の図10にて述べる。1系統は直接マルチプレクサ524に入力され、別の1系統はスクランブル部523にてスクランブル(暗号化)された後、マルチプレクサ524に入力される。スクランブルには、管理センタからの鍵情報522である暗号鍵1および監視センタからの鍵情報533である暗号鍵2が用いられる。または、暗号鍵1か暗号鍵2のいずれかでもよい。マルチプレクサ524にて合成されたデータは、映像配信サーバ(E)(525)内の記憶部526に格納される。ここでスクランブルとは、モザイク処理などの解像度の低下、ビットレートの低下や空間周波数の低下(ローパスフィルタ処理)等の画質の低下が含まれる。
監視センタ530において、管理センタ520にて生成された映像データはデマルチプレクサ531にて2系統に分離される。1系統は直接映像合成部534に入力され、別の1系統はデスクランブル部532にてデスクランブル(解読)され、映像合成部534に入力される。デスクランブルには、管理センタからの鍵情報522である解読鍵1および監視センタからの鍵情報533である解読鍵2が用いられる。または、解読鍵1か解読鍵2のいずれかでもよい。映像合成部534において、2系統の映像を合成し、デコード部535にてアナログの映像信号に復号化し、監視モニタに表示する。ここで、暗号鍵と解読鍵が一致していない場合または解読鍵が存在しない場合、536に示すように人物などの領域はモザイクが施される等のスクランブルがかけられた状態で表示され、暗号鍵と解読鍵が一致する場合、537に示すように店舗510にて撮影された映像と同等の内容が表示される。
次に、図10を用いて映像分離部521について説明する。上述の通り、映像分離部では、エンコードされた映像情報を2系統に分離する。図10(a)は分離の一例である。601は監視カメラで撮影された分離前の映像である。602は人物などの領域を除いた部分のみが含まれる画像で、603は人物などの領域のみが含まれる画像であり、スクランブルの対象領域である。図10(b)は別の分離の例である。612および613はそれぞれ人物などの移動体が含まれない映像と人物などの移動体のマスク画像、614は入力画像そのものであり、スクランブルの対象となる。このように、合計3つ以上に分離してもよい。また、人物等のスクランブル領域の抽出には、実施例1で述べた手法の他に、例えばSymposium on Real world information systemsプログラム集(2003)29頁から32頁のThermo-Key: Human Region Segmentation from Video Using Thermal Information(非特許文献2)に記載されているように、距離センサを用いた手法や温度センサによる手法、複数のカメラを用いて3次元奥行きを推定する手法等を用いてもよい。さらに、人物の顔の領域を抽出する手法を用いて、人物の顔部分だけをスクランブル対象領域としてもよい。図10(c)に顔部分だけをスクランブル対象領域にした例を示す。621は監視カメラで撮影された分離前の映像である。622は人物の顔を除いた部分のみが含まれる画像で、623は人物の顔の領域のみが含まれる画像であり、スクランブルの対象領域である。624は暗号鍵と解読鍵が一致し、デスクランブルが施された場合の出力結果、625は暗号鍵と解読鍵が一致せず、スクランブル状態の出力結果を示す。
次に、図11を用いて暗号鍵と解読鍵の取り扱いについて述べる。
図11(a)は図9に示したように、管理センタおよび監視センタの2つの暗号鍵(701, 702)にてスクランブルされ、同様に管理センタおよび監視センタの2つの解読鍵(703, 704)にてデスクランブルされる方式である。この場合、2種類の鍵が存在しない限りデスクランブルされないため、最も安全性が高い。監視センタがデスクランブルを管理センタに要求する際に、管理センタは解読鍵1を発行する代わりに監視センタに課金してもよい。また、犯罪が発生した場合などの緊急事態でのみデスクランブルできるように、時間を制限して解読鍵1を発行してもよい。
図11(b)は管理センタの暗号鍵(711)と監視センタの解読鍵(712)を用いる例である。この場合、オフライン等により管理センタは監視センタに解読鍵を与える。この際、課金してもよい。また、暗号鍵を定期的に変更することにより、解読鍵の有効期限を規定でき、管理センタは監視センタに対し、対価に応じた解読許可を与えることができる。
図11(c)は管理センタの暗号鍵(721)および解読鍵(722)を用いる例である。デスクランブルする際は、常に管理センタからの許可が必要となる。例えば管理センタと監視カメラが設置されている店舗などの事業主体が同一、または近い関係の場合に、第3者に映像を配信する際に有効である。
図11(d)は監視センタの暗号鍵(731)および解読鍵(732)を用いる例である。管理センタは暗号化に関与しないため、監視センタと監視カメラが設置されている店舗などの事業主体が同一、または近い関係の場合に有効である。
さらに、図12を用いてスクランブルと符号化について述べる。図12(a)に再掲するように、図9の構成図では、管理センタにおいてエンコード部512にて符号化した後、分離し(512)し、スクランブル処理(523)を施し、合成(524)した。また、図12(b)に再掲するように、監視センタにおいては、分離(531)し、デスクランブル処理(532)を施し、合成(534)し、デコード部535にて復号化した。
この手法とは別に図12(c)および(d)に示した構成でもよい。すなわち、図12(c)に示すように配信側では、まず801においてアナログの映像信号を2系統に分離し、1つは802エンコード部においてデジタル情報に符号化する。もう一つは803においてエンコードする際にスクランブル情報を埋め込む。これらの2つのデジタル情報は804マルチプレクサにおいて合成される。また、図12(d)に示すように受信側では、まずデマルチプレクサ811にて分離し、一方をデコード部812にて復号化し、もう一方をスクランブルがかけられたデジタル情報をデコードするとともにデスクランブルする。これら2つの映像信号を映像合成部814にて合成する。
店舗等の監視カメラの映像を、被写体となる人物の肖像権およびプライバシーを保護しながら、一般家庭に配信できる。
本発明の実施例1の構成図を示す図である。 本発明の実施例1の移動物体除去画像生成部を示す図である。 本発明の実施例1の移動物体除去画像生成の流れ図を示す図である。 本発明の実施例1の静止物表示画像生成ルーチンの流れ図を示す図である。 本発明の実施例1のRGB値の時系列変化例を示す図である。 本発明の実施例2の構成図を示す図である。 本発明の実施例2の流れ図を示す図である。 本発明の実施例2の移動体画像処理ルーチンの流れ図を示す図である。 本発明の実施例3の構成図を示す図である。 本発明の実施例3の映像分離例を示す図である。 本発明の実施例3の映像分離例を示す図である。 本発明の実施例3の暗号鍵と解読鍵を示す図である。 本発明の実施例3の暗号鍵と解読鍵を示す図である。 本発明の実施例3のスクランブルと符号化を示す図である。
符号の説明
110:店舗、111:監視カメラ、112:エンコード部、120:管理センタ、121:分配器、122、125:映像配信サーバ、123、126:記憶部、124:移動物体除去画像生成部、130:監視室、131:デコード部、132:監視モニタ、140:一般家庭、141:デコード部、142、143:モニタ。

Claims (14)

  1. 映像を撮影する映像入力装置と、画像処理部と、ネットワークに接続され、画像処理を施された映像を配信する配信装置とを有する映像配信システムであって、
    前記画像処理部は、前記取得された映像を移動体の映像が入力された領域とそれ以外の領域とに分離し、前記移動体の領域の画像を該移動体が撮影される以前の静止物の画像にて補填した合成画像を生成し、該合成画像を前記配信装置に出力することを特徴とする映像配信システム。
  2. 前記画像処理部は、撮影された映像のそれぞれの画素の輝度の時系列変化が一定時間以上一定の範囲に収まらない箇所を移動体と判定することを特徴とする請求項1記載の映像配信システム。
  3. 前記画像処理部は、撮影された映像の人物の顔領域を検出して前記移動体と判定することを特徴とする請求項1記載の映像配信システム。
  4. 前記画像処理部は、距離センサを用いて判定された前記移動体の領域に基づいて前記合成画像を生成することを特徴とする請求項1記載の映像配信システム。
  5. 前記画像処理部は、複数のカメラを用いて奥行きを計測した結果を用いて判定された前記移動体の領域に基づいて、前記合成画像を生成することを特徴とする請求項1記載の映像配信システム。
  6. 前記画像処理部は、温度センサを用いた温度計測結果を用いて判定された前記移動体の領域に基づいて前記合成画像を生成することを特徴とする請求項1記載の映像配信システム。
  7. 映像を撮影する映像入力装置と、画像処理部と、ネットワークに接続され、画像処理を施された映像を配信する配信装置とを有する映像配信システムであって、
    前記画像処理部は、前記取得された映像を移動体の映像が入力された領域とそれ以外の領域とに分離し、前記移動体の領域の画像を該移動体の輪郭の画像にて補填して合成して合成画像を生成し、該合成画像を前記配信装置に出力することを特徴とする映像配信システム。
  8. 前記画像処理部は、前記移動体の輪郭の画像の内部を低解像度の画像とすることを特徴とする請求項7記載の映像配信システム。
  9. 前記画像処理部は、前記移動体の領域を暗号化して前記配信装置に出力することを特徴とする映像配信システム。
  10. 前記暗号化とはアナログ映像信号をデジタル信号に符号化する際にデジタル情報に埋め込むことを特徴とする請求項9記載の映像配信システム。
  11. 前記暗号化とは配信側と受信側が定めたコードから生成され、同コードから解読されることを特徴とする請求項9記載の映像配信システム。
  12. 前記暗号化とは配信側が定めたコードから生成され、同コードを受信側に告知したコードから解読されることを特徴とする請求項9記載の映像配信システム。
  13. 前記暗号化とは配信側が定めたコードから生成され、受信側に課金を要求すると共に同コードを受信側に告知し、該コードから解読されることを特徴とする請求項9記載の映像配信システム。
  14. 前記暗号化とは受信側が定めたコードから生成され、同コードから解読されることを特徴とする請求項9記載の映像配信システム。
JP2004040802A 2004-02-18 2004-02-18 監視カメラ映像配信システム Expired - Fee Related JP4479267B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004040802A JP4479267B2 (ja) 2004-02-18 2004-02-18 監視カメラ映像配信システム
US11/037,337 US7447332B2 (en) 2004-02-18 2005-01-19 Image distribution system of surveillance camera with privacy protection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004040802A JP4479267B2 (ja) 2004-02-18 2004-02-18 監視カメラ映像配信システム

Publications (2)

Publication Number Publication Date
JP2005236464A true JP2005236464A (ja) 2005-09-02
JP4479267B2 JP4479267B2 (ja) 2010-06-09

Family

ID=34836394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004040802A Expired - Fee Related JP4479267B2 (ja) 2004-02-18 2004-02-18 監視カメラ映像配信システム

Country Status (2)

Country Link
US (1) US7447332B2 (ja)
JP (1) JP4479267B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009038149A1 (ja) * 2007-09-20 2009-03-26 Nec Corporation 映像提供システム、および映像提供方法
JP2009194439A (ja) * 2008-02-12 2009-08-27 Canon Inc 撮像装置、画像処理装置、撮像装置の制御方法、画像処理方法、プログラム及び記憶媒体
JP2010165027A (ja) * 2009-01-13 2010-07-29 Mitsubishi Electric Corp 入退出管理装置
JP2010211655A (ja) * 2009-03-12 2010-09-24 Kosuke Miyazaki 施設の利用情報の案内方法、情報配信サーバ、画像送信装置、そのためのコンピュータプログラム及びその記録媒体
JP2011129096A (ja) * 2009-12-18 2011-06-30 Korea Electronics Telecommun 映像のプライバシーマスキング方法及び装置
KR101229016B1 (ko) 2012-11-01 2013-02-01 (주)리얼허브 동영상의 변동 화소 영역 암호화 장치 및 방법
JP2014505627A (ja) * 2011-01-13 2014-03-06 ザ・ボーイング・カンパニー 拡張コラボレーション・システム
WO2016002152A1 (ja) * 2014-06-30 2016-01-07 日本電気株式会社 個人情報に配慮した画像処理システム、画像処理方法及びプログラム記憶媒体
US9298969B2 (en) 2012-10-23 2016-03-29 Sony Corporation Information processing device and storage medium, for replacing a face image
WO2017072990A1 (ja) * 2015-10-30 2017-05-04 パナソニックIpマネジメント株式会社 施設撮像装置、施設画像収集装置、施設画像蓄積装置、施設画像出力制御装置、施設運営支援装置、ユーザ端末装置、および施設運営支援方法
JP2017084293A (ja) * 2015-10-30 2017-05-18 パナソニックIpマネジメント株式会社 施設運営支援装置、ユーザ端末装置、および施設運営支援方法
JP2017085511A (ja) * 2015-10-30 2017-05-18 パナソニックIpマネジメント株式会社 施設撮像装置、施設画像収集装置、施設画像蓄積装置、および施設画像出力制御装置
JP2017158080A (ja) * 2016-03-03 2017-09-07 沖電気工業株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2019149793A (ja) * 2015-01-15 2019-09-05 日本電気株式会社 情報出力装置、情報出力システム、情報出力方法及びプログラム
WO2020240772A1 (ja) * 2019-05-30 2020-12-03 株式会社Mory 映像記録装置、遠隔監視システム、遠隔監視方法、及びプログラム
JP2022175938A (ja) * 2021-05-14 2022-11-25 株式会社デンソーテン 画像処理装置、画像処理方法及び画像処理プログラム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006345533B2 (en) * 2006-05-31 2013-01-24 Thomson Licensing Multi-tracking of video objects
WO2008100537A2 (en) * 2007-02-12 2008-08-21 Sorensen Associates Inc. Still image shopping event monitoring and analysis system and method
US7920717B2 (en) 2007-02-20 2011-04-05 Microsoft Corporation Pixel extraction and replacement
US8146811B2 (en) * 2007-03-12 2012-04-03 Stoplift, Inc. Cart inspection for suspicious items
US8831299B2 (en) 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
DE102008007199A1 (de) * 2008-02-01 2009-08-06 Robert Bosch Gmbh Maskierungsmodul für ein Videoüberwachungssystem, Verfahren zur Maskierung von selektierten Objekten sowie Computerprogramm
JP2010136032A (ja) * 2008-12-04 2010-06-17 Hitachi Ltd 映像監視システム
US9047531B2 (en) 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US8628016B2 (en) 2011-06-17 2014-01-14 Hand Held Products, Inc. Terminal operative for storing frame of image data
US9595298B2 (en) * 2012-07-18 2017-03-14 Microsoft Technology Licensing, Llc Transforming data to create layouts
KR101964229B1 (ko) 2013-07-26 2019-04-01 한화테크윈 주식회사 감시 서버, 감시 서버의 데이터 처리 방법, 및 감시 시스템
EP2889839A1 (en) * 2013-12-27 2015-07-01 Patents Factory Ltd. Sp. z o.o. System and method for movement detection in images sequence
JP6573148B2 (ja) 2015-02-19 2019-09-11 パナソニック株式会社 物品配送システムおよび画像処理方法
CN105049911B (zh) * 2015-07-10 2017-12-29 西安理工大学 一种基于人脸识别的视频特效处理方法
US20180225831A1 (en) * 2015-08-07 2018-08-09 Nec Corporation Image processing device, image restoring device, and image processing method
US9881171B2 (en) 2015-11-16 2018-01-30 International Business Machines Corporation Privacy protecting sensing devices
US10997422B2 (en) 2016-01-29 2021-05-04 Nec Corporation Information processing apparatus, information processing method, and program
US11494579B2 (en) 2016-01-29 2022-11-08 Nec Corporation Information processing apparatus, information processing method, and program
US10555081B2 (en) 2016-05-27 2020-02-04 Intel Corporation Adaptive signal customization
US10380228B2 (en) 2017-02-10 2019-08-13 Microsoft Technology Licensing, Llc Output generation based on semantic expressions
JP6935247B2 (ja) * 2017-07-04 2021-09-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业(深圳)有限公司 摄像装置、影像处理系统及方法
EP3926938B1 (en) * 2020-06-15 2025-02-26 IQ Works Limited A system and a method for processing an image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09289637A (ja) * 1996-04-24 1997-11-04 Matsushita Electric Ind Co Ltd 画像記録装置
JPH1115982A (ja) * 1997-06-24 1999-01-22 Nippon Denki Denpa Kiki Eng Kk 移動物体検出方法
JP2001186507A (ja) * 1999-12-27 2001-07-06 Ntt Power & Building Facilities Inc 映像監視システム
JP2002032876A (ja) * 2000-07-13 2002-01-31 Fujitsu Ltd 火災検出装置
JP2002049912A (ja) * 2000-08-04 2002-02-15 Nri & Ncc Co Ltd 人物画像取得システム
JP2005117163A (ja) * 2003-10-03 2005-04-28 Canon Inc カメラサーバ装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US6249613B1 (en) * 1997-03-31 2001-06-19 Sharp Laboratories Of America, Inc. Mosaic generation and sprite-based coding with automatic foreground and background separation
JPH11234653A (ja) 1998-02-13 1999-08-27 Optex Co Ltd 映像監視システム
US6570608B1 (en) * 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
JP2002084529A (ja) 2000-09-07 2002-03-22 Ik System:Kk 遠隔監視システム
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
AUPR899401A0 (en) * 2001-11-21 2001-12-13 Cea Technologies Pty Limited Method and apparatus for non-motion detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09289637A (ja) * 1996-04-24 1997-11-04 Matsushita Electric Ind Co Ltd 画像記録装置
JPH1115982A (ja) * 1997-06-24 1999-01-22 Nippon Denki Denpa Kiki Eng Kk 移動物体検出方法
JP2001186507A (ja) * 1999-12-27 2001-07-06 Ntt Power & Building Facilities Inc 映像監視システム
JP2002032876A (ja) * 2000-07-13 2002-01-31 Fujitsu Ltd 火災検出装置
JP2002049912A (ja) * 2000-08-04 2002-02-15 Nri & Ncc Co Ltd 人物画像取得システム
JP2005117163A (ja) * 2003-10-03 2005-04-28 Canon Inc カメラサーバ装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009038149A1 (ja) * 2007-09-20 2009-03-26 Nec Corporation 映像提供システム、および映像提供方法
US8531514B2 (en) 2007-09-20 2013-09-10 Nec Corporation Image providing system and image providing method
JP2009194439A (ja) * 2008-02-12 2009-08-27 Canon Inc 撮像装置、画像処理装置、撮像装置の制御方法、画像処理方法、プログラム及び記憶媒体
JP2010165027A (ja) * 2009-01-13 2010-07-29 Mitsubishi Electric Corp 入退出管理装置
JP2010211655A (ja) * 2009-03-12 2010-09-24 Kosuke Miyazaki 施設の利用情報の案内方法、情報配信サーバ、画像送信装置、そのためのコンピュータプログラム及びその記録媒体
US8666110B2 (en) 2009-12-18 2014-03-04 Electronics And Telecommunications Research Institute Method and apparatus for masking privacy area of image
JP2011129096A (ja) * 2009-12-18 2011-06-30 Korea Electronics Telecommun 映像のプライバシーマスキング方法及び装置
JP2014505627A (ja) * 2011-01-13 2014-03-06 ザ・ボーイング・カンパニー 拡張コラボレーション・システム
US9298969B2 (en) 2012-10-23 2016-03-29 Sony Corporation Information processing device and storage medium, for replacing a face image
KR101229016B1 (ko) 2012-11-01 2013-02-01 (주)리얼허브 동영상의 변동 화소 영역 암호화 장치 및 방법
US10623664B2 (en) 2014-06-30 2020-04-14 Nec Corporation Image processing system, image processing method and program storage medium for protecting privacy
WO2016002152A1 (ja) * 2014-06-30 2016-01-07 日本電気株式会社 個人情報に配慮した画像処理システム、画像処理方法及びプログラム記憶媒体
JPWO2016002152A1 (ja) * 2014-06-30 2017-04-27 日本電気株式会社 個人情報に配慮した画像処理システム、画像処理方法及びプログラム記憶媒体
US12302030B2 (en) 2014-06-30 2025-05-13 Nec Corporation Image processing system, image processing method and program storage medium for protecting privacy
JP7517365B2 (ja) 2014-06-30 2024-07-17 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP2022118201A (ja) * 2014-06-30 2022-08-12 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
US11159745B2 (en) 2014-06-30 2021-10-26 Nec Corporation Image processing system, image processing method and program storage medium for protecting privacy
US10432877B2 (en) 2014-06-30 2019-10-01 Nec Corporation Image processing system, image processing method and program storage medium for protecting privacy
US11042667B2 (en) 2015-01-15 2021-06-22 Nec Corporation Information output device, camera, information output system, information output method, and program
JP2021002838A (ja) * 2015-01-15 2021-01-07 日本電気株式会社 情報処理装置、情報処理システム及び情報処理方法
JP2019149793A (ja) * 2015-01-15 2019-09-05 日本電気株式会社 情報出力装置、情報出力システム、情報出力方法及びプログラム
JP2021192524A (ja) * 2015-01-15 2021-12-16 日本電気株式会社 情報出力装置、情報出力システム、情報出力方法、プログラム及びカメラ
US11227061B2 (en) 2015-01-15 2022-01-18 Nec Corporation Information output device, camera, information output system, information output method, and program
US12463945B2 (en) 2015-01-15 2025-11-04 Nec Corporation Information output device, camera, information output system, information output method, and program
JP2017085511A (ja) * 2015-10-30 2017-05-18 パナソニックIpマネジメント株式会社 施設撮像装置、施設画像収集装置、施設画像蓄積装置、および施設画像出力制御装置
JP2017084293A (ja) * 2015-10-30 2017-05-18 パナソニックIpマネジメント株式会社 施設運営支援装置、ユーザ端末装置、および施設運営支援方法
WO2017072990A1 (ja) * 2015-10-30 2017-05-04 パナソニックIpマネジメント株式会社 施設撮像装置、施設画像収集装置、施設画像蓄積装置、施設画像出力制御装置、施設運営支援装置、ユーザ端末装置、および施設運営支援方法
JP2017158080A (ja) * 2016-03-03 2017-09-07 沖電気工業株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2020240772A1 (ja) * 2019-05-30 2020-12-03 株式会社Mory 映像記録装置、遠隔監視システム、遠隔監視方法、及びプログラム
JP2022175938A (ja) * 2021-05-14 2022-11-25 株式会社デンソーテン 画像処理装置、画像処理方法及び画像処理プログラム
JP7734510B2 (ja) 2021-05-14 2025-09-05 株式会社デンソーテン 画像処理装置、画像処理システム及び画像処理プログラム

Also Published As

Publication number Publication date
JP4479267B2 (ja) 2010-06-09
US20050180595A1 (en) 2005-08-18
US7447332B2 (en) 2008-11-04

Similar Documents

Publication Publication Date Title
JP4479267B2 (ja) 監視カメラ映像配信システム
JP6964647B2 (ja) オブジェクトのプライバシが保護されるイメージフレームのシーケンスをエンコーディング及びデコーディングする方法及びデバイス
CN102045543B (zh) 图像处理装置及图像处理方法
JP5088161B2 (ja) 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
JP4402998B2 (ja) マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置
Zhang et al. Kaleido: You can watch it but cannot record it
US9883146B2 (en) Communication system, communication apparatus and communication method
KR101460552B1 (ko) 프라이버시 영역의 마스킹 및 복원 방법
KR20170030422A (ko) 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
JPWO2017026356A1 (ja) 画像処理装置、画像処理方法およびプログラム
US8948384B2 (en) Image encrypting/decrypting system and method
KR102561306B1 (ko) 영상 처리 장치 및 방법
EP2910026A1 (en) Digital broadcast methods using secure meshes and wavelets
US10331862B2 (en) Viewport decryption
JP4112509B2 (ja) 画像暗号システム及び画像暗号方法
JP4825449B2 (ja) 映像配信システム
KR20080069318A (ko) 영역 영상을 처리하는 장치 및 그 제어방법
EP4238308B1 (en) Selective video modification
Gupta et al. Review On Various Techniques Of Video Steganography
WO2021175714A1 (en) Scrambling of regions of interest in an image to preserve privacy
KR100712162B1 (ko) 영상물의 검색이 가능하게 암호화하는 암호화 장치 및 그암호화 방법과 암호화된 영상물의 검색 방법
JP2006129178A (ja) 映像監視システム及びそれに用いる撮像装置
Kumaki et al. Hierarchical-Masked Image Filtering for Privacy-Protection
JP2005167602A (ja) 映像データ送信装置
Patel et al. Secure Multimedia Transmission in wireless sensor network

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees