[go: up one dir, main page]

JP2001137259A - 画像支援式作業対象処理装置 - Google Patents

画像支援式作業対象処理装置

Info

Publication number
JP2001137259A
JP2001137259A JP2000256781A JP2000256781A JP2001137259A JP 2001137259 A JP2001137259 A JP 2001137259A JP 2000256781 A JP2000256781 A JP 2000256781A JP 2000256781 A JP2000256781 A JP 2000256781A JP 2001137259 A JP2001137259 A JP 2001137259A
Authority
JP
Japan
Prior art keywords
image
display unit
work
work object
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000256781A
Other languages
English (en)
Inventor
Joachim Luber
ヨアヒム・ルーベル
Martin Pelzer
マルティン・ペルツァー
Michael Dr Kaschke
ミヒャエル・カシュケ
Arvids Mackevics
アルフィズ・マケフィクス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss SMT GmbH
Carl Zeiss AG
Original Assignee
Carl Zeiss SMT GmbH
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss SMT GmbH, Carl Zeiss AG filed Critical Carl Zeiss SMT GmbH
Publication of JP2001137259A publication Critical patent/JP2001137259A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/256User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

(57)【要約】 【課題】 改善された作業対象画像支援処理装置を提供
する。 【解決手段】 頭部運動が自由な状態において瞬間的作
業対象(3)および作業対象データユニット(7)の作
業対象データを同時に視覚的に把握できるよう表示ユニ
ット(5)を構成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、作業対象データユ
ニットと、作業対象データユニットの作業対象データを
表示する表示ユニットとを有し、画像支援のもとで作業
対象を処理する装置作業対象を画像支援で処理する装置
に関する。
【0002】
【従来の技術】この種の作業対象画像支援処理装置は米
国特許第5383454号(Bucholz)から公知
である。この公知の装置の場合、作業対象は、手術すべ
き患者であり、あらかじめ作成したその診断データ(例
えば、CT−データおよびMRI−データ)が作業対象
データユニットに記憶されている。作業対象の処理中、
すなわち、手術中、作業対象データとして、CT−断層
像またはMRI−断層像を、外科機器を象徴するマーク
と一緒にモニタ上に表示する。この場合、外科機器およ
び患者の相対位置を検知する検知ユニットによって、モ
ニタにおいて確認される断層像中のマークの位置は、外
科機器および患者の相対位置に対応する。
【0003】米国特許第4722056号(Rober
tsら)には、表示ユニットが手術顕微鏡である形式の
同種の画像支援外科学用装置が記載されている。手術顕
微鏡および患者の相対位置を検知する位置検知ユニット
にもとづき、上記手術顕微鏡の視界には、CT−断層像
のモニタ像を投影し、患者の瞬間的像に位置正しく重畳
させることができる。
【0004】本出願人のドイツ特許公開第196409
07号にも、当該のOP状態に適合する断層像を、あら
かじめ形成したナビゲーション計画データを補足して、
患者の瞬間像に重畳させることができる手術顕微鏡を有
する同種の画像支援外科学用装置が開示されている。
【0005】
【発明が解決しようとする課題】本発明の課題は、上述
の種類の改善された作業対象画像支援処理装置を提供す
ることにある。
【0006】
【課題を解決するための手段】本発明は、作業対象デー
タユニットと、作業対象データユニットの作業対象デー
タを表示する表示ユニットとを有し、画像支援のもとで
作業対象を処理する装置であり、表示ユニットが、頭部
運動が自由な状態において、瞬間的作業対象および作業
対象データユニットの作業対象データを同時に視覚的に
把握できるようにしたことを特徴とする。頭部運動が自
由な状態において、瞬間的作業対象および作業対象デー
タユニットの作業対象データを同時に視覚的に把握でき
る表示ユニットによって、作業対象の処理担当者は、そ
の頭部を本質的に自由に移動させることでき、しかも、
常に、作業対象データに含まれる情報の供給を受けるこ
とができる。
【0007】特に外科手術の適用例について、術前に且
つ術中に形成できる補足情報を手術創の実際の画像と重
畳させることによって、外科医は、手術精度を向上する
とともに、部分的にまたは完全に隠蔽された構造のこの
ように実現された補足の立体的表示によってより高度の
安全性を与える本質的な補足情報を得る。
【0008】すなわち、本発明の有利な実施態様の場
合、表示ユニットによって表示された作業対象データ
は、作業対象または患者の断層像または陰影像またはC
−アーク像(C-Bogen Bilder)を含む。
【0009】更に、表示ユニットによって表示された作
業対象データは、作業対象データから形成され作業対象
の瞬間的表面構造に対応する画像を含み、かくして、重
畳画像は、作業対象の平らでない表面に完全に適合させ
ることができる。
【0010】作業対象の処理を更に容易にするため、表
示ユニットによって表示された作業対象データは、作業
対象の部分構造の輪郭を含むことができる。この場合、
部分構造は、作業対象の瞬間的表面の下方にあってもよ
い。
【0011】表示ユニットによって表示された作業対象
データがカラーコーディングされていれば、コントラス
トを向上でき、補足情報をグラフ表示できる。
【0012】作業対象データを立体像として表示する表
示ユニットによって、作業対象データを自然の目視印象
と同様に表示できる。
【0013】表示ユニットは、頭部に支持されており、
すなわち、例えば、透視性の、いわゆる“ヘッド・マウ
ンテッド・ディスプレー”または偏向可能なレーザ光束
によって作業対象データを外科医の網膜に直接に描くユ
ニットである。この場合、更に、位置検知ユニットで作
業対象および頭部に支持された表示ユニットの相対位置
を検知すれば、作業対象データが、作業対象データの大
きさおよび位置に関して、頭部支持表示ユニットを介し
てまたは頭部支持表示ユニットに沿って見られる実際の
作業対象に適合されるよう、常に、外科医の距離および
注視方向に依存して作業対象データを形成できる。
【0014】しかも、表示ユニットに受像ユニットを配
することができる。この場合、表示ユニットは、受像ユ
ニットから供給された作業対象の瞬間画像を作業対象デ
ータとともに表示する。この有利な実施態様の場合、補
助手段によって、作業対象の瞬間画像と作業対象データ
を形成できる。かくして、しかも、作業対象の瞬間画像
も処理(例えば、拡大)できる。この場合、表示ユニッ
トは、例えば、適性な注視高さにまたは患者と術者との
間に設置されたモニタまたは平面画像スクリーンであ
る。
【0015】この実施態様の場合、作業対象と作業対象
データを位置的に正しく重畳させるために、位置検知ユ
ニットが受像ユニットおよび作業対象の相対位置を検知
することが必要である。
【0016】
【発明の実施の形態】添付の図面を参照して、以下に、
本発明の実施形態を説明する。図1に、作業対象が患者
3である外科手術を例として作業対象を画像支援で処理
する装置1を示した。この場合、患者関連データ、特
に、画像データが、作業対象データユニット7からデー
タ線路9を介して透視性のヘッド・マウンテッド・ディ
スプレー5として構成され外科医4に装着された表示ユ
ニットに供給される。表示ユニットによって表示された
作業対象データは、作業対象または患者の断層像または
陰影像またはC−アーク像(C-Bogen Bilder)を含む。
【0017】位置検知ユニット11は、患者3と表示ユ
ニット5の相対位置を検知する。適切な位置検知ユニッ
トは、上述の公報以外に、例えば、米国特許第5920
395号またはヨーロッパ特許第0501993号に開
示されている。
【0018】検知された位置情報は、データ線路13を
介して、患者の断層像,etc.の表示を上記相対位置
に適合させる作業対象データユニット7に供給される。
【0019】図2に、本発明に係る他の画像支援式外科
用装置101を示した。図1の要素に対応する装置10
1の要素には、図1の符号に100を加えた符号を付し
た。
【0020】装置101は、天井に支持した表示ユニッ
トとしての立体的平面画像スクリーン105および関節
動架台117に上記表示ユニットに関連させて設置した
カメラ115に関して、図1に示した装置とは異なる。
【0021】カメラ115によって撮影された患者10
3の画像は、データ線路113を介して作業対象データ
ユニットに伝送される。カメラ115および患者103
の相対位置および相対方向を求めるため、データ線路1
13を介して、更に、架台117のヒンジの角度情報を
患者103の画像とともに伝送する。これに適する架台
は、例えば、ヨーロッパ特許第0554711号に記載
されている。
【図面の簡単な説明】
【図1】 本発明の第1実施形態の略図である。
【図2】 第2実施形態の略図である。
【符号の説明】
1,101 装置 3,103 作業対象 5,105 表示ユニット 7,107 作業対象データユニット 9,109 データ線路 11,117 位置検知ユニット 13,113 データ線路 115 カメラ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ミヒャエル・カシュケ ドイツ連邦共和国・73447・オバーコヒェ ン・ヴィーゼンヴェク・20 (72)発明者 アルフィズ・マケフィクス ドイツ連邦共和国・73432・アーレン・ド イッチ−オルデン−シュトラーセ・55

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 作業対象データユニット(7;107)
    と、作業対象データユニット(7;107)の作業対象
    データを表示する表示ユニット(5;105)とを有
    し、画像支援のもとで作業対象(3;103)を処理す
    る装置(1;101)において、表示ユニット(5;1
    05)が、頭部運動が自由な状態において、瞬間的作業
    対象(3;103)および作業対象データユニット
    (7;107)の作業対象データを同時に視覚的に把握
    できることを特徴とする装置(1;101)。
  2. 【請求項2】 表示ユニット(5;105)によって表
    示された作業対象データが、作業対象(3;103)の
    断層像を含むことを特徴とする請求項1の装置(1;1
    01)。
  3. 【請求項3】 表示ユニット(5;105)によって表
    示された作業対象データが、作業対象(3;103)の
    陰影像を含むことを特徴とする請求項1または2の装置
    (1;101)。
  4. 【請求項4】 作業対象が、手術すべき患者(3;10
    3)であり、表示ユニット(5;105)によって表示
    された作業対象データが、C−アーク像を含むことを特
    徴とする請求項1−3のいずれかに記載の装置(1;1
    01)。
  5. 【請求項5】 表示ユニット(5;105)によって表
    示された作業対象データが、作業対象データから形成さ
    れ作業対象(3;103)の瞬間的表面形状に対応する
    画像を含むことを特徴とする請求項1−4のいずれかに
    記載の装置(1;101)。
  6. 【請求項6】 表示ユニット(5;105)によって表
    示された作業対象データが、作業対象(3;103)の
    部分構造の輪郭を含むことを特徴とする請求項1−5の
    いずれかに記載の装置(1;101)。
  7. 【請求項7】 表示ユニット(5;105)によって表
    示された作業対象データが、カラーコーディングされて
    いることを特徴とする請求項1−6のいずれかに記載の
    装置(1;101)。
  8. 【請求項8】 表示ユニット(5;105)が作業対象
    データを立体像として表示することを特徴とする請求項
    1−7のいずれかに記載の装置(1;101)。
  9. 【請求項9】 表示ユニット(5;105)が、頭部に
    支持されていることを特徴とする請求項1−8のいずれ
    かに記載の装置(1)。
  10. 【請求項10】 位置検知ユニット(11)が、作業対
    象(3)および頭部に支持された表示ユニット(5)の
    位置を検知することを特徴とする請求項9の装置
    (1)。
  11. 【請求項11】 表示ユニット(105)に、受像ユニ
    ット(115)が配してあり、表示ユニット(105)
    が、受像ユニット(115)から供給された作業対象
    (103)の瞬間画像を作業対象データとともに表示す
    ることを特徴とする請求項1−9のいずれかに記載の装
    置(101)。
  12. 【請求項12】 受像ユニット(115)から供給され
    た作業対象(103)の瞬間画像が立体的であり、表示
    ユニット(105)が作業対象(103)の瞬間画像を
    立体的に表示することを特徴とする請求項11の装置
    (101)。
  13. 【請求項13】 位置検知ユニット(11)が、受像ユ
    ニット(115)と作業対象(103)の相対位置を検
    知することを特徴とすることを特徴とする請求項10ま
    たは11の装置(101)。
JP2000256781A 1999-09-07 2000-08-28 画像支援式作業対象処理装置 Pending JP2001137259A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19942591.4 1999-09-07
DE19942591 1999-09-07

Publications (1)

Publication Number Publication Date
JP2001137259A true JP2001137259A (ja) 2001-05-22

Family

ID=7921042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000256781A Pending JP2001137259A (ja) 1999-09-07 2000-08-28 画像支援式作業対象処理装置

Country Status (3)

Country Link
US (1) US6430433B1 (ja)
JP (1) JP2001137259A (ja)
DE (1) DE10040498A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002102251A (ja) * 2000-07-12 2002-04-09 Siemens Ag 患者への医学的侵襲に関するデータを可視化するための可視化装置及び方法
JP2007061603A (ja) * 2005-07-15 2007-03-15 Depuy Products Inc 整形外科情報を外科医に提供するシステムおよび方法
US11055648B2 (en) 2006-05-25 2021-07-06 DePuy Synthes Products, Inc. Method and system for managing inventories of orthopaedic implants

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6900777B1 (en) * 2001-01-03 2005-05-31 Stryker Corporation Infrared audio/video interface for head-mounted display
DE10124485A1 (de) * 2001-05-19 2002-11-21 Leica Microsystems Mikroskop
US20030179249A1 (en) * 2002-02-12 2003-09-25 Frank Sauer User interface for three-dimensional data sets
DE102017216852A1 (de) 2017-09-22 2019-03-28 Carl Zeiss Meditec Ag Visualisierungssystem mit einer Beleuchtungsvorrichtung

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5880616A (ja) * 1981-11-09 1983-05-14 Mitsubishi Electric Corp ヘツドアツプデイスプレイ装置
JPS63240851A (ja) * 1987-03-30 1988-10-06 株式会社東芝 手術用3次元ビューアーシステム
JPH03284254A (ja) * 1990-03-30 1991-12-13 Shimadzu Corp 手術用ヘッドアップディスプレイ
WO1996020421A1 (de) * 1994-12-23 1996-07-04 Leica Ag Mikroskop, insbesondere stereomikroskop und verfahren zum überlagern zweier bilder
JPH08187246A (ja) * 1995-01-10 1996-07-23 Olympus Optical Co Ltd 体腔内手術用マニピュレータ装置
WO1997046168A1 (de) * 1996-06-03 1997-12-11 Leica Ag Positionsbestimmung eines beweglichen objektes
JPH11197159A (ja) * 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4737972A (en) * 1982-02-24 1988-04-12 Arnold Schoolman Stereoscopic fluoroscope arrangement
US4722056A (en) 1986-02-18 1988-01-26 Trustees Of Dartmouth College Reference display systems for superimposing a tomagraphic image onto the focal plane of an operating microscope
CA2003497C (en) 1989-11-21 1999-04-06 Michael M. Greenberg Probe-correlated viewing of anatomical image data
CA2094251C (en) 1990-10-19 1999-01-19 Richard D. Bucholz Surgical probe locating system for head use
DE4202922A1 (de) 1992-02-01 1993-08-05 Zeiss Carl Fa Motorisches stativ
ZA942812B (en) 1993-04-22 1995-11-22 Pixsys Inc System for locating the relative positions of objects in three dimensional space
JP3539645B2 (ja) * 1995-02-16 2004-07-07 株式会社日立製作所 遠隔手術支援装置
US6019724A (en) * 1995-02-22 2000-02-01 Gronningsaeter; Aage Method for ultrasound guidance during clinical procedures
DE19640907B4 (de) 1995-10-12 2005-09-22 Carl Zeiss Operationsmikroskop mit integriertem Operationsnavigationssystem

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5880616A (ja) * 1981-11-09 1983-05-14 Mitsubishi Electric Corp ヘツドアツプデイスプレイ装置
JPS63240851A (ja) * 1987-03-30 1988-10-06 株式会社東芝 手術用3次元ビューアーシステム
JPH03284254A (ja) * 1990-03-30 1991-12-13 Shimadzu Corp 手術用ヘッドアップディスプレイ
WO1996020421A1 (de) * 1994-12-23 1996-07-04 Leica Ag Mikroskop, insbesondere stereomikroskop und verfahren zum überlagern zweier bilder
JPH08187246A (ja) * 1995-01-10 1996-07-23 Olympus Optical Co Ltd 体腔内手術用マニピュレータ装置
WO1997046168A1 (de) * 1996-06-03 1997-12-11 Leica Ag Positionsbestimmung eines beweglichen objektes
JPH11197159A (ja) * 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002102251A (ja) * 2000-07-12 2002-04-09 Siemens Ag 患者への医学的侵襲に関するデータを可視化するための可視化装置及び方法
JP2007061603A (ja) * 2005-07-15 2007-03-15 Depuy Products Inc 整形外科情報を外科医に提供するシステムおよび方法
US11055648B2 (en) 2006-05-25 2021-07-06 DePuy Synthes Products, Inc. Method and system for managing inventories of orthopaedic implants
US11068822B2 (en) 2006-05-25 2021-07-20 DePuy Synthes Products, Inc. System and method for performing a computer assisted orthopaedic surgical procedure
US11928625B2 (en) 2006-05-25 2024-03-12 DePuy Synthes Products, Inc. System and method for performing a computer assisted orthopaedic surgical procedure

Also Published As

Publication number Publication date
US6430433B1 (en) 2002-08-06
DE10040498A1 (de) 2001-03-15

Similar Documents

Publication Publication Date Title
JP4472085B2 (ja) 手術用ナビゲーションシステム
US7076286B2 (en) Surgical microscope
JP5249343B2 (ja) ロボット、医療ワークステーションおよび、対象物の表面に画像を投影する方法
US10368851B2 (en) Integration of surgical instrument and display device for assisting in image-guided surgery
CN112971993B (zh) 定位手术用手术机器人系统及其控制方法
TW572749B (en) A guide system
KR102363661B1 (ko) 원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법
TW572748B (en) A guide system and a probe therefor
JP2021171657A (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
EP3613547B1 (en) Synthetic representation of a surgical robot
JP2021115483A (ja) 可視および近赤外線スペクトルにおけるエクステンデッドリアリティの外科手術ナビゲーションのための姿勢測定連鎖
JP4152402B2 (ja) 手術支援装置
US11890066B2 (en) Surgical robot with passive end effector
US20210315590A1 (en) Systems and methods for navigating a pin guide driver
US10846883B2 (en) Method for calibrating objects in a reference coordinate system and method for tracking objects
JP7755379B2 (ja) 手術支援ロボットシステムおよび手術支援ロボットの制御方法
US12408929B2 (en) Systems and methods for navigating a pin guide driver
JP7581340B2 (ja) 視線検出基盤のスマートグラス表示装置
WO2021199979A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
CN111936074A (zh) 监视手术室中的移动物体
JP2001137259A (ja) 画像支援式作業対象処理装置
JPH08173449A (ja) 手術用顕微鏡を動作させる方法
JPH09173350A (ja) アライメント装置における、または、アライメント装置に関する改良
US12082896B2 (en) Surgical navigation system on wearable computer combining augmented reality and robotics
KR101895369B1 (ko) 정위수술용 수술로봇 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101129

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110126