JP3974359B2 - オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム - Google Patents
オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム Download PDFInfo
- Publication number
- JP3974359B2 JP3974359B2 JP2001274147A JP2001274147A JP3974359B2 JP 3974359 B2 JP3974359 B2 JP 3974359B2 JP 2001274147 A JP2001274147 A JP 2001274147A JP 2001274147 A JP2001274147 A JP 2001274147A JP 3974359 B2 JP3974359 B2 JP 3974359B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- recognition
- character string
- stroke
- string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Discrimination (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、座標入力装置を介して手書き入力される文字列筆跡（ストローク列）情報から、随時自動的に文字を切り出して認識し、結果を表示するオンライン文字認識装置に係り、特に文字の連続筆記入力に好適なオンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラムに関する。
【０００２】
【従来の技術】
従来、座標入力タブレット等の座標入力装置を介して手書き入力される文字列筆跡情報から、自動的に文字を切り出して認識し、結果を表示するオンライン文字認識装置では、次の４つの認識技術（認識手法）、即ち
（１）複数の文字枠が用意されており、１つの文字枠に１文字が順に書かれていくことで、文字を切出して認識する技術
（２）座標入力タブレットからペンが一定時間以上離れたことを検知して、文字の終りと判断して文字を切り出して認識する技術
（３）認識実行ボタン等で１文字筆記終了が明示的に指示されることにより文字を切出して認識する技術
（４）１文字を特殊な一筆書きで定義し、ストロークが入力されてペンがタブレットから離れたことを検知して１文字入力と判定し、文字を切り出して認識する技術
のいずれかが適用されるのが一般的である。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記した従来の認識技術、例えば（１）では、ユーザは文字筆記時に文字枠の大きさや位置を意識して入力せねばならず、自然な入力ができないという問題点があった。また、小型情報機器への搭載を考えた場合、十分な大きさの文字筆記領域が確保できないため、複数の文字枠を用意すると、１文字当たりの筆記領域の大きさが小さくなり、ユーザにとって筆記しづらいものとなるという問題点もあった。
【０００４】
一方、従来の認識技術（２），（３）では、文字枠を複数用意する必要はないため、１文字当たりの筆記領域を大きくとることが可能となり、（１）の問題を回避することが可能である。しかし、（２）では、連続して複数の文字を入力したいときに、１文字筆記毎に、タブレットからペンを一定時間以上離さねばらない。また、（３）では、１文字入力毎に認識実行ボタンを押すという、文字の筆記とは本来関係のない操作が、１文字筆記毎に必要となる。このため、（２），（３）の認識技術は文字列のスムーズな入力が困難であるという問題点があった。
【０００５】
また、従来の認識技術（４）では、上記した（１），（２），（３）における問題点を回避することが可能となるものの、ユーザに対して各文字の一筆書きを予め覚えておくことを強いる。このため、特に認識対象となる文字が多数存在する場合には、ユーザにとって大変な苦痛となる。
【０００６】
本発明は上記事情を考慮してなされたものでその目的は、ユーザが文字の区切りを意識することなく、ただ文字を続けて書いていくだけであっても、自動的に文字列を認識できるようにすることにある。
本発明の他の目的は、文字の重ね書き入力が行えるようにすることにある。
【０００７】
【課題を解決するための手段】
本発明は、座標入力装置上でペンが当該座標入力装置に触れてから離れるまでの間に当該座標入力装置により検出されるペン先の座標系列で表現されるストロークの列をもとに文字認識を行い、表示装置上に認識結果を表示するオンライン文字認識装置であって、前記ストロークが検出される度に、それまでに検出されたストロークの形状および続けて筆記される各２文字の組み合わせについて、当該２文字間のストロークの位置関係に基づき最適な文字列を求めて、該文字列を前記表示装置上に表示することを特徴とする。本発明によれば、ユーザが文字の区切りを意識することなく、座標入力装置上で文字を続けて書いていっても、最も確からしい文字列（認識確定文字列）を推定して表示することが可能となる。ここでは、文字間の各文字を構成するストロークの位置関係も考慮されているため、文字の重ね書き入力も可能となる。よって、小さな筆記スペースしか用意できない小型情報機器等においても、快適な手書き文字入力手段を提供することが可能となる。
【０００８】
また、本発明は、座標入力装置上でペンが当該座標入力装置に触れてから離れるまでの間に当該座標入力装置により検出されるペン先の座標系列で表現されるストロークの列をもとに文字認識を行い、表示装置上に認識結果を表示するオンライン文字認識装置であって、前記座標入力装置は、前記ペンで文字を筆記するための１文字分の文字筆記領域を有し、前記筆記領域に筆記された前記ストロークが検出される度に、それまでに検出されたストロークの形状および重ねて筆記される各２文字の組み合わせについて、当該２文字間のストロークの位置関係に基づき最適な文字列を求めて、該文字列を前記表示装置上に表示することを特徴とする。本発明によれば、ユーザが文字の区切りを意識することなく、座標入力装置上で文字を重ねて書いていっても、最も確からしい文字列（認識確定文字列）を推定して表示することが可能となる。文字間の各文字を構成するストロークの位置関係も考慮されているため、文字の重ね書き入力が可能となる。よって、小さな筆記スペースしか用意できない小型情報機器等においても、快適な手書き文字入力手段を提供することが可能となる。
【０００９】
本発明に係るオンライン文字認識装置は、複数の認識可能文字の各々について、当該文字を構成するストロークの形状情報、及びストローク間の構造関係が記述された辞書情報を登録した文字構造辞書と、上記複数の認識可能文字のうちの続けて筆記される各２文字の組み合わせについて、当該２文字間の構造関係が記述された辞書情報を登録した文字間構造辞書と、座標入力装置上でペンが当該座標入力装置に触れてから離れるまでの間に当該座標入力装置により検出されるペン先の座標系列で表現されるストロークを逐次取り込む筆跡情報取得手段と、この筆跡情報取得手段によりストロークが取り込まれる毎に、当該ストロークを含む認識すべき既取り込みストローク列に対する認識候補となり得る認識候補文字列を生成する認識候補文字列生成手段と、この生成された認識候補文字列毎に、当該認識候補文字列を構成する各候補文字についての上記文字構造辞書中の辞書情報と連続する２候補文字間についての上記文字間構造辞書中の辞書情報とに基づいて、当該認識候補文字列に対応する文字列構造辞書を作成して、上記既取り込みのストローク列を当該認識候補文字列毎の文字列構造辞書とそれぞれ照合することにより、当該ストローク列中のいずれのストロークがいずれの候補文字を構成しているのかを決定する文字切出しを行う照合手段（文字列尤度計算手段）と、上記各認識候補文字列について先頭からの上記文字切出しの結果が共通している文字列部分を認識確定文字列として推定して出力する入力文字列推定手段と、この推定された認識確定文字列を表示する認識結果表示手段とを備えたことを特徴とする。
【００１０】
このような構成においては、ストローク（筆跡）が入力される都度、当該ストロークを最後のストロークとする認識対象ストローク列に対する認識候補文字列毎に、文字構造辞書中の対応する辞書情報と文字間構造辞書中の対応する辞書情報とを組み合わせた文字列構造辞書が生成されて、その認識候補文字列毎の文字列構造辞書が認識対象ストローク列（入力筆跡）とそれぞれ照合されるため、ユーザが文字の区切りを意識することなく、座標入力装置上で文字を続けて書いていっても、最も確からしい入力文字列（認識確定文字列）を推定して表示することが可能となる。ここでは、文字間の構造関係も考慮されているため、文字の重ね書きを前提とした文字間構造辞書を用意することで、文字の重ね書き入力も可能となる。よって、小さな筆記スペースしか用意できない小型情報機器等においても、快適な手書き文字入力手段を提供することが可能となる。
【００１１】
ここで、筆跡情報取得手段により取り込まれるストローク（入力ストローク）を格納するためのストロークバッファと、認識候補文字列生成手段により生成される認識候補文字列を格納するための認識候補バッファとを設けると共に、照合手段によるストローク列（入力ストローク列）と各認識候補文字列の文字列構造辞書との照合結果が当該認識候補文字列に対応付けて認識候補バッファ内に格納される構成とするならば、オンライン文字認識装置での処理を効率的に行うことが可能となる。
【００１２】
また、筆跡情報取得手段によりストロークバッファに入力ストロークを格納する際に、当該ストロークの特徴（例えば形状特徴）、及び当該ストロークと先行するストロークとの間の特徴（例えば構造特徴）を筆跡情報取得手段にて抽出し、認識候補文字列生成手段では、ストロークバッファ内のストローク列に対する認識候補文字列を、筆跡情報取得手段にて抽出された当該ストローク列を構成する各ストロークの特徴及び各ストローク間の特徴に基づいて生成するとよい。
【００１３】
また、上記照合手段での照合処理で、入力ストローク列が認識候補文字列として筆記された確からしさ（を表す例えば尤度）が計算される構成とすると共に、入力文字列推定手段が、次に述べる２つの手段、即ち上記認識確定文字列を推定して出力する認識確定文字列推定手段と、認識未確定文字列及び認識未確定ストローク列情報を推定して出力する認識未確定文字列及び認識未確定ストローク列情報推定手段とから構成され、更に認識結果表示手段では、認識確定文字列推定手段から出力される認識確定文字列に加えて、認識未確定文字列及び認識未確定ストローク列情報推定手段から出力される認識未確定文字列と認識未確定ストローク列情報とを表示する構成とするとよい。
【００１４】
このような構成においては、ユーザは、座標入力装置上で文字を重ね書きにより続けて筆記しても、１ストローク筆記する毎に、その時点における認識確定文字列と認識未確定文字列と認識未確定ストローク列情報とが表示されるため、自身の筆跡の認識処理結果を画面上で逐次確認することができ、快適な文字入力が可能となる。ここで、認識確定文字列と認識未確定文字列とが識別可能な表示属性を付加して表示するとよい。また、認識未確定ストローク列情報についても、認識未確定ストローク列の有無が識別可能なように表示するとよい。
【００１５】
また、上記認識結果表示手段により認識確定文字列が表示される毎に、上記ストロークバッファから当該認識確定文字列に対応する入力ストローク列を削除すると共に、上記認識候補バッファから当該認識確定文字列に対応する情報を取り除くバッファ更新手段を設けるならば、処理量を減らすことが可能となる。
【００１６】
また、認識候補バッファ内の全ての認識候補文字列について、ストロークバッファ内の入力ストローク列との照合がなされた後に、この照合で各認識候補文字列毎に求められた、入力ストローク列が当該認識候補文字列として筆記された確からしさ（尤度）を予め定められた確からしさ（尤度の閾値）と比較し、確からしさが低い認識候補文字列は、全て認識候補バッファから削除する構成とすることによってとも、処理量を減らすことが可能となる。
【００１７】
また、最後のストロークが入力された後、予め定められた一定時間以上の間、次のストローク入力がないことを検出する検出手段（ペン操作判定手段）と、この検出手段の検出結果に応じて上記認識未確定文字列を上記認識確定文字列として出力する認識文字列確定手段とを設けるならば、ユーザの文字入力の操作性を一層向上できる。
【００１８】
ここで、上記座標入力装置が上記表示装置の表示面に重ねて配置され、且つ当該座標入力装置の入力面には文字筆記領域と認識結果表示領域とが分かれて確保される構成とすると共に、この文字筆記領域にペンが触れたことを検出する検出手段（ペン操作判定手段）を設けるようにしてもよい。
【００１９】
この他に、座標入力装置の入力面に文字筆記領域と認識結果表示領域とを兼ねた共通の領域が確保される構成とすると共に、上記検出手段と認識文字列確定手段とに代えて、それぞれ、ペンの先端が上記共通領域の一定座標範囲内に一定時間以上存在する場合には、そのペン入力は認識結果表示のカーソル移動を目的としたジェスチャであり、それ以外の場合には文字筆記を目的とした入力であると判定する判定手段（ペン操作判定手段）と、この判定手段によりペン入力がジェスチャであると判定された場合に、上記認識未確定文字列を上記認識確定文字列として出力する認識文字列確定手段とを設けるようにしてもよい。
【００２０】
また、１文字後退削除を指示操作するための１文字後退削除指示手段と、この１文字後退削除指示手段により１文字後退削除が指示された場合、認識未確定ストローク列が存在する状態では、当該認識未確定ストローク列を削除し、認識未確定ストローク列が存在せず認識未確定文字列が存在する状態では、当該認識未確定文字列の最後尾を１文字後退削除すると共に残りの認識未確定文字列を認識確定文字列とし、認識未確定ストローク列及び認識未確定文字列が共に存在しない状態では、認識確定文字列を１文字後退削除する認識結果編集手段とを設けるとよい。
【００２１】
このような構成においては、文字の削除、文字の筆記操作をスムーズに行うことが可能となる。
【００２２】
また、今回推定された認識未確定文字列を、該認識未確定文字列を含む認識候補文字列の確からしさが予め定められた条件を満たすとき、あるいは、今回推定された前記認識未確定文字列を含む前記認識候補文字列の確からしさが、前回推定された前記認識未確定文字列を含む前記認識候補文字列の確からしさに基づく予め定められた条件を満たすとき、前回推定された前記認識未確定文字列に替えて今回推定された前記認識未確定文字列を表示するようにしてもよい。１ストローク入力される度に、その入力ストロークを含め、それまでに入力された入力ストロークに最適な認識結果を逐次表示することができるので、ユーザは、筆記後すぐに認識結果を確認することができ、効率のよい手書き文字入力が行える。
【００２３】
また、座標入力装置の前記ペンで文字を筆記するための文字筆記領域が表示装置の筆跡表示領域に重ねて配置され、文字筆記領域に前記ストロークが筆記される度に、この最新のストロークを含め最新の所定のＮ本（但し、Ｎは整数）のストロークを筆跡表示領域に表示することにより、入力された筆跡が適切に表示されるので、ユーザに快適な文字筆記環境を提供できる。
【００２４】
また、前記座標入力装置上からペンが離れた後、予め定められた一定時間以上の間、前記ペンが前記座標入力装置に触れないこと、あるいは、前記ストロークの筆記以外のペン操作を検出する検出手段を具備し、この検出手段の検出結果に応じて、前記筆跡表示領域に表示されているストロークの表示を消去するようにしてもよい。
【００２５】
また、筆跡表示領域に前記予め定められた数のストロークを表示する際には、各ストロークの色と太さと該ストロークを表す線の種類とのうちのいずれかを違えて表示するようにしてもよい。
【００２６】
上記各手段は、ハードウェア構成によっても実現できるが、当該手段として機能させるためのプログラムをコンピュータのＣＰＵが読み込み実行することによって実現することも可能である。この場合、本発明のオンライン文字認識装置を、携帯情報端末等の情報機器により容易に実現できる。
【００２７】
なお、以上のオンライン文字認識装置に係る本発明は、方法（オンライン文字認識方法）に係る発明としても成立する。
また、本発明は、コンピュータに当該発明に相当する手順を実行させるための（或いはコンピュータを当該発明に相当する各手段として機能させるための、或いはコンピュータに当該発明に相当する機能を実現させるための）プログラムを記憶したコンピュータ読み取り可能な記憶媒体に係る発明としても成立し、更に当該プログラム自体に係る発明としても成立する。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態につき図面を参照して説明する。
【００２９】
（オンライン文字認識装置の構成および動作）
図１は本発明の一実施形態に係わるオンライン文字認識装置を実現する情報機器のハードウェア構成を示す。
図１の情報機器は、例えば携帯情報端末等の小型情報機器であり、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３、タブレット（タブレット装置）４、ディスプレイ（ディスプレイ装置）５、データ読み込み装置６、記憶媒体７、及びインタフェース部（Ｉ／Ｆ）８，９，１０等から構成されている。
【００３０】
ＣＰＵ１は、図１の情報機器の中枢をなし、各種データ処理のための演算やシステム全体の制御を行う演算・制御手段である。
ＲＯＭ２は基本ソフトウェア等が予め格納された不揮発性メモリ（記憶媒体）、ＲＡＭ３はＣＰＵ１の作業エリア等に利用される揮発性メモリである。
タブレット４は筆跡データの入力が可能な座標入力装置、ディスプレイ５は各種情報を表示する液晶ディスプレイ等の表示装置である。
【００３１】
記憶媒体７は、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、光ディスク等のコンピュータ読み取り可能な記憶手段である。この記憶媒体７には、データ及びプログラムが格納されている。データ読み込み装置６は、記憶媒体７に格納されているデータやプログラムを読み込むことのできる、ハードディスクドライブ、フロッピーディスクドライブ、ＣＤ−ＲＯＭドライブ、光ディスクドライブ等のデータ読み込み手段である。
【００３２】
インタフェース部８、インタフェース部９及びインタフェース部１０は、それぞれ、タブレット４、ディスプレイ５及びデータ読み込み装置６のインタフェースをなす。
【００３３】
記憶媒体７には、上記プログラムとして、入力筆跡の文字認識を行うためのオンライン文字認識プログラムが予め格納されている。このオンライン文字認識プログラムは、装置の起動時にデータ読み込み装置６によって読み込まれてＲＡＭ３に格納される。ＣＰＵ１はＲＡＭ３に格納されたオンライン文字認識プログラムに従って入力筆跡の文字認識処理を行う。
【００３４】
なお、オンライン文字認識プログラムがＲＯＭ２に予め格納されているものであっても構わない。この場合、ＣＰＵ１は当該ＲＯＭ内のオンライン文字認識プログラムに従って入力筆跡の文字認識処理を行えばよい。また、装置の起動時に、ＲＯＭ２からＲＡＭ３にオンライン文字認識プログラムを転送し、このＲＡＭ３内のオンライン文字認識プログラムに従って入力筆跡の文字認識処理を行うようにしても構わない。また、オンライン文字認識プログラムが通信回線を介してダウンロードされるものであっても構わない。
【００３５】
タブレット４は例えば透明であり、ディスプレイ５の表示画面上に重ねて配置されている。タブレット４の入力面には文字筆記領域３０１（図５参照）が設けられている。この筆記領域にユーザが専用ペンＰを利用して文字を筆記すると、その筆跡データ（座標値の時系列情報）がタブレット装置４により検出され、インタフェース部８を通じてＣＰＵ１に転送される。
【００３６】
図２は図１の情報機器により実現されるオンライン文字認識装置の機能構成を示すブロック図である。
このオンライン文字認識装置は、図１中のタブレット４に相当する手書き文字入力装置１０１と、筆跡情報取得手段１０２、認識手段１０３、認識結果表示手段１０４の各機能手段と、文字構造辞書１０６及び文字間構造辞書１０７の各辞書と、図１中のディスプレイ５に相当するディスプレイ１０５とから構成される。
【００３７】
筆跡情報取得手段１０２、認識手段１０３、認識結果表示手段１０４は、図１中のＣＰＵ１がＲＡＭ３に格納されたオンライン文字認識プログラムを読み込み、実行することにより実現される。文字認識処理の際、発生する（生成される）各種データは、例えばＲＡＭ３上に一時記憶されるようになっている。
【００３８】
文字構造辞書１０６及び文字間構造辞書１０７は、上記オンライン文字認識プログラムと共に例えば図１中の記憶媒体７に予め格納されており、当該プログラムがデータ読み込み装置６によって読み込まれてＲＡＭ３に格納される際に、このＲＡＭ３に格納される。なお、文字構造辞書１０６及び文字間構造辞書１０７をＲＯＭ２に予め格納しておくことも可能である。
【００３９】
手書き文字入力装置１０１は、例えばタブレットであり、ペンＰが当該タブレットに触れている間のペン先の位置を表す２次元座標データを一定時間間隔でサンプリングする。得られた座標データは筆跡情報取得手段１０２に送られる。
【００４０】
筆跡情報取得手段１０２は、ペンＰがタブレットに触れてから離れるまでの間の座標データ列、つまり筆跡の座標データ列をストロークと呼ぶひとまとまりのデータとして扱い、これをストロークデータとして取得する。筆跡情報取得手段１０２でストロークデータが取得されるたびに、それは認識手段１０３に送られる。
【００４１】
認識手段１９３は、ストロークデータが入力するたびに、それまでに入力されたストロークデータから、文字構造辞書１０６および文字間構造辞書１０７とを用いて、最適な文字列を認識する。
【００４２】
文字構造辞書１０６は、認識対象となる各文字の構造が表現されたデータ（文字構造辞書情報）、すなわち、各文字について、その文字を構成するストロークの形状やストローク間の位置関係（構造）などの特徴情報を登録した辞書である。
【００４３】
文字間構造辞書１０７は、文字構造辞書１０６に登録された複数の文字のうちの続けて筆記される各２文字の組み合わせについて、その２文字の間の構造関係が表現されたデータ（文字間辞書情報）を登録した辞書である。
【００４４】
タブレットには、連続する２文字が左右に並べて筆記される場合もあれば、重ねて筆記される場合（例えば、ペンで文字を筆記するための文字筆記領域が１文字分だけである場合）もある。前者の場合の文字間辞書情報とは、２文字が左右に並べて筆記される場合の一方の文字のストロークと他方の文字のストロークとの間の位置関係（構造）の特徴情報であり、後者の場合の文字間辞書情報とは、２文字が重ねて筆記される場合の一方の文字のストロークと他方の文字のストロークとの間の位置関係（構造）の特徴情報である。
【００４５】
認識手段１９３は、ストロークデータが入力するたびに、上記文字構造辞書１０６と文字間構造辞書１０７を用いて、それまでに入力されたストロークの形状およびストローク間の位置関係に基づき、最も確からしい、最適な文字列を求めるようになっている。
【００４６】
認識結果表示手段１０４は、認識手段１０３で求められた最適な文字列をディスプレイ１０５に出力する。
なお、タブレットの文字筆記領域が、複数文字分の筆記領域が確保されているものと、１文字分の筆記領域のみしか確保されていないものもあるが、いずれの場合であっても本実施形態は適用可能である。両者の異なる点は、上記の文字間辞書情報のみである。
【００４７】
次に、図２に示したような構成のオンライン文字認識装置におけるオンライン文字認識処理の手順について、図３のフローチャートを参照して説明する。
【００４８】
ステップＳ１では、文字筆記領域内にストロークが１本筆記されると、そのストロークの座標データ列、即ちストロークデータが、筆跡情報取得手段１０２によって取り込まれて、認識手段１０３に送られる。
【００４９】
ステップＳ２では、認識手段１０３は、それまでに入力されたストロークデータから、文字構造辞書１０６および文字間構造辞書１０７とを用いて、最適な文字列を認識する。例えば、この認識処理により、それまでに入力されたストロークのうち確かにその文字字列が筆記されたと断定できる認識確定文字と、最もそれらしい文字（認識未確定文字）と、筆記途中の文字のストローク（認識未確定ストローク）とを推定することができる。
【００５０】
ステップＳ３では、認識結果表示手段１０４は、文字認識手段１０３で認識された最適な文字列（例えば、認識確定文字列と認識未確定文字列）をディスプレイ１０５に表示する。
【００５１】
以上のステップＳ１〜Ｓ３を、ストロークの入力が終了するまで、あるいは、それまでに入力された全ての入力ストロークが認識確定文字列として推定されるまで繰り返す（ステップＳ４）。これにより、ユーザが文字の区切りを意識することなく、手書き文字入力装置１０１にただ文字を続けて筆記していくだけで、図２のオンライン文字認識装置では、その筆跡を自動的に文字列として認識することができる。
【００５２】
図４は、図１の情報機器により実現されるオンライン文字認識装置の機能構成をさらに詳細に示すブロック図である。
このオンライン文字認識装置は、図１中のタブレット４に相当するタブレット２０１と、筆跡情報取得手段２０２、認識候補文字列生成手段２０３、文字列尤度計算手段２０４、入力文字列推定手段２０５、バッファ更新手段２０６、及び認識結果表示手段２０７の各機能手段と、ストロークバッファ２０８、認識候補バッファ２０９及び認識結果バッファ２１０の各バッファと、文字構造辞書２１１及び文字間構造辞書２１２の各辞書と、図１中のディスプレイ５に相当するディスプレイ２１３とから構成される。
【００５３】
筆跡情報取得手段２０２、認識候補文字列生成手段２０３、文字列尤度計算手段２０４、入力文字列推定手段２０５、バッファ更新手段２０６、及び認識結果表示手段２０７は、図１中のＣＰＵ１がＲＡＭ３に格納されたオンライン文字認識プログラムを読み込み実行することにより実現される。
【００５４】
ストロークバッファ２０８、認識候補バッファ２０９及び認識結果バッファ２１０は、例えばＲＡＭ３上に確保される。
【００５５】
文字構造辞書２１１及び文字構造辞書２１２は、上記オンライン文字認識プログラムと共に例えば図１中の記憶媒体７に予め格納されており、当該プログラムがデータ読み込み装置６によって読み込まれてＲＡＭ３に格納される際に、このＲＡＭ３に格納される。なお、文字構造辞書２１１及び文字間構造辞書２１２をＲＯＭ２に予め格納しておくことも可能である。
【００５６】
図４の筆跡情報取得手段２０２は、図２の筆跡情報取得手段１０２に対応し、図４の認識候補文字列生成手段２０３と文字列尤度計算手段２０４と入力文字列推定手段２０５とバッファ更新手段２０６は、図３の認識手段１０３に対応し、図４の認識結果表示手段２０７は、図２の認識結果表示手段１０４に対応する。また、図４の文字構造辞書２１１は図２の文字構造辞書１０６に対応し、図４の文字間構造辞書２１２は、図２の文字間構造辞書１０７に対応する。
【００５７】
タブレット２０１は、ペンＰが当該タブレット２０１に触れている間のペン先の位置を表す２次元座標データを一定時間間隔でサンプリングする。得られた座標データは筆跡情報取得手段２０２に送られる。
筆跡情報取得手段２０２は、ペンＰがタブレット２０１に触れてから離れるまでの間の座標データ列、つまり筆跡の座標データ列をストロークと呼ぶひとまとまりのデータとして扱い、ストロークバッファ２０８に格納する。
【００５８】
認識候補文字列生成手段２０３は、ストロークバッファ２０８内のストローク（ストロークデータ）の列に対する認識候補となる認識候補文字列群を生成し、認識候補バッファ２０９に格納する。
文字列尤度計算手段２０４は、認識候補バッファ２０９内の各認識候補文字列についてその照合用辞書（文字列構造辞書）を文字構造辞書２１１と文字間構造辞書２１２とから作成し、それとストロークバッファ２０８中のストローク列との照合を行う。文字列尤度計算手段２０４は、認識候補文字列の各々について、ストローク列と認識候補文字列との照合結果として、当該ストローク列がその文字列である確からしさ（尤度）と、当該ストローク列中のどのストロークがどの文字に対応しているかを示す文字切り出し結果とを取得する。文字列尤度計算手段２０４は、取得した認識候補文字列毎の照合結果を当該認識候補文字列と対応付けて認識候補バッファ２０９に格納する。
【００５９】
入力文字列推定手段２０５は、認識候補バッファ２０９内の認識候補文字列とその照合結果から、認識確定文字列、認識未確定文字列、及び認識未確定ストローク列情報を求め、認識結果バッファ２１０に格納する。認識確定文字列とは、ストローク列（入力ストローク列）で構成される文字列のうち、この文字列が入力されたと断定できる文字列部分である。認識未確定文字列とは、入力ストローク列で構成される文字列のうち、断定はできないがこの文字列が入力されたと推測される文字列部分である。認識未確定ストローク列情報とは、１文字筆記途中のストロークと推測されるストロークが入力ストローク列中に存在するかどうかを示す情報である。
【００６０】
認識結果表示手段２０６は、入力文字列推定手段２０５によって推定された認識結果バッファ２１０内の推定入力文字列（認識確定文字列、認識未確定文字列、及び認識未確定ストローク列情報）をディスプレイ２１３に出力する。
バッファ更新手段２０７は、認識結果バッファ２１０内の情報を基に、ストロークバッファ２０８と認識候補バッファ２０９とから認識確定文字列に対応する部分の情報を削除し内容を更新する。
【００６１】
図５は図１の情報機器の外観を示す。
同図に示すように、図１の情報機器の主面、即ちディスプレイ５（２１３）の表示画面上に透明なタブレット４（２０１）が積層された面には、ユーザがペンＰでタブレット４（２０１）に文字を筆記するための文字筆記領域３０１と、この文字筆記領域３０１に筆記された筆跡を文字列として認識した結果と文字挿入位置を示すカーソルＣとを表示する認識結果表示領域３０２と、カーソル位置の直前の文字の削除を指示する１文字後退削除ボタン３０３とが確保されている。
【００６２】
図６は図４中のストロークバッファ２０８のデータ構造例を示す。
ストロークバッファ２０８に格納されるストローク列の情報は、当該バッファ２０８内のストロークの数（ストローク数）を示すNSTRKとNSTRK個のストロークデータから構成される。第Iストロークデータ（I=1〜NSTRK）は、それを構成する（座標点の数を示す）座標点数NPOINT[I]と、NPOINT[I]個のx，y座標データからなる。ここで、第Iストロークデータの第J点（J=1〜NPOINT[I]）のx，y座標データは、x[I][J]，y[I][J]のように表される。
【００６３】
図７は認識候補バッファ２０９のデータ構造例を示す。
認識候補バッファ２０９は、ストロークバッファ２０８内のストローク列に対する認識候補となる文字列と照合結果とを格納するのに用いられる。本実施形態において認識候補バッファ２０９に格納される情報（認識候補情報）は、候補（認識候補文字列）数を示すNCANDとNCAND個の候補（候補データ）とから構成される。
【００６４】
候補#I、即ち第I候補（I=1〜NCAND）のデータは文字切り出し結果を含む。この文字切り出し結果は、第I候補が認識棄却対象であるかどうかを示す棄却フラグCNAD_REJFLAG[I]と、その候補を構成する文字列（認識候補文字列）の文字数CAND_NCODE[I]と、CAND_NCODE[I]個の文字（第J文字（J=1〜CAND_NCODE[I]））の各々の文字構造辞書２１１中のエントリ番号CAND_REFID[I][J]と、その候補文字列の総ストローク数CAND_NSTRK[I]と、その候補文字列の最終文字に対応するストロークバッファ２０８内の入力ストロークの本数CAND_STRKCTR[I]と、CAND_NCODE[I]個の文字（第J文字）の各々に対応するストロークバッファ２０８内の入力ストローク列の開始ストローク番号CAND_BS[I][J]及び終了ストローク番号CAND_ES[I][J]とからなる。
【００６５】
第I候補（I=1〜NCAND）のデータは、上記した文字切り出し結果と、CAND_NCODE[I]個の文字（第J文字）の文字構造辞書２１１と対応する入力ストローク列を照合した結果の尤度の対数値（対数尤度）CAND_L1[I][J]と、第J文字と第J+1文字の間の文字間構造辞書２１２と対応する入力ストローク間構造特徴（第J文字の最後のストロークと次の第J+1文字の最初のストロークとの間の構造特徴）を照合した結果の対数尤度CAND_L2[I][J]と、対数尤度の総和、即ち第I候補の文字列と入力ストローク列全体とを照合した結果の対数尤度CAND_L[I]とから構成される。
【００６６】
図７の例では、認識候補バッファ２０９内の候補（認識候補文字列）は第１候補（候補#1）乃至第１０候補（候補#10）の１０個存在する。第１候補については、棄却フラグは０にセットされており、認識候補文字列は文字構造辞書２１１の第１エントリ「あ」と第２エントリ「い」とからなる２文字長の文字列「あい」である。この認識候補文字列の総ストローク数は５本である。ここでは、認識候補文字列「あい」の最後の文字「い」の第１ストロークまでが入力されて照合された結果が格納されている。認識候補文字列「あい」の第１文字「あ」に対応する入力ストロークは第１ストロークから第３ストロークまでの３本である。認識候補文字列「あい」の第２文字「い」に対応する入力ストロークは第４ストロークの１本だけである。つまり「い」の左側の１画までが入力されている。
【００６７】
認識候補文字列「あい」の第１文字「あ」の文字構造辞書２１１と、第１ストロークから第３ストロークまでの入力ストローク列とを照合した結果の尤度の対数値（対数尤度）は-0.70である。「あ」と「い」の間の文字間構造辞書２１２と、第３ストローク（「あ」の最後のストローク）と第４ストローク（「い」の最初のストローク）とのストローク間構造との照合をした結果の尤度の対数値（文字間対数尤度）は-0.36である。「い」の文字構造辞書２１１中の先頭ストローク部分と、入力ストローク列の第４ストロークとを照合した結果の尤度の対数値（対数尤度）は-0.22である。「あ」の対数尤度、「あ」と「い」の文字間対数尤度、「い」の最初のストロークの対数尤度を足し合わせた全体の対数尤度が-1.28である。
【００６８】
図８は文字構造辞書２１１のデータ構造例を示す。
文字構造辞書２１１は認識対象となる文字の構造が表現されたデータ（文字構造辞書情報）を登録した辞書である。この文字構造辞書２１１は、認識対象となる文字の数を示すNREFと、NREF個の文字各々の構造辞書からなる。
【００６９】
第I番目（I=1〜NREF）の文字の構造辞書（辞書#I）は、その文字をコード（例えばSHIFT-JISコード）で表したREF_CODE[I]と、その文字を構成する総ストローク数REF_NSTRK[I]と、REF_NSTRK[I]個のストローク（第Jストローク（J=1〜REF_NSTRK[I]））の特徴としての形状特徴の平均ベクトルs[I][J][1〜6]及び共分散ベクトルσ[I][J][1〜6]と、第J-1ストロークと第Jストロークとの間のストローク間構造特徴の平均ベクトルs2[I][J][1〜2]及び共分散ベクトルσ2[I][J][1〜2]とから構成される。ここでs[I][J][1〜6]はs[I][J][1]，s[I][J][2]，…s[I][J][6]からなる６次元ベクトルを表現するものとする。σ[I][J][1〜6]，s2[I][J][1〜2]、σ2[I][J][1〜2]についても同様のベクトル表現である。ストローク形状特徴とストローク間構造特徴については後述する。
【００７０】
図９は文字間構造辞書２１２のデータ構造例を示す。
文字間構造辞書２１２は、文字構造辞書２１１に登録されたNREF個の文字（認識可能文字）のうちの続けて筆記される各２文字の組み合わせについて、その２文字の間の構造関係が表現されたデータ（文字間辞書情報）を登録した辞書である。図９では、１組の２文字について、その文字間の構造関係を表す文字間構造辞書情報のデータ構造を示してある。この文字間構造情報は、文字間構造特徴の平均ベクトルz[1〜2]と共分散ベクトルθ[1〜2]とから構成される。文字間構造特徴としては、前の文字の最終ストロークと後ろの文字の先頭ストロークとの間のストローク構造特徴を用いる。
【００７１】
次に、以上のように構成されたオンライン文字認識装置におけるオンライン文字認識処理の手順について、図１０乃至図２４のフローチャートを適宜参照して説明する。
【００７２】
まず、全体の処理を図１０のフローチャートに従って説明する。
ステップ８０１は、オンライン文字認識装置内の各バッファを初期化するステップである。
【００７３】
ステップ８０２では、文字筆記領域３０１内にストロークが１本筆記されると、そのストロークの座標データ列、即ちストロークデータが、筆跡情報取得手段２０２によってストロークバッファ２０８に取り込まれ、当該ストロークデータの特徴抽出がなされる。
【００７４】
ステップ８０３では、ストロークバッファ２０８に取り込まれているストローク列に対する認識候補となり得る候補文字列（認識候補文字列）が認識候補文字列生成手段２０３によって生成されて認識候補バッファ２０９に格納される。
【００７５】
ステップ８０４では、ステップ８０３で生成された認識候補バッファ２０９内の認識候補文字列とステップ８０２で取り込まれたストローク列とが文字列尤度計算手段２０４によって照合され、その認識候補文字列としてストローク列が筆記された確からしさが計算される。
【００７６】
ステップ８０５では、ステップ８０４での各認識候補文字列との照合結果に基づき、入力ストローク列のうち確かにその認識候補文字列が筆記されたと断定できる認識確定文字列部分と、最もそれらしい文字列（認識未確定文字列）部分と、文字筆記途中のストローク列（認識未確定ストローク列）部分とが、入力文字列推定手段２０５によって推定される。
【００７７】
ステップ８０６では、ステップ８０５における推定結果が認識結果表示手段２０７によって認識結果表示領域３０２に表示される。
ステップ８０７，８０８では、ストロークバッファ２０８と認識候補バッファ２０９とがバッファ更新手段２０６によって更新される。
【００７８】
以上のステップ８０２〜８０８を、全ての入力ストローク列が認識確定文字列として推定されるまで（認識候補バッファ２０９が空になるまで）繰り返す（ステップ８０９）。これにより、ユーザが文字の区切りを意識することなく、文字筆記領域３０１にただ文字を続けて筆記していくだけで、図４のオンライン文字認識装置では、その筆跡を自動的に文字列として認識することができる。
【００７９】
以下、図１０のフローチャート中の各ステップの処理内容を詳細に説明する。
まず、ステップ８０１において、ストロークバッファ２０８及び認識候補バッファ２０９の初期化が行われる。ここでは、図６に示したデータ構造を持つストロークバッファ２０８内のストローク数NSTRKと、図７に示したデータ構造を持つ認識候補バッファ２０９内の認識候補文字列数NCANDとに、それぞれ“０”をセットすることで、両バッファ２０８，２０９の初期化が行われる。
【００８０】
次のステップ８０２は、（ディスプレイ５の表示画面上に重ねて配置された）タブレット２０１上に確保された文字筆記領域３０１にユーザによりペンＰでストロークが１本筆記される毎に実行される。筆記されたストロークのデータ（座標データ列）はタブレット２０１により取得される。ステップ８０２では、このタブレット２０１により取得されたストロークのデータが、筆跡情報取得手段２０２により取り込まれてストロークバッファ２０８に格納される。またステップ８０２では、ストロークバッファ２０８に格納されたストロークデータ（の示すストロークの形状）の特徴を抽出する処理が行われる。
【００８１】
この筆跡情報取得手段２０２によるステップ８０２の処理の詳細を、図１１のフローチャートを参照して説明する。
まず、ステップ９０１において、図６のデータ構造のストロークバッファ２０８内のストローク数NSTRKが１インクリメントされる。
【００８２】
次のステップ９０２からステップ９０５では、ペンＰがタブレット２０１から離れるまでの間に当該タブレット２０１によって取得されるペン先のｘ座標及びｙ座標データが逐次ストロークバッファ２０８に取り込まれる。ここでは、第Iストロークの第J点のx座標、ｙ座標は、図６に示すストロークバッファ２０８内のそれぞれx[I][J]、y[I][J]にセットされる。
ステップ９０６では、ペンＰがタブレット２０１から離れるまでの間に取り込まれた（１ストロークを構成する）座標点の数がNPOINT[I]にセットされる。
【００８３】
ステップ９０７では、ストロークバッファ２０８に取り込まれた最新のストローク、つまり第NSTRKストロークデータから、ストローク形状を表現するストローク形状特徴ベクトルu[1〜6]が抽出される。ここでu[1〜6]は、u[1]，u[2]，…u[6]からなる６次元のベクトルを表現するものとする。形状特徴としては、例えばストロークデータの全曲率関数を指数関数の指数部に持つ複素数値関数をフーリエ展開して得られるＰ形フーリエ記述子の２次までの低域成分を表現する６つの係数を用いるものとする。Ｐ形フーリエ記述子の算出手順については、文献「線図形の曲りを特徴としたオンライン手書き漢字認識」（電子情報通信学会論文誌 1990年4月 Vol.J73-D-II No.4 pp.519-525）に詳述されている方法を用いる。
【００８４】
入力されたストロークが第２ストローク以降である場合には、ステップ９０９において、第NSTRKストロークと１つ前に入力された第NSTRK-1ストロークとの間の構造関係を表現する２次元のストローク間構造特徴ベクトルu2[1〜2]が抽出される。構造特徴としては、例えば、第NTRK-1ストロークの終点から第NSTRKストロークの始点を結ぶベクトルのノルムを１に正規化したベクトルを用いる。
以上が、ステップ８０２における詳細な処理手順である。
【００８５】
次に、ステップ８０３では、認識候補文字列生成手段２０３により、認識候補バッファ２０９内の認識候補文字列が更新される。ステップ８０３は、この時点でストロークバッファ２０８に格納されている入力ストローク列に対する認識候補となり得る文字列を生成する処理である。
【００８６】
このステップ８０３の処理の詳細を、図１２のフローチャートを参照して説明する。
まず、ステップ１００２において、認識候補バッファ２０９中の現在の認識候補文字列数を示すNCANDに基づいて、認識候補文字列が存在するかしないかが判定される。
【００８７】
存在しない（NCAND=0の）場合には、ステップ１０１０に飛んで、図８に示したデータ構造の文字構造辞書２１１に登録されているNREF個の文字の各々をCAND_NCODE[I]（I=1〜NREF）が“１”の第I認識候補文字列（新認識候補文字列）として認識候補バッファ２０９に格納（生成）する処理がなされる。このステップ１０１０における詳細な処理手順を図１３のフローチャートに示す。
【００８８】
一方、認識候補バッファ２０９中に既に認識候補文字列が存在する（NCAND>0の）場合には、各第I認識候補文字列について以下の処理がなされる。
まずステップ１００５において、今、筆記入力されたストロークが現在の第I認識候補文字列に続く次の新しい１文字の最初のストロークであるかどうかが、ストロークバッファ２０８内のストローク数NSTRKが第I認識候補文字列の総ストローク数CAND_NSTRK[I]を超えたか否かにより判定される。
【００８９】
新しい１文字の最初のストロークではないと判定された場合には、ステップ１００６において、第I認識候補文字列の最終文字を構成するストローク数を示すカウンタCAND_STRKCTR[I]を１だけ増加させる。
【００９０】
これに対し、新しい１文字の最初のストロークであると判定された場合には、ステップ１００８において、現在の第I認識候補文字列に１文字を追加した新たな認識候補文字列を生成し認識候補バッファ２０９に登録する処理がなされる。追加する１文字は文字構造辞書２１１に含まれるNREF個の文字の全てであり、その数だけ認識候補バッファ２０９に新しい第K認識候補文字列（K=1〜NREF）が登録されることになる。ステップ１００８における詳細な処理手順を図１４のフローチャートに示す。
現在の第I認識候補文字列については、ステップ１００９において旧認識候補文字列として棄却フラグが立てられる。
【００９１】
このようにしてNCAND個の全ての認識候補文字列に対して、それぞれNREF個の新認識候補文字列が認識候補バッファ２０９に生成・登録されると（ステップ１００４）、棄却フラグが立てられた旧認識候補文字列を認識候補バッファ２０９から除去すると共に新認識候補文字列を整列する認識候補文字列更新処理がステップ１０１１において行われる。このステップ１０１１における詳細な処理手順を図１５のフローチャートに示す。
以上が、ステップ８０３における詳細な処理手順である。
【００９２】
次に、ステップ８０４では、認識候補バッファ２０９内の各認識候補文字列について、ストロークバッファ２０８内の入力ストローク列との照合が文字列尤度計算手段２０４によって行われ、その照合結果（尤度計算結果）が認識候補バッファ２０９に格納される。
【００９３】
このステップ８０４の処理の詳細を、図１６のフローチャートを参照して説明する。
まず、ステップ１４０３において、認識候補バッファ２０９の各第I認識候補文字列について、入力ストローク列の照合に用いられる文字列構造辞書が作成される。次のステップ１４０４では、入力ストローク列と作成された文字列構造辞書との照合が行われる。
【００９４】
上記ステップ１４０３における第I認識候補文字列の文字列構造辞書の作成処理は、図１７のフローチャートに従って次のように行われる。まず、ステップ１５０２において、ストロークバッファ２０８中にストロークが２本以上存在するかどうかが、当該バッファ２０８内のストローク数NSTRKが１より大きいか否かにより判定される。ストロークが１本しか存在しない場合にはステップ１５０６へ飛ぶ。２本以上の場合には、ステップ１５０３において、最新ストロークが第I認識候補文字列の最終文字の最初のストロークであるかどうかが判定される。
【００９５】
最初のストロークの場合には、そのストロークと１つ前のストロークとの間は文字間であると見なされる。この場合、ステップ１５０４において、文字間構造辞書２１２から対応する文字間の文字間構造辞書情報が取り出されて、当該辞書情報を構成する平均ベクトルz[1〜2]及び共分散ベクトルθ[1〜2]が、それぞれv2[1〜2]及びφ2[1〜2]にセットされた後、ステップ１５０６に進む。
【００９６】
一方、最初のストロークでない場合には、そのストロークと１つ前のストロークとの間は第I認識候補文字列の最終文字内のストローク間であると見なされ、ステップ１５０５において、最終文字についての文字構造辞書２１１中の辞書情報に記述されている対応するストローク間構造特徴の平均ベクトル及び共分散ベクトルが、それぞれv2[1〜2]及びφ2[1〜2]にセットされた後、ステップ１５０６に進む。
【００９７】
ステップ１５０６では、最新入力ストロークに対応する最終文字についての文字構造辞書２１１中の辞書情報に記述されているストローク形状特徴の平均べクトル及び共分散ベクトルが、それぞれv[1〜6]及びφ[1〜6]にセットされる。
【００９８】
次に、上記ステップ１４０４における第I認識候補文字列の文字列構造辞書と入力ストローク列との照合処理は、図１８のフローチャートに従って次のように行われる。
【００９９】
まず、ステップ１６０２において、ストロークバッファ２０８中にストロークが２本以上存在するかどうかが、上記ステップ１５０２と同様にして判定される。ストロークが１本しか存在しない場合にはステップ１６０７へ飛ぶ。２本以上の場合には、ステップ１６０３において、最新ストロークが現在の第I認識候補文字列の最終文字の最初のストロークであるかどうかが判定される。
【０１００】
最初のストロークの場合には、そのストロークと１つ前のストロークとの間は文字間であると見なされる。この場合、ステップ１６０４において、先のステップ９０９で抽出された入力ストローク間構造特徴ベクトルu2[1〜2]とステップ１５０４でセットされた文字間構造特徴の平均ベクトルv2[1〜2]及び共分散ベクトルφ2[1〜2]との間で尤度の計算が行われ、その対数値log f(u2｜v2,φ2)が第I認識候補文字列の対応する文字間構造部分、即ち最新のストロークの１つ前のストロークを最後のストロークとする文字と次の文字（現在の第I認識候補文字列の最終文字）との文字間構造部分の対数尤度としてセットされた後、ステップ１６０６に進む。
【０１０１】
ここで上記尤度は、平均ベクトルをv2[1〜2]、共分散ベクトルをφ2[1〜2]とした多次元無相関正規分布を確率密度関数とした場合の、入力ベクトルu2[1〜2]の確率密度関数値として、次式（１）により算出される。
【０１０２】
【数１】
【０１０３】
一方、ステップ１６０３において最新ストロークが現在の第I認識候補文字列の最終文字の最初のストロークでないと判定された場合には、そのストロークと１つ前のストロークとの間は第I認識候補文字列の最終文字内のストローク間であると見なされる。この場合、ステップ１６０５において、ステップ９０９で抽出された入力ストローク間構造特徴ベクトルu2[1〜2]とステップ１５０５でセットされたストローク間構造特徴の平均ベクトルv2[1〜2]及び共分散ベクトルφ2[1〜2]との間で尤度の計算が行われ、その対数値log f(u2｜v2,φ2)が第I認識候補文字列の対応する文字構造部分、即ち現在の第I認識候補文字列の最終文字の文字構造部分の対数尤度に累積してセットされた後、ステップ１６０６に進む。尤度の計算にはステップ１６０４と同様の形式の確率密度関数を用いる。
【０１０４】
ステップ１６０６では、当該ステップ１６０６に先行するステップ１６０４または１６０５で算出された尤度の対数値log f(u2｜v2,φ2)が、現時点までに求められている、第I認識候補文字列と入力ストローク列全体とを照合した結果の対数尤度CAND_L[I]に累積してセットされる。
【０１０５】
ステップ１６０７では、ステップ９０７で抽出された入力ストロークの形状特徴ベクトルu[1〜6]と第I認識候補文字列の最終文字の文字構造辞書の対応するストローク形状特徴の平均べクトルv[1〜6]及び共分散ベクトルφ[1〜6]との間で尤度の計算が行われ、その対数値log f(u｜v,φ)が求められる。
【０１０６】
ここで上記尤度は、平均ベクトルをv[1〜6]、共分散ベクトルをφ[1〜6]とした多次元無相関正規分布を確率密度関数とした場合の、入力ベクトルu[1〜6]の確率密度関数値として、次式（２）により算出される。
【０１０７】
【数２】
【０１０８】
ステップ１６０８では、ステップ１６０７で求められた対数値log f(u｜v,φ)、即ちストローク形状特徴を照合して得られた尤度の対数値log f(u｜v,φ)が、第I認識候補文字列の対応する文字構造部分、即ち第I認識候補文字列の最終文字の文字構造部分の対数尤度に累積してセットされる。
【０１０９】
ステップ１６０９では、ステップ１６０７で求められた対数値log f(u｜v,φ)が、現時点までに求められている、第I認識候補文字列と入力ストローク列全体とを照合した結果の対数尤度CAND_L[I]に累積してセットされる。
【０１１０】
認識候補バッファ２０９内の全ての認識候補文字列について、ストロークバッファ２０８内の入力ストローク列との照合がなされると（ステップ１４０５）、ステップ１４０６において認識候補文字列の絞込みが行われる。
【０１１１】
このステップ１４０６における絞込み処理は図１９のフローチャートに従って実行される。ここでは、認識候補バッファ２０９内の各第I認識候補文字列（I=1〜NCAND）について取得された対数尤度の総和、即ち第I認識候補文字列と入力ストローク列全体とを照合した結果の対数尤度CAND_L[I]が、予め定められ閾値αに満たない場合には、その認識候補文字列が入力された可能性は低いと判断される（ステップ１７０３）。この場合、その認識候補文字列は認識候補バッファ２０９から削除される。
【０１１２】
一方、対数尤度CAND_L[I]が閾値α以上の認識候補文字列は、その認識候補文字列が入力された可能性は高いと判断され、第J認識候補文字列として認識候補バッファ２０９内に残される（ステップ１７０４）。
【０１１３】
以上に述べた図１６のフローチャート（ステップ８０４での認識候補文字列に対する尤度計算処理の詳細手順）におけるステップ１４０３及びステップ１４０４の処理を、文字筆記領域３０１内で「あい」という文字を重ね書きした筆跡と、認識候補文字列「あい」との間の尤度計算の具体例について、図２５を参照して筆記順に説明する。
【０１１４】
まず、最初のストロークが筆記されると、そのストローク（第１入力ストローク）から抽出された形状特徴u[1〜6]と「あ」の文字構造辞書の第１ストロークの形状特徴s[1][1][1〜6]，σ[1][1][1〜6]との間で照合が行われる。
【０１１５】
第２入力トロークが筆記されると、１つ前の入力ストローク（第１入力ストローク）との間のストローク間構造特徴u2[1〜2]と、「あ」の文字構造辞書の第１ストロークと第２ストロークとの間のストローク間構造特徴s2[1][1][1〜2]，σ2[1][1][1〜2]との間で照合が行われると共に、第２入力ストロークの形状特徴u[1〜6]と「あ」の文字構造辞書の第２ストロークの形状特徴s[1][2][1〜6]，σ[1][2][1〜6]との間での照合も行われる。
【０１１６】
第３入力ストロークについても同様に尤度計算がなされるが、第４入力ストロークについては、そのストロークは「い」の最初のストロークであると判定されるため、第３入力ストロークと第４入力ストロークの間の入力ストローク間構造特徴u2[1〜2]は、「あ」と「い」の文字間構造特徴z[1〜2]，θ[1〜2]との間で照合される。これらの照合により計算される尤度の対数値の累積値が、入力ストローク列と認識候補文字列との間の対数尤度となる。
【０１１７】
ステップ８０４の次のステップ８０５では、認識候補バッファ２０９に格納されている各認識候補文字列と当該認識候補文字列毎の照合結果とから、入力文字列推定手段２０５により、認識確定文字列、認識未確定文字列、及び認識未確定ストローク列情報が決定される。
【０１１８】
図２０はステップ８０５における処理手順を説明するためのフローチャートである。このフローチャートに示すように、ステップ８０５の入力文字列推定処理は、認識確定文字列の推定ステップ１８０１と、認識未確定文字列及び認識未確定ストローク情報の推定ステップ１８０２とからなる。
【０１１９】
図２１はステップ１８０１における詳細な処理手順を説明するためのフローチャートである。ここでは、認識候補バッファ２０９内の全ての第I認識候補文字列（I=1〜NCAND）について（ステップ１９０２，１９０６，１９０８）、第１認識候補文字列を基準に、先頭から共通しているNSTRING1個の文字からなる文字列部分の文字コードSTRING1[J]の列（J=1〜NSTRING1）が認識確定文字列STRING1として抽出され（ステップ１９０７）、認識結果バッファ２１０にセットされる。ステップ１９０７では、NSTRING1個の文字の総ストローク数NSTRK1も求められ、認識確定文字列STRING1に対応付けて認識結果バッファ２１０にセットされる。
【０１２０】
図２２はステップ１８０２における処理手順を説明するためのフローチャートである。ここでは、まず認識候補バッファ２０９内の全ての第I認識候補文字列（I=1〜NCAND）の中で最も対数尤度CAND_L[I]の大きい第MI認識候補文字列（最尤認識候補文字列）（MIは1〜NCANDのいずれか）を求める（ステップ２００１〜２００５）。
【０１２１】
次に求めた最尤認識候補文字列について、当該候補文字列の最終文字が筆記途中であるか否かを、当該最終文字に対応する入力ストローク列の終了ストローク番号CAND_ES[MI][CAND_NCODE[MI]]が当該候補文字列の総ストローク数を表すCAND_NSTRK[MI]の値より小さいか否かにより判定する（ステップ２００６）。
【０１２２】
もし、最尤認識候補文字列の最終文字が筆記途中である場合には、認識未確定ストローク列情報USTRK_FLAGを“１”とし、更に最尤認識候補文字列から認識確定文字列と最終文字を除いたNSTRING2個の文字からなる文字列部分を取り出して、その文字列部分の文字コードSTRING2[J]の列（J=1〜NSTRING2）を認識未確定文字列STRING2として認識結果バッファ２１０にセットする（ステップ２００７，２００９〜２０１１）。その際、当該認識未確定文字列を含む最尤認識候補文字列の対数尤度も、当該認識未確定文字列STRING2とともに認識結果バッファ２１０に格納するようにしてもよい。認識結果バッファ２１０に格納された当該最尤認識候補文字列の対数尤度は、後に、認識結果表示手段２０７で当該認識未確定文字列STRING2を表示する際に用いることもできる。
【０１２３】
一方、最尤認識候補文字列の最終文字のストロークが全て筆記されている場合には、認識未確定ストローク情報USTRK_FLAGを“０”とし、更に最尤認識候補文字列から認識確定文字列を除いたNSTRING2個の文字からなる文字列部分を取り出して、その文字列部分の文字コードSTRING2[J]の列（J=1〜NSTRING2）を認識未確定文字列STRING2として認識結果バッファ２１０にセットする（ステップ２００８〜２０１１）。
【０１２４】
以上の説明から明らかなように、認識確定文字列STRING1は、入力ストローク列のうち、今後の筆記によって推定結果が変わらないという意味で断定された部分の文字列である。同様に、認識未確定文字列STRING2は、今後の筆記により推定結果が変わる可能性はあるが、現時点における尤度最大の意味で最もそれらしいと推測される部分の文字列である。そして、認識未確定ストローク列情報USTRK_FLAGは、未だ文字を書き終えていないストローク列の有無を表現している。
【０１２５】
ステップ８０５の次のステップ８０６では、認識結果表示手段２０７により、認識結果バッファ２１０内の認識確定文字列、認識未確定文字列及び認識未確定ストローク列情報が表示パターンに変換されて、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示される。
【０１２６】
このような、ストロークが筆記される都度推定される認識確定文字列、認識未確定文字列及び認識未確定ストローク列情報の表示の例を、文字筆記領域３０１内で「あい」という文字を重ね書きした筆跡の各ストローク（入力ストローク）とストローク番号とに対応付けて、図２６の第３列に示す。
【０１２７】
同図において、黒四角の記号は文字挿入位置を示すカーソルであり、図５中のカーソルＣに相当する。また、下線のない文字列部分は認識確定文字列を、下線のある文字列部分は認識未確定文字列を、それぞれ表す。また、記号“⇒”は認識未確定ストローク列情報USTRK_FLAGが“１”の場合に認識未確定文字列の次の文字位置に表示され、認識未確定ストローク列が存在することを表す。
【０１２８】
このように本実施形態においては、認識確定文字列、認識未確定文字列及び認識未確定ストローク列情報をユーザが容易に識別（視認）できるような表示属性を付加して、ストローク入力の都度、画面表示しているため、ユーザは自分の筆跡の認識処理結果を逐次確認することができ、快適な文字入力が可能となる。
【０１２９】
ステップ８０６が終了すると、バッファ更新手段２０６により、ステップ８０７において認識候補バッファ２０９の更新が行われ、ステップ８０８においてストロークバッファ２０８の更新が行われる。
【０１３０】
ステップ８０７における詳細な処理手順を図２３のフローチャートに示す。ここでは、認識確定文字列NSTRING1が存在する場合、認識候補バッファ２０９内の各第I認識候補文字列（I=1〜NCAND）について、当該各候補文字列から認識確定文字列NSTRING1に相当する部分の情報が除去される。
【０１３１】
次にステップ８０８における詳細な処理手順を図２４のフローチャートに示す。ここでは、ストロークバッファ２０８内のNSTRK個の第Iストロークデータ（I=1〜NSTRK）のうち、I=NSTRK1+1〜NSTRKの第Iストロークデータ、即ち第NSTRK1+1ストロークデータ〜第NSTRKストロークデータを、新たなNSTRK個（新NSTRK=旧NSTRK-NSTRK1）の第Jストロークデータとすることにより、認識確定文字列NSTRING1に対応する（第１ストロークデータ〜第NSTRK1ストロークデータからなる）入力ストローク列データを当該ストロークバッファ２０８から除去するストロークバッファ更新処理が行われる。
【０１３２】
このバッファ更新処理は、ステップ２１０７，２１０８のループと、ステップ２１０９〜２１１１とに大別される。ステップ２１０７，２１０８のループでは、認識確定文字列NSTRING1中の最終文字を除く文字列に対応する入力ストローク列データがストロークバッファ２０８から削除され、ステップ２１０９〜２１１１では、認識確定文字列NSTRING1中の最終文字に対応する入力ストローク列データがストロークバッファ２０８から削除される。
【０１３３】
ステップ８０８の次のステップ８０９では、認識候補バッファ２０９が空であるかどうかの判定が例えばバッファ更新手段２０６によってなされ、認識候補文字列が存在する場合にはステップ８０２に戻って筆跡情報取得手段２０２に制御が渡され、次のストロークの取り込みがなされる。
【０１３４】
これに対し、認識候補バッファ２０９が空の場合には、入力されたストローク列全てについて認識結果が確定した文字列が表示出力されたとして、認識処理は終了となる。
【０１３５】
よって本実施形態におけるオンライン文字認識装置では、以上に述べた処理手順により、ユーザが文字の区切りを意識することなく続けて書いた文字列を高精度に認識して入力することができる。
【０１３６】
（認識結果の表示方法）
図４の認識結果表示手段２０７は、前述したように、認識結果バッファ２１０内の認識確定文字列、認識未確定文字列及び認識未確定ストローク列情報を表示パターンに変換して、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示する。
【０１３７】
次に、図１０のステップ８０６における認識結果表示手段２０７での認識結果の表示手順の一例を図２７に示すフローチャートを参照して説明する。図２７に示すフローチャートは、認識結果のうち、認識確定文字列と認識未確定文字列を表示する手順を示したものであるが、特に、認識未確定文字列を表示する際には、その尤度と予め定められた閾値とを比較して、表示更新を行う点に特徴がある。この認識未確定文字列の尤度とは、入力文字列推定手段２０５で認識未確定文字列が推定されたときに、その認識未確定文字列を含む最尤認識候補文字列の対数尤度である。この対数尤度は、当該認識未確定文字列とともに、認識結果バッファ２１０に格納されるものとする。
【０１３８】
まず、認識結果表示手段２０７は、認識結果バッファ２１０から認識確定文字列を取出して表示する。すなわち、当該認識確定文字列が表示パターンに変換されて、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示される（ステップＳ１１）。
【０１３９】
次に、認識未確定文字列の表示を行うわけであるが、ここでは、まず、認識結果バッファ２１０から、認識未確定文字列と当該認識未確定文字列とともに格納されている対数尤度を取り出す。そして、この対数尤度の値が予め定められた閾値より大きい（あるいは、閾値以上である）ときは、この今回の認識未確定文字列を表示する。すなわち、当該認識未確定文字列が表示パターンに変換されて、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示される（ステップＳ１２、ステップＳ１３）。
【０１４０】
一方、当該認識未確定文字列とともに格納されている対数尤度の値が予め定められた閾値以下である（あるいは、閾値より小さい）ときは、この今回の認識未確定文字列は表示せずに、現在表示されている認識未確定文字列をそのまま表示する（ステップＳ１２、ステップＳ１４）。
【０１４１】
次に、図１０のステップ８０６における認識結果表示手段２０７での認識結果の表示手順の他の例を図２８に示すフローチャートを参照して説明する。図２８に示すフローチャートも、認識結果のうち、認識確定文字列と認識未確定文字列を表示する手順を示したものであるが、特に、認識未確定文字列を表示する際には、その尤度と現在表示されている認識未確認文字列の尤度とを比較して、表示更新を行う点に特徴がある。なお、この認識未確定文字列の尤度とは、入力文字列推定手段２０５で認識未確定文字列が推定されたときに、その認識未確定文字列を含む最尤認識候補文字列の対数尤度である。この対数尤度は、当該認識未確定文字列とともに、認識結果バッファ２１０に格納されるものとする。
【０１４２】
まず、認識結果表示手段２０７は、認識結果バッファ２１０から認識確定文字列を取出して表示する。すなわち、当該認識確定文字列が表示パターンに変換されて、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示される（ステップＳ２１）。
【０１４３】
次に、認識未確定文字列の表示を行うわけであるが、ここでは、まず、認識結果バッファ２１０から、認識未確定文字列と当該認識未確定文字列とともに格納されている対数尤度を取り出す。そして、この対数尤度の値が、現在表示されている認識未確定文字列の尤度（認識結果表示手段２０７に保持されている）の値より大きい（あるいは、以上である）ときは、この今回の認識未確定文字列を表示する。すなわち、当該認識未確定文字列が表示パターンに変換されて、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示される（ステップＳ２２、ステップＳ２３）。そして、今回表示された認識未確定文字列の尤度を保持する（ステップＳ２４）
一方、当該認識未確定文字列とともに格納されている対数尤度の値が、現在表示されている認識未確定文字列の尤度（認識結果表示手段２０７に保持されている）の値以下である（あるいは、小さい）ときは、この今回の認識未確定文字列は表示せずに、現在表示されている認識未確定文字列をそのまま表示する（ステップＳ２２、ステップＳ２５）。
【０１４４】
このような、ストロークが筆記される都度推定される認識確定文字列、認識未確定文字列の表示の例を、文字筆記領域３０１内で「てがき」という文字を重ね書きした筆跡の各ストローク（「て」の１画目、「が」の１画目、２画目、…）と、ストロークが筆記される都度推定された認識確定文字列と認識未確定文字列とに対応付けて、図２９の第４列に示す。
【０１４５】
同図第４列において、下線の引かれていない文字列部分は認識確定文字列であり、下線の引かれている文字列部分は認識未確定文字列を、それぞれ表す。
【０１４６】
このように本実施形態においては、認識確定文字列、認識未確定文字列をユーザが容易に識別（視認）できるような表示属性を付加して、ストローク入力の都度、画面表示しているため、ユーザは自分の筆跡の認識処理結果を逐次確認することができ、快適で効率のよい、手書き文字入力が可能となる。
【０１４７】
（筆跡表示方法）
文字筆記領域３０１上に文字を筆記する場合、その筆跡が全く表示されないのであれば、前のストロークの位置が確認できないため、次に筆記するストロークが本来入力したい位置からずれていまい、正しい文字が入力する事ができないばかりか、誤認識の原因ともなる。また、特に、１文字分の文字筆記領域３０１上に文字を重ね書きする場合、入力したストロークが全て表示されると現在入力中の文字以外のストロークまで表示されていまうので、かえってわかりづらい。
【０１４８】
そこで、次に、タブレット２０１の文字筆記領域３０１に筆記されたストロークの表示手法について説明する。
【０１４９】
図３０は、タブレット２０１の文字筆記領域３０１に筆記されたストロークを表示するための筆跡表示手段を有したオンライン文字認識装置の構成を示したものである。なお、図３０において、図４と同一部分には同一符号を付し、異なる部分についてのみ説明する。すなわち、上記筆跡表示手段２２０とペン操作判定手段２２１が新たに追加されている。また、タブレット２０１は透明で、しかもこのタブレットは、その文字筆記領域上に筆記された筆跡を表示するためのディスプレイ２１３の筆跡表示領域上に設けられていて、ディスプレイ２１３に、タブレット２０１上にペンＰを用いてユーザにより筆記されたストロークが表示されると、ユーザは、このタブレット２０１を介して、この表示されたストロークを見ることができるようになっている。
【０１５０】
筆跡表示手段２２０は、筆跡情報取得手段２０２で取得されたストロークデータを用いてディスプレイ２１３上の筆跡表示領域に筆跡を表示するようになっている。
【０１５１】
ペンＰが当該タブレットに触れているときのペン先の位置を表す座標データが筆跡情報取得手段２０２で取得されるので、ペン操作判定手段２２１は、この座標データを基に、ペン操作の種類を判定し、その判定結果に応じて、筆跡表示手段２２０などに所定の指示を行うようになっている。
【０１５２】
筆跡表示手段２２０は、現在入力中のストロークを含め最新のＮ本の入力ストロークを表示する。表示するストロークの数Ｎは、予め設定されるものである。
【０１５３】
次に、図３１に示すフローチャートを参照して、筆跡表示手段２２０の筆跡表示処理動作について説明する。なお、図３１に示す処理は、図３のステップＳ１において実行される。
【０１５４】
最新のＮ本の入力ストロークの表示制御のために、筆跡表示手段２２０は、タブレット２０１上で入力されたストロークの数をＮに達するまで計数するストロークカウンタＭと、入力ストロークデータを格納するストロークバッファＢと、当該ストロークバッファ上の格納位置を示すリングバッファポインタＰを有する。ストロークバッファＢは１番目からＮ番目のＮ個の入力ストロークデータを格納する領域をもち、リングバッファポインタＰは、ストロークバッファＢの１番目の格納領域から２番目、３番目…と順に指し示し、Ｎ番目に達したときは再び１番目に戻ることによって、ストロークバッファＢの格納領域をエンドレスに指し示す。なお、ここでは、説明の簡単のため、リングバッファポインタＰの取り得る値をストロークバッファＢのストロークデータの１番目からＮ番目までの各格納領域を示す値、すなわち、１〜Ｎとし、ストロークバッファＢのＰ番目の格納領域をＢ（Ｐ）と表すことにする。
【０１５５】
まず、ペンＰによる手書き文字入力の開始とともに、筆跡表示手段２２０が初期化される。この初期化とは、例えば、現在筆跡表示領域に表示されている筆跡が存在するのであれば、これを消去し、ストロークカウンタＭと、リングバッファポインタＰを「０」にセットする（ステップＳ１０１）。
【０１５６】
１ストローク入力されると（ステップＳ１０２）、そのときのリングバッファポインタＰの値とＮとが比較され、ＰがＮと等しくなければ（ステップＳ１０３）、ステップＳ１０４へ進み、リングバッファポインタＰを１つインクリメントする。一方、ステップＳ１０３で、ＰがＮと等しければ、ステップＳ１０５ヘ進み、リングバッファポインタＰがストロークバッファＢの１番目の格納領域を指し示すように、リングバッファポインタＰの値を「１」に戻す。
【０１５７】
次に、ステップＳ１０６へ進む。ステップＳ１０６では、ストロークバッファＢのＰ番目の格納領域に、ステップＳ１０２で入力された当該ストロークデータを格納する（ステップＳ１０６）。そして、現在までに入力されたストロークの数ＭがＮよりも小さい（あるいは、Ｎ以下である）とき（ステップＳ１０７）、ステップＳ１０８へ進み、ストロークカウンタＭを１つインクリメントした後、ステップＳ１０９で、ストロークバッファＢから今回Ｐ番目の格納領域に格納したストロークデータを含め最新のＰ本のストロークを取出し、筆跡の表示を行う。この場合、ストロークバッファＢに格納されているストロークデータは、新しいものから順に並べると、Ｂ（Ｐ）、Ｂ（Ｐ−１）、…Ｂ（１）となる。
【０１５８】
一方、ステップＳ１０７で、現在までに入力されたストロークの数ＭがＮ以上である（あるいは、Ｎより小さい）ときは、ストロークカウンタＭの更新は行わずに、ステップＳ１１０へ進み、ストロークバッファＢから今回Ｐ番目の格納領域に格納したストロークデータを含め最新のＮ本のストロークを取出し、筆跡の表示を行う。この場合、ストロークバッファＢに格納されているストロークデータは、新しいものから順に並べると、Ｂ（ｐ）、Ｂ（Ｐ−１）、…Ｂ（１）、Ｂ（Ｎ）、Ｂ（１）、Ｂ（２）、…Ｂ（Ｐ＋１）となる。
【０１５９】
ここで、ストロークデータの表示方法について説明する。前述したように、各ストロークデータは、ペンＰがタブレット２０１に触れている間のペン先の位置を表す２次元座標データ列である。１本のストロークがＪ個の座標データからなるとする。各座標データを（x[ｊ]、y[ｊ]）と表す。ここで、ｊ＝１〜Ｊである。例えば、ユーザが「の」という文字（１ストロークで構成される文字）を筆記したときの筆跡表示例を図３２に示す。この場合の入力ストロークを構成する座標点は全部で１２個であるので、この１２個の座標データ列（x[ｊ]、y[ｊ]）、ｊ＝１〜Ｊを順に結んで折れ線で当該入力ストロークを表現することができる。
【０１６０】
図３１に示した手順で入力ストロークの筆跡の表示を行うと、例えば、Ｎが「２」に設定されている場合には、ディスプレイ２１３の筆跡表示領域には、図３３に示すような筆跡が表示される。図３３（ａ）は、タブレット２０１の文字筆記領域３０１に、「い」という文字の２番目のストロークを入力し終えたときの筆跡表示例を示している。図３３（ｂ）は、タブレット２０１の文字筆記領域３０１に、「あ」という文字の３番目のストロークを入力し終えたときの筆跡表示例を示している。同図からも明らかなように、１番目のストロークは表示されていない。同様に、図３３（ｃ）は、タブレット２０１の文字筆記領域３０１に、「た」という文字の４番目のストロークを入力し終えたときの筆跡表示例を示している。同図からも明らかなように、１番目と２番目のストロークは表示されていない。
【０１６１】
ディスプレイ２１３の筆跡表示領域には、タブレット２０１上にペンＰを用いてユーザにより筆記されたストロークが、筆記と同時にリアルタイムに表示されることが望ましい。そのための筆跡表示手段２２１の処理動作について、図３４に示すフローチャートを参照して説明する。なお、図３４に示した、入力中のストロークの表示処理は、図３１のステップＳ１０２で実行される。
【０１６２】
前述したように、ペンＰが当該タブレットに触れている間のペン先の位置を表す座標データが筆跡情報取得手段２０２で取得される。すなわち、ユーザが１ストローク筆記している間に取得される座標データが筆跡表示手段２２１に入力するわけだが、その際、前回ペン先がタブレットを離れた後（すなわち、１ストロークの筆記終了後）に初めてペン先がタブレットに触れたことにより、最初に座標データが入力してきた時点で筆跡表示を開始する。まず、座標点数を計数するための変数Ｋを「０」にセットする（ステップＳ２０１）。そして、変数Ｋを１つインクリメントして（ステップＳ２０２）、そのときの座標データ（ｘ［Ｋ］、ｙ［Ｋ］）を取得する（ステップＳ２０３）。今回取得した座標データを含めて、筆跡表示を開始してから取得した座標データが１つのとき、すなわち、Ｋ＝１のときは（ステップＳ２０４）、ステップＳ２０６へ進み、当該座標点の表示を行う。一方、筆跡表示を開始してから取得した座標データが２つ目以上であるとき、すなわち、Ｋ＞１のときは、ステップＳ２０５へ進み、今回の座標データが（ｘ［Ｋ］、ｙ［Ｋ］）であるとすると、この今回の座標点と前回表示した座標点（ｘ［Ｋ―１］、ｙ［Ｋ―１］）とを結ぶ線分を表示する。以上ステップＳ２０２〜ステップＳ２０６を、ペン先がタブレットを離れたこと（１ストロークの筆記の終了）が検出されるまで繰り返す（ステップＳ２０７）。
【０１６３】
なお、１ストロークの筆記の終了の判断は、ペン先がタブレットを離れたことをペン操作判定手段２２０が検知して、それを筆跡表示手段２２１に通知するようにしてもよいし、筆跡表示手段２２１が筆跡情報取得手段２０２からの座標データの入力が一時中断した時点を１ストロークの筆記の終了の判断してもよい。
【０１６４】
また、Ｎ本のストロークを表示する際には、その１つ１つのストロークが区別できるように表示するようにしてもよい。例えば、各ストロークの色や太さを違えて表示するようにしてもよいし、図３５に示すように、各ストロークを実線、点線、波線など、線の種類を違えて表示するようにしてもよい。
【０１６５】
なお、上記Ｎの値は、ユーザにより所望な値に設定可能であってもよいし、Ｎ本の入力ストロークを表示するか否かもユーザにより設定可能であってもよい。このようにすることで、ユーザ毎に、そのユーザにとって最適な手書き文字の入力環境を提供することができる。
【０１６６】
ペン操作判定部２２０は、上記のように、ペンＰがタブレット上のどの位置に触れているかを判定して、ペン操作の種類を判定するものである。ペン操作の「種類には、例えば、筆記（文字）入力のための操作と、その他の操作（例えばカーソル移動など）とがある。
【０１６７】
ペンＰがタブレット上の所定の文字筆記領域上を触れたときには、筆記（文字）入力の開始と判断するようにしてもよい。文字入力が開始されたと判断すると、図３や、図３１に示した処理動作が行われる。
【０１６８】
例えば、ペンＰがタブレット上の所定の文字筆記領域以外の所定の領域に触れたときや、ペンＰがタブレットに触れてから予め定められた所定時間、その接触点を基準に予め定められた所定の範囲にペン先がとどまっているときなどには、筆記入力以外の操作であると判断するようにしてもよい。
【０１６９】
また、ペン先がタブレットを離れてからの時間を計測し、予め定められた時間を超えた場合に、筆跡表示手段２２１の初期化を行って、その時点で、ディスプレイ２１３の筆跡表示領域に表示されていた筆跡の消去を行うようにしてもよい。
【０１７０】
このように、重ね書き文字入力のように、文字の切り出し位置が明示的ではない場合であっても、入力された筆跡を適切に表示することができ、手書き文字を入力しやすい環境を提供することができる。
【０１７１】
（オンライン文字認識装置の付加機能）
以下、図３０に示すオンライン文字認識装置の構成例を参照して、その付加機能について説明する。
【０１７２】
今まで説明してきた実施形態では、図５に示したように、文字筆記領域３０１と認識結果表示領域３０２とが分かれている。しかし、認識結果表示領域３０２においても、文字挿入位置を示すカーソルＣの移動を指示するペン入力が実現可能である。すなわち、本実施形態では、ディスプレイ２１３に筆跡表示領域と認識結果表示領域とがある場合、透明のタブレット２０１が、それらを覆うように設けられていて、ユーザは、このタブレット２０１を介して、ディスプレイ２１３に表示された筆跡を見ることができるとともに、認識結果表示領域３０２内の任意の位置をペンＰで指定することにより、認識結果として得られた文字列に対し編集操作を行うことができる。この編集操作のための指示を「ジェスチャ」と呼ぶこともある。
【０１７３】
例えば、図３０に示すような構成において、認識結果表示領域３０２内の任意の位置がペンＰで指定された（触れられた）ことがペン操作判定手段２２０により検出された場合には、カーソル移動指示がなされ、現在筆記中の文字列について筆記が完了したものと判断する。そして、入力文字列推定手段２０５に対しては、その時点で認識未確定文字列がある場合には、それを確定文字列として、認識結果表示手段２０７により認識結果表示領域３０２に表示させる確定処理を行わせる指示（確定指示）を行う。また、このとき、入力文字列推定手段２０５は、認識未確定ストローク列がある場合には、当該認識未確定ストローク列をストロークバッファ２０８から削除する。この削除処理をバッファ更新手段２０６により行わせることも可能である。
【０１７４】
こうすることで、文字挿入位置の指示と、文字列筆記操作をスムーズに繰り返すことが可能となり、快適な文字入力が可能となる。なお、上記ペン操作判定手段２２０は、各手段２０２〜２０７と同様に、図１の情報機器中のＣＰＵ１がオンライン文字認識プログラムを実行することにより実現可能である。
【０１７５】
また本実施形態では、最後のストロークが入力された後、予め定められた一定時間以上次のストローク入力がないことが上記ペン操作判定手段２２０によって検出される構成となっている。そして、一定時間以上次のストローク入力がないことが検出された場合にも、ペン操作判定手段２２０では、現在筆記中の文字列について筆記が完了したものとみなし、上記と同様の確定処理を行う。
【０１７６】
このような確定処理前後の表示画面の変更例を、「あした」という文字を重ね書きした筆跡の各ストローク（入力ストローク）とストローク番号とに対応付けて、図２６の第３列及び第５列に示す。
【０１７７】
また、図５に示した文字筆記領域３０１と認識結果表示領域３０２とを図３６に示すように共通にすることも可能である。このような構成では、ペン先の座標が一定時間以上、一定座標範囲内から移動しない場合には、ペン操作判定手段２２０は、ペン入力が認識文字挿入位置を示すカーソルＣの移動を指示するジェスチャであると判定する。ペン操作判定手段２２０によりペン入力がジェスチャであると判定された場合には、入力文字列推定手段２０５が認識未確定文字列を認識確定文字列として出力する上記と同様の確定処理を行うようにすればよい。
【０１７８】
さて、本実施形態のオンライン文字認識装置は、誤って入力した文字を削除するための編集操作手段（１文字後退削除指示手段）として、図５に示した１文字後退削除ボタン３０３を有している。ユーザは、この１文字後退削除ボタン３０３をペンＰで触れると、ペン操作判定手段２２０は、その座標データが１文字後退削除ボタン３０３の領域内であることから、１文字後退削除指示がなされたことを判定し、カーソルＣの指す文字位置の直前の文字の削除を指示することができる。
【０１７９】
本実施形態では、図２６の第３列に示すように、認識結果表示領域３０２に認識未確定ストローク列の存在を示す記号“⇒”が表示されている状態で１文字後退削除指示がなされた場合に、当該“⇒”を削除する認識結果編集手段（図示せず）が設けられる。
【０１８０】
この認識結果編集手段は、認識未確定ストローク列は存在しないものの認識未確定文字列が存在する状態で１文字後退削除指示がなされた場合には、認識未確定文字列の最後尾を１文字後退削除すると共に、残りの認識未確定文字列を認識確定文字列として確定表示する。また認識結果編集手段は、認識未確定ストローク列も認識未確定文字列も存在しない状態で１文字後退削除指示がなされた場合には、確定文字列を１文字後退削除する。
【０１８１】
このような処理が実行されることにより、文字の削除、文字の筆記操作を連続してスムーズに行うことが可能となり、快適な文字編集環境が実現される。１文字後退削除指示前後の表示画面の変更例を、「あした」という文字を重ね書きした筆跡の各ストローク（入力ストローク）とストローク番号とに対応付けて、図２６の第３列及び第４列に示す。
【０１８２】
上記した１文字後退削除の指示はボタン（１文字後退削除ボタン３０３）によるものに限らない。例えば、ペン操作判定手段２２０は、文字筆記領域３０１に筆記された特定の形状のストロークを、１文字後退削除を指示するジェスチャであると判定することも可能である。この他に、例えば通常の文字筆記では入力されることのない、右から左方向への直線状のストローク入力を１文字後退削除のジェスチャと定めることもできる。ペン操作判定手段２２０は、文字認識で使用しているストローク形状特徴の照合により容易に実現可能である。
【０１８３】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１８４】
【発明の効果】
以上詳述したように本発明によれば、ユーザが文字列を筆記する場合に、文字の区切りを意識する必要がなく、ただ文字を続けて書いていくだけであっても、文字間の構造関係も考慮した認識処理により自動的に文字列を認識でき、よってスムーズな文字の連続筆記入力が実現できる。
【０１８５】
また本発明によれば、文字の重ね書き入力も可能となるため、小さな筆記領域しか用意できない携帯情報端末等の小型情報機器においても、快適な手書き文字入力環境を提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるオンライン文字認識装置を実現する情報機器のハードウェア構成を示すブロック図。
【図２】本発明の一実施形態に係わるオンライン文字認識装置の機能構成を示すブロック図。
【図３】図２のオンライン文字認識装置におけるオンライン文字認識処理全体の手順を説明するためのフローチャート。
【図４】図１の情報機器により実現されるオンライン文字認識装置のより詳細な機能構成を示すブロック図。
【図５】図１の情報機器の外観を示す図。
【図６】図４中のストロークバッファ２０８のデータ構造例を示す図。
【図７】図４中の認識候補バッファ２０９のデータ構造例を示す図。
【図８】図４中の文字構造辞書２１１のデータ構造例を示す図。
【図９】図４中の文字間構造辞書２１２のデータ構造例を示す図。
【図１０】図１の情報機器により実現される図４のオンライン文字認識装置におけるオンライン文字認識処理全体の手順を説明するためのフローチャート。
【図１１】図１０中のステップ８０２における詳細な処理手順を説明するためのフローチャート。
【図１２】図１０中のステップ８０３における詳細な処理手順を説明するためのフローチャート。
【図１３】図１２中のステップ１０１０における詳細な処理手順を説明するためのフローチャート。
【図１４】図１２中のステップ１００８における詳細な処理手順を説明するためのフローチャート。
【図１５】図１３中のステップ１０１１における詳細な処理手順を説明するためのフローチャート。
【図１６】図１０中のステップ８０４における詳細な処理手順を説明するためのフローチャート。
【図１７】図１６中のステップ１４０３における詳細な処理手順を説明するためのフローチャート。
【図１８】図１６中のステップ１４０４における詳細な処理手順を説明するためのフローチャート。
【図１９】図１６中のステップ１４０６における詳細な処理手順を説明するためのフローチャート。
【図２０】図１０中のステップ８０５における詳細な処理手順を説明するためのフローチャート。
【図２１】図２０中のステップ１８０１における詳細な処理手順を説明するためのフローチャート。
【図２２】図２０中のステップ１８０２における詳細な処理手順を説明するためのフローチャート。
【図２３】図１０中のステップ８０７における詳細な処理手順を説明するためのフローチャート。
【図２４】図１０中のステップ８０８における詳細な処理手順を説明するためのフローチャート。
【図２５】入力特徴と辞書特徴との間の照合関係を説明するための図。
【図２６】認識結果表示例を示す図。
【図２７】認識確定文字列と認識未確定文字列の表示処理動作について説明するためのフローチャート。
【図２８】認識確定文字列と認識未確定文字列の他の表示処理動作について説明するためのフローチャート。
【図２９】ストロークが筆記される都度推定される認識確定文字列、認識未確定文字列の表示の例を示した図。
【図３０】図１の情報機器により実現されるオンライン文字認識装置のより詳細な機能構成を示すブロック図で、図４に示した構成にさらに、筆跡表示手段と、ペン操作判定手段とが追加されている。
【図３１】筆跡表示手段の筆跡表示処理動作について説明するためのフローチャート。
【図３２】筆跡の表示例を示した図。
【図３３】Ｎが「２」に設定されている場合の筆跡表示例を示した図。
【図３４】タブレット上に筆記最中のストロークを筆記と同時にリアルタイムに表示するための処理動作を説明するためのフローチャート。
【図３５】最新のＮ本のストロークの表示例を示した図。
【図３６】図１の情報機器の外観の変形例を示す図。
【符号の説明】
１…ＣＰＵ
２…ＲＯＭ
３…ＲＡＭ
４，２０１…タブレット（座標入力装置）
５，２１３…ディスプレイ（表示装置）
６…データ読み込み装置
７…記憶媒体
２０２…筆跡情報取得手段
２０３…認識候補文字列生成手段
２０４…文字列尤度計算手段（照合手段）
２０５…入力文字列推定手段
２０６…バッファ更新手段
２０７…認識結果表示手段
２０８…ストロークバッファ
２０９…認識候補バッファ
２１０…認識結果バッファ
２１１…文字構造辞書
２１２…文字間構造辞書
２２０…ペン操作表示手段
２２１…筆跡表示手段
３０１…文字筆記領域
３０２…認識結果表示領域
３０３…１文字後退削除ボタン
Ｐ…ペン
Ｃ…カーソル
【発明の属する技術分野】
本発明は、座標入力装置を介して手書き入力される文字列筆跡（ストローク列）情報から、随時自動的に文字を切り出して認識し、結果を表示するオンライン文字認識装置に係り、特に文字の連続筆記入力に好適なオンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラムに関する。
【０００２】
【従来の技術】
従来、座標入力タブレット等の座標入力装置を介して手書き入力される文字列筆跡情報から、自動的に文字を切り出して認識し、結果を表示するオンライン文字認識装置では、次の４つの認識技術（認識手法）、即ち
（１）複数の文字枠が用意されており、１つの文字枠に１文字が順に書かれていくことで、文字を切出して認識する技術
（２）座標入力タブレットからペンが一定時間以上離れたことを検知して、文字の終りと判断して文字を切り出して認識する技術
（３）認識実行ボタン等で１文字筆記終了が明示的に指示されることにより文字を切出して認識する技術
（４）１文字を特殊な一筆書きで定義し、ストロークが入力されてペンがタブレットから離れたことを検知して１文字入力と判定し、文字を切り出して認識する技術
のいずれかが適用されるのが一般的である。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記した従来の認識技術、例えば（１）では、ユーザは文字筆記時に文字枠の大きさや位置を意識して入力せねばならず、自然な入力ができないという問題点があった。また、小型情報機器への搭載を考えた場合、十分な大きさの文字筆記領域が確保できないため、複数の文字枠を用意すると、１文字当たりの筆記領域の大きさが小さくなり、ユーザにとって筆記しづらいものとなるという問題点もあった。
【０００４】
一方、従来の認識技術（２），（３）では、文字枠を複数用意する必要はないため、１文字当たりの筆記領域を大きくとることが可能となり、（１）の問題を回避することが可能である。しかし、（２）では、連続して複数の文字を入力したいときに、１文字筆記毎に、タブレットからペンを一定時間以上離さねばらない。また、（３）では、１文字入力毎に認識実行ボタンを押すという、文字の筆記とは本来関係のない操作が、１文字筆記毎に必要となる。このため、（２），（３）の認識技術は文字列のスムーズな入力が困難であるという問題点があった。
【０００５】
また、従来の認識技術（４）では、上記した（１），（２），（３）における問題点を回避することが可能となるものの、ユーザに対して各文字の一筆書きを予め覚えておくことを強いる。このため、特に認識対象となる文字が多数存在する場合には、ユーザにとって大変な苦痛となる。
【０００６】
本発明は上記事情を考慮してなされたものでその目的は、ユーザが文字の区切りを意識することなく、ただ文字を続けて書いていくだけであっても、自動的に文字列を認識できるようにすることにある。
本発明の他の目的は、文字の重ね書き入力が行えるようにすることにある。
【０００７】
【課題を解決するための手段】
本発明は、座標入力装置上でペンが当該座標入力装置に触れてから離れるまでの間に当該座標入力装置により検出されるペン先の座標系列で表現されるストロークの列をもとに文字認識を行い、表示装置上に認識結果を表示するオンライン文字認識装置であって、前記ストロークが検出される度に、それまでに検出されたストロークの形状および続けて筆記される各２文字の組み合わせについて、当該２文字間のストロークの位置関係に基づき最適な文字列を求めて、該文字列を前記表示装置上に表示することを特徴とする。本発明によれば、ユーザが文字の区切りを意識することなく、座標入力装置上で文字を続けて書いていっても、最も確からしい文字列（認識確定文字列）を推定して表示することが可能となる。ここでは、文字間の各文字を構成するストロークの位置関係も考慮されているため、文字の重ね書き入力も可能となる。よって、小さな筆記スペースしか用意できない小型情報機器等においても、快適な手書き文字入力手段を提供することが可能となる。
【０００８】
また、本発明は、座標入力装置上でペンが当該座標入力装置に触れてから離れるまでの間に当該座標入力装置により検出されるペン先の座標系列で表現されるストロークの列をもとに文字認識を行い、表示装置上に認識結果を表示するオンライン文字認識装置であって、前記座標入力装置は、前記ペンで文字を筆記するための１文字分の文字筆記領域を有し、前記筆記領域に筆記された前記ストロークが検出される度に、それまでに検出されたストロークの形状および重ねて筆記される各２文字の組み合わせについて、当該２文字間のストロークの位置関係に基づき最適な文字列を求めて、該文字列を前記表示装置上に表示することを特徴とする。本発明によれば、ユーザが文字の区切りを意識することなく、座標入力装置上で文字を重ねて書いていっても、最も確からしい文字列（認識確定文字列）を推定して表示することが可能となる。文字間の各文字を構成するストロークの位置関係も考慮されているため、文字の重ね書き入力が可能となる。よって、小さな筆記スペースしか用意できない小型情報機器等においても、快適な手書き文字入力手段を提供することが可能となる。
【０００９】
本発明に係るオンライン文字認識装置は、複数の認識可能文字の各々について、当該文字を構成するストロークの形状情報、及びストローク間の構造関係が記述された辞書情報を登録した文字構造辞書と、上記複数の認識可能文字のうちの続けて筆記される各２文字の組み合わせについて、当該２文字間の構造関係が記述された辞書情報を登録した文字間構造辞書と、座標入力装置上でペンが当該座標入力装置に触れてから離れるまでの間に当該座標入力装置により検出されるペン先の座標系列で表現されるストロークを逐次取り込む筆跡情報取得手段と、この筆跡情報取得手段によりストロークが取り込まれる毎に、当該ストロークを含む認識すべき既取り込みストローク列に対する認識候補となり得る認識候補文字列を生成する認識候補文字列生成手段と、この生成された認識候補文字列毎に、当該認識候補文字列を構成する各候補文字についての上記文字構造辞書中の辞書情報と連続する２候補文字間についての上記文字間構造辞書中の辞書情報とに基づいて、当該認識候補文字列に対応する文字列構造辞書を作成して、上記既取り込みのストローク列を当該認識候補文字列毎の文字列構造辞書とそれぞれ照合することにより、当該ストローク列中のいずれのストロークがいずれの候補文字を構成しているのかを決定する文字切出しを行う照合手段（文字列尤度計算手段）と、上記各認識候補文字列について先頭からの上記文字切出しの結果が共通している文字列部分を認識確定文字列として推定して出力する入力文字列推定手段と、この推定された認識確定文字列を表示する認識結果表示手段とを備えたことを特徴とする。
【００１０】
このような構成においては、ストローク（筆跡）が入力される都度、当該ストロークを最後のストロークとする認識対象ストローク列に対する認識候補文字列毎に、文字構造辞書中の対応する辞書情報と文字間構造辞書中の対応する辞書情報とを組み合わせた文字列構造辞書が生成されて、その認識候補文字列毎の文字列構造辞書が認識対象ストローク列（入力筆跡）とそれぞれ照合されるため、ユーザが文字の区切りを意識することなく、座標入力装置上で文字を続けて書いていっても、最も確からしい入力文字列（認識確定文字列）を推定して表示することが可能となる。ここでは、文字間の構造関係も考慮されているため、文字の重ね書きを前提とした文字間構造辞書を用意することで、文字の重ね書き入力も可能となる。よって、小さな筆記スペースしか用意できない小型情報機器等においても、快適な手書き文字入力手段を提供することが可能となる。
【００１１】
ここで、筆跡情報取得手段により取り込まれるストローク（入力ストローク）を格納するためのストロークバッファと、認識候補文字列生成手段により生成される認識候補文字列を格納するための認識候補バッファとを設けると共に、照合手段によるストローク列（入力ストローク列）と各認識候補文字列の文字列構造辞書との照合結果が当該認識候補文字列に対応付けて認識候補バッファ内に格納される構成とするならば、オンライン文字認識装置での処理を効率的に行うことが可能となる。
【００１２】
また、筆跡情報取得手段によりストロークバッファに入力ストロークを格納する際に、当該ストロークの特徴（例えば形状特徴）、及び当該ストロークと先行するストロークとの間の特徴（例えば構造特徴）を筆跡情報取得手段にて抽出し、認識候補文字列生成手段では、ストロークバッファ内のストローク列に対する認識候補文字列を、筆跡情報取得手段にて抽出された当該ストローク列を構成する各ストロークの特徴及び各ストローク間の特徴に基づいて生成するとよい。
【００１３】
また、上記照合手段での照合処理で、入力ストローク列が認識候補文字列として筆記された確からしさ（を表す例えば尤度）が計算される構成とすると共に、入力文字列推定手段が、次に述べる２つの手段、即ち上記認識確定文字列を推定して出力する認識確定文字列推定手段と、認識未確定文字列及び認識未確定ストローク列情報を推定して出力する認識未確定文字列及び認識未確定ストローク列情報推定手段とから構成され、更に認識結果表示手段では、認識確定文字列推定手段から出力される認識確定文字列に加えて、認識未確定文字列及び認識未確定ストローク列情報推定手段から出力される認識未確定文字列と認識未確定ストローク列情報とを表示する構成とするとよい。
【００１４】
このような構成においては、ユーザは、座標入力装置上で文字を重ね書きにより続けて筆記しても、１ストローク筆記する毎に、その時点における認識確定文字列と認識未確定文字列と認識未確定ストローク列情報とが表示されるため、自身の筆跡の認識処理結果を画面上で逐次確認することができ、快適な文字入力が可能となる。ここで、認識確定文字列と認識未確定文字列とが識別可能な表示属性を付加して表示するとよい。また、認識未確定ストローク列情報についても、認識未確定ストローク列の有無が識別可能なように表示するとよい。
【００１５】
また、上記認識結果表示手段により認識確定文字列が表示される毎に、上記ストロークバッファから当該認識確定文字列に対応する入力ストローク列を削除すると共に、上記認識候補バッファから当該認識確定文字列に対応する情報を取り除くバッファ更新手段を設けるならば、処理量を減らすことが可能となる。
【００１６】
また、認識候補バッファ内の全ての認識候補文字列について、ストロークバッファ内の入力ストローク列との照合がなされた後に、この照合で各認識候補文字列毎に求められた、入力ストローク列が当該認識候補文字列として筆記された確からしさ（尤度）を予め定められた確からしさ（尤度の閾値）と比較し、確からしさが低い認識候補文字列は、全て認識候補バッファから削除する構成とすることによってとも、処理量を減らすことが可能となる。
【００１７】
また、最後のストロークが入力された後、予め定められた一定時間以上の間、次のストローク入力がないことを検出する検出手段（ペン操作判定手段）と、この検出手段の検出結果に応じて上記認識未確定文字列を上記認識確定文字列として出力する認識文字列確定手段とを設けるならば、ユーザの文字入力の操作性を一層向上できる。
【００１８】
ここで、上記座標入力装置が上記表示装置の表示面に重ねて配置され、且つ当該座標入力装置の入力面には文字筆記領域と認識結果表示領域とが分かれて確保される構成とすると共に、この文字筆記領域にペンが触れたことを検出する検出手段（ペン操作判定手段）を設けるようにしてもよい。
【００１９】
この他に、座標入力装置の入力面に文字筆記領域と認識結果表示領域とを兼ねた共通の領域が確保される構成とすると共に、上記検出手段と認識文字列確定手段とに代えて、それぞれ、ペンの先端が上記共通領域の一定座標範囲内に一定時間以上存在する場合には、そのペン入力は認識結果表示のカーソル移動を目的としたジェスチャであり、それ以外の場合には文字筆記を目的とした入力であると判定する判定手段（ペン操作判定手段）と、この判定手段によりペン入力がジェスチャであると判定された場合に、上記認識未確定文字列を上記認識確定文字列として出力する認識文字列確定手段とを設けるようにしてもよい。
【００２０】
また、１文字後退削除を指示操作するための１文字後退削除指示手段と、この１文字後退削除指示手段により１文字後退削除が指示された場合、認識未確定ストローク列が存在する状態では、当該認識未確定ストローク列を削除し、認識未確定ストローク列が存在せず認識未確定文字列が存在する状態では、当該認識未確定文字列の最後尾を１文字後退削除すると共に残りの認識未確定文字列を認識確定文字列とし、認識未確定ストローク列及び認識未確定文字列が共に存在しない状態では、認識確定文字列を１文字後退削除する認識結果編集手段とを設けるとよい。
【００２１】
このような構成においては、文字の削除、文字の筆記操作をスムーズに行うことが可能となる。
【００２２】
また、今回推定された認識未確定文字列を、該認識未確定文字列を含む認識候補文字列の確からしさが予め定められた条件を満たすとき、あるいは、今回推定された前記認識未確定文字列を含む前記認識候補文字列の確からしさが、前回推定された前記認識未確定文字列を含む前記認識候補文字列の確からしさに基づく予め定められた条件を満たすとき、前回推定された前記認識未確定文字列に替えて今回推定された前記認識未確定文字列を表示するようにしてもよい。１ストローク入力される度に、その入力ストロークを含め、それまでに入力された入力ストロークに最適な認識結果を逐次表示することができるので、ユーザは、筆記後すぐに認識結果を確認することができ、効率のよい手書き文字入力が行える。
【００２３】
また、座標入力装置の前記ペンで文字を筆記するための文字筆記領域が表示装置の筆跡表示領域に重ねて配置され、文字筆記領域に前記ストロークが筆記される度に、この最新のストロークを含め最新の所定のＮ本（但し、Ｎは整数）のストロークを筆跡表示領域に表示することにより、入力された筆跡が適切に表示されるので、ユーザに快適な文字筆記環境を提供できる。
【００２４】
また、前記座標入力装置上からペンが離れた後、予め定められた一定時間以上の間、前記ペンが前記座標入力装置に触れないこと、あるいは、前記ストロークの筆記以外のペン操作を検出する検出手段を具備し、この検出手段の検出結果に応じて、前記筆跡表示領域に表示されているストロークの表示を消去するようにしてもよい。
【００２５】
また、筆跡表示領域に前記予め定められた数のストロークを表示する際には、各ストロークの色と太さと該ストロークを表す線の種類とのうちのいずれかを違えて表示するようにしてもよい。
【００２６】
上記各手段は、ハードウェア構成によっても実現できるが、当該手段として機能させるためのプログラムをコンピュータのＣＰＵが読み込み実行することによって実現することも可能である。この場合、本発明のオンライン文字認識装置を、携帯情報端末等の情報機器により容易に実現できる。
【００２７】
なお、以上のオンライン文字認識装置に係る本発明は、方法（オンライン文字認識方法）に係る発明としても成立する。
また、本発明は、コンピュータに当該発明に相当する手順を実行させるための（或いはコンピュータを当該発明に相当する各手段として機能させるための、或いはコンピュータに当該発明に相当する機能を実現させるための）プログラムを記憶したコンピュータ読み取り可能な記憶媒体に係る発明としても成立し、更に当該プログラム自体に係る発明としても成立する。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態につき図面を参照して説明する。
【００２９】
（オンライン文字認識装置の構成および動作）
図１は本発明の一実施形態に係わるオンライン文字認識装置を実現する情報機器のハードウェア構成を示す。
図１の情報機器は、例えば携帯情報端末等の小型情報機器であり、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３、タブレット（タブレット装置）４、ディスプレイ（ディスプレイ装置）５、データ読み込み装置６、記憶媒体７、及びインタフェース部（Ｉ／Ｆ）８，９，１０等から構成されている。
【００３０】
ＣＰＵ１は、図１の情報機器の中枢をなし、各種データ処理のための演算やシステム全体の制御を行う演算・制御手段である。
ＲＯＭ２は基本ソフトウェア等が予め格納された不揮発性メモリ（記憶媒体）、ＲＡＭ３はＣＰＵ１の作業エリア等に利用される揮発性メモリである。
タブレット４は筆跡データの入力が可能な座標入力装置、ディスプレイ５は各種情報を表示する液晶ディスプレイ等の表示装置である。
【００３１】
記憶媒体７は、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、光ディスク等のコンピュータ読み取り可能な記憶手段である。この記憶媒体７には、データ及びプログラムが格納されている。データ読み込み装置６は、記憶媒体７に格納されているデータやプログラムを読み込むことのできる、ハードディスクドライブ、フロッピーディスクドライブ、ＣＤ−ＲＯＭドライブ、光ディスクドライブ等のデータ読み込み手段である。
【００３２】
インタフェース部８、インタフェース部９及びインタフェース部１０は、それぞれ、タブレット４、ディスプレイ５及びデータ読み込み装置６のインタフェースをなす。
【００３３】
記憶媒体７には、上記プログラムとして、入力筆跡の文字認識を行うためのオンライン文字認識プログラムが予め格納されている。このオンライン文字認識プログラムは、装置の起動時にデータ読み込み装置６によって読み込まれてＲＡＭ３に格納される。ＣＰＵ１はＲＡＭ３に格納されたオンライン文字認識プログラムに従って入力筆跡の文字認識処理を行う。
【００３４】
なお、オンライン文字認識プログラムがＲＯＭ２に予め格納されているものであっても構わない。この場合、ＣＰＵ１は当該ＲＯＭ内のオンライン文字認識プログラムに従って入力筆跡の文字認識処理を行えばよい。また、装置の起動時に、ＲＯＭ２からＲＡＭ３にオンライン文字認識プログラムを転送し、このＲＡＭ３内のオンライン文字認識プログラムに従って入力筆跡の文字認識処理を行うようにしても構わない。また、オンライン文字認識プログラムが通信回線を介してダウンロードされるものであっても構わない。
【００３５】
タブレット４は例えば透明であり、ディスプレイ５の表示画面上に重ねて配置されている。タブレット４の入力面には文字筆記領域３０１（図５参照）が設けられている。この筆記領域にユーザが専用ペンＰを利用して文字を筆記すると、その筆跡データ（座標値の時系列情報）がタブレット装置４により検出され、インタフェース部８を通じてＣＰＵ１に転送される。
【００３６】
図２は図１の情報機器により実現されるオンライン文字認識装置の機能構成を示すブロック図である。
このオンライン文字認識装置は、図１中のタブレット４に相当する手書き文字入力装置１０１と、筆跡情報取得手段１０２、認識手段１０３、認識結果表示手段１０４の各機能手段と、文字構造辞書１０６及び文字間構造辞書１０７の各辞書と、図１中のディスプレイ５に相当するディスプレイ１０５とから構成される。
【００３７】
筆跡情報取得手段１０２、認識手段１０３、認識結果表示手段１０４は、図１中のＣＰＵ１がＲＡＭ３に格納されたオンライン文字認識プログラムを読み込み、実行することにより実現される。文字認識処理の際、発生する（生成される）各種データは、例えばＲＡＭ３上に一時記憶されるようになっている。
【００３８】
文字構造辞書１０６及び文字間構造辞書１０７は、上記オンライン文字認識プログラムと共に例えば図１中の記憶媒体７に予め格納されており、当該プログラムがデータ読み込み装置６によって読み込まれてＲＡＭ３に格納される際に、このＲＡＭ３に格納される。なお、文字構造辞書１０６及び文字間構造辞書１０７をＲＯＭ２に予め格納しておくことも可能である。
【００３９】
手書き文字入力装置１０１は、例えばタブレットであり、ペンＰが当該タブレットに触れている間のペン先の位置を表す２次元座標データを一定時間間隔でサンプリングする。得られた座標データは筆跡情報取得手段１０２に送られる。
【００４０】
筆跡情報取得手段１０２は、ペンＰがタブレットに触れてから離れるまでの間の座標データ列、つまり筆跡の座標データ列をストロークと呼ぶひとまとまりのデータとして扱い、これをストロークデータとして取得する。筆跡情報取得手段１０２でストロークデータが取得されるたびに、それは認識手段１０３に送られる。
【００４１】
認識手段１９３は、ストロークデータが入力するたびに、それまでに入力されたストロークデータから、文字構造辞書１０６および文字間構造辞書１０７とを用いて、最適な文字列を認識する。
【００４２】
文字構造辞書１０６は、認識対象となる各文字の構造が表現されたデータ（文字構造辞書情報）、すなわち、各文字について、その文字を構成するストロークの形状やストローク間の位置関係（構造）などの特徴情報を登録した辞書である。
【００４３】
文字間構造辞書１０７は、文字構造辞書１０６に登録された複数の文字のうちの続けて筆記される各２文字の組み合わせについて、その２文字の間の構造関係が表現されたデータ（文字間辞書情報）を登録した辞書である。
【００４４】
タブレットには、連続する２文字が左右に並べて筆記される場合もあれば、重ねて筆記される場合（例えば、ペンで文字を筆記するための文字筆記領域が１文字分だけである場合）もある。前者の場合の文字間辞書情報とは、２文字が左右に並べて筆記される場合の一方の文字のストロークと他方の文字のストロークとの間の位置関係（構造）の特徴情報であり、後者の場合の文字間辞書情報とは、２文字が重ねて筆記される場合の一方の文字のストロークと他方の文字のストロークとの間の位置関係（構造）の特徴情報である。
【００４５】
認識手段１９３は、ストロークデータが入力するたびに、上記文字構造辞書１０６と文字間構造辞書１０７を用いて、それまでに入力されたストロークの形状およびストローク間の位置関係に基づき、最も確からしい、最適な文字列を求めるようになっている。
【００４６】
認識結果表示手段１０４は、認識手段１０３で求められた最適な文字列をディスプレイ１０５に出力する。
なお、タブレットの文字筆記領域が、複数文字分の筆記領域が確保されているものと、１文字分の筆記領域のみしか確保されていないものもあるが、いずれの場合であっても本実施形態は適用可能である。両者の異なる点は、上記の文字間辞書情報のみである。
【００４７】
次に、図２に示したような構成のオンライン文字認識装置におけるオンライン文字認識処理の手順について、図３のフローチャートを参照して説明する。
【００４８】
ステップＳ１では、文字筆記領域内にストロークが１本筆記されると、そのストロークの座標データ列、即ちストロークデータが、筆跡情報取得手段１０２によって取り込まれて、認識手段１０３に送られる。
【００４９】
ステップＳ２では、認識手段１０３は、それまでに入力されたストロークデータから、文字構造辞書１０６および文字間構造辞書１０７とを用いて、最適な文字列を認識する。例えば、この認識処理により、それまでに入力されたストロークのうち確かにその文字字列が筆記されたと断定できる認識確定文字と、最もそれらしい文字（認識未確定文字）と、筆記途中の文字のストローク（認識未確定ストローク）とを推定することができる。
【００５０】
ステップＳ３では、認識結果表示手段１０４は、文字認識手段１０３で認識された最適な文字列（例えば、認識確定文字列と認識未確定文字列）をディスプレイ１０５に表示する。
【００５１】
以上のステップＳ１〜Ｓ３を、ストロークの入力が終了するまで、あるいは、それまでに入力された全ての入力ストロークが認識確定文字列として推定されるまで繰り返す（ステップＳ４）。これにより、ユーザが文字の区切りを意識することなく、手書き文字入力装置１０１にただ文字を続けて筆記していくだけで、図２のオンライン文字認識装置では、その筆跡を自動的に文字列として認識することができる。
【００５２】
図４は、図１の情報機器により実現されるオンライン文字認識装置の機能構成をさらに詳細に示すブロック図である。
このオンライン文字認識装置は、図１中のタブレット４に相当するタブレット２０１と、筆跡情報取得手段２０２、認識候補文字列生成手段２０３、文字列尤度計算手段２０４、入力文字列推定手段２０５、バッファ更新手段２０６、及び認識結果表示手段２０７の各機能手段と、ストロークバッファ２０８、認識候補バッファ２０９及び認識結果バッファ２１０の各バッファと、文字構造辞書２１１及び文字間構造辞書２１２の各辞書と、図１中のディスプレイ５に相当するディスプレイ２１３とから構成される。
【００５３】
筆跡情報取得手段２０２、認識候補文字列生成手段２０３、文字列尤度計算手段２０４、入力文字列推定手段２０５、バッファ更新手段２０６、及び認識結果表示手段２０７は、図１中のＣＰＵ１がＲＡＭ３に格納されたオンライン文字認識プログラムを読み込み実行することにより実現される。
【００５４】
ストロークバッファ２０８、認識候補バッファ２０９及び認識結果バッファ２１０は、例えばＲＡＭ３上に確保される。
【００５５】
文字構造辞書２１１及び文字構造辞書２１２は、上記オンライン文字認識プログラムと共に例えば図１中の記憶媒体７に予め格納されており、当該プログラムがデータ読み込み装置６によって読み込まれてＲＡＭ３に格納される際に、このＲＡＭ３に格納される。なお、文字構造辞書２１１及び文字間構造辞書２１２をＲＯＭ２に予め格納しておくことも可能である。
【００５６】
図４の筆跡情報取得手段２０２は、図２の筆跡情報取得手段１０２に対応し、図４の認識候補文字列生成手段２０３と文字列尤度計算手段２０４と入力文字列推定手段２０５とバッファ更新手段２０６は、図３の認識手段１０３に対応し、図４の認識結果表示手段２０７は、図２の認識結果表示手段１０４に対応する。また、図４の文字構造辞書２１１は図２の文字構造辞書１０６に対応し、図４の文字間構造辞書２１２は、図２の文字間構造辞書１０７に対応する。
【００５７】
タブレット２０１は、ペンＰが当該タブレット２０１に触れている間のペン先の位置を表す２次元座標データを一定時間間隔でサンプリングする。得られた座標データは筆跡情報取得手段２０２に送られる。
筆跡情報取得手段２０２は、ペンＰがタブレット２０１に触れてから離れるまでの間の座標データ列、つまり筆跡の座標データ列をストロークと呼ぶひとまとまりのデータとして扱い、ストロークバッファ２０８に格納する。
【００５８】
認識候補文字列生成手段２０３は、ストロークバッファ２０８内のストローク（ストロークデータ）の列に対する認識候補となる認識候補文字列群を生成し、認識候補バッファ２０９に格納する。
文字列尤度計算手段２０４は、認識候補バッファ２０９内の各認識候補文字列についてその照合用辞書（文字列構造辞書）を文字構造辞書２１１と文字間構造辞書２１２とから作成し、それとストロークバッファ２０８中のストローク列との照合を行う。文字列尤度計算手段２０４は、認識候補文字列の各々について、ストローク列と認識候補文字列との照合結果として、当該ストローク列がその文字列である確からしさ（尤度）と、当該ストローク列中のどのストロークがどの文字に対応しているかを示す文字切り出し結果とを取得する。文字列尤度計算手段２０４は、取得した認識候補文字列毎の照合結果を当該認識候補文字列と対応付けて認識候補バッファ２０９に格納する。
【００５９】
入力文字列推定手段２０５は、認識候補バッファ２０９内の認識候補文字列とその照合結果から、認識確定文字列、認識未確定文字列、及び認識未確定ストローク列情報を求め、認識結果バッファ２１０に格納する。認識確定文字列とは、ストローク列（入力ストローク列）で構成される文字列のうち、この文字列が入力されたと断定できる文字列部分である。認識未確定文字列とは、入力ストローク列で構成される文字列のうち、断定はできないがこの文字列が入力されたと推測される文字列部分である。認識未確定ストローク列情報とは、１文字筆記途中のストロークと推測されるストロークが入力ストローク列中に存在するかどうかを示す情報である。
【００６０】
認識結果表示手段２０６は、入力文字列推定手段２０５によって推定された認識結果バッファ２１０内の推定入力文字列（認識確定文字列、認識未確定文字列、及び認識未確定ストローク列情報）をディスプレイ２１３に出力する。
バッファ更新手段２０７は、認識結果バッファ２１０内の情報を基に、ストロークバッファ２０８と認識候補バッファ２０９とから認識確定文字列に対応する部分の情報を削除し内容を更新する。
【００６１】
図５は図１の情報機器の外観を示す。
同図に示すように、図１の情報機器の主面、即ちディスプレイ５（２１３）の表示画面上に透明なタブレット４（２０１）が積層された面には、ユーザがペンＰでタブレット４（２０１）に文字を筆記するための文字筆記領域３０１と、この文字筆記領域３０１に筆記された筆跡を文字列として認識した結果と文字挿入位置を示すカーソルＣとを表示する認識結果表示領域３０２と、カーソル位置の直前の文字の削除を指示する１文字後退削除ボタン３０３とが確保されている。
【００６２】
図６は図４中のストロークバッファ２０８のデータ構造例を示す。
ストロークバッファ２０８に格納されるストローク列の情報は、当該バッファ２０８内のストロークの数（ストローク数）を示すNSTRKとNSTRK個のストロークデータから構成される。第Iストロークデータ（I=1〜NSTRK）は、それを構成する（座標点の数を示す）座標点数NPOINT[I]と、NPOINT[I]個のx，y座標データからなる。ここで、第Iストロークデータの第J点（J=1〜NPOINT[I]）のx，y座標データは、x[I][J]，y[I][J]のように表される。
【００６３】
図７は認識候補バッファ２０９のデータ構造例を示す。
認識候補バッファ２０９は、ストロークバッファ２０８内のストローク列に対する認識候補となる文字列と照合結果とを格納するのに用いられる。本実施形態において認識候補バッファ２０９に格納される情報（認識候補情報）は、候補（認識候補文字列）数を示すNCANDとNCAND個の候補（候補データ）とから構成される。
【００６４】
候補#I、即ち第I候補（I=1〜NCAND）のデータは文字切り出し結果を含む。この文字切り出し結果は、第I候補が認識棄却対象であるかどうかを示す棄却フラグCNAD_REJFLAG[I]と、その候補を構成する文字列（認識候補文字列）の文字数CAND_NCODE[I]と、CAND_NCODE[I]個の文字（第J文字（J=1〜CAND_NCODE[I]））の各々の文字構造辞書２１１中のエントリ番号CAND_REFID[I][J]と、その候補文字列の総ストローク数CAND_NSTRK[I]と、その候補文字列の最終文字に対応するストロークバッファ２０８内の入力ストロークの本数CAND_STRKCTR[I]と、CAND_NCODE[I]個の文字（第J文字）の各々に対応するストロークバッファ２０８内の入力ストローク列の開始ストローク番号CAND_BS[I][J]及び終了ストローク番号CAND_ES[I][J]とからなる。
【００６５】
第I候補（I=1〜NCAND）のデータは、上記した文字切り出し結果と、CAND_NCODE[I]個の文字（第J文字）の文字構造辞書２１１と対応する入力ストローク列を照合した結果の尤度の対数値（対数尤度）CAND_L1[I][J]と、第J文字と第J+1文字の間の文字間構造辞書２１２と対応する入力ストローク間構造特徴（第J文字の最後のストロークと次の第J+1文字の最初のストロークとの間の構造特徴）を照合した結果の対数尤度CAND_L2[I][J]と、対数尤度の総和、即ち第I候補の文字列と入力ストローク列全体とを照合した結果の対数尤度CAND_L[I]とから構成される。
【００６６】
図７の例では、認識候補バッファ２０９内の候補（認識候補文字列）は第１候補（候補#1）乃至第１０候補（候補#10）の１０個存在する。第１候補については、棄却フラグは０にセットされており、認識候補文字列は文字構造辞書２１１の第１エントリ「あ」と第２エントリ「い」とからなる２文字長の文字列「あい」である。この認識候補文字列の総ストローク数は５本である。ここでは、認識候補文字列「あい」の最後の文字「い」の第１ストロークまでが入力されて照合された結果が格納されている。認識候補文字列「あい」の第１文字「あ」に対応する入力ストロークは第１ストロークから第３ストロークまでの３本である。認識候補文字列「あい」の第２文字「い」に対応する入力ストロークは第４ストロークの１本だけである。つまり「い」の左側の１画までが入力されている。
【００６７】
認識候補文字列「あい」の第１文字「あ」の文字構造辞書２１１と、第１ストロークから第３ストロークまでの入力ストローク列とを照合した結果の尤度の対数値（対数尤度）は-0.70である。「あ」と「い」の間の文字間構造辞書２１２と、第３ストローク（「あ」の最後のストローク）と第４ストローク（「い」の最初のストローク）とのストローク間構造との照合をした結果の尤度の対数値（文字間対数尤度）は-0.36である。「い」の文字構造辞書２１１中の先頭ストローク部分と、入力ストローク列の第４ストロークとを照合した結果の尤度の対数値（対数尤度）は-0.22である。「あ」の対数尤度、「あ」と「い」の文字間対数尤度、「い」の最初のストロークの対数尤度を足し合わせた全体の対数尤度が-1.28である。
【００６８】
図８は文字構造辞書２１１のデータ構造例を示す。
文字構造辞書２１１は認識対象となる文字の構造が表現されたデータ（文字構造辞書情報）を登録した辞書である。この文字構造辞書２１１は、認識対象となる文字の数を示すNREFと、NREF個の文字各々の構造辞書からなる。
【００６９】
第I番目（I=1〜NREF）の文字の構造辞書（辞書#I）は、その文字をコード（例えばSHIFT-JISコード）で表したREF_CODE[I]と、その文字を構成する総ストローク数REF_NSTRK[I]と、REF_NSTRK[I]個のストローク（第Jストローク（J=1〜REF_NSTRK[I]））の特徴としての形状特徴の平均ベクトルs[I][J][1〜6]及び共分散ベクトルσ[I][J][1〜6]と、第J-1ストロークと第Jストロークとの間のストローク間構造特徴の平均ベクトルs2[I][J][1〜2]及び共分散ベクトルσ2[I][J][1〜2]とから構成される。ここでs[I][J][1〜6]はs[I][J][1]，s[I][J][2]，…s[I][J][6]からなる６次元ベクトルを表現するものとする。σ[I][J][1〜6]，s2[I][J][1〜2]、σ2[I][J][1〜2]についても同様のベクトル表現である。ストローク形状特徴とストローク間構造特徴については後述する。
【００７０】
図９は文字間構造辞書２１２のデータ構造例を示す。
文字間構造辞書２１２は、文字構造辞書２１１に登録されたNREF個の文字（認識可能文字）のうちの続けて筆記される各２文字の組み合わせについて、その２文字の間の構造関係が表現されたデータ（文字間辞書情報）を登録した辞書である。図９では、１組の２文字について、その文字間の構造関係を表す文字間構造辞書情報のデータ構造を示してある。この文字間構造情報は、文字間構造特徴の平均ベクトルz[1〜2]と共分散ベクトルθ[1〜2]とから構成される。文字間構造特徴としては、前の文字の最終ストロークと後ろの文字の先頭ストロークとの間のストローク構造特徴を用いる。
【００７１】
次に、以上のように構成されたオンライン文字認識装置におけるオンライン文字認識処理の手順について、図１０乃至図２４のフローチャートを適宜参照して説明する。
【００７２】
まず、全体の処理を図１０のフローチャートに従って説明する。
ステップ８０１は、オンライン文字認識装置内の各バッファを初期化するステップである。
【００７３】
ステップ８０２では、文字筆記領域３０１内にストロークが１本筆記されると、そのストロークの座標データ列、即ちストロークデータが、筆跡情報取得手段２０２によってストロークバッファ２０８に取り込まれ、当該ストロークデータの特徴抽出がなされる。
【００７４】
ステップ８０３では、ストロークバッファ２０８に取り込まれているストローク列に対する認識候補となり得る候補文字列（認識候補文字列）が認識候補文字列生成手段２０３によって生成されて認識候補バッファ２０９に格納される。
【００７５】
ステップ８０４では、ステップ８０３で生成された認識候補バッファ２０９内の認識候補文字列とステップ８０２で取り込まれたストローク列とが文字列尤度計算手段２０４によって照合され、その認識候補文字列としてストローク列が筆記された確からしさが計算される。
【００７６】
ステップ８０５では、ステップ８０４での各認識候補文字列との照合結果に基づき、入力ストローク列のうち確かにその認識候補文字列が筆記されたと断定できる認識確定文字列部分と、最もそれらしい文字列（認識未確定文字列）部分と、文字筆記途中のストローク列（認識未確定ストローク列）部分とが、入力文字列推定手段２０５によって推定される。
【００７７】
ステップ８０６では、ステップ８０５における推定結果が認識結果表示手段２０７によって認識結果表示領域３０２に表示される。
ステップ８０７，８０８では、ストロークバッファ２０８と認識候補バッファ２０９とがバッファ更新手段２０６によって更新される。
【００７８】
以上のステップ８０２〜８０８を、全ての入力ストローク列が認識確定文字列として推定されるまで（認識候補バッファ２０９が空になるまで）繰り返す（ステップ８０９）。これにより、ユーザが文字の区切りを意識することなく、文字筆記領域３０１にただ文字を続けて筆記していくだけで、図４のオンライン文字認識装置では、その筆跡を自動的に文字列として認識することができる。
【００７９】
以下、図１０のフローチャート中の各ステップの処理内容を詳細に説明する。
まず、ステップ８０１において、ストロークバッファ２０８及び認識候補バッファ２０９の初期化が行われる。ここでは、図６に示したデータ構造を持つストロークバッファ２０８内のストローク数NSTRKと、図７に示したデータ構造を持つ認識候補バッファ２０９内の認識候補文字列数NCANDとに、それぞれ“０”をセットすることで、両バッファ２０８，２０９の初期化が行われる。
【００８０】
次のステップ８０２は、（ディスプレイ５の表示画面上に重ねて配置された）タブレット２０１上に確保された文字筆記領域３０１にユーザによりペンＰでストロークが１本筆記される毎に実行される。筆記されたストロークのデータ（座標データ列）はタブレット２０１により取得される。ステップ８０２では、このタブレット２０１により取得されたストロークのデータが、筆跡情報取得手段２０２により取り込まれてストロークバッファ２０８に格納される。またステップ８０２では、ストロークバッファ２０８に格納されたストロークデータ（の示すストロークの形状）の特徴を抽出する処理が行われる。
【００８１】
この筆跡情報取得手段２０２によるステップ８０２の処理の詳細を、図１１のフローチャートを参照して説明する。
まず、ステップ９０１において、図６のデータ構造のストロークバッファ２０８内のストローク数NSTRKが１インクリメントされる。
【００８２】
次のステップ９０２からステップ９０５では、ペンＰがタブレット２０１から離れるまでの間に当該タブレット２０１によって取得されるペン先のｘ座標及びｙ座標データが逐次ストロークバッファ２０８に取り込まれる。ここでは、第Iストロークの第J点のx座標、ｙ座標は、図６に示すストロークバッファ２０８内のそれぞれx[I][J]、y[I][J]にセットされる。
ステップ９０６では、ペンＰがタブレット２０１から離れるまでの間に取り込まれた（１ストロークを構成する）座標点の数がNPOINT[I]にセットされる。
【００８３】
ステップ９０７では、ストロークバッファ２０８に取り込まれた最新のストローク、つまり第NSTRKストロークデータから、ストローク形状を表現するストローク形状特徴ベクトルu[1〜6]が抽出される。ここでu[1〜6]は、u[1]，u[2]，…u[6]からなる６次元のベクトルを表現するものとする。形状特徴としては、例えばストロークデータの全曲率関数を指数関数の指数部に持つ複素数値関数をフーリエ展開して得られるＰ形フーリエ記述子の２次までの低域成分を表現する６つの係数を用いるものとする。Ｐ形フーリエ記述子の算出手順については、文献「線図形の曲りを特徴としたオンライン手書き漢字認識」（電子情報通信学会論文誌 1990年4月 Vol.J73-D-II No.4 pp.519-525）に詳述されている方法を用いる。
【００８４】
入力されたストロークが第２ストローク以降である場合には、ステップ９０９において、第NSTRKストロークと１つ前に入力された第NSTRK-1ストロークとの間の構造関係を表現する２次元のストローク間構造特徴ベクトルu2[1〜2]が抽出される。構造特徴としては、例えば、第NTRK-1ストロークの終点から第NSTRKストロークの始点を結ぶベクトルのノルムを１に正規化したベクトルを用いる。
以上が、ステップ８０２における詳細な処理手順である。
【００８５】
次に、ステップ８０３では、認識候補文字列生成手段２０３により、認識候補バッファ２０９内の認識候補文字列が更新される。ステップ８０３は、この時点でストロークバッファ２０８に格納されている入力ストローク列に対する認識候補となり得る文字列を生成する処理である。
【００８６】
このステップ８０３の処理の詳細を、図１２のフローチャートを参照して説明する。
まず、ステップ１００２において、認識候補バッファ２０９中の現在の認識候補文字列数を示すNCANDに基づいて、認識候補文字列が存在するかしないかが判定される。
【００８７】
存在しない（NCAND=0の）場合には、ステップ１０１０に飛んで、図８に示したデータ構造の文字構造辞書２１１に登録されているNREF個の文字の各々をCAND_NCODE[I]（I=1〜NREF）が“１”の第I認識候補文字列（新認識候補文字列）として認識候補バッファ２０９に格納（生成）する処理がなされる。このステップ１０１０における詳細な処理手順を図１３のフローチャートに示す。
【００８８】
一方、認識候補バッファ２０９中に既に認識候補文字列が存在する（NCAND>0の）場合には、各第I認識候補文字列について以下の処理がなされる。
まずステップ１００５において、今、筆記入力されたストロークが現在の第I認識候補文字列に続く次の新しい１文字の最初のストロークであるかどうかが、ストロークバッファ２０８内のストローク数NSTRKが第I認識候補文字列の総ストローク数CAND_NSTRK[I]を超えたか否かにより判定される。
【００８９】
新しい１文字の最初のストロークではないと判定された場合には、ステップ１００６において、第I認識候補文字列の最終文字を構成するストローク数を示すカウンタCAND_STRKCTR[I]を１だけ増加させる。
【００９０】
これに対し、新しい１文字の最初のストロークであると判定された場合には、ステップ１００８において、現在の第I認識候補文字列に１文字を追加した新たな認識候補文字列を生成し認識候補バッファ２０９に登録する処理がなされる。追加する１文字は文字構造辞書２１１に含まれるNREF個の文字の全てであり、その数だけ認識候補バッファ２０９に新しい第K認識候補文字列（K=1〜NREF）が登録されることになる。ステップ１００８における詳細な処理手順を図１４のフローチャートに示す。
現在の第I認識候補文字列については、ステップ１００９において旧認識候補文字列として棄却フラグが立てられる。
【００９１】
このようにしてNCAND個の全ての認識候補文字列に対して、それぞれNREF個の新認識候補文字列が認識候補バッファ２０９に生成・登録されると（ステップ１００４）、棄却フラグが立てられた旧認識候補文字列を認識候補バッファ２０９から除去すると共に新認識候補文字列を整列する認識候補文字列更新処理がステップ１０１１において行われる。このステップ１０１１における詳細な処理手順を図１５のフローチャートに示す。
以上が、ステップ８０３における詳細な処理手順である。
【００９２】
次に、ステップ８０４では、認識候補バッファ２０９内の各認識候補文字列について、ストロークバッファ２０８内の入力ストローク列との照合が文字列尤度計算手段２０４によって行われ、その照合結果（尤度計算結果）が認識候補バッファ２０９に格納される。
【００９３】
このステップ８０４の処理の詳細を、図１６のフローチャートを参照して説明する。
まず、ステップ１４０３において、認識候補バッファ２０９の各第I認識候補文字列について、入力ストローク列の照合に用いられる文字列構造辞書が作成される。次のステップ１４０４では、入力ストローク列と作成された文字列構造辞書との照合が行われる。
【００９４】
上記ステップ１４０３における第I認識候補文字列の文字列構造辞書の作成処理は、図１７のフローチャートに従って次のように行われる。まず、ステップ１５０２において、ストロークバッファ２０８中にストロークが２本以上存在するかどうかが、当該バッファ２０８内のストローク数NSTRKが１より大きいか否かにより判定される。ストロークが１本しか存在しない場合にはステップ１５０６へ飛ぶ。２本以上の場合には、ステップ１５０３において、最新ストロークが第I認識候補文字列の最終文字の最初のストロークであるかどうかが判定される。
【００９５】
最初のストロークの場合には、そのストロークと１つ前のストロークとの間は文字間であると見なされる。この場合、ステップ１５０４において、文字間構造辞書２１２から対応する文字間の文字間構造辞書情報が取り出されて、当該辞書情報を構成する平均ベクトルz[1〜2]及び共分散ベクトルθ[1〜2]が、それぞれv2[1〜2]及びφ2[1〜2]にセットされた後、ステップ１５０６に進む。
【００９６】
一方、最初のストロークでない場合には、そのストロークと１つ前のストロークとの間は第I認識候補文字列の最終文字内のストローク間であると見なされ、ステップ１５０５において、最終文字についての文字構造辞書２１１中の辞書情報に記述されている対応するストローク間構造特徴の平均ベクトル及び共分散ベクトルが、それぞれv2[1〜2]及びφ2[1〜2]にセットされた後、ステップ１５０６に進む。
【００９７】
ステップ１５０６では、最新入力ストロークに対応する最終文字についての文字構造辞書２１１中の辞書情報に記述されているストローク形状特徴の平均べクトル及び共分散ベクトルが、それぞれv[1〜6]及びφ[1〜6]にセットされる。
【００９８】
次に、上記ステップ１４０４における第I認識候補文字列の文字列構造辞書と入力ストローク列との照合処理は、図１８のフローチャートに従って次のように行われる。
【００９９】
まず、ステップ１６０２において、ストロークバッファ２０８中にストロークが２本以上存在するかどうかが、上記ステップ１５０２と同様にして判定される。ストロークが１本しか存在しない場合にはステップ１６０７へ飛ぶ。２本以上の場合には、ステップ１６０３において、最新ストロークが現在の第I認識候補文字列の最終文字の最初のストロークであるかどうかが判定される。
【０１００】
最初のストロークの場合には、そのストロークと１つ前のストロークとの間は文字間であると見なされる。この場合、ステップ１６０４において、先のステップ９０９で抽出された入力ストローク間構造特徴ベクトルu2[1〜2]とステップ１５０４でセットされた文字間構造特徴の平均ベクトルv2[1〜2]及び共分散ベクトルφ2[1〜2]との間で尤度の計算が行われ、その対数値log f(u2｜v2,φ2)が第I認識候補文字列の対応する文字間構造部分、即ち最新のストロークの１つ前のストロークを最後のストロークとする文字と次の文字（現在の第I認識候補文字列の最終文字）との文字間構造部分の対数尤度としてセットされた後、ステップ１６０６に進む。
【０１０１】
ここで上記尤度は、平均ベクトルをv2[1〜2]、共分散ベクトルをφ2[1〜2]とした多次元無相関正規分布を確率密度関数とした場合の、入力ベクトルu2[1〜2]の確率密度関数値として、次式（１）により算出される。
【０１０２】
【数１】
一方、ステップ１６０３において最新ストロークが現在の第I認識候補文字列の最終文字の最初のストロークでないと判定された場合には、そのストロークと１つ前のストロークとの間は第I認識候補文字列の最終文字内のストローク間であると見なされる。この場合、ステップ１６０５において、ステップ９０９で抽出された入力ストローク間構造特徴ベクトルu2[1〜2]とステップ１５０５でセットされたストローク間構造特徴の平均ベクトルv2[1〜2]及び共分散ベクトルφ2[1〜2]との間で尤度の計算が行われ、その対数値log f(u2｜v2,φ2)が第I認識候補文字列の対応する文字構造部分、即ち現在の第I認識候補文字列の最終文字の文字構造部分の対数尤度に累積してセットされた後、ステップ１６０６に進む。尤度の計算にはステップ１６０４と同様の形式の確率密度関数を用いる。
【０１０４】
ステップ１６０６では、当該ステップ１６０６に先行するステップ１６０４または１６０５で算出された尤度の対数値log f(u2｜v2,φ2)が、現時点までに求められている、第I認識候補文字列と入力ストローク列全体とを照合した結果の対数尤度CAND_L[I]に累積してセットされる。
【０１０５】
ステップ１６０７では、ステップ９０７で抽出された入力ストロークの形状特徴ベクトルu[1〜6]と第I認識候補文字列の最終文字の文字構造辞書の対応するストローク形状特徴の平均べクトルv[1〜6]及び共分散ベクトルφ[1〜6]との間で尤度の計算が行われ、その対数値log f(u｜v,φ)が求められる。
【０１０６】
ここで上記尤度は、平均ベクトルをv[1〜6]、共分散ベクトルをφ[1〜6]とした多次元無相関正規分布を確率密度関数とした場合の、入力ベクトルu[1〜6]の確率密度関数値として、次式（２）により算出される。
【０１０７】
【数２】
ステップ１６０８では、ステップ１６０７で求められた対数値log f(u｜v,φ)、即ちストローク形状特徴を照合して得られた尤度の対数値log f(u｜v,φ)が、第I認識候補文字列の対応する文字構造部分、即ち第I認識候補文字列の最終文字の文字構造部分の対数尤度に累積してセットされる。
【０１０９】
ステップ１６０９では、ステップ１６０７で求められた対数値log f(u｜v,φ)が、現時点までに求められている、第I認識候補文字列と入力ストローク列全体とを照合した結果の対数尤度CAND_L[I]に累積してセットされる。
【０１１０】
認識候補バッファ２０９内の全ての認識候補文字列について、ストロークバッファ２０８内の入力ストローク列との照合がなされると（ステップ１４０５）、ステップ１４０６において認識候補文字列の絞込みが行われる。
【０１１１】
このステップ１４０６における絞込み処理は図１９のフローチャートに従って実行される。ここでは、認識候補バッファ２０９内の各第I認識候補文字列（I=1〜NCAND）について取得された対数尤度の総和、即ち第I認識候補文字列と入力ストローク列全体とを照合した結果の対数尤度CAND_L[I]が、予め定められ閾値αに満たない場合には、その認識候補文字列が入力された可能性は低いと判断される（ステップ１７０３）。この場合、その認識候補文字列は認識候補バッファ２０９から削除される。
【０１１２】
一方、対数尤度CAND_L[I]が閾値α以上の認識候補文字列は、その認識候補文字列が入力された可能性は高いと判断され、第J認識候補文字列として認識候補バッファ２０９内に残される（ステップ１７０４）。
【０１１３】
以上に述べた図１６のフローチャート（ステップ８０４での認識候補文字列に対する尤度計算処理の詳細手順）におけるステップ１４０３及びステップ１４０４の処理を、文字筆記領域３０１内で「あい」という文字を重ね書きした筆跡と、認識候補文字列「あい」との間の尤度計算の具体例について、図２５を参照して筆記順に説明する。
【０１１４】
まず、最初のストロークが筆記されると、そのストローク（第１入力ストローク）から抽出された形状特徴u[1〜6]と「あ」の文字構造辞書の第１ストロークの形状特徴s[1][1][1〜6]，σ[1][1][1〜6]との間で照合が行われる。
【０１１５】
第２入力トロークが筆記されると、１つ前の入力ストローク（第１入力ストローク）との間のストローク間構造特徴u2[1〜2]と、「あ」の文字構造辞書の第１ストロークと第２ストロークとの間のストローク間構造特徴s2[1][1][1〜2]，σ2[1][1][1〜2]との間で照合が行われると共に、第２入力ストロークの形状特徴u[1〜6]と「あ」の文字構造辞書の第２ストロークの形状特徴s[1][2][1〜6]，σ[1][2][1〜6]との間での照合も行われる。
【０１１６】
第３入力ストロークについても同様に尤度計算がなされるが、第４入力ストロークについては、そのストロークは「い」の最初のストロークであると判定されるため、第３入力ストロークと第４入力ストロークの間の入力ストローク間構造特徴u2[1〜2]は、「あ」と「い」の文字間構造特徴z[1〜2]，θ[1〜2]との間で照合される。これらの照合により計算される尤度の対数値の累積値が、入力ストローク列と認識候補文字列との間の対数尤度となる。
【０１１７】
ステップ８０４の次のステップ８０５では、認識候補バッファ２０９に格納されている各認識候補文字列と当該認識候補文字列毎の照合結果とから、入力文字列推定手段２０５により、認識確定文字列、認識未確定文字列、及び認識未確定ストローク列情報が決定される。
【０１１８】
図２０はステップ８０５における処理手順を説明するためのフローチャートである。このフローチャートに示すように、ステップ８０５の入力文字列推定処理は、認識確定文字列の推定ステップ１８０１と、認識未確定文字列及び認識未確定ストローク情報の推定ステップ１８０２とからなる。
【０１１９】
図２１はステップ１８０１における詳細な処理手順を説明するためのフローチャートである。ここでは、認識候補バッファ２０９内の全ての第I認識候補文字列（I=1〜NCAND）について（ステップ１９０２，１９０６，１９０８）、第１認識候補文字列を基準に、先頭から共通しているNSTRING1個の文字からなる文字列部分の文字コードSTRING1[J]の列（J=1〜NSTRING1）が認識確定文字列STRING1として抽出され（ステップ１９０７）、認識結果バッファ２１０にセットされる。ステップ１９０７では、NSTRING1個の文字の総ストローク数NSTRK1も求められ、認識確定文字列STRING1に対応付けて認識結果バッファ２１０にセットされる。
【０１２０】
図２２はステップ１８０２における処理手順を説明するためのフローチャートである。ここでは、まず認識候補バッファ２０９内の全ての第I認識候補文字列（I=1〜NCAND）の中で最も対数尤度CAND_L[I]の大きい第MI認識候補文字列（最尤認識候補文字列）（MIは1〜NCANDのいずれか）を求める（ステップ２００１〜２００５）。
【０１２１】
次に求めた最尤認識候補文字列について、当該候補文字列の最終文字が筆記途中であるか否かを、当該最終文字に対応する入力ストローク列の終了ストローク番号CAND_ES[MI][CAND_NCODE[MI]]が当該候補文字列の総ストローク数を表すCAND_NSTRK[MI]の値より小さいか否かにより判定する（ステップ２００６）。
【０１２２】
もし、最尤認識候補文字列の最終文字が筆記途中である場合には、認識未確定ストローク列情報USTRK_FLAGを“１”とし、更に最尤認識候補文字列から認識確定文字列と最終文字を除いたNSTRING2個の文字からなる文字列部分を取り出して、その文字列部分の文字コードSTRING2[J]の列（J=1〜NSTRING2）を認識未確定文字列STRING2として認識結果バッファ２１０にセットする（ステップ２００７，２００９〜２０１１）。その際、当該認識未確定文字列を含む最尤認識候補文字列の対数尤度も、当該認識未確定文字列STRING2とともに認識結果バッファ２１０に格納するようにしてもよい。認識結果バッファ２１０に格納された当該最尤認識候補文字列の対数尤度は、後に、認識結果表示手段２０７で当該認識未確定文字列STRING2を表示する際に用いることもできる。
【０１２３】
一方、最尤認識候補文字列の最終文字のストロークが全て筆記されている場合には、認識未確定ストローク情報USTRK_FLAGを“０”とし、更に最尤認識候補文字列から認識確定文字列を除いたNSTRING2個の文字からなる文字列部分を取り出して、その文字列部分の文字コードSTRING2[J]の列（J=1〜NSTRING2）を認識未確定文字列STRING2として認識結果バッファ２１０にセットする（ステップ２００８〜２０１１）。
【０１２４】
以上の説明から明らかなように、認識確定文字列STRING1は、入力ストローク列のうち、今後の筆記によって推定結果が変わらないという意味で断定された部分の文字列である。同様に、認識未確定文字列STRING2は、今後の筆記により推定結果が変わる可能性はあるが、現時点における尤度最大の意味で最もそれらしいと推測される部分の文字列である。そして、認識未確定ストローク列情報USTRK_FLAGは、未だ文字を書き終えていないストローク列の有無を表現している。
【０１２５】
ステップ８０５の次のステップ８０６では、認識結果表示手段２０７により、認識結果バッファ２１０内の認識確定文字列、認識未確定文字列及び認識未確定ストローク列情報が表示パターンに変換されて、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示される。
【０１２６】
このような、ストロークが筆記される都度推定される認識確定文字列、認識未確定文字列及び認識未確定ストローク列情報の表示の例を、文字筆記領域３０１内で「あい」という文字を重ね書きした筆跡の各ストローク（入力ストローク）とストローク番号とに対応付けて、図２６の第３列に示す。
【０１２７】
同図において、黒四角の記号は文字挿入位置を示すカーソルであり、図５中のカーソルＣに相当する。また、下線のない文字列部分は認識確定文字列を、下線のある文字列部分は認識未確定文字列を、それぞれ表す。また、記号“⇒”は認識未確定ストローク列情報USTRK_FLAGが“１”の場合に認識未確定文字列の次の文字位置に表示され、認識未確定ストローク列が存在することを表す。
【０１２８】
このように本実施形態においては、認識確定文字列、認識未確定文字列及び認識未確定ストローク列情報をユーザが容易に識別（視認）できるような表示属性を付加して、ストローク入力の都度、画面表示しているため、ユーザは自分の筆跡の認識処理結果を逐次確認することができ、快適な文字入力が可能となる。
【０１２９】
ステップ８０６が終了すると、バッファ更新手段２０６により、ステップ８０７において認識候補バッファ２０９の更新が行われ、ステップ８０８においてストロークバッファ２０８の更新が行われる。
【０１３０】
ステップ８０７における詳細な処理手順を図２３のフローチャートに示す。ここでは、認識確定文字列NSTRING1が存在する場合、認識候補バッファ２０９内の各第I認識候補文字列（I=1〜NCAND）について、当該各候補文字列から認識確定文字列NSTRING1に相当する部分の情報が除去される。
【０１３１】
次にステップ８０８における詳細な処理手順を図２４のフローチャートに示す。ここでは、ストロークバッファ２０８内のNSTRK個の第Iストロークデータ（I=1〜NSTRK）のうち、I=NSTRK1+1〜NSTRKの第Iストロークデータ、即ち第NSTRK1+1ストロークデータ〜第NSTRKストロークデータを、新たなNSTRK個（新NSTRK=旧NSTRK-NSTRK1）の第Jストロークデータとすることにより、認識確定文字列NSTRING1に対応する（第１ストロークデータ〜第NSTRK1ストロークデータからなる）入力ストローク列データを当該ストロークバッファ２０８から除去するストロークバッファ更新処理が行われる。
【０１３２】
このバッファ更新処理は、ステップ２１０７，２１０８のループと、ステップ２１０９〜２１１１とに大別される。ステップ２１０７，２１０８のループでは、認識確定文字列NSTRING1中の最終文字を除く文字列に対応する入力ストローク列データがストロークバッファ２０８から削除され、ステップ２１０９〜２１１１では、認識確定文字列NSTRING1中の最終文字に対応する入力ストローク列データがストロークバッファ２０８から削除される。
【０１３３】
ステップ８０８の次のステップ８０９では、認識候補バッファ２０９が空であるかどうかの判定が例えばバッファ更新手段２０６によってなされ、認識候補文字列が存在する場合にはステップ８０２に戻って筆跡情報取得手段２０２に制御が渡され、次のストロークの取り込みがなされる。
【０１３４】
これに対し、認識候補バッファ２０９が空の場合には、入力されたストローク列全てについて認識結果が確定した文字列が表示出力されたとして、認識処理は終了となる。
【０１３５】
よって本実施形態におけるオンライン文字認識装置では、以上に述べた処理手順により、ユーザが文字の区切りを意識することなく続けて書いた文字列を高精度に認識して入力することができる。
【０１３６】
（認識結果の表示方法）
図４の認識結果表示手段２０７は、前述したように、認識結果バッファ２１０内の認識確定文字列、認識未確定文字列及び認識未確定ストローク列情報を表示パターンに変換して、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示する。
【０１３７】
次に、図１０のステップ８０６における認識結果表示手段２０７での認識結果の表示手順の一例を図２７に示すフローチャートを参照して説明する。図２７に示すフローチャートは、認識結果のうち、認識確定文字列と認識未確定文字列を表示する手順を示したものであるが、特に、認識未確定文字列を表示する際には、その尤度と予め定められた閾値とを比較して、表示更新を行う点に特徴がある。この認識未確定文字列の尤度とは、入力文字列推定手段２０５で認識未確定文字列が推定されたときに、その認識未確定文字列を含む最尤認識候補文字列の対数尤度である。この対数尤度は、当該認識未確定文字列とともに、認識結果バッファ２１０に格納されるものとする。
【０１３８】
まず、認識結果表示手段２０７は、認識結果バッファ２１０から認識確定文字列を取出して表示する。すなわち、当該認識確定文字列が表示パターンに変換されて、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示される（ステップＳ１１）。
【０１３９】
次に、認識未確定文字列の表示を行うわけであるが、ここでは、まず、認識結果バッファ２１０から、認識未確定文字列と当該認識未確定文字列とともに格納されている対数尤度を取り出す。そして、この対数尤度の値が予め定められた閾値より大きい（あるいは、閾値以上である）ときは、この今回の認識未確定文字列を表示する。すなわち、当該認識未確定文字列が表示パターンに変換されて、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示される（ステップＳ１２、ステップＳ１３）。
【０１４０】
一方、当該認識未確定文字列とともに格納されている対数尤度の値が予め定められた閾値以下である（あるいは、閾値より小さい）ときは、この今回の認識未確定文字列は表示せずに、現在表示されている認識未確定文字列をそのまま表示する（ステップＳ１２、ステップＳ１４）。
【０１４１】
次に、図１０のステップ８０６における認識結果表示手段２０７での認識結果の表示手順の他の例を図２８に示すフローチャートを参照して説明する。図２８に示すフローチャートも、認識結果のうち、認識確定文字列と認識未確定文字列を表示する手順を示したものであるが、特に、認識未確定文字列を表示する際には、その尤度と現在表示されている認識未確認文字列の尤度とを比較して、表示更新を行う点に特徴がある。なお、この認識未確定文字列の尤度とは、入力文字列推定手段２０５で認識未確定文字列が推定されたときに、その認識未確定文字列を含む最尤認識候補文字列の対数尤度である。この対数尤度は、当該認識未確定文字列とともに、認識結果バッファ２１０に格納されるものとする。
【０１４２】
まず、認識結果表示手段２０７は、認識結果バッファ２１０から認識確定文字列を取出して表示する。すなわち、当該認識確定文字列が表示パターンに変換されて、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示される（ステップＳ２１）。
【０１４３】
次に、認識未確定文字列の表示を行うわけであるが、ここでは、まず、認識結果バッファ２１０から、認識未確定文字列と当該認識未確定文字列とともに格納されている対数尤度を取り出す。そして、この対数尤度の値が、現在表示されている認識未確定文字列の尤度（認識結果表示手段２０７に保持されている）の値より大きい（あるいは、以上である）ときは、この今回の認識未確定文字列を表示する。すなわち、当該認識未確定文字列が表示パターンに変換されて、ディスプレイ２１３の表示画面中の認識結果表示領域３０２に表示される（ステップＳ２２、ステップＳ２３）。そして、今回表示された認識未確定文字列の尤度を保持する（ステップＳ２４）
一方、当該認識未確定文字列とともに格納されている対数尤度の値が、現在表示されている認識未確定文字列の尤度（認識結果表示手段２０７に保持されている）の値以下である（あるいは、小さい）ときは、この今回の認識未確定文字列は表示せずに、現在表示されている認識未確定文字列をそのまま表示する（ステップＳ２２、ステップＳ２５）。
【０１４４】
このような、ストロークが筆記される都度推定される認識確定文字列、認識未確定文字列の表示の例を、文字筆記領域３０１内で「てがき」という文字を重ね書きした筆跡の各ストローク（「て」の１画目、「が」の１画目、２画目、…）と、ストロークが筆記される都度推定された認識確定文字列と認識未確定文字列とに対応付けて、図２９の第４列に示す。
【０１４５】
同図第４列において、下線の引かれていない文字列部分は認識確定文字列であり、下線の引かれている文字列部分は認識未確定文字列を、それぞれ表す。
【０１４６】
このように本実施形態においては、認識確定文字列、認識未確定文字列をユーザが容易に識別（視認）できるような表示属性を付加して、ストローク入力の都度、画面表示しているため、ユーザは自分の筆跡の認識処理結果を逐次確認することができ、快適で効率のよい、手書き文字入力が可能となる。
【０１４７】
（筆跡表示方法）
文字筆記領域３０１上に文字を筆記する場合、その筆跡が全く表示されないのであれば、前のストロークの位置が確認できないため、次に筆記するストロークが本来入力したい位置からずれていまい、正しい文字が入力する事ができないばかりか、誤認識の原因ともなる。また、特に、１文字分の文字筆記領域３０１上に文字を重ね書きする場合、入力したストロークが全て表示されると現在入力中の文字以外のストロークまで表示されていまうので、かえってわかりづらい。
【０１４８】
そこで、次に、タブレット２０１の文字筆記領域３０１に筆記されたストロークの表示手法について説明する。
【０１４９】
図３０は、タブレット２０１の文字筆記領域３０１に筆記されたストロークを表示するための筆跡表示手段を有したオンライン文字認識装置の構成を示したものである。なお、図３０において、図４と同一部分には同一符号を付し、異なる部分についてのみ説明する。すなわち、上記筆跡表示手段２２０とペン操作判定手段２２１が新たに追加されている。また、タブレット２０１は透明で、しかもこのタブレットは、その文字筆記領域上に筆記された筆跡を表示するためのディスプレイ２１３の筆跡表示領域上に設けられていて、ディスプレイ２１３に、タブレット２０１上にペンＰを用いてユーザにより筆記されたストロークが表示されると、ユーザは、このタブレット２０１を介して、この表示されたストロークを見ることができるようになっている。
【０１５０】
筆跡表示手段２２０は、筆跡情報取得手段２０２で取得されたストロークデータを用いてディスプレイ２１３上の筆跡表示領域に筆跡を表示するようになっている。
【０１５１】
ペンＰが当該タブレットに触れているときのペン先の位置を表す座標データが筆跡情報取得手段２０２で取得されるので、ペン操作判定手段２２１は、この座標データを基に、ペン操作の種類を判定し、その判定結果に応じて、筆跡表示手段２２０などに所定の指示を行うようになっている。
【０１５２】
筆跡表示手段２２０は、現在入力中のストロークを含め最新のＮ本の入力ストロークを表示する。表示するストロークの数Ｎは、予め設定されるものである。
【０１５３】
次に、図３１に示すフローチャートを参照して、筆跡表示手段２２０の筆跡表示処理動作について説明する。なお、図３１に示す処理は、図３のステップＳ１において実行される。
【０１５４】
最新のＮ本の入力ストロークの表示制御のために、筆跡表示手段２２０は、タブレット２０１上で入力されたストロークの数をＮに達するまで計数するストロークカウンタＭと、入力ストロークデータを格納するストロークバッファＢと、当該ストロークバッファ上の格納位置を示すリングバッファポインタＰを有する。ストロークバッファＢは１番目からＮ番目のＮ個の入力ストロークデータを格納する領域をもち、リングバッファポインタＰは、ストロークバッファＢの１番目の格納領域から２番目、３番目…と順に指し示し、Ｎ番目に達したときは再び１番目に戻ることによって、ストロークバッファＢの格納領域をエンドレスに指し示す。なお、ここでは、説明の簡単のため、リングバッファポインタＰの取り得る値をストロークバッファＢのストロークデータの１番目からＮ番目までの各格納領域を示す値、すなわち、１〜Ｎとし、ストロークバッファＢのＰ番目の格納領域をＢ（Ｐ）と表すことにする。
【０１５５】
まず、ペンＰによる手書き文字入力の開始とともに、筆跡表示手段２２０が初期化される。この初期化とは、例えば、現在筆跡表示領域に表示されている筆跡が存在するのであれば、これを消去し、ストロークカウンタＭと、リングバッファポインタＰを「０」にセットする（ステップＳ１０１）。
【０１５６】
１ストローク入力されると（ステップＳ１０２）、そのときのリングバッファポインタＰの値とＮとが比較され、ＰがＮと等しくなければ（ステップＳ１０３）、ステップＳ１０４へ進み、リングバッファポインタＰを１つインクリメントする。一方、ステップＳ１０３で、ＰがＮと等しければ、ステップＳ１０５ヘ進み、リングバッファポインタＰがストロークバッファＢの１番目の格納領域を指し示すように、リングバッファポインタＰの値を「１」に戻す。
【０１５７】
次に、ステップＳ１０６へ進む。ステップＳ１０６では、ストロークバッファＢのＰ番目の格納領域に、ステップＳ１０２で入力された当該ストロークデータを格納する（ステップＳ１０６）。そして、現在までに入力されたストロークの数ＭがＮよりも小さい（あるいは、Ｎ以下である）とき（ステップＳ１０７）、ステップＳ１０８へ進み、ストロークカウンタＭを１つインクリメントした後、ステップＳ１０９で、ストロークバッファＢから今回Ｐ番目の格納領域に格納したストロークデータを含め最新のＰ本のストロークを取出し、筆跡の表示を行う。この場合、ストロークバッファＢに格納されているストロークデータは、新しいものから順に並べると、Ｂ（Ｐ）、Ｂ（Ｐ−１）、…Ｂ（１）となる。
【０１５８】
一方、ステップＳ１０７で、現在までに入力されたストロークの数ＭがＮ以上である（あるいは、Ｎより小さい）ときは、ストロークカウンタＭの更新は行わずに、ステップＳ１１０へ進み、ストロークバッファＢから今回Ｐ番目の格納領域に格納したストロークデータを含め最新のＮ本のストロークを取出し、筆跡の表示を行う。この場合、ストロークバッファＢに格納されているストロークデータは、新しいものから順に並べると、Ｂ（ｐ）、Ｂ（Ｐ−１）、…Ｂ（１）、Ｂ（Ｎ）、Ｂ（１）、Ｂ（２）、…Ｂ（Ｐ＋１）となる。
【０１５９】
ここで、ストロークデータの表示方法について説明する。前述したように、各ストロークデータは、ペンＰがタブレット２０１に触れている間のペン先の位置を表す２次元座標データ列である。１本のストロークがＪ個の座標データからなるとする。各座標データを（x[ｊ]、y[ｊ]）と表す。ここで、ｊ＝１〜Ｊである。例えば、ユーザが「の」という文字（１ストロークで構成される文字）を筆記したときの筆跡表示例を図３２に示す。この場合の入力ストロークを構成する座標点は全部で１２個であるので、この１２個の座標データ列（x[ｊ]、y[ｊ]）、ｊ＝１〜Ｊを順に結んで折れ線で当該入力ストロークを表現することができる。
【０１６０】
図３１に示した手順で入力ストロークの筆跡の表示を行うと、例えば、Ｎが「２」に設定されている場合には、ディスプレイ２１３の筆跡表示領域には、図３３に示すような筆跡が表示される。図３３（ａ）は、タブレット２０１の文字筆記領域３０１に、「い」という文字の２番目のストロークを入力し終えたときの筆跡表示例を示している。図３３（ｂ）は、タブレット２０１の文字筆記領域３０１に、「あ」という文字の３番目のストロークを入力し終えたときの筆跡表示例を示している。同図からも明らかなように、１番目のストロークは表示されていない。同様に、図３３（ｃ）は、タブレット２０１の文字筆記領域３０１に、「た」という文字の４番目のストロークを入力し終えたときの筆跡表示例を示している。同図からも明らかなように、１番目と２番目のストロークは表示されていない。
【０１６１】
ディスプレイ２１３の筆跡表示領域には、タブレット２０１上にペンＰを用いてユーザにより筆記されたストロークが、筆記と同時にリアルタイムに表示されることが望ましい。そのための筆跡表示手段２２１の処理動作について、図３４に示すフローチャートを参照して説明する。なお、図３４に示した、入力中のストロークの表示処理は、図３１のステップＳ１０２で実行される。
【０１６２】
前述したように、ペンＰが当該タブレットに触れている間のペン先の位置を表す座標データが筆跡情報取得手段２０２で取得される。すなわち、ユーザが１ストローク筆記している間に取得される座標データが筆跡表示手段２２１に入力するわけだが、その際、前回ペン先がタブレットを離れた後（すなわち、１ストロークの筆記終了後）に初めてペン先がタブレットに触れたことにより、最初に座標データが入力してきた時点で筆跡表示を開始する。まず、座標点数を計数するための変数Ｋを「０」にセットする（ステップＳ２０１）。そして、変数Ｋを１つインクリメントして（ステップＳ２０２）、そのときの座標データ（ｘ［Ｋ］、ｙ［Ｋ］）を取得する（ステップＳ２０３）。今回取得した座標データを含めて、筆跡表示を開始してから取得した座標データが１つのとき、すなわち、Ｋ＝１のときは（ステップＳ２０４）、ステップＳ２０６へ進み、当該座標点の表示を行う。一方、筆跡表示を開始してから取得した座標データが２つ目以上であるとき、すなわち、Ｋ＞１のときは、ステップＳ２０５へ進み、今回の座標データが（ｘ［Ｋ］、ｙ［Ｋ］）であるとすると、この今回の座標点と前回表示した座標点（ｘ［Ｋ―１］、ｙ［Ｋ―１］）とを結ぶ線分を表示する。以上ステップＳ２０２〜ステップＳ２０６を、ペン先がタブレットを離れたこと（１ストロークの筆記の終了）が検出されるまで繰り返す（ステップＳ２０７）。
【０１６３】
なお、１ストロークの筆記の終了の判断は、ペン先がタブレットを離れたことをペン操作判定手段２２０が検知して、それを筆跡表示手段２２１に通知するようにしてもよいし、筆跡表示手段２２１が筆跡情報取得手段２０２からの座標データの入力が一時中断した時点を１ストロークの筆記の終了の判断してもよい。
【０１６４】
また、Ｎ本のストロークを表示する際には、その１つ１つのストロークが区別できるように表示するようにしてもよい。例えば、各ストロークの色や太さを違えて表示するようにしてもよいし、図３５に示すように、各ストロークを実線、点線、波線など、線の種類を違えて表示するようにしてもよい。
【０１６５】
なお、上記Ｎの値は、ユーザにより所望な値に設定可能であってもよいし、Ｎ本の入力ストロークを表示するか否かもユーザにより設定可能であってもよい。このようにすることで、ユーザ毎に、そのユーザにとって最適な手書き文字の入力環境を提供することができる。
【０１６６】
ペン操作判定部２２０は、上記のように、ペンＰがタブレット上のどの位置に触れているかを判定して、ペン操作の種類を判定するものである。ペン操作の「種類には、例えば、筆記（文字）入力のための操作と、その他の操作（例えばカーソル移動など）とがある。
【０１６７】
ペンＰがタブレット上の所定の文字筆記領域上を触れたときには、筆記（文字）入力の開始と判断するようにしてもよい。文字入力が開始されたと判断すると、図３や、図３１に示した処理動作が行われる。
【０１６８】
例えば、ペンＰがタブレット上の所定の文字筆記領域以外の所定の領域に触れたときや、ペンＰがタブレットに触れてから予め定められた所定時間、その接触点を基準に予め定められた所定の範囲にペン先がとどまっているときなどには、筆記入力以外の操作であると判断するようにしてもよい。
【０１６９】
また、ペン先がタブレットを離れてからの時間を計測し、予め定められた時間を超えた場合に、筆跡表示手段２２１の初期化を行って、その時点で、ディスプレイ２１３の筆跡表示領域に表示されていた筆跡の消去を行うようにしてもよい。
【０１７０】
このように、重ね書き文字入力のように、文字の切り出し位置が明示的ではない場合であっても、入力された筆跡を適切に表示することができ、手書き文字を入力しやすい環境を提供することができる。
【０１７１】
（オンライン文字認識装置の付加機能）
以下、図３０に示すオンライン文字認識装置の構成例を参照して、その付加機能について説明する。
【０１７２】
今まで説明してきた実施形態では、図５に示したように、文字筆記領域３０１と認識結果表示領域３０２とが分かれている。しかし、認識結果表示領域３０２においても、文字挿入位置を示すカーソルＣの移動を指示するペン入力が実現可能である。すなわち、本実施形態では、ディスプレイ２１３に筆跡表示領域と認識結果表示領域とがある場合、透明のタブレット２０１が、それらを覆うように設けられていて、ユーザは、このタブレット２０１を介して、ディスプレイ２１３に表示された筆跡を見ることができるとともに、認識結果表示領域３０２内の任意の位置をペンＰで指定することにより、認識結果として得られた文字列に対し編集操作を行うことができる。この編集操作のための指示を「ジェスチャ」と呼ぶこともある。
【０１７３】
例えば、図３０に示すような構成において、認識結果表示領域３０２内の任意の位置がペンＰで指定された（触れられた）ことがペン操作判定手段２２０により検出された場合には、カーソル移動指示がなされ、現在筆記中の文字列について筆記が完了したものと判断する。そして、入力文字列推定手段２０５に対しては、その時点で認識未確定文字列がある場合には、それを確定文字列として、認識結果表示手段２０７により認識結果表示領域３０２に表示させる確定処理を行わせる指示（確定指示）を行う。また、このとき、入力文字列推定手段２０５は、認識未確定ストローク列がある場合には、当該認識未確定ストローク列をストロークバッファ２０８から削除する。この削除処理をバッファ更新手段２０６により行わせることも可能である。
【０１７４】
こうすることで、文字挿入位置の指示と、文字列筆記操作をスムーズに繰り返すことが可能となり、快適な文字入力が可能となる。なお、上記ペン操作判定手段２２０は、各手段２０２〜２０７と同様に、図１の情報機器中のＣＰＵ１がオンライン文字認識プログラムを実行することにより実現可能である。
【０１７５】
また本実施形態では、最後のストロークが入力された後、予め定められた一定時間以上次のストローク入力がないことが上記ペン操作判定手段２２０によって検出される構成となっている。そして、一定時間以上次のストローク入力がないことが検出された場合にも、ペン操作判定手段２２０では、現在筆記中の文字列について筆記が完了したものとみなし、上記と同様の確定処理を行う。
【０１７６】
このような確定処理前後の表示画面の変更例を、「あした」という文字を重ね書きした筆跡の各ストローク（入力ストローク）とストローク番号とに対応付けて、図２６の第３列及び第５列に示す。
【０１７７】
また、図５に示した文字筆記領域３０１と認識結果表示領域３０２とを図３６に示すように共通にすることも可能である。このような構成では、ペン先の座標が一定時間以上、一定座標範囲内から移動しない場合には、ペン操作判定手段２２０は、ペン入力が認識文字挿入位置を示すカーソルＣの移動を指示するジェスチャであると判定する。ペン操作判定手段２２０によりペン入力がジェスチャであると判定された場合には、入力文字列推定手段２０５が認識未確定文字列を認識確定文字列として出力する上記と同様の確定処理を行うようにすればよい。
【０１７８】
さて、本実施形態のオンライン文字認識装置は、誤って入力した文字を削除するための編集操作手段（１文字後退削除指示手段）として、図５に示した１文字後退削除ボタン３０３を有している。ユーザは、この１文字後退削除ボタン３０３をペンＰで触れると、ペン操作判定手段２２０は、その座標データが１文字後退削除ボタン３０３の領域内であることから、１文字後退削除指示がなされたことを判定し、カーソルＣの指す文字位置の直前の文字の削除を指示することができる。
【０１７９】
本実施形態では、図２６の第３列に示すように、認識結果表示領域３０２に認識未確定ストローク列の存在を示す記号“⇒”が表示されている状態で１文字後退削除指示がなされた場合に、当該“⇒”を削除する認識結果編集手段（図示せず）が設けられる。
【０１８０】
この認識結果編集手段は、認識未確定ストローク列は存在しないものの認識未確定文字列が存在する状態で１文字後退削除指示がなされた場合には、認識未確定文字列の最後尾を１文字後退削除すると共に、残りの認識未確定文字列を認識確定文字列として確定表示する。また認識結果編集手段は、認識未確定ストローク列も認識未確定文字列も存在しない状態で１文字後退削除指示がなされた場合には、確定文字列を１文字後退削除する。
【０１８１】
このような処理が実行されることにより、文字の削除、文字の筆記操作を連続してスムーズに行うことが可能となり、快適な文字編集環境が実現される。１文字後退削除指示前後の表示画面の変更例を、「あした」という文字を重ね書きした筆跡の各ストローク（入力ストローク）とストローク番号とに対応付けて、図２６の第３列及び第４列に示す。
【０１８２】
上記した１文字後退削除の指示はボタン（１文字後退削除ボタン３０３）によるものに限らない。例えば、ペン操作判定手段２２０は、文字筆記領域３０１に筆記された特定の形状のストロークを、１文字後退削除を指示するジェスチャであると判定することも可能である。この他に、例えば通常の文字筆記では入力されることのない、右から左方向への直線状のストローク入力を１文字後退削除のジェスチャと定めることもできる。ペン操作判定手段２２０は、文字認識で使用しているストローク形状特徴の照合により容易に実現可能である。
【０１８３】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１８４】
【発明の効果】
以上詳述したように本発明によれば、ユーザが文字列を筆記する場合に、文字の区切りを意識する必要がなく、ただ文字を続けて書いていくだけであっても、文字間の構造関係も考慮した認識処理により自動的に文字列を認識でき、よってスムーズな文字の連続筆記入力が実現できる。
【０１８５】
また本発明によれば、文字の重ね書き入力も可能となるため、小さな筆記領域しか用意できない携帯情報端末等の小型情報機器においても、快適な手書き文字入力環境を提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるオンライン文字認識装置を実現する情報機器のハードウェア構成を示すブロック図。
【図２】本発明の一実施形態に係わるオンライン文字認識装置の機能構成を示すブロック図。
【図３】図２のオンライン文字認識装置におけるオンライン文字認識処理全体の手順を説明するためのフローチャート。
【図４】図１の情報機器により実現されるオンライン文字認識装置のより詳細な機能構成を示すブロック図。
【図５】図１の情報機器の外観を示す図。
【図６】図４中のストロークバッファ２０８のデータ構造例を示す図。
【図７】図４中の認識候補バッファ２０９のデータ構造例を示す図。
【図８】図４中の文字構造辞書２１１のデータ構造例を示す図。
【図９】図４中の文字間構造辞書２１２のデータ構造例を示す図。
【図１０】図１の情報機器により実現される図４のオンライン文字認識装置におけるオンライン文字認識処理全体の手順を説明するためのフローチャート。
【図１１】図１０中のステップ８０２における詳細な処理手順を説明するためのフローチャート。
【図１２】図１０中のステップ８０３における詳細な処理手順を説明するためのフローチャート。
【図１３】図１２中のステップ１０１０における詳細な処理手順を説明するためのフローチャート。
【図１４】図１２中のステップ１００８における詳細な処理手順を説明するためのフローチャート。
【図１５】図１３中のステップ１０１１における詳細な処理手順を説明するためのフローチャート。
【図１６】図１０中のステップ８０４における詳細な処理手順を説明するためのフローチャート。
【図１７】図１６中のステップ１４０３における詳細な処理手順を説明するためのフローチャート。
【図１８】図１６中のステップ１４０４における詳細な処理手順を説明するためのフローチャート。
【図１９】図１６中のステップ１４０６における詳細な処理手順を説明するためのフローチャート。
【図２０】図１０中のステップ８０５における詳細な処理手順を説明するためのフローチャート。
【図２１】図２０中のステップ１８０１における詳細な処理手順を説明するためのフローチャート。
【図２２】図２０中のステップ１８０２における詳細な処理手順を説明するためのフローチャート。
【図２３】図１０中のステップ８０７における詳細な処理手順を説明するためのフローチャート。
【図２４】図１０中のステップ８０８における詳細な処理手順を説明するためのフローチャート。
【図２５】入力特徴と辞書特徴との間の照合関係を説明するための図。
【図２６】認識結果表示例を示す図。
【図２７】認識確定文字列と認識未確定文字列の表示処理動作について説明するためのフローチャート。
【図２８】認識確定文字列と認識未確定文字列の他の表示処理動作について説明するためのフローチャート。
【図２９】ストロークが筆記される都度推定される認識確定文字列、認識未確定文字列の表示の例を示した図。
【図３０】図１の情報機器により実現されるオンライン文字認識装置のより詳細な機能構成を示すブロック図で、図４に示した構成にさらに、筆跡表示手段と、ペン操作判定手段とが追加されている。
【図３１】筆跡表示手段の筆跡表示処理動作について説明するためのフローチャート。
【図３２】筆跡の表示例を示した図。
【図３３】Ｎが「２」に設定されている場合の筆跡表示例を示した図。
【図３４】タブレット上に筆記最中のストロークを筆記と同時にリアルタイムに表示するための処理動作を説明するためのフローチャート。
【図３５】最新のＮ本のストロークの表示例を示した図。
【図３６】図１の情報機器の外観の変形例を示す図。
【符号の説明】
１…ＣＰＵ
２…ＲＯＭ
３…ＲＡＭ
４，２０１…タブレット（座標入力装置）
５，２１３…ディスプレイ（表示装置）
６…データ読み込み装置
７…記憶媒体
２０２…筆跡情報取得手段
２０３…認識候補文字列生成手段
２０４…文字列尤度計算手段（照合手段）
２０５…入力文字列推定手段
２０６…バッファ更新手段
２０７…認識結果表示手段
２０８…ストロークバッファ
２０９…認識候補バッファ
２１０…認識結果バッファ
２１１…文字構造辞書
２１２…文字間構造辞書
２２０…ペン操作表示手段
２２１…筆跡表示手段
３０１…文字筆記領域
３０２…認識結果表示領域
３０３…１文字後退削除ボタン
Ｐ…ペン
Ｃ…カーソル
Claims (18)
- 座標入力装置上でペンが当該座標入力装置に触れてから離れるまでの間に当該座標入力装置により検出されるペン先の座標系列で表現されるストロークの列をもとに文字認識を行い、表示装置上に認識結果を表示するオンライン文字認識装置において、
複数の認識可能文字の各々について、当該文字を構成するストロークの形状情報、及びストローク間の構造関係が記述された辞書情報を登録した文字構造辞書と、
前記複数の認識可能文字のうちの続けて筆記される各２文字の組み合わせについて、当該２文字間の構造関係が記述された辞書情報を登録した文字間構造辞書と、
前記座標入力装置により検出されるストロークを逐次取り込む筆跡情報取得手段と、
前記筆跡情報取得手段によりストロークが取り込まれる毎に、当該ストロークを含む認識すべき既取り込みストローク列に対する認識候補となり得る認識候補文字列を生成する認識候補文字列生成手段と、
前記認識候補文字列毎に、当該認識候補文字列を構成する各候補文字についての前記文字構造辞書中の辞書情報と連続する２候補文字間についての前記文字間構造辞書中の辞書情報とに基づいて、当該認識候補文字列に対応する文字列構造辞書を作成して、前記既取り込みのストローク列を当該認識候補文字列毎の文字列構造辞書とそれぞれ照合することにより、当該ストローク列中のいずれのストロークがいずれの候補文字を構成しているのかを決定する文字切出しを行う照合手段と、
前記各認識候補文字列について先頭からの前記文字切出しの結果が共通している文字列部分を認識確定文字列として推定して出力する入力文字列推定手段と、
前記入力文字列推定手段により出力された前記認識確定文字列を表示する認識結果表示手段と
を具備することを特徴とするオンライン文字認識装置。 - 座標入力装置上でペンが当該座標入力装置に触れてから離れるまでの間に当該座標入力装置により検出されるペン先の座標系列で表現されるストロークの列をもとに文字認識を行い、表示装置上に認識結果を表示するオンライン文字認識装置において、
複数の認識可能文字の各々について、当該文字を構成するストロークの形状情報、及びストローク間の構造関係が記述された辞書情報を登録した文字構造辞書と、
前記複数の認識可能文字のうちの続けて筆記される各２文字の組み合わせについて、当該２文字間の構造関係が記述された辞書情報を登録した文字間構造辞書と、
前記座標入力装置により検出されるストロークを格納するためのストロークバッファと、
前記座標入力装置により検出されるストロークを逐次取り込んで前記ストロークバッファに格納する筆跡情報取得手段と、
前記ストロークバッファ内のストローク列に対する認識候補となる認識候補文字列群を格納するための認識候補バッファと、
前記筆跡情報取得手段により前記ストロークバッファにストロークが格納される毎に、当該ストロークバッファ内のストローク列に対する認識候補となり得る認識候補文字列を生成して前記認識候補バッファに格納する認識候補文字列生成手段と、
前記認識候補バッファ内の認識候補文字列毎に、当該認識候補文字列を構成する各候補文字についての前記文字構造辞書中の辞書情報と連続する２候補文字間についての前記文字間構造辞書中の辞書情報とに基づいて、当該認識候補文字列に対応する文字列構造辞書を作成して、前記ストロークバッファ内のストローク列を当該認識候補文字列毎の文字列構造辞書とそれぞれ照合することにより、当該ストローク列中のいずれのストロークがいずれの候補文字を構成しているのかを決定する文字切出しを行い、その結果を当該認識候補文字列に対応付けて前記認識候補バッファ内に格納する照合手段と、
前記認識候補バッファ内の全ての認識候補文字列について先頭からの前記文字切出しの結果が共通している文字列部分を認識確定文字列として推定して出力する入力文字列推定手段と、
前記入力文字列推定手段より出力された前記認識確定文字列を表示する認識結果表示手段と
を具備することを特徴とするオンライン文字認識装置。 - 座標入力装置上でペンが当該座標入力装置に触れてから離れるまでの間に当該座標入力装置により検出されるペン先の座標系列で表現されるストロークの列をもとに文字認識を行い、表示装置上に認識結果を表示するオンライン文字認識装置において、
前記座標入力装置は、前記ペンで文字を筆記するための１文字分の文字筆記領域を有し、
複数の認識可能文字の各々について、当該文字を構成するストロークの形状情報、及びストローク間の構造関係が記述された辞書情報を登録した文字構造辞書と、
前記複数の認識可能文字のうちの前記文字筆記領域に重ねて筆記される各２文字の組み合わせについて、当該２文字間の構造関係が記述された辞書情報を登録した文字間構造辞書と、
前記座標入力装置により検出されるストロークを逐次取り込む筆跡情報取得手段と、
前記筆跡情報取得手段によりストロークが取り込まれる毎に、当該ストロークを含む認識すべき既取り込みストローク列に対する認識候補となり得る認識候補文字列を生成する認識候補文字列生成手段と、
前記認識候補文字列毎に、当該認識候補文字列を構成する各候補文字についての前記文字構造辞書中の辞書情報と、重なる２候補文字間についての前記文字間構造辞書中の辞書情報とに基づいて、当該認識候補文字列に対応する文字列構造辞書を作成して、前記既取り込みのストローク列を当該認識候補文字列毎の文字列構造辞書とそれぞれ照合することにより、当該ストローク列中のいずれのストロークがいずれの候補文字を構成しているのかを決定する文字切出しを行う照合手段と、
前記各認識候補文字列について先頭からの前記文字切出しの結果が共通している文字列部分を認識確定文字列として推定して出力する入力文字列推定手段と、
前記入力文字列推定手段により出力された前記認識確定文字列を表示する認識結果表示手段と
を具備することを特徴とするオンライン文字認識装置。 - 座標入力装置上でペンが当該座標入力装置に触れてから離れるまでの間に当該座標入力装置により検出されるペン先の座標系列で表現されるストロークの列をもとに文字認識を行い、表示装置上に認識結果を表示するオンライン文字認識装置において、
前記座標入力装置は、前記ペンで文字を筆記するための１文字分の文字筆記領域を有し、
複数の認識可能文字の各々について、当該文字を構成するストロークの形状情報、及びストローク間の構造関係が記述された辞書情報を登録した文字構造辞書と、
前記複数の認識可能文字のうちの前記文字筆記領域に重ねて筆記される各２文字の組み合わせについて、当該２文字間の構造関係が記述された辞書情報を登録した文字間構造辞書と、
前記座標入力装置により検出されるストロークを格納するためのストロークバッファと、
前記座標入力装置により検出されるストロークを逐次取り込んで前記ストロークバッファに格納する筆跡情報取得手段と、
前記ストロークバッファ内のストローク列に対する認識候補となる認識候補文字列群を格納するための認識候補バッファと、
前記筆跡情報取得手段により前記ストロークバッファにストロークが格納される毎に、当該ストロークバッファ内のストローク列に対する認識候補となり得る認識候補文字列を生成して前記認識候補バッファに格納する認識候補文字列生成手段と、
前記認識候補バッファ内の認識候補文字列毎に、当該認識候補文字列を構成する各候補文字についての前記文字構造辞書中の辞書情報と重なる２候補文字間についての前記文字間構造辞書中の辞書情報とに基づいて、当該認識候補文字列に対応する文字列構造辞書を作成して、前記ストロークバッファ内のストローク列を当該認識候補文字列毎の文字列構造辞書とそれぞれ照合することにより、当該ストローク列中のいずれのストロークがいずれの候補文字を構成しているのかを決定する文字切出しを行い、その結果を当該認識候補文字列に対応付けて前記認識候補バッファ内に格納する照合手段と、
前記認識候補バッファ内の全ての認識候補文字列について先頭からの前記文字切出しの結果が共通している文字列部分を認識確定文字列として推定して出力する入力文字列推定手段と、
前記入力文字列推定手段より出力された前記認識確定文字列を表示する認識結果表示手段と
を具備することを特徴とするオンライン文字認識装置。 - 前記照合手段は、前記ストローク列と前記認識候補文字列毎の前記文字列構造辞書との照合により、当該ストローク列が当該認識候補文字列として筆記された確からしさを計算するように構成されており、
前記入力文字列推定手段は、前記認識確定文字列を推定して出力する認識確定文字列推定手段と、前記照合手段の照合結果から決定される前記各認識候補文字列の中で最も確からしい認識候補文字列について、最後の文字を構成するストロークが全て筆記入力されているか否かに応じて、認識未確定ストローク列が存在しないこと或いは存在することを示す認識未確定ストローク列情報を出力すると共に、前記認識未確定ストローク列が存在しない場合には、前記最も確からしい認識候補文字列から前記認識確定文字列を除いた文字列を認識未確定文字列として推定して出力し、前記認識未確定ストローク列が存在する場合には、前記最も確からしい認識候補文字列から前記認識確定文字列と最後の１文字を除いた文字列を認識未確定文字列として推定して出力する認識未確定文字列及び認識未確定ストローク列情報推定手段とを含み、
前記認識結果表示手段は、前記認識確定文字列に加えて、さらに少なくとも、前記認識未確定文字列を表示することを特徴とする請求項１乃至４のいずれか１つに記載のオンライン文字認識装置。 - 前記認識結果表示手段は、前記認識未確定文字列を、該認識未確定文字列を含む前記認識候補文字列の前記確からしさが予め定められた条件を満たすとき表示することを特徴とする請求項５記載のオンライン文字認識装置。
- 前記認識結果表示手段は、今回推定された前記認識未確定文字列を含む前記認識候補文字列の確からしさが、前回推定された前記認識未確定文字列を含む前記認識候補文字列の確からしさに基づく予め定められた条件を満たすとき、前回推定された前記認識未確定文字列に替えて今回推定された前記認識未確定文字列を表示することを特徴とする請求項５記載のオンライン文字認識装置。
- 前記認識結果表示手段により前記認識確定文字列が表示される毎に、前記ストロークバッファから当該認識確定文字列に対応する入力ストローク列を削除すると共に、前記認識候補バッファから当該認識確定文字列に対応する情報を取り除くバッファ更新手段を更に具備することを特徴とする請求項２または４記載のオンライン文字認識装置。
- 最後のストロークが入力された後、予め定められた一定時間以上の間、次のストローク入力がないことを検出する検出手段と、
前記検出手段の検出結果に応じて前記認識未確定文字列を前記認識確定文字列として出力する認識文字列確定手段と
を更に具備することを特徴とする請求項５記載のオンライン文字認識装置。 - 前記座標入力装置が前記表示装置の表示面に重ねて配置されると共に、当該座標入力装置の入力面には前記ペンで文字を筆記するための文字筆記領域と前記認識結果が表示される認識結果表示領域とが分かれて確保されており、
前記文字筆記領域に前記ペンが触れたことを検出する検出手段と、
前記検出手段の検出結果に応じて前記認識未確定文字列を前記認識確定文字列として出力する認識文字列確定手段と
を更に具備することを特徴とする請求項５記載のオンライン文字認識装置。 - 前記座標入力装置が前記表示装置の表示面に重ねて配置されると共に、当該座標入力装置の入力面には前記ペンで文字を筆記するための文字筆記領域と前記認識結果が表示される認識結果表示領域とを兼ねた共通の領域が確保されており、
前記ペンの先端が前記共通領域の一定座標範囲内に一定時間以上存在する場合には、そのペン入力は認識結果表示のカーソル移動を目的としたジェスチャであり、それ以外の場合には文字筆記を目的とした入力であると判定する判定手段と、
前記判定手段によりペン入力がジェスチャであると判定された場合に、前記認識未確定文字列を前記認識確定文字列として出力する認識文字列確定手段と
を更に具備することを特徴とする請求項１乃至４のいずれか１つに記載のオンライン文字認識装置。 - １文字後退削除を指示操作するための１文字後退削除指示手段と、
前記１文字後退削除指示手段により１文字後退削除が指示された場合、前記認識未確定ストローク列が存在する状態では、当該認識未確定ストローク列を削除し、前記認識未確定ストローク列が存在せず前記認識未確定文字列が存在する状態では、当該認識未確定文字列の最後尾を１文字後退削除すると共に残りの当該認識未確定文字列を前記認識確定文字列とし、前記認識未確定ストローク列及び前記認識未確定文字列が共に存在しない状態では、前記認識確定文字列を１文字後退削除する認識結果編集手段と
を更に具備することを特徴とする請求項５に記載のオンライン文字認識装置。 - 前記座標入力装置の前記ペンで文字を筆記するための文字筆記領域が前記表示装置の筆跡表示領域に重ねて配置され、
前記文字筆記領域に前記ストロークが筆記される度に、この最新のストロークを含め最新の所定のＮ本（但し、Ｎは整数）のストロークを前記筆跡表示領域に表示することを特徴とする請求項１乃至４のいずれか１つに記載のオンライン文字認識装置。 - 前記座標入力装置上からペンが離れた後、前記ストロークの筆記以外のペン操作を検出する検出手段を具備し、
この検出手段の検出結果に応じて、前記筆跡表示領域に表示されているストロークの表示を消去することを特徴とする請求項１３記載のオンライン文字認識装置。 - 前記筆跡表示領域に前記予め定められた数のストロークを表示する際には、ストロークの入力された順番に基づいて、各ストロークの色と太さと該ストロークを表す線の種類とのうちのいずれかを違えて表示することを特徴とする請求項１３記載のオンライン文字認識装置。
- 座標入力装置上でペンにより筆記された文字を表すストローク列をもとに文字認識を行うオンライン文字認識方法において、
前記座標入力装置により検出されるペン先の座標系列を１ストローク単位で逐次取り込むステップと、
前記取り込みステップでストロークが取り込まれる毎に、当該ストロークを含む認識すべき既取り込みストローク列に対する認識候補となり得る認識候補文字列を生成するステップと、
前記生成された認識候補文字列毎に、当該認識候補文字列中の各候補文字についての当該候補文字を構成するストロークの形状情報及びストローク間の構造関係が記述された文字構造辞書情報と、当該認識候補文字列中の各候補文字間についての当該候補文字間の構造関係が記述された文字間構造辞書情報とに基づいて、当該認識候補文字列に対応する文字列構造辞書を作成するステップと、
前記文字列構造辞書が作成される毎に、その時点で取り込まれている前記既取り込みのストローク列を前記生成された認識候補文字列毎の文字列構造辞書とそれぞれ照合することにより、当該ストローク列中のいずれのストロークがいずれの候補文字を構成しているのかを決定する文字切出しを行うステップと、
前記生成された各認識候補文字列について先頭からの前記文字切出しの結果が共通している文字列部分を認識確定文字列として推定して出力するステップと
を具備することを特徴とするオンライン文字認識方法。 - 座標入力装置上でペンにより筆記された文字を表すストローク列をもとに文字認識を行うオンライン文字認識プログラムであって、
コンピュータに、
前記座標入力装置により検出されるペン先の座標系列を１ストローク単位で逐次取り込むステップと、
前記取り込みステップでストロークが取り込まれる毎に、当該ストロークを含む認識すべき既取り込みストローク列に対する認識候補となり得る認識候補文字列を生成するステップと、
前記生成された認識候補文字列毎に、当該認識候補文字列中の各候補文字についての当該候補文字を構成するストロークの形状情報及びストローク間の構造関係が記述された文字構造辞書情報と、当該認識候補文字列中の各候補文字間についての当該候補文字間の構造関係が記述された文字間構造辞書情報とに基づいて、当該認識候補文字列に対応する文字列構造辞書を作成するステップと、
前記文字列構造辞書が作成される毎に、その時点で取り込まれている前記既取り込みのストローク列を前記生成された認識候補文字列毎の文字列構造辞書とそれぞれ照合することにより、当該ストローク列中のいずれのストロークがいずれの候補文字を構成しているのかを決定する文字切出しを行うステップと、
前記生成された各認識候補文字列について先頭からの前記文字切出しの結果が共通している文字列部分を認識確定文字列として推定して出力するステップと
を実行させるオンライン文字認識プログラムを記憶した記憶媒体。 - 座標入力装置上でペンにより筆記された文字を表すストローク列をもとに文字認識を行うオンライン文字認識プログラムであって、
コンピュータに、
前記座標入力装置により検出されるペン先の座標系列を１ストローク単位で逐次取り込むステップと、
前記取り込みステップでストロークが取り込まれる毎に、当該ストロークを含む認識すべき既取り込みストローク列に対する認識候補となり得る認識候補文字列を生成するステップと、
前記生成された認識候補文字列毎に、当該認識候補文字列中の各候補文字についての当該候補文字を構成するストロークの形状情報及びストローク間の構造関係が記述された文字構造辞書情報と、当該認識候補文字列中の各候補文字間についての当該候補文字間の構造関係が記述された文字間構造辞書情報とに基づいて、当該認識候補文字列に対応する文字列構造辞書を作成するステップと、
前記文字列構造辞書が作成される毎に、その時点で取り込まれている前記既取り込みのストローク列を前記生成された認識候補文字列毎の文字列構造辞書とそれぞれ照合することにより、当該ストローク列中のいずれのストロークがいずれの候補文字を構成しているのかを決定する文字切出しを行うステップと、
前記生成された各認識候補文字列について先頭からの前記文字切出しの結果が共通している文字列部分を認識確定文字列として推定して出力するステップと
を実行させるオンライン文字認識プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001274147A JP3974359B2 (ja) | 2000-10-31 | 2001-09-10 | オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム |
| US09/984,672 US7013046B2 (en) | 2000-10-31 | 2001-10-30 | Apparatus, method, and program for handwriting recognition |
| CNB011359994A CN1215433C (zh) | 2000-10-31 | 2001-10-31 | 联机文字识别装置及方法 |
| US11/296,223 US7885464B2 (en) | 2000-10-31 | 2005-12-08 | Apparatus, method, and program for handwriting recognition |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-333919 | 2000-10-31 | ||
| JP2000333919 | 2000-10-31 | ||
| JP2001274147A JP3974359B2 (ja) | 2000-10-31 | 2001-09-10 | オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007134737A Division JP4686502B2 (ja) | 2000-10-31 | 2007-05-21 | オンライン文字認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002203208A JP2002203208A (ja) | 2002-07-19 |
| JP3974359B2 true JP3974359B2 (ja) | 2007-09-12 |
Family
ID=26603231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001274147A Expired - Fee Related JP3974359B2 (ja) | 2000-10-31 | 2001-09-10 | オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US7013046B2 (ja) |
| JP (1) | JP3974359B2 (ja) |
| CN (1) | CN1215433C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9003284B2 (en) | 2009-08-27 | 2015-04-07 | Kabushiki Kaisha Toshiba | Information search apparatus and system |
Families Citing this family (95)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7234119B2 (en) * | 2002-12-03 | 2007-06-19 | Motorola Inc. | Device and method for editing processed data input |
| JP2004213269A (ja) | 2002-12-27 | 2004-07-29 | Toshiba Corp | 文字入力装置 |
| US20050175242A1 (en) * | 2003-04-24 | 2005-08-11 | Fujitsu Limited | Online handwritten character input device and method |
| CN1689028A (zh) * | 2003-04-24 | 2005-10-26 | 富士通株式会社 | 联机手写字符输入装置和方法 |
| EP1475741B1 (en) * | 2003-05-08 | 2005-12-21 | Orange S.A. | Data processing apparatus and method |
| US7218783B2 (en) * | 2003-06-13 | 2007-05-15 | Microsoft Corporation | Digital ink annotation process and system for recognizing, anchoring and reflowing digital ink annotations |
| KR20050019651A (ko) * | 2003-08-20 | 2005-03-03 | 주식회사 일진베어링 | 스핀들을 내륜으로 하는 차량용 휠 베어링 장치 |
| US20050152600A1 (en) * | 2004-01-14 | 2005-07-14 | International Business Machines Corporation | Method and apparatus for performing handwriting recognition by analysis of stroke start and end points |
| US7756337B2 (en) * | 2004-01-14 | 2010-07-13 | International Business Machines Corporation | Method and apparatus for reducing reference character dictionary comparisons during handwriting recognition |
| US7298904B2 (en) * | 2004-01-14 | 2007-11-20 | International Business Machines Corporation | Method and apparatus for scaling handwritten character input for handwriting recognition |
| US7706616B2 (en) * | 2004-02-27 | 2010-04-27 | International Business Machines Corporation | System and method for recognizing word patterns in a very large vocabulary based on a virtual keyboard layout |
| US7583825B2 (en) * | 2004-12-27 | 2009-09-01 | Nokia Corporation | Mobile communications terminal and method |
| US7490033B2 (en) * | 2005-01-13 | 2009-02-10 | International Business Machines Corporation | System for compiling word usage frequencies |
| CN101292213B (zh) * | 2005-10-21 | 2014-09-24 | 三洋电机株式会社 | 用于输入密码等的输入装置以及设有该输入装置的移动电话装置 |
| JP2007272473A (ja) * | 2006-03-30 | 2007-10-18 | Toshiba Corp | 文字認識装置、方法およびプログラム |
| CN101657825B (zh) * | 2006-05-11 | 2014-02-19 | 普莱姆传感有限公司 | 根据深度图对人形进行建模 |
| US7742642B2 (en) * | 2006-05-30 | 2010-06-22 | Expedata, Llc | System and method for automated reading of handwriting |
| US20080008387A1 (en) * | 2006-07-06 | 2008-01-10 | Cheng Yi-Hsun E | Method and apparatus for recognition of handwritten symbols |
| US8077974B2 (en) * | 2006-07-28 | 2011-12-13 | Hewlett-Packard Development Company, L.P. | Compact stylus-based input technique for indic scripts |
| US20080104020A1 (en) * | 2006-10-27 | 2008-05-01 | Microsoft Corporation | Handwritten Query Builder |
| JP4560062B2 (ja) * | 2007-03-29 | 2010-10-13 | 株式会社東芝 | 筆跡判定装置、方法およびプログラム |
| JP2008250375A (ja) * | 2007-03-29 | 2008-10-16 | Toshiba Corp | 文字入力装置、方法およびプログラム |
| JP2009093291A (ja) * | 2007-10-04 | 2009-04-30 | Toshiba Corp | ジェスチャー判定装置及び方法 |
| US8166421B2 (en) * | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
| US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
| US9355090B2 (en) * | 2008-05-30 | 2016-05-31 | Apple Inc. | Identification of candidate characters for text input |
| US8331682B2 (en) * | 2008-08-27 | 2012-12-11 | Northrop Grumman Systems Corporation | System and method for single stroke character recognition |
| CN101770579B (zh) * | 2008-12-30 | 2011-11-23 | 北大方正集团有限公司 | 一种图像目标的特征描述方法 |
| WO2010103482A2 (en) * | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
| JP2010231480A (ja) * | 2009-03-27 | 2010-10-14 | Toshiba Corp | 筆跡処理装置、プログラム、及び方法 |
| US8175389B2 (en) * | 2009-03-30 | 2012-05-08 | Synaptics Incorporated | Recognizing handwritten words |
| US8565479B2 (en) * | 2009-08-13 | 2013-10-22 | Primesense Ltd. | Extraction of skeletons from 3D maps |
| US20110164032A1 (en) * | 2010-01-07 | 2011-07-07 | Prime Sense Ltd. | Three-Dimensional User Interface |
| US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
| US20110254765A1 (en) * | 2010-04-18 | 2011-10-20 | Primesense Ltd. | Remote text input using handwriting |
| US8310461B2 (en) * | 2010-05-13 | 2012-11-13 | Nuance Communications Inc. | Method and apparatus for on-top writing |
| US8594425B2 (en) | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
| JP2012003689A (ja) * | 2010-06-21 | 2012-01-05 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| WO2012011044A1 (en) | 2010-07-20 | 2012-01-26 | Primesense Ltd. | Interactive reality augmentation for natural interaction |
| US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| CN102375989A (zh) * | 2010-08-06 | 2012-03-14 | 腾讯科技（深圳）有限公司 | 手写识别方法及系统 |
| KR101486174B1 (ko) * | 2010-08-24 | 2015-01-23 | 노키아 코포레이션 | 중첩된 수기의 획들을 하나 이상의 그룹으로 분할하는 방법 및 장치 |
| US8582867B2 (en) | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
| US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
| JP2012073666A (ja) * | 2010-09-27 | 2012-04-12 | Toshiba Corp | 文字列入力装置およびプログラム |
| TW201216124A (en) * | 2010-10-12 | 2012-04-16 | Inventec Corp | Multi-block handwriting system and method thereof |
| US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
| CN102073884A (zh) * | 2010-12-31 | 2011-05-25 | 北京捷通华声语音技术有限公司 | 一种手写识别方法、系统及手写识别终端 |
| EP3527121B1 (en) | 2011-02-09 | 2023-08-23 | Apple Inc. | Gesture detection in a 3d mapping environment |
| JP5647919B2 (ja) * | 2011-03-07 | 2015-01-07 | 株式会社Ｎｔｔドコモ | 文字認識装置、文字認識方法、文字認識システム、および文字認識プログラム |
| CN102184051B (zh) * | 2011-06-17 | 2013-08-14 | 盛乐信息技术（上海）有限公司 | 一种触屏手写识别系统及方法 |
| US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
| US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
| US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
| US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
| US9002099B2 (en) | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
| TWI447619B (zh) * | 2011-12-15 | 2014-08-01 | Inventec Corp | 提供引導軌跡以輔助手勢輸入之系統及其方法 |
| JP2013134728A (ja) * | 2011-12-27 | 2013-07-08 | Ricoh Co Ltd | 手書き文字入力装置並びにこれを構成する遠隔装置及び電子情報端末 |
| KR101898202B1 (ko) * | 2012-02-09 | 2018-09-12 | 삼성전자주식회사 | 필기 인식을 위한 필기 입력 가이드 장치 및 방법 |
| US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
| US11169611B2 (en) | 2012-03-26 | 2021-11-09 | Apple Inc. | Enhanced virtual touchpad |
| US9047507B2 (en) | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
| JP5694236B2 (ja) * | 2012-05-28 | 2015-04-01 | 株式会社東芝 | 文書検索装置、方法およびプログラム |
| US9354725B2 (en) * | 2012-06-01 | 2016-05-31 | New York University | Tracking movement of a writing instrument on a general surface |
| US9201521B2 (en) * | 2012-06-08 | 2015-12-01 | Qualcomm Incorporated | Storing trace information |
| JP5897725B2 (ja) * | 2012-10-03 | 2016-03-30 | 楽天株式会社 | ユーザインタフェース装置、ユーザインタフェース方法、プログラム及びコンピュータ可読情報記憶媒体 |
| US9880630B2 (en) | 2012-10-03 | 2018-01-30 | Rakuten, Inc. | User interface device, user interface method, program, and computer-readable information storage medium |
| JP5701839B2 (ja) * | 2012-10-26 | 2015-04-15 | 株式会社東芝 | 電子機器および方法 |
| US9019267B2 (en) | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
| JP5377743B1 (ja) * | 2012-11-28 | 2013-12-25 | 株式会社東芝 | 電子機器および手書き文書処理方法 |
| US9846536B2 (en) * | 2012-12-17 | 2017-12-19 | Microsoft Technology Licensing, Llc | Composition of handwritten messages on mobile computing devices |
| JP2014127188A (ja) * | 2012-12-27 | 2014-07-07 | Toshiba Corp | 整形装置及び方法 |
| US20140232667A1 (en) * | 2013-02-15 | 2014-08-21 | Kabushiki Kaisha Toshiba | Electronic device and method |
| JP5869179B2 (ja) * | 2013-03-18 | 2016-02-24 | 株式会社東芝 | 電子機器および手書き文書処理方法 |
| FR3005175B1 (fr) | 2013-04-24 | 2018-07-27 | Myscript | Systeme de synchronisation permanente pour la saisie manuscrite |
| CN104656938B (zh) * | 2013-11-19 | 2018-07-06 | 阿尔派株式会社 | 文字输入装置及文字输入方法 |
| JP2015099566A (ja) * | 2013-11-20 | 2015-05-28 | 株式会社東芝 | 特徴算出装置、方法及びプログラム |
| US9224038B2 (en) * | 2013-12-16 | 2015-12-29 | Google Inc. | Partial overlap and delayed stroke input recognition |
| US9881224B2 (en) | 2013-12-17 | 2018-01-30 | Microsoft Technology Licensing, Llc | User interface for overlapping handwritten text input |
| US9304612B2 (en) * | 2014-03-07 | 2016-04-05 | Lenovo (Singapore) Pte. Ltd. | Off-screen input capture for mobile device |
| WO2015141260A1 (ja) * | 2014-03-17 | 2015-09-24 | 株式会社河合楽器製作所 | 手書き音楽記号認識装置およびプログラム |
| US9384403B2 (en) | 2014-04-04 | 2016-07-05 | Myscript | System and method for superimposed handwriting recognition technology |
| US9524440B2 (en) | 2014-04-04 | 2016-12-20 | Myscript | System and method for superimposed handwriting recognition technology |
| JP6465414B6 (ja) * | 2014-10-30 | 2019-04-03 | Ｄｙｎａｂｏｏｋ株式会社 | 電子機器、方法及びプログラム |
| JP6263482B2 (ja) * | 2015-01-09 | 2018-01-17 | 東芝テック株式会社 | 商品販売入力支援装置及びそのプログラム並びに商品販売処理システム |
| EP3279774B1 (en) | 2015-03-31 | 2021-02-24 | Wacom Co., Ltd. | Ink file output method, output device and program |
| JP6620480B2 (ja) * | 2015-09-15 | 2019-12-18 | オムロン株式会社 | 文字入力方法および文字入力用のプログラムならびに情報処理装置 |
| US10043279B1 (en) | 2015-12-07 | 2018-08-07 | Apple Inc. | Robust detection and classification of body parts in a depth map |
| US10248635B2 (en) * | 2016-02-29 | 2019-04-02 | Myscript | Method for inserting characters in a character string and the corresponding digital service |
| US10366278B2 (en) | 2016-09-20 | 2019-07-30 | Apple Inc. | Curvature-based face detector |
| JP6797869B2 (ja) * | 2018-08-08 | 2020-12-09 | シャープ株式会社 | 書物電子化装置および書物電子化方法 |
| KR20230017538A (ko) | 2021-07-28 | 2023-02-06 | 삼성전자주식회사 | 전자 장치 및 필기 인식 방법 |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6079485A (ja) * | 1983-10-06 | 1985-05-07 | Sharp Corp | 手書き文字認識処理装置 |
| US4672677A (en) * | 1984-11-19 | 1987-06-09 | Canon Kabushiki Kaisha | Character and figure processing apparatus |
| JP2662035B2 (ja) * | 1989-07-05 | 1997-10-08 | キヤノン株式会社 | 文字処理装置 |
| US5052482A (en) * | 1990-04-18 | 1991-10-01 | S-Cal Research Corp. | Catalytic downhole reactor and steam generator |
| EP0457534B1 (en) * | 1990-05-14 | 2001-10-31 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| JP3143461B2 (ja) * | 1990-05-29 | 2001-03-07 | キヤノン株式会社 | 文字認識方法及び文字認識装置 |
| EP0498978A1 (en) * | 1991-02-13 | 1992-08-19 | International Business Machines Corporation | Mechanical recognition of characters in cursive script |
| US5329598A (en) * | 1992-07-10 | 1994-07-12 | The United States Of America As Represented By The Secretary Of Commerce | Method and apparatus for analyzing character strings |
| US5825921A (en) * | 1993-03-19 | 1998-10-20 | Intel Corporation | Memory transfer apparatus and method useful within a pattern recognition system |
| JP3362913B2 (ja) * | 1993-05-27 | 2003-01-07 | 松下電器産業株式会社 | 手書き文字入力装置 |
| US5454046A (en) * | 1993-09-17 | 1995-09-26 | Penkey Corporation | Universal symbolic handwriting recognition system |
| JP3268923B2 (ja) | 1993-11-30 | 2002-03-25 | 三洋電機株式会社 | 手書き編集装置、ペン入力変換方法、及び編集方法 |
| US5745599A (en) * | 1994-01-19 | 1998-04-28 | Nippon Telegraph And Telephone Corporation | Character recognition method |
| JPH07296103A (ja) | 1994-04-28 | 1995-11-10 | Matsushita Electric Ind Co Ltd | オンライン文字認識装置 |
| JPH07334625A (ja) * | 1994-06-06 | 1995-12-22 | Nec Corp | 文字列入力装置 |
| US5812697A (en) * | 1994-06-10 | 1998-09-22 | Nippon Steel Corporation | Method and apparatus for recognizing hand-written characters using a weighting dictionary |
| JP2845149B2 (ja) * | 1994-12-28 | 1999-01-13 | 日本電気株式会社 | 手書文字入力装置および手書文字入力方法 |
| JP2939147B2 (ja) * | 1994-12-29 | 1999-08-25 | シャープ株式会社 | 手書き文字入力表示装置および方法 |
| JP2929963B2 (ja) * | 1995-03-15 | 1999-08-03 | 松下電器産業株式会社 | 文書検索装置および単語索引作成方法および文書検索方法 |
| JPH08328734A (ja) | 1995-06-01 | 1996-12-13 | Canon Inc | 入出力一体型情報処理装置 |
| JPH0944600A (ja) | 1995-08-01 | 1997-02-14 | Toshiba Corp | オンライン文字認識に於ける入力文字予測方法、及びその装置 |
| US5917941A (en) * | 1995-08-08 | 1999-06-29 | Apple Computer, Inc. | Character segmentation technique with integrated word search for handwriting recognition |
| US6094506A (en) * | 1995-10-25 | 2000-07-25 | Microsoft Corporation | Automatic generation of probability tables for handwriting recognition systems |
| JP3744997B2 (ja) * | 1996-01-12 | 2006-02-15 | キヤノン株式会社 | 文字認識装置及びその方法 |
| US5881169A (en) * | 1996-09-13 | 1999-03-09 | Ericsson Inc. | Apparatus and method for presenting and gathering text entries in a pen-based input device |
| DE69724405T2 (de) * | 1996-10-04 | 2004-05-06 | Koninklijke Philips Electronics N.V. | Verfahren und apparat zur online handschrifterkennung basierend auf merkmalvektoren unter verwendung von agglomerierten beobachtungen aus zeitlich aufeinanderfolgenden sequenzen |
| US6111985A (en) * | 1997-06-06 | 2000-08-29 | Microsoft Corporation | Method and mechanism for providing partial results in full context handwriting recognition |
| CN1156741C (zh) * | 1998-04-16 | 2004-07-07 | 国际商业机器公司 | 手写汉字识别方法及装置 |
| US6232962B1 (en) * | 1998-05-14 | 2001-05-15 | Virtual Ink Corporation | Detector assembly for use in a transcription system |
| US6507678B2 (en) * | 1998-06-19 | 2003-01-14 | Fujitsu Limited | Apparatus and method for retrieving character string based on classification of character |
| US6694056B1 (en) * | 1999-10-15 | 2004-02-17 | Matsushita Electric Industrial Co., Ltd. | Character input apparatus/method and computer-readable storage medium |
| JP4536239B2 (ja) | 1999-10-15 | 2010-09-01 | パナソニック株式会社 | 文字入力装置及び方法並びにコンピュータ読み取り可能な記録媒体 |
| EP2317458A1 (en) * | 2000-07-28 | 2011-05-04 | RAF Technology, Inc. | Orthogonal technology for multi-line character recognition |
| US7088861B2 (en) * | 2003-09-16 | 2006-08-08 | America Online, Inc. | System and method for chinese input using a joystick |
| US7668407B1 (en) * | 2004-05-28 | 2010-02-23 | Affiliated Computer Services, Inc. | Contextual resolution of character assignments |
-
2001
- 2001-09-10 JP JP2001274147A patent/JP3974359B2/ja not_active Expired - Fee Related
- 2001-10-30 US US09/984,672 patent/US7013046B2/en not_active Expired - Lifetime
- 2001-10-31 CN CNB011359994A patent/CN1215433C/zh not_active Expired - Lifetime
-
2005
- 2005-12-08 US US11/296,223 patent/US7885464B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9003284B2 (en) | 2009-08-27 | 2015-04-07 | Kabushiki Kaisha Toshiba | Information search apparatus and system |
Also Published As
| Publication number | Publication date |
|---|---|
| US20060088216A1 (en) | 2006-04-27 |
| US20020071607A1 (en) | 2002-06-13 |
| US7013046B2 (en) | 2006-03-14 |
| US7885464B2 (en) | 2011-02-08 |
| JP2002203208A (ja) | 2002-07-19 |
| CN1215433C (zh) | 2005-08-17 |
| CN1351310A (zh) | 2002-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3974359B2 (ja) | オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム | |
| JP3426180B2 (ja) | 手書き漢字を自動的にセグメント分割し、認識するための方法およびシステム | |
| US7756335B2 (en) | Handwriting recognition using a graph of segmentation candidates and dictionary search | |
| US5687254A (en) | Searching and Matching unrecognized handwriting | |
| US7974472B2 (en) | Feature design for HMM based Eastern Asian character recognition | |
| JP3131287B2 (ja) | パターン認識装置 | |
| JP4686502B2 (ja) | オンライン文字認識装置 | |
| US20060193519A1 (en) | Handling of diacritic points | |
| Kumar et al. | 3D text segmentation and recognition using leap motion | |
| EP1564675B1 (en) | Apparatus and method for searching for digital ink query | |
| Kumar et al. | A lexicon-free approach for 3D handwriting recognition using classifier combination | |
| US20140270529A1 (en) | Electronic device, method, and storage medium | |
| K Jabde et al. | A comprehensive literature review on air-written online handwritten recognition | |
| JP2003196593A (ja) | 文字認識装置および文字認識方法および文字認識プログラム | |
| EP4130966B1 (en) | Gesture stroke recognition in touch-based user interface input | |
| JP4346814B2 (ja) | 情報処理装置及びその方法、コンピュータ可読メモリ、プログラム | |
| JP4817297B2 (ja) | 文字検索装置 | |
| JP7095450B2 (ja) | 情報処理装置、文字認識方法、および文字認識プログラム | |
| Nguyen et al. | Semi-incremental recognition of on-line handwritten Japanese text | |
| Hurst et al. | Error repair in human handwriting: an intelligent user interface for automatic online handwriting recognition | |
| JPH07117993B2 (ja) | 手書き文字認識のための特定ユーザ用プロトタイプ集合生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070612 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070614 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3974359 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |