[go: up one dir, main page]

JP3016864B2 - 書込みを有するオーディオ・ビジュアルワーク、オーディオ・ビジュアルワークにおいて連続的に口頭発音と書込みとを有意味に結合する方法、及び線形及び会話応用のための装置 - Google Patents

書込みを有するオーディオ・ビジュアルワーク、オーディオ・ビジュアルワークにおいて連続的に口頭発音と書込みとを有意味に結合する方法、及び線形及び会話応用のための装置

Info

Publication number
JP3016864B2
JP3016864B2 JP7510385A JP51038595A JP3016864B2 JP 3016864 B2 JP3016864 B2 JP 3016864B2 JP 7510385 A JP7510385 A JP 7510385A JP 51038595 A JP51038595 A JP 51038595A JP 3016864 B2 JP3016864 B2 JP 3016864B2
Authority
JP
Japan
Prior art keywords
word
words
work
pronunciation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP7510385A
Other languages
English (en)
Other versions
JPH09505671A (ja
Inventor
ウィリアム イー カークシー
カイル エス モーリス
Original Assignee
リードスピーク インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26824546&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3016864(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by リードスピーク インコーポレイテッド filed Critical リードスピーク インコーポレイテッド
Publication of JPH09505671A publication Critical patent/JPH09505671A/ja
Application granted granted Critical
Publication of JP3016864B2 publication Critical patent/JP3016864B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Rehabilitation Tools (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【発明の詳細な説明】 発明の背景 従来のオーディオ・ビジュアル表示は、サブタイトル
（米国特許第3,199,115号及び米国特許第5,097,349号）
またはバルーン型説明文（米国特許第1,240,774号及び
米国特許第2,524,276号）の配置を含んでおり、これら
は全て表示の口頭部分の言語通訳を援助するものであ
る。
従来のサブタイトルは、異なる言語の単一のワード
（語）が話されるのと時には一致するが、この一致の出
現は偶然であり、そう屡々ではなく、そして一連の音と
一連の書込みの特定の結合（association）を達成する
のに制御されたパターンを用いていない。更に、サブタ
イトルワードの位置は映像の動作から離れていた。
各々があるワードを表示する従来のフラッシュカード
は、強制され、そして不自然な練習を反復することによ
って読みを教えることを意図している。最終的にある効
果は認められるが、これらのカードを使用することは学
習に長い期間と、読み書きの個別指導者（それが母親で
あろうと、学校の教師であろうと）がその場に存在する
ことと必要とする。またこれらのカードは、読み書きを
教える成分の外の学生の興味をそそる物語風オーディオ
・ビジュアル媒体内に指示対象を供給する本発明が与え
る結合の強さを提供するものではない。
米国特許第5,241,671号は、若干のワードが字下線を
有し、若干のワードが字下線を有していない記事のテキ
ストをコンピュータ画面上に表示することを開示してい
る。ユーザがテキストからあるワードを選択すると、画
面上の窓の中にその定義が現れ、そのワードのオーディ
オの発音が発生する。オーディオ音アイコンも表示する
ことができる。
クローズドキャプションド（耳の不自由な人のための
字幕）ワークは、ワードの群を表示する分離した領域ま
たは隣接するボックスを表示する。クローズドキャプシ
ョンシステムは、画面の下側に沿って、または話す人ま
たは動作する人から離れた他の遠隔位置にワードの群を
表示する。クローズドキャプションワードは、異なる背
景（通常は白）を有する視覚映像シーンの横、下、また
は上に現れる。耳の不自由な人を援助するためのオーデ
ィオ・ビジュアルを有する手話記号も分離した隣接する
ボックス内に表示される。これらのボックスの表示技術
は、見る人にとって邪魔であるかも知れない。
従来から個別指導オーディオ・ビジュアルは同報され
ており、これは指導者がカメラに向かってワードを話す
と、対応する書かれたワードが話した通りに話す人の前
に表示されるようになっている。見る人／聞く人、特に
若い見る人／聞く人は、このような個人指導フォーマッ
トでは飽きてしまい、表示される内容に対する関心を失
うようになる。
発明の概要 要約すれば、本発明はオーディオ・ビジュアルワー
ク、及びその作成方法からなる。本発明は、一般に見ら
れるワークの自然な環境を使用する。ワークの普通のそ
して共通の一連の映像フレームまたはセグメントは、話
し言葉（スピーチ）及び他の口頭発音と共に表示され
る。更に、これらのワークはそれらの上の一連の書込み
をも有し、これらの書込みは見る人／聞く人によって順
次に聞かれる一連の発音に結合されている、即ちそれら
に対応付けられている。本明細書では、これを“ユーセ
ティック（euthetic）”（適所に配置された）キャプシ
ョニングと呼ぶことにする。話されたワード及び書かれ
たワードは、もしそれらが同一のワードであれば一致す
る。また、１つの言語で話されたワードと、同一の意味
を有する別の言語で書かれたワードは結合されたワード
である。
本発明の若干の実施例によれば、書かれたワード、話
されたワード、及び付随する顔、唇、及び頭の動きの表
面が見る人／聞く人によって同時に観察できるように、
またワードを口の付近に、そして口と整列させてワード
が口から発したような効果を作り出すように、各書込み
が発音者の頭付近に、頭の上に、または頭に結合されて
現われることが特色である。他の実施例によれば、各書
込みは、手話を使用する人の片方、又は両方の手付近
に、手の上に、または手に結合されて現われる。本発明
の他の実施例によれば、発音者が話したワードとブライ
ユ点字での書込みとが結合され、分離した装置上に“表
示”される。
本発明は、通常は演芸、広報のような、または読み書
きを目的としない他の目的のために作成された非個人指
導用オーディオ・ビジュアルと共に使用される。または
本発明は、新製品の要素としても、または先に作成され
たオーディオ・ビジュアルの改良としても、このような
資料と共に使用することができる。更に本発明は、読み
書きを教える目的を持ち、本発明の応用のために設計さ
れ、新たに作成された資料に対して使用することもでき
る。本発明によれば、これらを新たに作成され、読み書
きを目的とする本発明を実施する資料は、現在の読み書
きを目的とするオーディオ・ビジュアル資料よりもうん
ざりさせる度合いが少なく、脅迫感を与える程度も少な
い。
本発明のオーディオ・ビジュアルワークは、付加的な
命令を発生するように、見る人／聞く人によって会話式
に動作可能なワークを作成するために、プログラミング
及びマルチメディアプラットフォームの使用によって線
形に表示または結合できることが特色である。
本方法の別の特色は、十分なワークを読み書きさせる
会社努力に効用を有することである。以下に説明するよ
うに、オーディオ・ビジュアル上に表示されるワードは
ある言葉の基本的なワードを使用し、これらのワードを
読んだ時にこれらのワードを認識することをある集団の
一部に教えるために、その集団に対してワークを繰り返
し同報またはその他により提示する。
図面の簡単な説明 図１は、従来の技術である。
図２は、話す人の一連の側面図であって、書かれたワ
ードが異なる面内の話す人の口のところに現れている。
図３は、話す人の一連の側面図であって、書かれたワ
ードが全て同一の面内の話す人の口のところに現れてい
る。
図４は、本発明に使用される階段及び装置を示す流れ
図である。
図５は、本発明に同時オーディオ・ビジュアル発話・
書込みを含む会話ワークの作り方を示す別の流れ図であ
る。
図６は、本発明に使用されるさならる階段及び装置を
示す流れ図である。
図７は、音及び書込みの調整を援助するためのオーデ
ィオ・ビジュアルのオーディオ部分を拡張する方法を示
す流れ図である。
図８は、話す人の前面図であって、口の付近にワード
が示されている。
図９は、図８の部分概略平面図であって、対話面が示
されている。
図10は、話す人が種々の位置をとっているテレビジョ
ンセット画面の斜視図である。
図11は、別の話す人の別の斜視図である。
図12a−ｂは、本発明によるユーセティックキャプシ
ョニングを遂行する方法の流れ図である。
図13a−ｂは、本発明によるユーセティックキャプシ
ョニングを遂行する別のシステム及び方法の流れ図であ
る。
図14は、本発明によるユーセティックキャプショニン
グを遂行する別のシステム及び方法の流れ図である。
図15a−ｂは、本発明の１つの面による波形拡張を示
す図である。
図16は、本発明によるユーセティックキャプショニン
グを遂行する別のシステム及び方法の流れ図である。
図17は、図16に示すシステム及び方法の中のコンピュ
ータワークステーションに関する更に詳細な流れ図であ
る。
図18は、図17に示すコンピュータワークステーション
のさらなる詳細を示す流れ図である。
図19a−ｄは、ユーセティックキャプショニングの適
用を表す図である。
図20a−ｂは、本発明によるユーセティックキャプシ
ョニングによって達成される４象限配置を表す図であ
る。
図21は、本発明によるユーセティックキャプショニン
グの直観的適用を示す流れ図である。
図22は、本発明によるマルチメディアプラットフォー
ムの概要図である。
図23は、本発明による会話能力の流れ図である。
図24は、図23に示す会話ワード発音の流れ図である。
図25は、本発明によるブロックアウトゾーンの概要図
である。
図26は、手話を使用する本発明の１実施例の概要図で
ある。
好ましい実施例の説明 図１は典型的なオーディオ・ビジュアル映像２（陰影
領域）を表示している従来技術の画面１を示している。
この画面１は、ワード“家の中（in the house）”を有
する映像２内の従来技術のクローズドキャプションドボ
ックス３、映像内の従来技術の手話ボックス４、及びワ
ード“11時に（at eleven）”を有する映像内の下側の
細長いワード追跡領域５を有している。領域５は、矢印
Ａの方向に移動するワードを表示している。殆ど部分内
の映像２に関連する対話を含む音は音源領域６から発し
たように見える。
ワードまたは本発明による他の記号は、通常は音源領
域６内のオーディオ・ビジュアルの映像部分上に配置さ
れるが、ある動作が存在（その動作の位置が音源に一致
しようと、しまいと）する場合のように、聞く人／見る
人が関心を示していることによってその人の注意がオー
ディオ・ビジュアルに向けられている場合には、映像２
の部分上にワードを重ね合わせることができる。
好ましい実施例の一つにおいて本発明は、オーディオ
・ビジュアル内の話す人の参照をフレーム（即ち、見て
いる画面の面のフレームに平行ではない面）内にワード
を配置する。見る人の参照のフレームは見ている画面の
面であるから、このような面から動作する人の世界内へ
移動したワードは、見る人に三次元物体としてより容易
に且つ有意味に見られ、現れる。
図２−３を参照する。オーディオ・ビジュアルワーク
の話す人Ｓは、頭Ｈと口Ｍを有し、ワード“look"が話
されると、書かれたワードが口から面P1内に現れる。面
P1は耳の不自由な人の耳（図示してない）を通る線に対
してほぼ垂直である。各ワードは、そのワードが話され
るか、または発音されてから短時間の間現れることが好
ましいが、そのワードの出現が先に話された、または爾
後に話されるワード及び音に干渉しないならば、そのワ
ードが話される直前に及び直後に現れるようにすること
ができる。その基準は、各ワードが話されるにつれて結
合された対応する書かれたワード即ち書込みを発生させ
るようになっている。本発明は話されたワード（もしく
は他の発音）の有意味のシーケンスを、書かれたワード
の調整されたシーケンス、数または他の書込みと共に表
示して、１時に１つの話されたワードまたは発音と書込
みとの結合を見る人／聞く人の記憶の中に達成する。
一度に１つ、複数の書かれたワード即ち書込みの表示
と、対応する話されたワードとを調整する目的は、見る
人／聞く人に音及び光景を覚えさせ、音または光景の何
れかが将来提示された時、見る人／聞く人の以前の記憶
が呼び覚まされるように音及び光景を自然な環境で結合
する機会を見る人／聞く人に与えることである。この目
的は、読み書き、外国語の勉強及び教育のためのもので
あるが、本発明の別の長所は、見る人／聞く人が、オー
ディオ・ビジュアルワークを表示する装置に対する彼ま
たは彼女の能力、集中力または位置に依存して口授で、
または視覚的に、もしくは両方の刺激でワードを受けて
理解できるので、理解の明確さが増すことである。第２
の長所は口もしくは口の付近に書かれた翻訳の位置がも
たらす高い理解力で外国サウンドトラックが翻訳される
ことであり、第３の長所は２つの書込みが表示される
（即ち一方は発言者の言語で、そして他方は胃なる言語
で表示され、両方が発音と同時に表面される）ことによ
って同時二カ国語書込み表示が達成されることである。
発音が迅速に連続供給され、書込みとの視覚調整が困難
な場合には、理解可能なように結合させるために、その
ように影響を受けるオーディオ・ビジュアル媒体のその
部分をデジタルまたはアナログの何れかの手段によって
音に関してデジタル的に拡張し、視覚的に拡張すること
ができる。
オーディオ・ビジュアルワークのサウンドトラックの
言葉を聞けない、または話せない人、及び単一のワード
の表示が早過ぎる人に理解させることが目的である場合
には、二重字、三重字または四重字（２、３ワードシー
ケンス、または４ワードシーケンスでさえも）を同時に
表示させることができる。この場合、ワードの数は最少
数のワードとすべきであるが、それでも当該フレーズの
ために十分な読取り理解時間窓を与えるようにする。こ
のアプローチは、目的が物語の理解またはプログラムを
楽しませることに限定される場合には、クローズドキャ
プションまたは外国映画のサブタイトルに置換される。
これは発音との結合とは対照的である。
本発明の別の実施例によれば、１もしくはそれ以上の
ワードは、これらのワードと単一の手話要素との間に対
応が存在するように、手話を話している人の片手または
両手に関連して位置決めされる。このようにすると、見
る人／聞く人にこれらのワードを自然な環境で結合する
機会が与えられ、これらのワードをその手話要素と結合
して覚えることができる。
本発明の更に別の実施例によれば、特別な読取り装置
を使用しながら見り人だけがワードを見ることができる
ように、ワードをオーディオ・ビジュアルワーク上に配
置することができる。これは見る人が特別の型の眼鏡を
装着した場合にだけ三次元表示を見ることができるのに
似ている。実際、特別な型の眼鏡は、この実施例を遂行
する好ましい方法である。
本発明のワードは、ワークの映像シーンの一体部分と
して、そしてこのシーンに重ね合わせて表示される。映
像シーンは、人の指、家具、空、背景都市風景等のよう
な成分を含む。ワードは１もしくはそれ以上の映像成分
上に重ね合わせることができるが、その結果映像成分の
一部が見えなくなるか、または書かれたワードが透明、
また半透明であるか、もしくはワードがワイヤフレーム
文字からなる場合には映像成分の一部が部分的に見えな
くなる。
複数のワードが話されるにつれて、１時に１より多い
書かれたワードが見る人／聞く人に表示されるので、正
しい音をその対応する書かれたワードに正確に結合する
ことは不可能ではないにしても困難であるから、聞く人
／見る人が２つの要素を容易に結合できるような技法
で、各音及びその対応する書かれたワードを利用可能に
することが重要である。注意力の散漫及び混乱を回避す
るためには、各話されたワードには単独の書かれたワー
ドだけを添えるべきである。可能性ある例外には、その
ワードの付加された絵文字、そのワードの手話表現、ま
たはそのワードの外国語翻訳がある。これらの書かれた
１または複数のワードは、先行ワードまたは後続ワード
が話されている間は表示がなされないならば、そのワー
ドが話される前、話されている間、及び話された後に表
示することができる。
各ワード及び信号を発音に結合させることを条件とし
て、１より多いワードまたは記号を発音中に表示させる
ことができる。例えば、もしワード“有り難う”と話し
たのであれば、ワード“thank−you"及びワード“merc
i"を同時に表示させることができる。
オーディオ・ビジュアル表示中、ワードを話す話し時
間期間と、それらの間の話さない時間期間とが存在す
る。本発明の１時に１ワード手順では、書かれたワード
は、（１）前のワードの話しに続く話されない期間、
（２）そのワードの話し、及び（３）次のワードが話さ
れる前のそのワードの話しに続く話されない期間からな
る期間中だけ表示される。
映像内のアルファベットをベースとするワードを表示
することによって、これらのワードを学力のない学生に
記憶として覚えさせることは、丁度フィルムが感光して
写真を作るように、全体の視覚画像を記録する脳の部分
を使用して記憶される語標（ロゴグラム）である。話さ
れた、または絵文字指示対象の何れか、もしくは両方と
共に、同時にアルファベットワードをセグメントで表示
すると、書かれたワード（“通常”はスクリプトされる
が、語標として視覚される）と同時に表示される１また
は複数の指示対象との間で回復可能な結合を学生の記憶
の中に作る。何回か繰り返した後にそのアルファベット
をベースとするワード（語標）を表示すると、そ（れ
ら）の指示対象、即ち話されたワードが学生の記憶を呼
び覚ます。勿論、これは読みの行為を限定するが、その
能力を悟らせることが本発明の目的である。
話されたワードと書かれたワードとを対にするこのプ
ロセスによって教育すると、逆に、ある言語に学力があ
る学生はそれを話すことができるようになる。この場
合、指示対象は書かれたワードまたは語標であり、学習
目標は話されたワードである。
学習、特に幼児の学習を向上させる鍵は、子供が話し
方を学習する環境に似た“自然”は環境で結合を表示す
ることである。普通は、そして一般的には形式的な話し
方のレッスンを含まない子供が話し方を学習する環境
は、本発明がオーディオ・ビジュアル的に与えるものと
同一の型の環境である。本発明の好ましい線形実施例で
は、オーディオを見る人には、読み書きを教えることを
主目的としない物語または他の表示の環境が与えられ
る。ある人が話すことを学習する場合、その人はその学
習の環境（同時に行われる発音との結合を達成する指示
対象として役立つ）内の仲介手段（例えば両親）によっ
てそれぞれ明示または暗示される視覚画像または動作を
見せられる。本発明の環境は、学習者（即ち子供）の環
境内の仲介手段（両親のような）によってそれぞれ視覚
画像または動作が明示または暗示され、同時に行われる
発音との結合を達成する指示対象として役立つような環
境である。このような環境は、学習者の環境内の仲介手
段がランダムな発音を行わない限り、有意味に連続する
発音を含む。このような自然言語学習状況は典型的な映
画に見出される。映画では自然な通信状況が描かれ、フ
ィルム上映中の自然な再現を通して同一のワードを繰り
返し聞かされる。自然環境及び映画の模倣は、共に、動
作及び対象とそれらの対応する記述的発音とを結合す
る。本発明は自然環境をオーディオ・ビジュアルで模倣
し、結合機会を書かれたワードまたは拡張するものであ
る。
本方法は、あるワードの音節（シラブル）または文字
から区別されたワード全体を学生に見せることによって
読みを教えることができる。全ワードを見て覚えるの
は、描の絵または漢字のような記号を見て学ぶのと同じ
ように、そのワード全体が人の脳によって処理されるも
のと考えられる。各ワードを全体として見る（または、
即解する）ことによって結合が得られ、覚えるようにな
る。これらはアルファベットをベースとする読み、音節
的な読み、または音声の読みを必要とする人の脳による
解析を通してではなく、視覚的に記憶され、結合を通し
て回復されるのである。
一方が書込まれた形状であり、他方が絵で表された形
状の２つの書込みを、単一の話されたワードに対応して
表示させる場合、これら２つの書込みを互いに併合させ
たり、またはさせなかったりして、これら２つの書込み
が結合されていることを、または同一のものであること
さえも指示することができる。例えば、ビデオ内の人が
ワード“cat（猫）”と話した時に、猫の絵文字を、書
かれたワード“ｃ−ａ−t"に変化させることができる。
本発明により作成される結合が、現在のオーディオ・
ビジュアルに関係しようとも、もしくは本発明によって
作成されようとも、本発明により作成される結合は通常
の、自然な映像環境で発生する。例えばこれらの結合
は、刑事と容疑者とが会話するような劇映画のシーン
で、歌手が歌を歌うようなビデオで、または予報士が話
しながら地図を指すようなTVニュース放送で発生する可
能性がある。これらの全ての場合、目的を必ずしも読み
書きを含むものではない。
本発明は、発音が行われると、また書込みが表示され
ると、ワークの視覚部分の一部として見ることができる
唇の動きが同時に行われるような読唇術の教育にも適用
可能である。
表示された映像の領域内に関連する源に、またはその
付近に、ワードを位置決めする長所の一つは、それが行
われた時に、見る人がワーク内の動作を注視しながら容
易にワードを聞き、ワードを見ることができることであ
る。目は、見ている画面の周辺の縁、または描かれた領
域の外側に位置決めされている左程重要ではないワード
を見ることはできるが、オーディオ・ビジュアルワーク
の動作要素に特に注視しながらそれらを読むには困難を
伴う。本発明が特にクローズドキャプショニングに優っ
ているのは、これが理由である。クローズドキャプショ
ニングは１時に１つ以上のワードを表示するが、これが
１つのワードに１つの音を結合することを妨げる。更
に、本発明はワードを、話す人に次元的な関係で表示す
るが、これは押しつけがましさを減少させ、書かれたワ
ードが占有する画面の面積を最小にする。
２人の人が対面して、もしくは対面せずに会話する場
合、書かれたワードを表示する面として、２人の人の間
の単一の面を役立たせることができる。この技術は、話
す人の１人がカメラから外れていて、カメラから外れた
その話す人の相対位置を聴衆が気づいているような場合
にも使用することができる。
各書かれたワードの文字の色、形状及び他の特徴は、
控え目になるように設計される。例えば、もしワードを
重ね合わせる背景映像成分が紺青であれば、ワードの文
字を淡青または他の青の色調にすることができる。また
背景ビジュアルを部分的に連続して見ることができるよ
うに、書かれたワードを透明または半透明にすることも
できる。更に、ワードはその源に対する色、フォント、
その他にコーディングすることもできる。
再度図２−３を参照する。話す人（Ｓ）の頭（Ｈ）が
回されると、話す人の耳を通る線にほぼ垂直な面P1は３
つの付加的な位置P2−P4へ移動する。ワード“AT"が話
されるとそれは面P2に遠近法（パースペクティブ）で現
れ、ワード“SPOT"が話されるとそれは面P3にこれもま
た遠近法で現れ、そして最後に“GO"が話されるとそれ
は面P4に現れる。各ワードは頭に、または頭の付近に、
もしくは頭上にさえ配置されるが、好ましくはそれを話
している発音者の口（Ｍ）に、またはその付近に位置決
めする。話す人（Ｓ）の頭（Ｈ）が回ると、それが顎先
を上げるように傾くことを注目されたい（面P4参照）。
書込みの向きは頭の横方向及び上下方向の向きを反映す
ることが好ましい。
図３において、全ての話されたワードは、オーディオ
・ビジュアルが表示される画面内の、またはそれに平行
な面PP内に現れる。
図４に示すオーディオ・ビジュアルワークを作成する
装置は、オペレータステーションと、所望の書込み（ワ
ード“look"のような）を生成するビデオテキストジェ
ネレータと、未だ書込まれていないワークを供給するオ
ーディオ・ビジュアルワーク入力手段と、テキストとオ
ーディオ・ビジュアルワークとを組合わせて本発明の発
音／書込み調整を適切な面の向きで供給するデジタル光
学マニプレータ供給手段とを含んでいる。この操作（マ
ニプレーション）は本発明のオーディオ・ビジュアルワ
ークを作成するものであり、ワークを通して調整を行
い、その表示を中断させることなく見聞きすることを可
能にしてこの実施例を本発明の線形実施例にするのであ
る。
文字の群はワークが話された時に最も見られると思わ
れる映像の部分の上に添えられ、刻印され、重ねられ、
またはその他によって配置される。発音者の頭が見える
場合には、そのワードが口から発せられたことを示唆す
るように、位置は一般的に口またはその付近にすべきで
ある。このシーケンスは、ワーク全体に関して、もしく
は、望むならば、ワークのあるセグメントに関して全て
の、もしくは実質的な数の発音について継続させる。文
字はどのようなサイズ、フォント、または色であっても
よく、また背景の色、及び各発音の感情的なそして意図
する内容を反映するような何等かの他の図形属性を選択
する。背景に関して言えば、各書かれたワードは省略時
（default）半透明、透明、ワイヤフレームまたは背景
色の色調の色（但し、ワードが消えた後に網膜のハロー
またはゴースト像を残さずに可視性を保つように背景色
から十分に区別される色）とすべきである。感情、意図
または意味に関して言えば、例えば怒ったワードは鋭い
縁の書体を有する赤のブラッシングを有し、また子守歌
の歌詞は柔らかい筆記体の書体を有するパステル調の色
である。感情的に自然なワードは省略時の色で表示され
る。図形属性の目的は、音量、音声、ピッチ、または他
の音声属性の変数を通してもたらされる発音のニュアン
スと同時に現れるダイナミック図形を見る人／聞く人に
提供し、それによって、近い従来に記憶が呼び覚まされ
て回復できる結合の目的を協調することである。
自然通信状況は、オーディオ・ビジュアルワーク内に
満ちている。これらの状況には、上述したような刑事が
容疑者を追及していることが含まれる。自然通信環境を
含むシーン上にワードを配置すると、見る人／聞く人は
ワークを自然通信を注視し続けながら、所望の音及び書
込みの結合を作成する手段が得られる。
次に図５を参照する。本発明の線形実施例は、見る人
／聞く人がオーディオ・ビジュアル表示を停止させ、ワ
ードの定義、構文及び文の文脈用法、または他の情報を
選択によって供給するメニューを、オーディオ・ビジュ
アルが表示されている画面上で見ることができるように
コンピュータプログラムを作成することによって、会話
式実施例を作成するのに使用される。会話式のワーク
は、このようなプログラムを使用してワークを表示する
プログラム可能な教育装置を使用し、ワークを停止させ
て選択された書込みを見て、この書込みに関連する付加
的な情報を入手する。
図６を参照する。オーディオ・ビジュアルワークは、
コンピュータ図形設計者のワークステーションによって
作られる。ワークのビデオ信号（アナログ形状またはデ
ジタル形状）は設計者のワークステーション画面上に表
示されている。フレーム（１秒の1/30の絵画のシーケン
ス）で作業する場合には、設計者はコンピュータ図形ま
たはテキスト（即ちワード）を作り、そのワードを話す
のに要する時間の長さに依存してそれを１または複数の
フレームのビデオ信号に重畳する。あるワードを話すの
に要する時間の長さは、１秒の1/60乃至1/2を要する日
常英語（または他の言語）会話内の多数のワードにつれ
て変化する。アニメーションを使用し、絵の具箱ソフト
ウェアを使用することによって、付加的な文字にワード
内の文字のフォントと、選択された面内のワードの向き
とを与えることができる。
図７は、関連する書かれたワードをより長く表示する
ために、オーディオ・ビジュアル内でワードが話される
時間を伸長する方法を示す。このワードが聞かれる時間
の伸長または拡張は、ワードの音をハードディスク上に
波形としてデジタル化し、次いでその波形を再構成する
ことによって達成される。この技術は、ピッチまたは音
色を歪ませることがない。
図８の頭（Ｈ′）は、破線起線（SL）で示すように、
見る人から見て右を向いている。起線（SL）は、話す人
の参照対話面（P5）（図示してない）内に存在してい
る。話す人の垂直参照面（Ａ）は見る人には１本の線に
見える。この面は固定されたままである。線（SL）はバ
ーベキューの串のようにワード“WOW"を通過している。
話す人の頭（Ｈ′）から始まるワード（WOW）の長さ
（距離）は、鼻（Ｎ）を有する話す人の顔（Ｆ）の幅
（d1）の２倍の距離（d2）以内であることが好ましい。
ワード（WOW）の位置の範囲を2d1にすると、話す人の頭
がクローズアップ位置にある場合のシーンでは良好な結
果が得られる。頭がロングショットの距離にある場合に
は、ワードは頭よりは大きくすることができるが、それ
でも頭（Ｈ′）に接して、または見る人の関係対象へ移
動させる。この場合、距離（d2）は距離（d1）の３また
は４倍にすることができる。
図９は、ダイアローグ平面（P5）平面Ａ（180゜視聴
者基準平面）およびＢ、90゜平面を示す平面略図であ
る。内部にソースライン（SL）を有するダイアローグ平
面（P5）は、かかる向きに現れる単語「WOW」を含む。
視聴者平面（Ａ）である180゜視聴者基準平面から25゜
の他のダイアローグ平面（P6）および（P7）に現れる単
語は読み取り可能であるが、視聴者基準平面（Ａ）（ビ
ジョンのうちの視聴者基本平面）により近いダイアロー
グ平面内の単語は読み取りが困難であるので、本発明を
実施するには（このブロックアウト領域に）かかる位置
決めをすることほとんど行われない。
図10は制御ノブ22、23を備えたセット21のテレビスク
リーン20を示す。話し手の頭／顔の位置は図２に示され
たマルチ画像に示されている。スクリーン20の左側の画
像は頭（Ｈ）、顔（Ｆ）、かかる平面内にソースライン
（SL1）を備えたダイアローグ平面（P1）を示す。顔の
平面（FP1）はダイアローグ平面（P1）に垂直であり、
ソースライン（SL1）は顔の平面（FP1）に垂直であり、
話し手が直立または座っている位置にあるとき、顔の平
面は水平線に垂直な平面内にほぼ位置する。ソースライ
ン（SL1）は単語「look」をリニアに二分する。それぞ
れのダイアローグ平面（P2）、（P3）および（P4）にあ
る他のソースライン（SL2）、（SL3）および（SL4）が
示されており、これらソースラインの各々はそれぞれの
単語をリニアに二分している。
最後に、図11は頭（H3）、顔（F3）および口（Ｍ）を
備えた話し手（S2）を示す。顔平面（FP2）は（この図
には示されていない）ダイアローグ平面に垂直である。
（図示していない）ダイアローグ平面内にあるソースラ
イン（SL3）は単語「fast」を二分する。頭（H3）は話
し手（S2）が背中を視聴者側に回転する際にいずれの向
きにも移動できるので、かかる向きの頭（H3）によって
話されているソースライン（SL3）上の単語はその都度
ダイアローグ平面内に入れられるが、入れられる単語が
視聴者に読みにくいようなダイアローグ平面の向きとな
っている場合はこの限りでない。例えば話し手（S2）が
直立位置にあり、視聴者に対して後ろ向きとなっている
場合、ダイアローグ平面内に入れた場合の単語「fast」
は視聴者にとって読みにくい角度となる。かかる読みに
くさをなくすため、単語「fast」が読みにくい場合、で
きるだけダイアローグ平面に近い平面に単語を入れる。
かかる場合、単語「fast」が頭（H3）から離れるような
感じを与えるよう、かかる選択した平面において単語
「fast」をそれぞれの向きに示すこととなる。
時間的に可能であれば、単語「fast」が口（Ｍ）の一
部を不明瞭によるような位置に最初に表示されるように
し、次にダイアローグ平面のライン（SL5）に沿って迅
速に移動させてもよい。これとは異なり、例えばスクリ
ーン上に1000分の0.024秒の間、この単語を表示する場
合、口（Ｍ）上にこの単語を0.008秒現し、次に0.008秒
の間、ライン（SL3）に沿って移動し、最後に消える前
0.008秒ライン上に停止させてもよい。
ソースライン（SL）の上に単語をのせ、本発明書に述
べたそれぞれの平面に単語をのせる目的は、単語が口か
ら出て、その後オーディオビジュアルスクリーンの三次
元空間内の対象として生じさせることである。文字で表
示された単語は１つの対象として他の対象が受けるのと
同じ物理的な規則を受ける。従って、本発明を使用する
オーディオビジュアル作品中で話し手の前方をだれかが
歩く場合、話し手のスピーチを聞こえにくくし、文字で
表示された単語の画像の一部または全体を一時的にブロ
ックすることができる。本発明のかかる特徴の目的は単
語を実際の対象として見えるようにすることであり、こ
のコンセプトが抽象的なものではなく、むしろユーザー
フレンドリーなものとして特に見る若者のフィーリング
に極めて受け入れられるようにすることである。
単語の文字のサイズが大きくなったり小さくなったり
する（左のｗはｏよりも小さく、次にｏは右側のｗより
も小さくなっている図８を参照）単語を斜視図で表すよ
うに位置させる。傾斜図内の単語はかかる方向に移動す
る用に見える方向を有するように見える。話し手の口の
近くにおける斜視図内の単語は、口から出ているように
見える。単語はコミュニケーションの一部である話し手
の顔の表情を妨害することなく、できるだけ口の近くに
位置される。
作品中で話される単語のすべてはディスプレイされる
文字にされた単語に対応する必要はない。この理由は、
作品の所定の上映時間によりキャプション（字幕）化に
特別な問題を与えることがあったり、または他の理由か
らキャプションを作成する必要がないことがあるからで
る。
本発明の好ましい用途としては、テープ、フィルム、
コンピュータディスク、CD−ROMまたは他のメディアに
おいて、上記のようにテープ、フィルム、CD−ROMまた
はコンピュータディスクの話されている内容に連動す
る、意味のあるシーケンスで単語、アルファニューメリ
ックの記号または他のラインティングを入れることであ
る。かかるシーケンス化は最初から最後までフィルムま
たはテープ全体にわたって続くことができる。本発明の
オーディオビジュアル作品は、娯楽または他の文脈上意
味のある主題および内容を有することが好ましい。視聴
者はこの娯楽または他の主題を楽しむ際に、自ら特別な
努力をすることなく学習がされる。
本発明は作品の画像領域内に話された各単語が、大き
さ、色、フォントおよび他の特徴を有する点で可視的で
あるかのような印象を与える。単語の大きさとは、ディ
スプレイスクリーンの平面またはかかる平面に対し所定
角度の平面における単語の向きであり、かかる向きの単
語は画像の他の成分と同じように三次元的である。
ライティングとしては、文字、単語、像または他の信
号をふくむことができる。
本発明の別の実施例によれば、人（例えば視覚障害
者）がオーディオプログラムを聞きながら使用できる、
好ましくは別個の装置で、文字を点字で表示する。他の
実施例と同様に、点字と話し単語の間に時間的な対応が
確立され、よって文字が発声に関連していることを思い
出させる目的でかかる文字を自然の設定により関連させ
る機会がユーザーに与えられる。
実施例 プレイヤーにピクトグラム（絵文字）の指示物のイン
ベントリーが利用できる娯楽ビデオゲームが使用され
る。ピクトグラムとはドラッグ可能なカーソルである。
指示物をマウスでクリックすると、その結果、ボイスオ
ーバーまたはトーキングヘッドが単語を発声する間、単
語に均等なもの（ロゴグラム）の中に指示物がフェード
イン（モルフィング）することとなる。
このゲームの目的は、意味のある配列を生じさせる絵
文字の指示物の列を生じさせることである。プレイヤー
がかかる列を一旦配列した後、マウスをダブルクリック
する結果、指示物は１度に１回ずつ左から右に文字とし
て書かれた単語（ロゴグラム）内にモルフィングし、同
時に適当にな示物が発音される。次に、意味のある配列
は発声者により左から右へ大きく繰り返され、各単語の
背景として指示物が急に表示される。
ゲームを行う際、ドラッグにより意味のない連続であ
る指示物の配列が形成されるが、この配列はダブルクリ
ックを行い、得点がない場合には結論とならない。
ダイアローグの意味のある表現の自然の流れに従っ
て、色およびフォントグラフィックのニュアンスを変え
ることができる。これにより、本発明の全有機的な見方
により、新規で標準化された感情的なグラフィックボキ
ャブラリーが形成される。例えば、次の感情に対し、次
の色およびグラフィックを使用できる。
感情 色 グラフィック 幸福 白またはピンク キラキラ 悲しい 青または黒 ゴシック 怒り 赤 太文字 セクシー 紫 波形 自然に見られるような物理的現実に関連させるのに、
フォントおよび色のニュアンスも変えることができる。
物理的 色 グラフィック 低温 灰色／水色 氷形状 高温 オレンジ／赤 炎 湿気 乳白色 滴状 かかる関連化は、一般的な感覚および／または人の感
情に対する色、質感等の関連するグラフィック効果をリ
ンクする、予め存在する研究および学識に基づくもので
ある。更に、追加関連インパクトを与えることができる
よう、視覚的現象、例えばグローイングおよび放射を含
む現在のグラフィックコンピュータソフトウェアの能力
を階層化できる。
本発明に係わるナレーションコンテストにおけるユー
セティックキャプショニング（字幕化）を多数の方法で
実行できる。図12a−ｂにマニュアルでユーセティック
キャプショニングを実行するための工程を示す。
図13a−ｂはユーセティックキャプションを適用する
ビデオダイレクトシステムおよび方法を示す。
図14は、ピッチまたはトーンを喪失することなく、か
つ明らかなひずみを起こすことなく、ダウン発声をスロ
ーにするシステムおよび方法を示す。図15a−ｂは、図1
4に示されたシステムおよび方法により伸長された単語
「future」のそれぞれの正常な波形および伸長波形図で
ある。図15bの波形は、波形の振幅を一定にしながら波
形を伸長させているので、図15aの波形と同じピッチで
ある。
全数乗算器と異なり、分数乗算器により波形を伸長す
る際に本発明の別の実施例が有効である。例えば、波形
の長さを２倍（100％増加）することと異なり、1.5倍
（50％増加）することが好ましい場合、公知の方法は、
どの部分を伸長させるかをランダムに選択する。本発明
の特徴によれば、波形部分のランダム選択は母音部分だ
けに限定される。これは当業者に公知の手段で行うこと
ができる。図16は、単語を位置決めする公知のキャラク
ターアニメソフトウェアを使用するユーセティックキャ
プショニングを利用するデジタルシステムおよび方法を
示す。
図17−21は、直感的ユーセティックキャプショニング
のためのシステムおよび方法である本発明の別の実施例
に関連するものである。図17は、本発明のこの実施例に
従い、ユーセティックキャプショニングソフトウェアを
利用する図16に示されたシステムおよび方法を示す。図
18は、図16および17に示されたシステムおよび方法で使
用されるコンピュータワークステーションの細部を示す
フロー図である。
図19a−ｄは、本発明に係わるユーセティックキャプ
ショニングの実施の詳細を示す。図20a−ｂは、ユーセ
ティックキャプション単語が存在するように見えるバー
チャル三次元世界の４つの象限を示す。図21はバーチャ
ル三次元世界の任意の象限において最適な向きにユーセ
ティックキャプション単語を配置するためのソフトウェ
アモジュールのフローチャートである。このソフトウェ
アはコンピュータワークステーションシステムで実行す
ることが好ましい。当業者に公知の多数の入力装置を使
用できるが、ユーザーは象限を指定し、マウスによりソ
ースラインを引き、キーボードで入力することが好まし
い。ソフトウェアモジュールを実行するこのコンピュー
タシステムは、ソースライン上に単語を自動的に位置決
めし、よって（ｘ高さ）としてタイポグラファーに知ら
れている小文字の本体の中心、例えば文字ｅの水平線を
ソースラインが通過するようにすることが好ましい。シ
ステムおよびソフトウェアが単語を置くと、このソース
ラインは削除される。
図22は、本発明に係わる相互会話式ユーセティックキ
ャプション作品を創造するための相互会話式マルチメデ
ィアコンピュータワークステーションを内蔵するマルチ
メディアプラットホームを示す略図である。図23は、相
互会話能力を実行するためのソフトウェアのフローチャ
ートである。
図24は、図23に示された相互会話式発音のフローチャ
ートである。本発明の特徴によれば、ユーザーが特定の
単語でのユーセティックキャプションオーディオビジュ
アル作品を停止すると、ユーザは発音レッスンを受ける
ことができる。ユーザーは、ユーザーの単語の発音から
生じた波形とコンピュータファイルに記憶されている正
しい波形の標準波形とを比較する音声波形解析ソフトウ
ェアを含むコンピュータに接続されたマイクに向かって
話すことが好ましい。次にコンピュータは、正しい発音
（例えば「good enough」または「excellent」）を確認
するか、またはユーザーが単語を再び発音するようにさ
せるフィードバックをユーザーに行う。
図23に示された別の選択案は、ユーザーが選択できる
相互会話アプリケーションのメニューとして提示され
る。例えばユーザーは単語をタイピングするか、または
手書き認識ソフトウェアに対する出力を発声する電子タ
ブレットに単語を書き込むことにより表示される単語
を、ユーザーがまねすることができるようにするライテ
ィングアプリケーションをユーザーが選択できる。この
会話式システムは単語が正しくタイプされたか、または
書かれたかをユーザーに知らせるようフィードバックす
ることが好ましい。
図25は、図９に示された前方の「ブロックアウトゾー
ン」内に単語を置くことを表示する。話し手の口から単
語が出ているように見える１つの方法として、図25のラ
インＡ−Ａを通過する平面におけるこのゾーンに単語を
任意に置くことができる。単語と１つの手話要素とが対
応するよう、手話を使用する人の手に関連して１つ以上
の単語を置くこともできる。図26には、本発明のこの実
施例の一例が示されており、図26は、手話同時通訳をす
る人の手を備えたはめ込みボックスおよびTVスクリーン
上の話し手を示す。話し手が単語「Future」を話し、手
話通訳者がその単語をサインする際に、その単語の手話
要素と連動してはめ込みボックス内に「Future」が表示
される。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 ３１０，４５８ (32)優先日 平成６年９月22日(1994．9．22) (33)優先権主張国 米国（ＵＳ） (72)発明者 モーリス カイル エス アメリカ合衆国 ニューヨーク州 10016 ニューヨーク イースト トゥ エンティセヴンス ストリート 200 スイート １シー (56)参考文献 米国特許5111409（ＵＳ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G09B 17/00 G09B 5/02

Claims (26)

    (57)【特許請求の範囲】
  1. 【請求項１】テリトリー内で話される言語の、文字で書
    かれた単語のグループを、メンバーからなる母集団が知
    覚できるようにする方法であって、 （ａ）作品の各々が各セグメントと共に一連の発音を含
    む複数の絵のセグメントを含み、自然のコミュニケーシ
    ョン状況を備え、非教育的シーンを含む複数のオーディ
    オビジュアル作品を発声させること、 （ｂ）各発音及び各文字で書かれた単語が関連するよう
    に、かかる発音に対し１度に１つずつ対応するよう、文
    字で書かれた単語をかかるセグメントに重ねること、 （ｃ）文字で書かれた単語のグループ内の各単語に対
    し、前記作品内に少なくとも１つのセグメントを提供す
    ること、 （ｄ）テリトリー内に所定の時間、所定の程度、かかる
    作品を放送または他の方法で導入すること、 を備え、よって母集団に言語のかかる文字で書かれた単
    語を知覚させる方法。
  2. 【請求項２】学習者に教える方法において、 （ａ）自然のコミュニケーション状況を含む１つ以上の
    オーディオビジュアル作品であり、各作品がかかる状況
    中に対応するライティングと同時に複数の発音の表示を
    含み、各オーディオビジュアルが学習者が自然に注意を
    向けるエリアを含み、該エリアが（ｉ）発音が発せられ
    るか、又は発音の意味の導入によって学習者の目が向け
    られる第１部分及び（ii）発音と対応するライティング
    との間に関連が生じ得るよう、各発音と同時に前記ライ
    ティングをディスプレイする第２部分を含む該作品を作
    成すること、 （ｂ）かかる作品を学習者が利用できるようにするこ
    と、 （ｃ）所定の発音がかかる所定のライティングに対応す
    ることを学習するのを助けることができる充分な回数だ
    け、対応するライティングを見ながら学習者が複数の発
    音の各々を聞くまで時間を延長して、かかる学習者が視
    聴のための配列を選択できるようにすること、 を備えた方法。
  3. 【請求項３】第１部分および第２部分がオーバーラップ
    している請求項２記載の方法。
  4. 【請求項４】視聴者に対するプレゼンテーションを行
    う、自然のコミュニケーション状況を備えた画像シーン
    を含むオーディオビジュアル作品であって、 （ａ）かかるシーンのプレゼンテーションにおける人ま
    たは他の発声者による一連の発音と、 （ｂ）かかる一連の発音に関連した一連のライティン
    グ、 を備え、１つのライティングが画像シーン内に位置し、
    各発音およびライティングが視聴者の感情内で関連する
    ように聞かれる発音に対応する、視聴者にプレゼンテー
    ションするための、自然のコミュニケーション状況を備
    えた画像シーンを含むオーディオビジュアル作品。
  5. 【請求項５】発音する者が耳を有し、発音者の耳を通過
    するラインにほぼ垂直に通過するダイアローグ平面内に
    ライティングが生じる請求項４記載のオーディオビジュ
    アル作品。
  6. 【請求項６】ライティングが第１の平面内又はかかる平
    面に所定の角度で生じる平面内にあるフラットスクリー
    ンに提示される請求項４記載のオーディオビジュアル作
    品。
  7. 【請求項７】各ライティングが発音者の頭部に密に関連
    する請求項４記載のオーディオビジュアル作品。
  8. 【請求項８】娯楽的な内容を有する請求項４記載のオー
    ディオビジュアル作品。
  9. 【請求項９】教育的な内容を有する請求項４記載のオー
    ディオビジュアル作品。
  10. 【請求項１０】所定時に視聴者に対し１つのライティン
    グしか表示されない請求項４記載のオーディオビジュア
    ル作品。
  11. 【請求項１１】１度に２つのライティングが表示され、
    ライティングの各々が発音に関連する請求項４記載のオ
    ーディオビジュアル作品。
  12. 【請求項１２】発声がなされる際に画像、フレーム又は
    セグメントは、人または無生物の発声者または発声物を
    有し、オーディオビジュアルプレゼンテーションの画
    像、フレーム又はセグメントに一連のライティングを位
    置決めする方法であって、 （ａ）ビデオテキスト手段を含む機器のオペレータによ
    って制御されるユニットを選択すること、 （ｂ）各単語が検索のための種々のサイズ、形状及び配
    列を有する複数の単語を、かかるビデオテキスト手段が
    ディスプレイするようにさせること、 （ｃ）ユニットのオペレータによって見ることができる
    よう、一連の画像の各々を位置決めすること、 （ｄ）ディスプレイされた単語を選択するようにビデオ
    テキスト手段を作動させること、および （ｅ）永久的な位置決めのために選択された画像、フレ
    ームまたはセグメントに所定の単語を移動すること、 を備え、よって単語の発音に局部的、かつ一時的に関連
    させてセグメントに単語を表示する一連のライティング
    を位置決めする方法。
  13. 【請求項１３】発声者の頭部の近くに単語を位置させる
    請求項12記載の方法。
  14. 【請求項１４】請求項４のオーディオビジュアル作品を
    ディスプレイし、更に他の教育的な情報をディスプレイ
    する制御可能なディスプレイ手段を含む教育装置。
  15. 【請求項１５】一連の発音が発音されない期間だけ分離
    された一連の話し単語であり、各話し単語に関連すべき
    各ライティングが、単語が話されている期間およびかか
    る話されている期間の前後の話されていない期間を含む
    時間の間ディスプレイされる請求項４記載のオーディオ
    ビジュアル作品。
  16. 【請求項１６】画像シーンが非教育的シーンに重ねられ
    たかかるライティングを備えた、非教育的シーンを含む
    請求項４記載のオーディオビジュアル作品。
  17. 【請求項１７】斜視図内のかかる第１の平面に単語が表
    示され、第１の平面がかかる平らなスクリーン平面から
    少なくとも60度傾斜する請求項６記載のオーディオビジ
    ュアル作品。
  18. 【請求項１８】画像シーンが注意を向ける動作の領域を
    有し、かかる領域にライティングが位置される請求項４
    記載のオーディオビジュアル作品。
  19. 【請求項１９】画像シーンが音源領域を有し、かかる領
    域にライティングが位置する請求項４記載のオーディオ
    ビジュアル作品。
  20. 【請求項２０】前記所定の角度で生じる平面内にあるソ
    ースラインを更に有し、斜視図内のかかるソースライン
    に単語が表示される請求項６記載のオーディオビジュア
    ル作品。
  21. 【請求項２１】各セグメントを備えた発音を含む複数の
    画像セグメントのユーセティックキャンプションを表示
    するためのコンピュータに基づくデータ処理システムで
    あって、 （ａ）データを処理するためのコンピュータプロセッサ
    手段と、 （ｂ）データを記憶するための記憶手段と、 （ｃ）各セグメントを備えた発音を含む複数の画像セグ
    メントを表示するデータに、各発音および各文字で表示
    された単語が関連するように、かかる発音に一度に１つ
    ずつ対応する文字で書かれた単語を表示するデータを重
    ねるための手段と、 を備えた、コンピュータをベースとするデータ処理シス
    テム。
  22. 【請求項２２】データを重ねるための手段が、 （ａ）第１アナログビデオ信号を入力するための手段
    と、 （ｂ）アナログビデオ信号をビデオデジタルデータに変
    換するための手段と、 （ｃ）一度にフレームずつビデオデジタルデータをディ
    スプレイするための手段と、 （ｄ）ユーザーから単語データおよび象限データを入力
    するための手段と、 （ｅ）象限データおよび他の所定の基準に従い、単語デ
    ータをビデオデジタルデータに挿入するための手段と、 （ｆ）ビデオデジタルデータを第２アナログビデオ信号
    に変換するための手段と、 （ｇ）第２アナログビデオ信号を出力するための手段
    と、 を備えた請求項21記載のシステム。
  23. 【請求項２３】ユーザーから単語データおよび象限デー
    タを入力するための手段が、 （ａ）ユーザーが象限を選択できるようにするための手
    段と、 （ｂ）ユーザーがソースラインを引くことができる手段
    と、 （ｃ）ソースラインに対する角度を計算するための手段
    と、 （ｄ）ユーザーが単語データを入力することができるよ
    うにするための手段と、 （ｅ）ソースラインに沿って単語を自動的に位置決めす
    るための手段と、 を備えた請求項22記載のシステム。
  24. 【請求項２４】ユーザーが相互会話式にユーセティック
    なキャプション（字幕）付きオーディオビジュアル作品
    を操作できるようにするための、コンピュータをベース
    とするシステムであって、 （ａ）オーディオビジュアル作品をディスプレイするた
    めの手段と、 （ｂ）オーディオビジュアル作品のディスプレイを休止
    させるための手段と、 （ｃ）ユーザーが単語を指定できるための手段と、 （ｄ）ユーザーによって指定された単語に関する別のデ
    ータを処理するための手段と、 を備えたコンピュータをベースとするシステム。
  25. 【請求項２５】ユーザーが単語を指定できるようにする
    ための手段はオーディオビジュアル作品のディスプレイ
    が休止された際にディスプレイされている単語をユーザ
    ーが指定できるようにする請求項24記載のシステム。
  26. 【請求項２６】単語に関する別のデータを処理するたの
    手段が、 （ａ）複数の単語のための正しい発音を表示する標準デ
    ータを記憶するための手段と、 （ｂ）単語のユーザーの発音を表示するデータを、ユー
    ザーの声から入力するための手段と、 （ｃ）音声データと単語の標準データとを比較するため
    の手段と、 （ｂ）単語のユーザーの発音が正しいかどうかをユーザ
    ーに表示するよう、音声データを比較するための手段に
    応答自在な手段と、 を備えた請求項24記載のシステム。
JP7510385A 1993-09-24 1994-09-23 書込みを有するオーディオ・ビジュアルワーク、オーディオ・ビジュアルワークにおいて連続的に口頭発音と書込みとを有意味に結合する方法、及び線形及び会話応用のための装置 Expired - Lifetime JP3016864B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US12634193A 1993-09-24 1993-09-24
US126,341 1993-09-24
US20916894A 1994-02-24 1994-02-24
US209,168 1994-02-24
US310,458 1994-09-22
US08/310,458 US5741136A (en) 1993-09-24 1994-09-22 Audio-visual work with a series of visual word symbols coordinated with oral word utterances
PCT/US1994/010814 WO1995009506A2 (en) 1993-09-24 1994-09-23 Method of associating oral utterances meaningfully with writings seriatim in the audio-visual work

Publications (2)

Publication Number Publication Date
JPH09505671A JPH09505671A (ja) 1997-06-03
JP3016864B2 true JP3016864B2 (ja) 2000-03-06

Family

ID=26824546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7510385A Expired - Lifetime JP3016864B2 (ja) 1993-09-24 1994-09-23 書込みを有するオーディオ・ビジュアルワーク、オーディオ・ビジュアルワークにおいて連続的に口頭発音と書込みとを有意味に結合する方法、及び線形及び会話応用のための装置

Country Status (12)

Country Link
US (1) US5741136A (ja)
EP (1) EP0721727B1 (ja)
JP (1) JP3016864B2 (ja)
CN (1) CN1134210A (ja)
AT (1) ATE216549T1 (ja)
AU (1) AU7842394A (ja)
BR (1) BR9407649A (ja)
CA (1) CA2172606A1 (ja)
DE (1) DE69430434T2 (ja)
DK (1) DK0721727T3 (ja)
ES (1) ES2176259T3 (ja)
WO (1) WO1995009506A2 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659764A (en) * 1993-02-25 1997-08-19 Hitachi, Ltd. Sign language generation apparatus and sign language translation apparatus
US5938447A (en) * 1993-09-24 1999-08-17 Readspeak, Inc. Method and system for making an audio-visual work with a series of visual word symbols coordinated with oral word utterances and such audio-visual work
US6062863A (en) * 1994-09-22 2000-05-16 Kirksey; William E. Method of associating oral utterances meaningfully with word symbols seriatim in an audio-visual work and apparatus for linear and interactive application
US5810599A (en) * 1994-01-26 1998-09-22 E-Systems, Inc. Interactive audio-visual foreign language skills maintenance system and method
IL110883A (en) * 1994-09-05 1997-03-18 Ofer Bergman Reading tutorial system
US5697789A (en) * 1994-11-22 1997-12-16 Softrade International, Inc. Method and system for aiding foreign language instruction
AUPN520495A0 (en) * 1995-09-04 1995-09-28 Charon Holdings Pty Ltd Reading aid
JP2907089B2 (ja) * 1996-01-11 1999-06-21 日本電気株式会社 対話型映像提示装置
IL120622A (en) * 1996-04-09 2000-02-17 Raytheon Co System and method for multimodal interactive speech and language training
GB9619165D0 (en) * 1996-09-13 1996-10-23 British Telecomm Training apparatus and method
US6128023A (en) * 1996-12-20 2000-10-03 Fujitsu Limited Apparatus and method for editing character train on CAD picture plane and storage medium storing CAD character train editing program
WO1998054683A1 (en) * 1997-05-30 1998-12-03 Hodgson Frank L Bug box
US20040253565A1 (en) * 1997-07-10 2004-12-16 Kyu Jin Park Caption type language learning system using caption type learning terminal and communication network
US6307576B1 (en) * 1997-10-02 2001-10-23 Maury Rosenfeld Method for automatically animating lip synchronization and facial expression of animated characters
US5927988A (en) * 1997-12-17 1999-07-27 Jenkins; William M. Method and apparatus for training of sensory and perceptual systems in LLI subjects
US6159014A (en) * 1997-12-17 2000-12-12 Scientific Learning Corp. Method and apparatus for training of cognitive and memory systems in humans
GB9726654D0 (en) * 1997-12-17 1998-02-18 British Telecomm Data input and retrieval apparatus
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US8202094B2 (en) * 1998-02-18 2012-06-19 Radmila Solutions, L.L.C. System and method for training users with audible answers to spoken questions
US6227863B1 (en) * 1998-02-18 2001-05-08 Donald Spector Phonics training computer system for teaching spelling and reading
US6517351B2 (en) * 1998-02-18 2003-02-11 Donald Spector Virtual learning environment for children
US6160986A (en) * 1998-04-16 2000-12-12 Creator Ltd Interactive toy
US6250928B1 (en) * 1998-06-22 2001-06-26 Massachusetts Institute Of Technology Talking facial display method and apparatus
US6397185B1 (en) * 1999-03-29 2002-05-28 Betteraccent, Llc Language independent suprasegmental pronunciation tutoring system and methods
US7563099B1 (en) * 1999-05-21 2009-07-21 Elizabeth Iftikhar Multi-media method and apparatus for teaching language
US6405167B1 (en) 1999-07-16 2002-06-11 Mary Ann Cogliano Interactive book
US7630897B2 (en) * 1999-09-07 2009-12-08 At&T Intellectual Property Ii, L.P. Coarticulation method for audio-visual text-to-speech synthesis
US6579100B1 (en) * 1999-10-25 2003-06-17 The Baby Einstein Company Interactive learning system method for infants, toddlers and young children
US6377925B1 (en) 1999-12-16 2002-04-23 Interactive Solutions, Inc. Electronic translator for assisting communications
IL133797A (en) * 1999-12-29 2004-07-25 Speechview Ltd Apparatus and method for visible indication of speech
US8301535B1 (en) 2000-09-29 2012-10-30 Power Financial Group, Inc. System and method for analyzing and searching financial instrument data
US6632094B1 (en) 2000-11-10 2003-10-14 Readingvillage.Com, Inc. Technique for mentoring pre-readers and early readers
US7031922B1 (en) * 2000-11-20 2006-04-18 East Carolina University Methods and devices for enhancing fluency in persons who stutter employing visual speech gestures
US8632341B2 (en) * 2002-02-21 2014-01-21 Disney Enterprises, Inc. Products and methods for providing education with a virtual book
US7797215B1 (en) 2002-06-26 2010-09-14 Power Financial Group, Inc. System and method for analyzing and searching financial instrument data
US6925438B2 (en) * 2002-10-08 2005-08-02 Motorola, Inc. Method and apparatus for providing an animated display with translated speech
US7137861B2 (en) * 2002-11-22 2006-11-21 Carr Sandra L Interactive three-dimensional multimedia I/O device for a computer
JP2004246184A (ja) * 2003-02-14 2004-09-02 Eigyotatsu Kofun Yugenkoshi 視覚化された発音の提案を備えた言語学習システム及び方法
US20040209232A1 (en) * 2003-04-21 2004-10-21 Dolores Neumann Method and system for selective prenatal and postnatal learning
CN101582982B (zh) * 2003-04-28 2011-11-09 松下电器产业株式会社 记录介质和方法、再现装置和方法、程序和集成电路
JP4113059B2 (ja) * 2003-07-28 2008-07-02 株式会社東芝 字幕信号処理装置、字幕信号処理方法及び字幕信号処理プログラム
USD497645S1 (en) 2004-01-14 2004-10-26 Eric B Garcia Teaching toy
US20050260547A1 (en) * 2004-05-19 2005-11-24 Don Moody Method, apparatus, computer program product, and system for aiding in literacy
US20070048694A1 (en) * 2005-08-15 2007-03-01 Tepper Daniel A System and method for simultaneous demonstration mouth movements together with visual presentation of an image that represents a letter(s) or word(s) being pronounced
US7667120B2 (en) * 2006-03-30 2010-02-23 The Tsi Company Training method using specific audio patterns and techniques
US20080003551A1 (en) * 2006-05-16 2008-01-03 University Of Southern California Teaching Language Through Interactive Translation
US8706471B2 (en) * 2006-05-18 2014-04-22 University Of Southern California Communication system using mixed translating while in multilingual communication
US8032355B2 (en) * 2006-05-22 2011-10-04 University Of Southern California Socially cognizant translation by detecting and transforming elements of politeness and respect
US8032356B2 (en) * 2006-05-25 2011-10-04 University Of Southern California Spoken translation system using meta information strings
US8200569B1 (en) 2006-06-22 2012-06-12 Power Financial Group, Inc. Option search criteria testing
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US8566077B2 (en) * 2007-02-13 2013-10-22 Barbara Ander Sign language translator
US8413075B2 (en) * 2008-01-04 2013-04-02 Apple Inc. Gesture movies
US8281231B2 (en) * 2009-09-11 2012-10-02 Digitalsmiths, Inc. Timeline alignment for closed-caption text using speech recognition transcripts
US9028255B2 (en) 2010-10-06 2015-05-12 Dominic William Massaro Method and system for acquisition of literacy
US10019995B1 (en) 2011-03-01 2018-07-10 Alice J. Stiebel Methods and systems for language learning based on a series of pitch patterns
US11062615B1 (en) 2011-03-01 2021-07-13 Intelligibility Training LLC Methods and systems for remote language learning in a pandemic-aware world
CN104392633B (zh) * 2014-11-12 2020-08-25 国家电网公司 一种面向电力系统仿真培训的讲解控制方法
US9886433B2 (en) * 2015-10-13 2018-02-06 Lenovo (Singapore) Pte. Ltd. Detecting logograms using multiple inputs
CN113646821A (zh) * 2019-03-26 2021-11-12 株式会社瞬读 用于提高文章阅读理解速度的训练系统、计算机程序以及文章阅读理解速度提高训练方法
CN112752130A (zh) * 2019-10-29 2021-05-04 上海海思技术有限公司 一种数据显示方法及媒体处理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111409A (en) 1989-07-21 1992-05-05 Elon Gasper Authoring and use systems for sound synchronized animation

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1240774A (en) * 1916-07-19 1917-09-18 Henry A Johnston Motion-picture and method of producing the same.
US2524276A (en) * 1946-07-02 1950-10-03 Slesinger Stephen Method of making a motion-picture film with balloon legends thereon
US3199115A (en) * 1963-04-29 1965-08-03 Lasky Max Method for making a sound motion picture film with words thereon
AT281945B (de) * 1966-07-20 1970-06-10 Sveriges Radio Ab Vorrichtung zum Textsetzen in Fernsehsendungen
US3891792A (en) * 1974-06-25 1975-06-24 Asahi Broadcasting Television character crawl display method and apparatus
US4260229A (en) * 1978-01-23 1981-04-07 Bloomstein Richard W Creating visual images of lip movements
US4310854A (en) * 1979-08-24 1982-01-12 Sanders Associates, Inc. Television captioning system
EP0056507B1 (en) * 1981-01-19 1985-06-12 Richard Welcher Bloomstein Apparatus and method for creating visual images of lip movements
US4568981A (en) * 1983-04-08 1986-02-04 Ampex Corporation Font recall system and method of operation
FR2546017B1 (fr) * 1983-05-11 1986-01-17 Thomson Csf Procede pour realiser une transformation geometrique sur une image video, et dispositifs mettant en oeuvre ce procede
JPS61147677A (ja) * 1984-12-21 1986-07-05 Mitsumi Electric Co Ltd ス−パ−インポ−ズ装置
US4667236A (en) * 1985-04-26 1987-05-19 Digital Services Corporation Television perspective effects system
US4884972A (en) * 1986-11-26 1989-12-05 Bright Star Technology, Inc. Speech synchronized animation
DE3700796A1 (de) * 1987-01-14 1988-07-28 Roland Dr Schaepers Sprachtrainer - interaktive video-einheit mit digitaler sprachverarbeitung
US4859994A (en) * 1987-10-26 1989-08-22 Malcolm Zola Closed-captioned movie subtitle system
JPH07118798B2 (ja) * 1988-02-29 1995-12-18 パイオニア株式会社 画像情報の記録方法及び再生方法
US4913539A (en) * 1988-04-04 1990-04-03 New York Institute Of Technology Apparatus and method for lip-synching animation
US5027208A (en) * 1988-10-21 1991-06-25 Sub-Tv Limited Partnership Therapeutic subliminal imaging system
JP2995745B2 (ja) * 1989-03-31 1999-12-27 ソニー株式会社 動き情報抽出装置
US5031043A (en) * 1990-03-05 1991-07-09 The Grass Valley Group, Inc. Video signal selection means for transmitting signal and key information over a signal channel
US5113259A (en) * 1990-04-19 1992-05-12 Thomson Consumer Electronics, Inc. Data transfer from an external computer to a television receiver having picture-in-picture capability
US5270800A (en) * 1990-08-28 1993-12-14 Sweet Robert L Subliminal message generator
JP3179474B2 (ja) * 1990-11-28 2001-06-25 株式会社日立製作所 コンピュータグラフィックの表示方法及び情報処理装置
US5367286A (en) * 1991-04-02 1994-11-22 Swiss Timing Ltd. System for instantaneously displaying the ranking of a competitor in a race with sequential starts
WO1993003453A1 (en) * 1991-08-02 1993-02-18 Broderbund Software, Inc. System for interactve performance and animation of prerecorded audiovisual sequences
US5388993A (en) * 1992-07-15 1995-02-14 International Business Machines Corporation Method of and system for demonstrating a computer program
US5286205A (en) * 1992-09-08 1994-02-15 Inouye Ken K Method for teaching spoken English using mouth position characters
JP3338992B2 (ja) * 1992-10-29 2002-10-28 株式会社日立製作所 手話／単語変換システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111409A (en) 1989-07-21 1992-05-05 Elon Gasper Authoring and use systems for sound synchronized animation

Also Published As

Publication number Publication date
EP0721727A4 (en) 1997-03-05
DE69430434D1 (de) 2002-05-23
US5741136A (en) 1998-04-21
CN1134210A (zh) 1996-10-23
JPH09505671A (ja) 1997-06-03
AU7842394A (en) 1995-04-18
ES2176259T3 (es) 2002-12-01
ATE216549T1 (de) 2002-05-15
DK0721727T3 (da) 2002-08-12
WO1995009506A3 (en) 1995-05-26
WO1995009506A2 (en) 1995-04-06
CA2172606A1 (en) 1995-04-06
EP0721727A1 (en) 1996-07-17
EP0721727B1 (en) 2002-04-17
DE69430434T2 (de) 2002-12-12
BR9407649A (pt) 1997-01-21

Similar Documents

Publication Publication Date Title
JP3016864B2 (ja) 書込みを有するオーディオ・ビジュアルワーク、オーディオ・ビジュアルワークにおいて連続的に口頭発音と書込みとを有意味に結合する方法、及び線形及び会話応用のための装置
US6273726B1 (en) Method of associating oral utterances meaningfully with word symbols seriatim in an audio-visual work and apparatus for linear and interactive application
US5938447A (en) Method and system for making an audio-visual work with a series of visual word symbols coordinated with oral word utterances and such audio-visual work
Hikmah Media for language teaching and learning in digital era
Chiaro Issues in audiovisual translation
US4397635A (en) Reading teaching system
Kramsch et al. Teaching text and context through multimedia
US5451163A (en) Method of teaching reading including displaying one or more visible symbols in a transparent medium between student and teacher
US20110053123A1 (en) Method for teaching language pronunciation and spelling
US11776580B2 (en) Systems and methods for protocol for animated read along text
JPH10509811A (ja) 外国語教育補助方法及び装置
JPH02502043A (ja) 会話型視聴覚教授法とその装置
Romero-Fresco Audio introductions
Messaris Visual “literacy”: A theoretical synthesis
US20040248068A1 (en) Audio-visual method of teaching a foreign language
Neves Music to my Eyes... Conveying Music in Subtitling for the Deaf and the Hard of Hearing
RU2195708C2 (ru) Звуковизуальное представление с надписями на нем, способ связывания выразительных устных произнесений с записями по порядку на звуковизуальном представлении и устройство, предназначенное для линейного и интерактивного представления
RU96108815A (ru) Звуковизуальное представление с надписями на нем, способ связывания выразительных устных произнесений с записями по порядку на звуковизуальном представлении и устройство, предназначенное для линейного и интерактивного представления
KR20080027998A (ko) 자막 표시 방법 및 상기 방법에 의해 영상이 기록된기록매체
CZ378699A3 (cs) Způsob a systém pro vytváření audiovizuálního díla
MXPA99009704A (en) Method and system for making an audio-visual work with a series of visual word symbols coordinated with oral word utterances and such audio-visual work
Flynn They Turned Their Cameras On! Readers Theatre Inspires Young Distance Learners
Nurzhanovna Peculiarities of using animated films as a way to develop speaking skills at foreign language classes (at primary school)
JP2003202800A (ja) 外国語の学習用具
WO2023167212A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置