JP6947465B1 - 力覚通知装置および力覚通知方法 - Google Patents

Abstract

力覚通知装置であって、術具に働く作用力の大きさの測定信号が入力される信号入力部と、第１低音高の音と、第１低音高の音よりも音高が高い第１通知音、並びに、第２低音高の音と、第２低音高の音よりも音高が高い第２高音高の音とを少なくとも含み、第２低音高の音および第２高音高の音の少なくとも一方が、第１低音高の音および第１高音高の音と異なる第２通知音を少なくとも用いて作用力の大きさを表す通知音情報を測定信号に基づいて作成する音情報生成部と、通知音情報に基づいて音を生成する発音部に向けて、作成された通知音情報を出力する通知音出力部と、が設けられている力覚通知装置。

Description

本開示は、手術支援ロボットシステムに用いられる力覚通知装置および力覚通知方法に関する。

手術支援ロボットシステムを用いた内視鏡外科手術が知られている。内視鏡外科手術では、腹腔鏡、内視鏡、または鉗子など（以下、「術具」とも表記する。）が用いられ、これらの術具は、手術支援ロボットに取り付けられて用いられる。

手術支援ロボットシステムにおける手術支援ロボットを医師および／または内視鏡外科手術の術者（以下「操作者」とも表記する。）が操作することにより、手術支援ロボットを介して術具の遠隔操作が可能である。そして、術具のより直観的な操作を可能とする手術支援ロボットシステムも提案されている。さらに、手術の正確性および安全性を高めることを目的として、操作者に対して、術具に作用する外力を伝える力覚フィードバックが可能な手術支援ロボットシステムも提案されている（例えば、特許文献１。）。

特開２０２０−１４６３７４号公報

力覚フィードバック機能は、手術の質、安全性を高めるために操作者にとって有効かつ重要な機能である。力覚フィードバック機能としては、例えば、ハプティックデバイスである操作部から提供される触覚情報を利用した機能や、表示装置から提供される視覚情報を利用した機能が知られている。

触覚は他の感覚と比較して鈍感であり、このため、操作者の触覚を介してその操作者に精度の高い情報を伝達するには不向きであり得る。これに対し、視覚を用いる場合は、他の感覚を用いる場合と比較して、精度の高い情報を伝達することが可能となり得る。その一方で、操作者が手術支援ロボットシステムの手術画面を注視していると、力覚フィードバック機能により別途表示される視覚情報が操作者に見落とされる可能性も懸念される。

上述の触覚情報や視覚情報を利用した力覚フィードバック機能の他に、発音装置から提供される聴覚情報を利用した力覚フィードバック機能を併用することも考えられる。

ところで、手術支援ロボットシステムが使用される手術室では、通常、生体情報モニタのアラーム音および／または他の様々な医療機器のアラーム音など、力覚フィードバック機能に由来する聴覚情報とは異なる他の音（以下「雑音」とも表記する。）が発生し得る。この場合、操作者が雑音を、上述の力覚フィードバック機能に由来する聴覚情報と誤認識する可能性や、聴覚情報を雑音と誤認識する可能性がある。

本開示の一局面では、力覚フィードバックに由来する聴覚情報の誤認識を抑制することができる力覚通知装置および力覚通知方法を提供することが好ましい。

本開示の一態様である第１の態様に係る力覚通知装置には、手術に用いられる術具に働く作用力の大きさを操作者に知覚可能に通知する装置であって、前記術具に働く作用力の大きさを表す測定信号が入力される信号入力部と、第１低音高の音と、前記第１低音高の音よりも音高が高く、かつ、前記第１低音高の音と協和する第１高音高の音とを少なくとも含む第１通知音、並びに、第２低音高の音と、前記第２低音高の音よりも音高が高く、かつ、前記第２低音高の音と協和する第２高音高の音とを少なくとも含み、前記第２低音高の音および前記第２高音高の音の少なくとも一方が、前記第１低音高の音および前記第１高音高の音と音高が異なる、第２通知音を少なくとも用いて前記作用力の大きさを表す通知音情報を前記測定信号に基づいて作成する音情報生成部と、前記音情報生成部により生成された前記通知音情報を、該通知音情報に基づいて音を生成する発音部に出力する通知音出力部と、が設けられている。

本開示の一態様である第２の態様に係る力覚通知方法は、手術に用いられる術具に働く作用力の大きさを操作者に知覚可能に通知する方法であって、前記術具に働く作用力の大きさの測定信号が入力される信号入力ステップと、第１低音高の音と、前記第１低音高の音よりも音高が高く、かつ、前記第１低音高の音と協和する第１高音高の音とを少なくとも含む第１通知音、並びに、第２低音高の音と、前記第２低音高の音よりも音高が高く、かつ、前記第２低音高の音と協和する第２高音高の音とを少なくとも含み、前記第２低音高の音および前記第２高音高の音の少なくとも一方が、前記第１低音高の音および前記第１高音高の音と異なる第２通知音を少なくとも用いて前記作用力の大きさを表す通知音情報を前記測定信号に基づいて作成する音情報生成ステップと、前記通知音情報に基づいて音を生成する発音部に向けて、作成された前記通知音情報を出力する通知音出力ステップと、を有する。

本開示の第１の態様に係る力覚通知装置および第２の態様に係る力覚通知方法によれば、術具に働く作用力の大きさに応じて、異なる音高であって協和する音を含む第１通知音または第２通知音が発せられる。例えば、作用力の大きさが小さい場合には第１通知音が発せられ、作用力の大きさが大きい場合には第２通知音が発せられる。

第１通知音および第２通知音は異なる音高の音を含むため、例えば１つの音高の音から構成される他の機器から発せられる音と識別がしやすい。

上記開示の第１の態様において、前記第１高音高の音は、前記第１低音高の音と協和するものであってもよい。

このような構成によれば、第１通知音は協和する音を含むため、第１通知音を聞いた者に耳障りな印象を与えにくい。これにより、操作者の手術に対する集中力への悪影響を抑制することができる。

上記開示の第１の態様において、前記第２高音高の音は、前記第２低音高の音と協和するものであってもよい。

このような構成によれば、第２通知音は協和する音を含むため、第２通知音を聞いた者に耳障りな印象を与えにくい。これにより、操作者の手術に対する集中力への悪影響を抑制することができる。

上記開示の第１の態様において前記第１通知音及び前記第２通知音の少なくとも一方は、３以上の異なる音高の音を含み、前記３以上の異なる音高の音は、互いに協和する音高の音であることが好ましい。

このような構成によれば、第１通知音及び第２通知音の少なくとも一方に含まれる音は、互いに協和する音であるため、第１通知音および第２通知音を聞いた者に耳障りな印象を与えにくい。

上記開示の第１の態様において前記第２低音高の音は、前記第１低音高の音よりも音高が高く、前記第２高音高の音は前記第１高音高の音よりも音高が高いことが好ましい。

このように第２低音高を第１低音高より音高を高くし、第２高音高を第１高音高より音高を高くすることにより、通知音を聞く者が、第１通知音と第２通知音との聞き分けをし易くなる。

上記開示の第１の態様において前記第１低音高の音および前記第２低音高の音は、音の大きさが繰り返し変動する、または、前記第１高音高の音および前記第２高音高の音は音の大きさが繰り返し変動することが好ましい。

このように第１通知音および第２通知音に含まれる音の１つについて、音の大きさを繰り返し変動させることにより、通知音を聞く者が、他の機器から発せられる音と、第１通知音および第２通知音と、の聞き分けを行いやすくなる。

上記開示の第１の態様において前記第２通知音における音の大きさの繰り返し変動の速さは、前記第１通知音における音の大きさの繰り返し変動の速さと異なることが好ましい。

このように第１通知音および第２通知音の間で音の大きさの繰り返し変動の速さを異ならせることにより、通知音を聞く者が、第１通知音と第２通知音との聞き分けをし易くなる。

上記開示の第１の態様において前記第１高音高の音および前記第２高音高の音は、それぞれ前記第１低音高の音および前記第２低音高の音よりも音高が７度上の音であることが好ましい。

このように高音高の音を低音高の音よりも７度上の音にすることにより、第１通知音および第２通知音を聞いた者に無機質な印象を与えやすい。例えば、陰気な印象を与える通知音や、陽気な印象を与える通知音と比較して、集中力を乱す等の悪影響を与えにくい。

上記開示の第１の態様において前記音情報生成部は、前記作用力の大きさが所定の閾値以上の場合には、前記第１通知音および前記第２通知音とは異なる第３通知音を用いて前記作用力の大きさが前記所定の閾値以上であることを表す前記通知情報を作成することが好ましい。

このように第３通知音を用いて作用力の大きさが所定の閾値以上であることを表すことにより、第３通知音を用いない場合と比較して、作用力の大きさが所定の閾値以上になったことを伝えやすい。

上記開示の第１の態様において前記第３通知音には、第３低音高の音と、前記第３低音高よりも音高が高い第３高音高の音とが含まれ、前記第３低音高の音および前記第３高音高の音は不協和であることが好ましい。

このように不協和である第３低音高の音および第３高音高の音を含む第３通知音を用いることにより、第３通知音を聞く者が耳障りな印象を感じやすくなる。そのため、第３通知音が発せられた際に、通知音を聞く者が第３通知音に気付きやすくなる。

上記開示の第１の態様において前記第３通知音には、第３低音高の音と、前記第３低音高よりも音高が高い第３中音高の音と、前記第３中音高よりも音高が高い第３高音高の音と、が少なくとも含まれる。また、前記第３低音高の音、前記第３中音高の音、および、前記第３高音高の音のうちの１つは、連続して発せられ、かつ、残りの２つが交互に発せられることが好ましい。

このように第３通知音の第３低音高の音、第３中音高の音、および、第３高音高の音のうちの１つが、連続して発せられ、かつ、残りの２つが交互に発せられることにより、第３通知音を聞く者が耳障りな印象を感じやすくなる。そのため、第３通知音が発せられた際に、通知音を聞く者が第３通知音に気付きやすくなる。

上記開示の第１の態様においては、前記発音部における音の生成の許可と、生成の禁止（または停止）とを切り替える切替部が追加的に設けられていることが好ましい。

このように切替部が設けられていることにより、発音部における音の生成の許可と、音の生成の禁止（または停止）とを選択することが可能となる。切替部は、発音部の動作を制御してもよいし、発音部への通知音情報の出力を制御してもよいし、通知音情報の生成を制御してもよい。

本開示の力覚通知装置および力覚通知方法によれば、術具に働く作用力の大きさに応じて、異なる音高の音を含む第１通知音または第２通知音が発せられる。このため、力覚フィードバックに係る聴覚情報の誤認識を抑制できるという効果を奏する。

本開示の一実施形態に係る手術支援ロボットシステムの構成を説明するブロック図である。 スレーブユニットに設けられるカートリッジの構成を説明する斜視図である。 制御装置における力覚の表示に関する制御を説明するフローチャートである。 表示装置における表示の態様を説明する模式図である。

１４…術具、 ４０…発音装置（発音部）、 ５０…制御装置、 ５１…入力部（信号入力部）、 ５４…音情報生成部、 ５５…切替部、 ５６…出力部（通知音出力部）、
Ｓ１２，Ｓ１６…入力ステップ、 Ｓ１５，Ｓ１９…音情報生成ステップ、出力ステップ

以下、本開示の一実施形態に係る手術支援ロボットシステム１について図１から図４を参照しながら説明する。本実施形態の手術支援ロボットシステム１は、手術支援に用いられる。例えば、内視鏡外科手術の支援に好適である。

手術支援ロボットシステム１は、図１に示すように、スレーブユニット１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置５０と、表示装置６０と、を備える。発音装置４０は、発音部の一例に相当する。

スレーブユニット１０は、図２に示すように、術具１４を支持する。術具１４は、一例では、内視鏡外科手術に用いられる鉗子であってもよい。スレーブユニット１０は、操作ユニット３０の操作状態に応じて術具１４の位置および姿勢の少なくとも一方を制御する。また、スレーブユニット１０は、術具１４が鉗子である場合には鉗子を開閉駆動する。

スレーブユニット１０は、第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂを有している。なお、スレーブユニット１０が有しているスレーブ装置の数は、２つよりも多くてもよいし、１つでもよい。

第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂは、ロボットアームであってもよい。本実施形態では、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂは同じ構成を有し、同種の術具１４を支持する。

なお、第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂは、術具１４の位置および姿勢の少なくとも一方を制御する装置であればよく、また、術具１４が鉗子である場合にはその鉗子を開閉駆動できる装置であればよく、アーム状の構成を有していなくてもよい。

第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂは、図２に示すように、カートリッジ１１と、シャフト１２と、関節部１３と、を備える。カートリッジ１１、シャフト１２、および、関節部１３について、第１スレーブ装置１０Ａが備えているか第２スレーブ装置１０Ｂが備えているかを区別する必要がない場合には、カートリッジ１１、シャフト１２、および、関節部１３と表記する。第１スレーブ装置１０Ａが備えているか第２スレーブ装置１０Ｂが備えているかを区別する場合には、対応して、カートリッジ１１Ａ、シャフト１２Ａおよび関節部１３Ａと表記し、または、カートリッジ１１Ｂ、シャフト１２Ｂおよび関節部１３Ｂと表記して、区別する。

カートリッジ１１は、シャフト１２、関節部１３、および、術具１４を支持する。本実施形態では、カートリッジ１１は立方体状に形成されている。

カートリッジ１１には、シャフト１２、関節部１３、および、術具１４の少なくとも１つを駆動する空気圧アクチュエータなどの駆動源が収納されていてもよい。また、関節部１３に加わる外力を測定する関節センサ１６（図１参照）、術具１４である鉗子により外部へ加えられる開閉の力を測定する術具センサ１７（図１参照）の少なくとも１つが収納されていてもよい。なお、関節部１３に加わる外力および術具１４である鉗子により外部へ加えられる開閉の力がそれぞれ作用力の一例に相当する。

関節センサ１６および術具センサ１７について、第１スレーブ装置１０Ａに設けられているか第２スレーブ装置１０Ｂに設けられているかを区別する必要がない場合には、関節センサ１６および術具センサ１７と表記する。第１スレーブ装置１０Ａに設けられているか第２スレーブ装置１０Ｂに設けられているかを区別する場合には、対応して、関節センサ１６Ａおよび術具センサ１７Ａと表記し、または、関節センサ１６Ｂおよび術具センサ１７Ｂと表記して、区別する。

シャフト１２は、カートリッジ１１から延びる円筒状または円柱状に形成された部材である。シャフト１２は、カートリッジ１１に対して自身の中心軸線まわりに回転可能に構成されている。なお、シャフト１２は、角筒状または角柱状に形成されてもよい。

関節部１３は、術具１４を支持するとともに、屈曲することにより術具１４の位置や姿勢を制御する。関節部１３は、シャフト１２と術具１４との間に位置する。言い換えると、関節部１３の第１の端部は、シャフト１２の両端部のうちカートリッジ１１から離れた側の端部と接続され、関節部１３の第２の端部は、術具１４と接続される。関節部１３の構成としては、屈曲を可能とする構成を用いることができる、関節部１３の具体的な構成は特に限定されない。

内視鏡ユニット２０は、内視鏡外科手術の際の映像または画像を取得する。具体的には、患者の体腔内であって手術の対象である領域の映像または画像を取得する。取得した映像または画像の情報は、制御装置５０へ出力される。なお、内視鏡ユニット２０の構成としては、映像または画像を取得してその情報を出力できるものであればよく、特にその構成は限定されない。

操作ユニット３０は、スレーブユニット１０の制御に用いられる。具体的には、操作ユニット３０は、スレーブユニット１０を操作して内視鏡外科手術を行う際に用いられる。操作ユニット３０はマスターユニットとも表記される。

操作ユニット３０には、ハンド操作部３１およびフット操作部３５が設けられている。ハンド操作部３１は、手術支援ロボットシステム１の操作者（例えば、医師や内視鏡外科手術の術者）が手を用いてスレーブユニット１０の動きを入力する際に用いられる。

ハンド操作部３１には、操作者の右手に対応する右手用操作部３２と、左手に対応する左手用操作部３３と、が設けられている。右手用操作部３２および左手用操作部３３は、操作者から入力された操作情報を信号に変換して制御部５２へ出力する。また、右手用操作部３２および左手用操作部３３は、制御部５２から入力された制御信号に基づいて、操作者に対して力覚を提示する。ここでいう力覚の提示とは、スレーブユニット１０に力が作用していることを操作者が知覚することができるように、スレーブユニット１０に作用している力の情報を操作者に伝達することをいう。また、ハンド操作部３１により操作者に対し力覚を提示する場合には、操作者の手指の触覚を介して情報を伝達するものであってもよい。力覚を提示する方法としては、触覚を介しての情報の伝達の他、視覚または聴覚などを介して情報を伝達するものであってもよい。

右手用操作部３２および左手用操作部３３としては、構成および方式は限定されない。また、ハンド操作部３１は、上述のように右手用操作部３２および左手用操作部３３の両者を有していてもよいし、右手用操作部３２および左手用操作部３３の一方のみを有していてもよい。

フット操作部３５は、操作者が足を用いてスレーブユニット１０を動作させたりスレーブユニット１０の機能を発揮させたりすることができるように設けられている。フット操作部３５には、第１フットスイッチ３６と、第２フットスイッチ３７と、第３フットスイッチ３８とが設けられている。第１フットスイッチ３６、第２フットスイッチ３７、第３フットスイッチ３８は、操作者が足で踏むことにより操作されるスイッチである。

フット操作部３５の操作により発揮される機能としては、例えば、術具１４への高周波電流の供給および停止や、スレーブユニット１０の制御モードの切り替えなど、を例示することができる。フット操作部３５による操作の種類や内容は、限定されない。またフット操作部３５は、上述のように３つのフットスイッチを有していてもよいし、３つよりも少ないフットスイッチを有していてもよいし、３つよりも多いフットスイッチを有していてもよい。

発音装置４０は、制御装置５０から入力される信号に基づいて音を発する。これにより、操作者を含む内視鏡外科手術に関与する関係者の少なくとも一部は、発音装置４０から発せられた音を知覚することができる。音を発生させる構成等は、特に限定されない。なお、制御装置５０から入力される信号が通知音情報の一例に相当する。

制御装置５０は、スレーブユニット１０の動作、発音装置４０による発音、並びに、表示装置６０における表示内容および表示態様などを制御する。

制御装置５０は、コンピュータ等の情報処理装置である。具体的には、制御装置５０は、図１に示すように、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有する。ＣＰＵは中央演算処理ユニットの略称である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、それらを、少なくとも入力部５１、制御部５２、画像生成部５３、音情報生成部５４、切替部５５、および、出力部５６として機能させる。なお、入力部５１が信号入力部の一例に相当する。また、出力部５６が通知音出力部の一例に相当する。

入力部５１は、外部機器からの信号が制御装置５０に入力可能となるように、外部機器と制御装置５０とを接続するインタフェースである。具体的には、入力部５１は、操作ユニット３０の操作内容に関する情報を含む信号が操作ユニット３０から制御装置５０に入力可能となるように、操作ユニット３０と接続される。また、入力部５１は、内視鏡ユニット２０により取得される映像や画像を表す信号が内視鏡ユニット２０から制御装置５０に入力可能となるように、内視鏡ユニット２０と接続される。

さらに、入力部５１は、関節部１３に加わる外力を測定する関節センサ１６からの測定信号、および、術具１４である鉗子により外部へ加えられる開閉の力を測定する術具センサ１７からの測定信号が制御装置５０に入力可能となるように、関節センサ１６および術具センサ１７と接続される。

関節センサ１６、および、術具センサ１７が配置される位置は、それぞれの測定対象の外力が測定できる位置であればよく、その位置は、特に限定されない。また、関節センサ１６、および、術具センサ１７により外力を測定する方式は、特に限定されない。

制御部５２は、スレーブユニット１０および術具１４の動作を制御する制御信号、並びに、機能の発揮を制御する制御信号を生成する。制御信号は、操作ユニット３０から制御装置５０に入力される信号であって操作ユニット３０の操作内容に関する情報を含む信号に基づいて生成される。

画像生成部５３は、表示装置６０に表示させる映像や画像の情報である画像情報を生成する。具体的には、内視鏡ユニット２０から制御装置５０に入力される映像や画像の信号、並びに、関節センサ１６、および、術具センサ１７から制御装置５０に入力される信号に基づいて、画像情報を生成する。画像情報の内容については後述する。

音情報生成部５４は、発音装置４０で生成させる音の情報である通知音情報を生成する。具体的には、関節センサ１６、および、術具センサ１７から制御装置５０に入力される信号に基づいて、通知音情報を生成する。通知音情報の内容については後述する。

切替部５５は、発音装置４０における音の生成を許可または禁止する制御を行う。言い換えると、発音装置４０における発音のＯＮ／ＯＦＦを制御する。例えば、手術支援ロボットシステム１の操作者などにより入力される、発音のＯＮ／ＯＦＦの指示に基づいて、発音のＯＮ／ＯＦＦが制御される。

発音のＯＮ／ＯＦＦの指示の入力は、制御装置５０に設けられた図示しないスイッチなどにより行われてもよいし、操作ユニット３０のフット操作部３５により行われてもよく、入力のための機器は特に限定されない。

発音のＯＮ／ＯＦＦの制御は、発音装置４０の動作の制御により行われてもよいし、制御装置５０から発音装置４０への信号の出力の制御により行われてもよいし、発音装置４０へ出力する信号の生成の制御により行われてもよい。

出力部５６は、制御部５２において生成された制御信号、画像生成部５３において生成された画像情報の信号、および、音情報生成部５４において生成された通知音情報の信号を制御装置５０から外部に出力するためのインタフェースである。

具体的には、出力部５６は、制御装置５０からスレーブユニット１０および術具１４へ制御信号の出力が可能となるようにスレーブユニット１０および術具１４と接続される。さらに出力部５６は、制御装置５０から表示装置６０へ画像情報が出力可能となるようにその表示装置６０と接続され、制御装置５０から発音装置４０へ通知音情報が出力可能となるようにその発音装置４０と接続される。

表示装置６０は、制御装置５０から入力された画像情報に基づいて、映像や画像を表示する。表示装置６０は、内視鏡外科手術の術者を含めた手術の関係者に対して表示を行う。表示装置６０において、映像や画像を表示する方式や構成は特に限定されない。

次に、上記の構成を備える手術支援ロボットシステム１における制御、具体的には力覚の通知に関する制御について説明する。まず、制御装置５０における演算処理の流れを、図３を参照しながら説明し、その後に通知する内容について説明する。

制御装置５０に電力が供給されると、制御装置５０における演算処理が開始し、電力が供給されたタイミングからの時間がタイマカウンタにより計測される。図３に示すように、制御装置５０は、タイマカウンタにより計測された時間が所定時間に達したか否かを判定する処理を行う（Ｓ１１）。所定時間は、一例では、２００ｍｓであってもよい。所定時間は、２００ｍｓよりも長くても、短くてもよく、求められる仕様等に応じて適宜設定され得る。

タイマカウンタにより計測された時間が所定時間に達していないと判定された場合（Ｓ１１：ＮＯの場合）には、制御装置５０は、再びＳ１１の判定処理を行う。

タイマカウンタにより計測された時間が所定時間に達したと判定された場合（Ｓ１１：ＹＥＳの場合）には、制御装置５０は、関節部１３に働く外力を検出したか否かを判定する処理を行う（Ｓ１２）。言い換えると、外力の測定信号である関節測定信号が関節センサ１６から入力部５１に入力されているか否かを判定する。なお、Ｓ１２の処理が入力ステップの一例に相当する。

関節部１３に働く外力を検出したと判定された場合（Ｓ１２：ＹＥＳの場合）には、制御装置５０は、検出した外力をハンド操作部３１に力覚として提示させる処理を行う（Ｓ１３）。外力の大きさは、関節センサ１６から出力される測定信号に基づいて、演算により算出される。

Ｓ１３の処理において、制御装置５０は、測定信号を出力した関節センサ１６が設けられたスレーブ装置に対応するハンド操作部３１に、検出された外力を力覚として提示させる処理を行う。例えば、測定信号を出力した関節センサ１６が、第１スレーブ装置１０Ａのシャフト１２Ａに作用する外力を測定するセンサである場合には、第１スレーブ装置１０Ａの操作に用いられるハンド操作部３１（具体的には、右手用操作部３２または左手用操作部３３）に、検出された外力を力覚として提示させる処理を行う。

また、また、Ｓ１３においては、制御装置５０は、関節センサ１６からの測定信号に基づいて算出される外力の大きさに応じて、提示する力覚の強さを設定する処理を行う。対応するハンド操作部３１は、制御装置５０から入力される制御信号に基づいて、対応するスレーブ装置に作用する外力に応じた力覚を操作者に提示する。

Ｓ１３の処理が終了すると、制御装置５０は検出した外力を、視覚を用いて把握できる情報として提示する処理を行う（Ｓ１４）。具体的には、その外力を表す情報を視覚情報として表示装置６０に表示する処理を行う。まず、関節センサ１６から入力された測定信号に基づいて算出される外力の大きさに応じた映像や画像を表す画像情報を生成する。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置６０へ出力される。表示装置６０は入力された画像情報に基づいて映像や画像を表示する。

Ｓ１４の処理が終了すると、制御装置５０は検出した外力を、聴覚を用いて把握できる情報として提示する処理を行う（Ｓ１５）。具体的には、その外力を表す情報を聴覚情報として発音装置４０から出力させる処理を行う。なお、Ｓ１５の処理が音情報生成ステップ、出力ステップの一例に相当する。Ｓ１５では、制御装置５０は、関節センサ１６から入力された測定信号に基づいて算出される外力の大きさに応じた音を表す通知音情報を生成する。通知音情報を生成する処理の内容については後述する。生成された通知音情報は発音装置４０へ出力される。発音装置４０は入力された通知音情報に基づいて音を発する。

Ｓ１５の処理が終了すると、または、Ｓ１２において関節部１３に働く外力が検出されない場合（Ｓ１２：ＮＯの場合）には、制御装置５０は、術具１４に働く外力を検出したか否かを判定する処理を行う（Ｓ１６）。言い換えると、制御装置５０は、入力部５１に術具センサ１７から外力の測定信号である術具測定信号が入力されているか否かを判定する処理を行う。なお、Ｓ１６の処理が、入力ステップの一例に相当する。

Ｓ１６での処理において、術具１４に働く外力を検出したと判定された場合（Ｓ１６：ＹＥＳの場合）には、制御装置５０は、検出した外力を力覚として提示する制御信号を生成する処理を行う（Ｓ１７）。検出された外力は、術具センサ１７により測定された外力（具体的には、鉗子が対象を把持する力、または、剥離する力）の大きさである。外力の検出は、術具センサ１７から出力される測定信号に基づいて算出されることにより行われる。

具体的には、Ｓ１７で、制御装置５０は、測定信号を出力した術具センサ１７が設けられたスレーブ装置に対応するハンド操作部３１に、検出された外力を力覚として提示させる処理を行う。また、制御装置５０は、入力された測定信号に基づいて算出される外力の大きさに応じて、提示する力覚の強さを設定する処理を行う。対応するハンド操作部３１は、制御装置５０から出力される制御信号に基づいて、術具センサ１７に作用する外力に応じた力覚を操作者に提示する。

Ｓ１７の処理が終了すると、制御装置５０は、検出した外力を、視覚を用いて把握できる情報として提示する処理を行う（Ｓ１８）。まず、制御装置５０は、術具センサ１７から入力された測定信号に基づいて算出される外力の大きさに応じた映像や画像を表す画像情報を生成する。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置６０へ出力される。表示装置６０は入力された画像情報に基づいて映像や画像を表示する。

Ｓ１８の処理が終了すると、制御装置５０は、検出した外力を、聴覚を用いて把握できる情報として提示する処理を行う（Ｓ１９）。Ｓ１９は音情報生成ステップ、出力ステップの一例に相当する。まず、制御装置５０は、術具センサ１７から入力された測定信号に基づいて算出される外力の大きさに応じた音を表す通知音情報を生成する。通知音情報を生成する処理の内容については後述する。生成された通知音情報は発音装置４０へ出力される。発音装置４０は入力された通知音情報に基づいて音を発する。

Ｓ１９の処理が終了すると、制御装置５０はタイマカウンタを０にリセットする処理を行う（Ｓ２０）。リセットの処理が終了すると、制御装置５０はＳ１１に戻り、上述の処理を繰り返し行う。例えば、少なくとも、手術支援ロボットシステム１による内視鏡外科手術の支援が行われている期間は、上述の処理が繰り返し行われる。

次に画像生成部５３において生成される画像情報について説明する。具体的には、表示装置６０における表示の態様について説明する。図４は、本実施形態の画像生成部５３により生成された画像情報に基づいて、表示装置６０が表示する画像の態様を説明する模式図である。

なお、内視鏡ユニット２０により取得された映像または画像は、表示装置６０とは別の表示機器に表示されてもよいし、表示装置６０の表示領域のうち、図４に示す画像が表示される領域とは異なる領域に表示されてもよい。

画像生成部５３は、表示装置６０における表示面の所定の表示領域に提示する画像情報を生成する。画像情報は、関節センサ１６、および、術具センサ１７から制御装置５０に入力される信号に基づいて、画像生成部５３により生成される。

表示領域の中段中央には、内視鏡ユニット２０に関する情報が表示される。例えば、内視鏡ユニット２０により取得された映像または画像の傾きを表示するカメラ型の図形２０Ｓが表示される。

表示領域の上段右半部では、手術支援ロボットシステム１の右側に配置されたスレーブユニット１０、例えば第１スレーブ装置１０Ａに対応する関節センサ１６、および、術具センサ１７から入力される信号に基づいた表示が行われる。

表示領域の上段左半部では、手術支援ロボットシステム１の左側に配置されたスレーブユニット１０、例えば第２スレーブ装置１０Ｂに対応する関節センサ１６、および、術具センサ１７から入力される信号に基づいた表示が行われる。

次に、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂに対応する関節センサ１６により検出された外力を力覚として提示する際の表示態様について説明する。第１スレーブ装置１０Ａの関節センサ１６により検出された外力を力覚として提示する際の表示態様と、第２スレーブ装置１０Ｂの関節センサ１６により検出された外力を力覚として提示する際の表示態様と、は同じである。

第１スレーブ装置１０Ａの関節センサ１６により検出された外力は、表示領域の上段右半部の右側に円形の力覚表示図形１６ＡＳとして提示される。第２スレーブ装置１０Ｂの関節センサ１６により検出された外力は、表示領域の上段左半部の左側に円形の力覚表示図形１６ＢＳとして提示される。

例えば、関節センサ１６により検出された外力の値が大きくなると、力覚表示図形１６ＡＳおよび力覚表示図形１６ＢＳの径が大きくなる。また、関節センサ１６により検出された外力の値が小さくなると、力覚表示図形１６ＡＳおよび力覚表示図形１６ＢＳの径が小さくなる。

次に、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂに対応する術具センサ１７により検出された外力を力覚として提示する際の表示態様について説明する。なお、第１スレーブ装置１０Ａの術具センサ１７により検出された外力を力覚として提示する際の表示態様と、第２スレーブ装置１０Ｂの術具センサ１７により検出された外力を力覚として提示する際の表示態様と、は同じである。

第１スレーブ装置１０Ａの術具センサ１７により検出された外力は、表示領域の上段右半部の左側、言い換えると上段右半部の中央側に平行四辺形の力覚表示図形１７ＡＳとして提示される。第２スレーブ装置１０Ｂの術具センサ１７により検出された外力は、表示領域の上段左半部の右側、言い換えると上段左半部の中央側に平行四辺形の力覚表示図形１７ＢＳとして提示される。

例えば、術具センサ１７により検出された外力の値が大きくなると、力覚表示図形１７ＡＳおよび力覚表示図形１７ＢＳの左右方向の長さが大きくなる。具体的には、力覚表示図形１７ＡＳおよび力覚表示図形１７ＢＳは、表示面の中央から左右方向へ延びる。

また、術具センサ１７により検出された外力の値が小さくなると、力覚表示図形１７ＡＳおよび力覚表示図形１７ＢＳの左右方向の長さが小さくなる。具体的には、力覚表示図形１７ＡＳおよび力覚表示図形１７ＢＳは、表示面の中央に向かって縮む。

次に発音装置４０から発せられる音について説明する。具体的には、通知音情報に基づいて発せられる音の態様について説明する。音情報生成部５４は、発音装置４０から発せられる音を表す情報である通知音情報を生成する。通知音情報は、関節センサ１６、および、術具センサ１７から入力される信号に基づいて音情報生成部５４により生成される。

音情報生成部５４は、入力された測定信号に基づいて算出される外力の大きさに応じた音を表す通知音情報を生成する処理を行う。通知音情報には、第１通知音の情報、第２通知音の情報、および、第３通知音の情報の少なくとも１つが含まれる。

音情報生成部５４により生成された通知音情報は、出力部５６を介して発音装置４０に入力される。発音装置４０は、入力された通知音情報に基づいて、第１通知音、第２通知音、および、第３通知音の少なくとも１つを発する。

第１スレーブ装置１０Ａの関節センサ１６、および、術具センサ１７による測定信号に基づいて発せられる第１通知音、第２通知音および第３通知音と、第２スレーブ装置１０Ｂの関節センサ１６、および、術具センサ１７による測定信号に基づいて発せられる第１通知音、第２通知音および第３通知音とは、音色が異なっていてもよいし、同一であってもよい。音色が異なる場合には、第１スレーブ装置１０Ａについての通知音か、第２スレーブ装置１０Ｂについての通知音か、の識別が容易になる。

また、関節センサ１６による測定信号に基づいて発せられる第１通知音、第２通知音および第３通知音と、術具センサ１７による測定信号に基づいて発せられる第１通知音、第２通知音および第３通知音とは、音色が異なっていてもよいし、同一であってもよい。音色を異なる場合には、関節センサ１６についての通知音か、術具センサ１７についての通知音か、の識別が容易になる。

第１通知音は、算出される外力の大きさが予め定められた第１閾値未満の場合に発せられる音である。第１通知音には、第１低音高の音と、第１低音高の音よりも音高が高く、かつ、第１低音高の音と協和する第１高音高の音とが少なくとも含まれる。

本実施形態では、第１低音高の音がドの音であり、第１高音高の音がシの音である第１通知音である。より具体的には、第１通知音がセブンスコードである。なお、第１通知音は、上述のようにセブンスコードであってもよいし、トライアドなど他の和音であってもよい。また、第１通知音に含まれる第１低音高の音と、第１低音高の音とは、完全協和音を構成する音程であってもよい。具体的には、第１通知音として、完全４度、完全５度、完全８度の音高の音が用いられてもよい。また、第１通知音に含まれる第１低音高の音と、第１低音高の音とは、不完全協和音を構成する音程であってもよい。具体的には、第１通知音として、短２度、長２度、短３度、長３度、短６度、長６度、短７度、長７度の音高の音が用いられてもよい。

第２通知音は、算出される外力の大きさが第１閾値以上、かつ、予め定められた第２閾値未満の場合に発せられる音である。第１閾値および第２閾値のそれぞれが所定の閾値の一例に相当する。第２通知音には、第２低音高の音と、第２低音高の音よりも音高が高く、かつ、第２低音高の音と協和する第２高音高の音の音とが少なくとも含まれる。第２低音高の音は、第１低音高の音よりも音高が高い音である。第２高音高の音は、第１高音高の音よりも音高が高い音である。

本実施形態では、第２低音高の音がファの音であり、第２高音高の音が１オクターブ上のミの音である第２通知音である。より具体的には、第２通知音がセブンスコードである。なお、第２通知音は、上述のようにセブンスコードであってもよいし、トライアドなど他の和音であってもよい。また、第２通知音に含まれる第２低音高の音と、第２低音高の音とは、完全協和音を構成する音程であってもよい。具体的には、第２通知音として、完全４度、完全５度、完全８度の音高の音が用いられてもよい。また、第２通知音に含まれる第２低音高の音と、第２低音高の音とは、不完全協和音を構成する音程であってもよい。具体的には、第２通知音として、短２度、長２度、短３度、長３度、短６度、長６度、短７度、長７度の音高の音が用いられてもよい。

第３通知音は、算出される外力の大きさが第２閾値以上の場合に発せられる音である。言い換えると、算出される外力の大きさが、予め想定された範囲を超えて異常が発生していると考えられる場合に発せられる音である。第３通知音には、第３低音高の音と、第３低音高よりも音高が高い第３高音高の音とが含まれる。また、第３低音高の音および第３高音高の音は不協和である。本実施形態では第３通知音が不協和音である。

また、第１閾値は、第２閾値よりも値が小さな閾値であり、算出される外力の大きさが比較的小さいときに発せられる第１通知音、および、算出される外力の大きさが比較的大きいときに発せられる第２通知音の切り替えに係る閾値である。第１閾値は値が予め定められた閾値であってもよいし、操作者などが任意に値を設定できる閾値であってもよい。

上記の構成の制御装置５０および力覚通知方法によれば、術具１４に働く外力の大きさに応じて、異なる音高であって協和する音を含む第１通知音または第２通知音が発せられる。具体的には、外力の大きさが小さい場合には第１通知音が発せられ、外力の大きさが大きい場合には第２通知音が発せられる。

第２通知音に含まれる第２高音高の音と第２低音高の音とのうち、少なくとも一方の音の高さは、第１通知音に含まれる第１高音高の音および第１低音高の音の高さと異なる。このため、例えば１つの音高の音から構成される音であって他の機器から発せられる音と識別がしやすい。つまり、力覚フィードバックに係る聴覚情報の誤認識を抑制しやすい。

また、第１通知音および第２通知音のそれぞれには協和する複数の音が含まれる。このため、第１通知音および第２通知音を聞いた者に耳障りな印象を与えにくい。つまり、操作者の集中力への悪影響を抑制しやすい。

第１通知音及び第２通知音の少なくとも一方は、２以上の異なる音高の音を含み、２以上の異なる音高の音は、互いに協和する音高の音である。これにより、第１通知音および第２通知音を聞いた者に耳障りな印象を与えにくい。つまり、操作者の集中力への悪影響を抑制しやすい。

第２低音高を第１低音高より音高を高くし、第２高音高を第１高音高より音高を高くすることにより、通知音を聞く者が、第１通知音と第２通知音との聞き分けをし易くなる。

第１高音高の音を第１低音高の音よりも７度上の音にし、第２高音高の音を第２低音高の音よりも７度上の音にすることにより、第１通知音および第２通知音を聞いた者に無機質な印象を与えやすい。そのため、例えば陰気な印象を与える通知音や、陽気な印象を与える通知音と比較して、操作者の集中力を乱す等の悪影響を与えにくい。

第３通知音を用いて外力の大きさが第２閾値以上であることを表すことにより、第３通知音を用いない場合と比較して、外力の大きさが第２閾値以上になったことを伝えやすい。

不協和である第３低音高の音および第３高音高の音を含む第３通知音を用いることにより、第３通知音を聞く者が耳障りな印象を感じやすくなる。そのため、第３通知音が発せられた際に、通知音を聞く者が第３通知音に気付きやすくなる。

切替部５５が設けられていることにより、発音装置４０における音の生成の許可と、音の生成の禁止（または停止）とを選択することが可能となる。つまり、操作者の好みに応じて聴覚による力覚フィードバックの有無を選択することができ、操作者の集中力への悪影響を抑制しやすい。

なお、第１通知音および第２通知音に含まれるそれぞれの音は、音の大きさが一定であってもよい。また第１通知音に含まれる音の１つ、および、第２通知音に含まれる音の１つの少なくとも一方について、音の大きさが繰り返し変化してもよい（言い換えると、ビブラートしてもよい）。例えば、第１低音高の音、および、第２低音高の音の大きさが一定であり、第１高音高の音、および、第２高音高の音の大きさが繰り返し変化してもよい。

第１通知音および第２通知音に含まれる音の１つについて、音の大きさを繰り返し変動させることにより、通知音を聞く者が、他の機器から発せられる音と、第１通知音および第２通知音と、の聞き分けを行いやすくなる。

また、第１通知音および第２通知音における音の大きさの繰り返し変動の速さは同じであってもよいし、異なっていてもよい。例えば、第１通知音における音の大きさの繰り返し変動の速さが比較的遅く、第２通知音における音の大きさの繰り返し変動の速さが比較的早くてもよい。

第１通知音および第２通知音の間で音の大きさの繰り返し変動の速さを異ならせることにより、通知音を聞く者が、第１通知音と第２通知音との聞き分けをし易くなる。このとき、第１通知音および第２通知音に含まれる音の音高が上述のように異なっていてもよいし、同じであってもよい。

第３通知音を、上述のように、第３低音高の音および第３低音高の音と不協和な第３高音高の音を含む音としてもよい。また、第３低音高の音と、第３低音高よりも音高が高い第３中音高の音と、第３中音高よりも音高が高い第３高音高の音とを少なくとも含み、第３低音高の音、第３中音高の音および第３高音高の音のうちの１つは、連続して発せられ、かつ、残りの２つが交互に発せられる音を第３通知音としてもよい。例えば、第３低音高の音である下のドの音が連続して発せられ、第３中音高の音であるシの音および第３高音高の音である上のドの音が交互に発せられる音を第３通知音としてもよい。

第３通知音の第３低音高の音、第３中音高の音、および、第３高音高の音のうちの１つが連続して発せられ、かつ、残りの２つが交互に発せられることにより、第３通知音を聞く者が耳障りな印象を感じやすくなる。そのため、第３通知音が発せられた際に、通知音を聞く者が第３通知音に気付きやすくなる。

また、本実施形態において、通知音情報には、第１通知音の情報、第２通知音の情報、および、第３通知音の情報の少なくとも１つが含まれる。さらに、発音装置４０は、入力された通知音情報に基づいて、第１通知音、第２通知音、および、第３通知音の少なくとも１つを発する。

ここで、第１通知音は、第１低音高の音と、第１高音高の音を含み、第２通知音は、第２低音高の音と、第２高音高の音を含み、第３通知音は、第３低音高の音と、第３高音高の音を含む。すなわち、第１通知音、第２通知音及び第３通知音のそれぞれには、複数の音が含まれる。

ここで、第１通知音、第２通知音及び第３通知音のそれぞれに含まれる音高の異なる音は、作用力の大きさに応じた異なる音高の数の音が発せられるように構成されてもよい。

具体的には、作用力の大きさが第１閾値未満である場合に発せられる第１通知音において、当該第１通知音を構成する音の数が、作用力の大きさが大きくなるにしたがって多くなるように構成されてもよい。すなわち、作用力の大きさが第１閾値未満の一定以上の大きさになった場合に、第１低音高の音と第１高音高の音とを有する第１通知音に、第１低音高の音及び第１高音高の音とは異なる音高の音が更に追加され、第１通知音に３つの異なる音高の音が含まれるように構成されてもよい。さらに作用力の大きさが大きくなり、一定以上の大きさになった場合に、第１通知音に含まれている音高の音とは異なる音高の音が更に追加され、第１通知音に４つの異なる音高の音が含まれるように構成されてもよい。

このような構成によれば、作用力の大きさの違いをより細かく認識することができる。具体的には、第１閾値未満の大きさの作用力が加わった際に、加わった作用力の大きさを第１通知音に含まれる異なる音高の音の数により認識させることができる。

なお、第１通知音に含まれる異なる音高の音の数としては３つの場合及び４つの場合について記載したが、第１通知音を構成する異なる音高の音の数は５以上であってもよい。

同様に、作用力の大きさが第１閾値以上第２閾値未満である場合に発せられる第２通知音において、当該第２通知音に含まれる音の数が、作用力の大きさが大きくなるにしたがって多くなるように構成されてもよい。すなわち、作用力の大きさが第１閾値以上第２閾値未満の一定以上の大きさになった場合に、第２低音高の音と第２高音高の音とが含まれる第２通知音に、第２低音高の音及び第２高音高の音とは異なる音高の音が更に追加され、第２通知音に３つの異なる音高の音が含まれる構成されてもよい。さらに作用力の大きさが大きくなり、一定以上の大きさになった場合に、第２通知音に含まれている音と異なる音高の音が更に追加され、第２通知音に４つの異なる音高の音が含まれるように構成されてもよい。

このような構成によれば、作用力の大きさの違いをより細かく認識することができる。具体的には、第１閾値以上第２閾値未満の大きさの作用力が加わった際に、加わった作用力の大きさを第２通知音に含まれる異なる音高の音の数により認識させることができる。

同様に、作用力の大きさが第２閾値以上である場合に発せられる第３通知音において、当該第３通知音に含まれる音の数が、作用力の大きさが大きくなるにしたがって多くなるように構成されてもよい。すなわち、作用力の大きさが第２閾値以上の一定以上の大きさになった場合に、第３低音高の音と第３高音高の音とが含まれる第３通知音に、第３低音高の音及び第３高音高の音とは異なる音高の音が更に追加され、第３通知音に３つの異なる音高の音が含まれるように構成されてもよい。さらに、作用力の大きさが大きくなり、一定以上の大きさになった場合に、第３通知音に含まれている音と異なる音高の音が更に追加され、第３通知音に４つの異なる音高の音を含むように構成されてもよい。

このような構成によれば、作用力の大きさの違いをより細かく認識することができる。具体的には、第２閾値以上の大きさの作用力が加わった際に、加わった作用力の大きさを第３通知音に含まれる音高の音の数により認識させることができる。

例えば、作用力の大きさが第２閾値を大きく上回り、第３通知音に含まれる異なる音高の音の数が多くなることにより、異常の程度が大きいことを認識させることができる。

また、第１通知音、第２通知音及び第３通知音に含まれる、複数の音の組み合わせが複数存在していてもよい。第１通知音を例にして説明すると、第１低音高の音と、第１高音高の音との組み合わせとは別の、異なる２つ以上の音高の音の組み合わせが第１通知音に含まれてもよい。当該、別の異なる２つ以上の音高の音の組み合わせは、互いに協和する音高の組み合わせであってもよい。具体的には、別の異なる２つ以上の音高の音の組み合わせは、セブンスコードであってもよいし、トライアドなど他の和音であってもよい。

ここで、第１通知音、第２通知音及び第３通知音に含まれる、異なる２つ以上の音高の音の、複数の組み合わせのそれぞれは、作用力の大きさに対応付けられてもよい。

すなわち、第１通知音に、異なる２つ以上の音高の音の組み合わせが複数含まれ、当該複数の組み合わせの１つを第１の組み合わせ、第１の組み合わせとは異なる組み合わせの音を第２の組み合わせとした場合に、第１閾値未満の所定の大きさ未満の作用力が生じている場合に、第１の組み合わせの音が第１通知音として発せられ、第１閾値未満の所定の大きさ以上の作用力が生じている場合に、第２の組み合わせの音が第１通知音として発せられてもよい。

なお、第１通知音に含まれる複数の組み合わせは、第１の組み合わせ及び第２の組み合わせに限定されるものではなく、３以上の組み合わせが設定されてもよい。

さらに、作用力の大きさが大きくなるにしたがって、より不協和と感じる音の組み合わせが第１通知音として発せられるように構成されてもよい。例えば、作用力の強さが大きくなるにしたがって、第１通知音に含まれる音の組み合わせが、協和音を含む音の組み合わせから、不協和となる音の組み合わせへと変更されるように構成されてもよい。また、作用力の強さが大きくなるにしたがって、第１通知音に含まれる音の組み合わせが、完全協和音の組み合わせ、不完全協和音の組み合わせ、協和音以外の音の組み合わせとなるように組み合わせが変更されてもよい。

第２通知音に、異なる２つ以上の音高の音の組み合わせが複数含まれ、当該複数の組み合わせの１つを第１の組み合わせ、第１の組み合わせとは異なる組み合わせの音を第２の組み合わせとした場合に、第１閾値以上第２閾値未満の所定の大きさ未満の作用力が生じている場合に、第１の組み合わせの音が第２通知音として発せられ、第１閾値以上第２閾値未満の所定の大きさ以上の作用力が生じている場合に、第２の組み合わせの音が第２通知音として発せられてもよい。

なお、第２通知音に含まれる複数の組み合わせは、第１の組み合わせ及び第２の組み合わせに限定されるものではなく、３以上の組み合わせが設定されてもよい。

さらに、作用力の大きさが大きくなるにしたがって、より不協和と感じる音の組み合わせが第２通知音として発せられるように構成されてもよい。例えば、作用力の強さが大きくなるにしたがって、第２通知音に含まれる音の組み合わせが、協和音を含む音の組み合わせから、不協和となる音の組み合わせへと変更されるように構成されてもよい。また、作用力の強さが大きくなるにしたがって、第２通知音に含まれる音の組み合わせが、完全協和音の組み合わせ、不完全協和音の組み合わせ、協和音以外の音の組み合わせとなるように組み合わせが変更されてもよい。

第３通知音に、異なる２つ以上の音高の音の組み合わせが複数含まれ、当該複数の組み合わせの１つを第１の組み合わせ、第１の組み合わせとは異なる組み合わせの音を第２の組み合わせとした場合に、第２閾値以上の所定の大きさ未満の作用力が生じている場合に、第１の組み合わせの音が第３通知音として発せられ、第２閾値以上の所定の大きさ以上の作用力が生じている場合に、第２の組み合わせの音が第３通知音として発せられてもよい。

なお、第２通知音に含まれる複数の組み合わせは、第１の組み合わせ及び第２の組み合わせに限定されるものではなく、３以上の組み合わせが設定されてもよい。

さらに、作用力の大きさが大きくなるにしたがって、より不協和と感じる音の組み合わせが第３通知音として発せられるように構成されてもよい。例えば、力の強さが大きくなるにしたがって、第３通知音に含まれる、協和音以外の音の数が多くなる組み合わせとなるように組み合わせが変更されてもよい。

さらに、本実施形態では、作用力の大きさが小さい場合に発せられる第１通知音と、作用力の大きさが大きい場合に発せられる第２通知音と、作用力の大きさが、予め想定された範囲を超えて異常が発生していると考えられる場合に発せられる第３通知音とを含む。

ここで、第１通知音及び第２通知音の音の音量の大小は作用力の大きさに応じた大きさとなるように構成されてもよい。

具体的には、作用力の大きさが第１閾値未満である場合に発せられる第１通知音の音量が、作用力の大きさが大きくなるにしたがって大きくなるように構成されてもよい。

また、作用力の大きさが第１閾値以上第２閾値未満である場合に、発せられる第２通知音の音量が、作用力の大きさが大きくなるにしたがって大きくなるように構成されてもよい。

このような構成によれば、作用力の大きさの違いをより細かく認識することができる。具体的には、第１閾値又は第２閾値よりも小さい大きさの作用力が加わった際に、加わった作用力の大きさを音量の大小により認識させることができる。

さらに、第３通知音の音の強弱、言い換えると、音量の大小は作用力の大きさに応じた大きさとなるように構成されてもよい。

このような構成によれば、作用力の大きさが予め想定された範囲を超えて異常が発生していると考えられる場合、すなわち、作用力の大きさが第２閾値以上である場合において、作用力の大きさが異常である程度を、音量の大小により認識させることができる。

例えば、作用力の大きさが第２閾値を大きく上回り、比較的大きい第３通知音が発せられることにより、異常の程度が大きいことを認識させることができる。

また、上記それぞれの機能を有する第１通知音、第２通知音及び第３通知音以外の通知音である、第４通知音をさらに備えていてもよい。同様に第５通知音以降の通知音を有していてもよい。

本実施形態においては、第１高音高の音は、第１低音高の音と協和し、第２高音高の音は、第２低音高の音と協和する。

しかしながら、第１高音高の音は、第１低音高の音と協和し、第２高音高の音は、第２低音高の音と協和するものに限定されるものではない。例えば、第１高音高の音は、第１低音高の音と協和しない、すなわち、不協和であってもよく、第２高音高の音は、第２低音高の音と協和しない、すなわち、不協和であってもよい。

なお、本開示の技術範囲は上記実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば、本開示を上記の第１通知音、第２通知音および第３通知音の各態様に適用したものに限られることなく、これらの態様を適宜組み合わせてもよく、特に限定されるものではない。

Claims (13)

1. 力覚通知装置であって、
   該力覚通知装置は、手術に用いられる術具に働く作用力の大きさを操作者に通知するように構成される装置であり、
   前記術具に働く作用力の大きさを表す測定信号が入力される信号入力部と、
   第１低音高の音と、前記第１低音高の音よりも音高が高い第１高音高の音とを少なくとも含む第１通知音、並びに、第２低音高の音と、前記第２低音高の音よりも音高が高い第２高音高の音とを少なくとも含み、前記第２低音高の音および前記第２高音高の音の少なくとも一方が、前記第１低音高の音および前記第１高音高の音と音高が異なる、第２通知音を少なくとも用いて前記作用力の大きさを表す通知音情報を前記測定信号に基づいて作成する音情報生成部と、
   前記音情報生成部により生成された前記通知音情報を、該通知音情報に基づいて音を発する発音部に出力する通知音出力部と、
   を備える力覚通知装置。
2. 前記第１高音高の音は、前記第１低音高の音と協和する、請求項１に記載の力覚通知装置。
3. 前記第２高音高の音は、前記第２低音高の音と協和する、請求項１または請求項２に記載の力覚通知装置。
4. 前記第１通知音及び前記第２通知音の少なくとも一方は、２以上の異なる音高の音を含み、前記２以上の異なる音高の音は、互いに協和する音高の音である請求項１から請求項３までのいずれか1項に記載の力覚通知装置。
5. 前記第２低音高の音は前記第１低音高の音よりも音高が高く、前記第２高音高の音は前記第１高音高の音よりも音高が高い請求項１から請求項４までのいずれか1項に記載の力覚通知装置。
6. 前記第１低音高の音および前記第２低音高の音は音の大きさが繰り返し変動する、または、前記第１高音高の音および前記第２高音高の音は音の大きさが繰り返し変動する請求項１から請求項５までのいずれか１項に記載の力覚通知装置。
7. 前記第２通知音における音の大きさの繰り返し変動の速さは、前記第１通知音における音の大きさの繰り返し変動の速さと異なる請求項６に記載の力覚通知装置。
8. 前記第１高音高の音および前記第２高音高の音は、それぞれ前記第１低音高の音および前記第２低音高の音よりも音高が７度上の音である請求項１から７のいずれか１項に記載の力覚通知装置。
9. 前記音情報生成部は、前記作用力の大きさが所定の閾値以上の場合には、前記第１通知音および前記第２通知音とは異なる第３通知音を用いて前記作用力の大きさが前記所定の閾値以上であることを表す前記通知音情報を作成する請求項１から８のいずれか１項に記載の力覚通知装置。
10. 前記第３通知音には、第３低音高の音と、前記第３低音高よりも音高が高い第３高音高の音とが含まれ、
    前記第３低音高の音および前記第３高音高の音は不協和である請求項９に記載の力覚通知装置。
11. 前記第３通知音には、第３低音高の音と、前記第３低音高よりも音高が高い第３中音高の音と、前記第３中音高よりも音高が高い第３高音高の音と、が少なくとも含まれ、
    前記第３低音高の音、前記第３中音高の音、および、前記第３高音高の音のうちの１つを連続して発し、かつ、残りの２つを交互に発する、請求項９に記載の力覚通知装置。
12. 前記発音部における音の生成を許可および禁止する切替部が追加的に設けられている請求項１から請求項１１までのいずれか１項に記載の力覚通知装置。
13. 手術に用いられる術具に働く作用力の大きさを操作者に知覚可能に通知する方法であって、
    前記術具に働く作用力の大きさを表す測定信号が入力される信号入力ステップと、
    第１低音高の音と、前記第１低音高の音よりも音高が高い、第１高音高の音とを少なくとも含む第１通知音、並びに、第２低音高の音と、前記第２低音高の音よりも音高が高い、第２高音高の音とを少なくとも含み、前記第２低音高の音および前記第２高音高の音の少なくとも一方が、前記第１低音高の音および前記第１高音高の音と異なる第２通知音を少なくとも用いて前記作用力の大きさを表す通知音情報を前記測定信号に基づいて作成する音情報生成ステップと、
    前記音情報生成ステップにより生成された前記通知音情報を、該通知音情報に基づいて音を発する発音部に出力する通知音出力ステップと、
    を有する力覚通知方法。

Images