JP7593000B2 - SIGNAL SEPARATION DEVICE, PROGRAM, AND SIGNAL SEPARATION METHOD - Google Patents
SIGNAL SEPARATION DEVICE, PROGRAM, AND SIGNAL SEPARATION METHOD Download PDFInfo
- Publication number
- JP7593000B2 JP7593000B2 JP2020129329A JP2020129329A JP7593000B2 JP 7593000 B2 JP7593000 B2 JP 7593000B2 JP 2020129329 A JP2020129329 A JP 2020129329A JP 2020129329 A JP2020129329 A JP 2020129329A JP 7593000 B2 JP7593000 B2 JP 7593000B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- target signal
- separation
- spatial
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
本発明は、信号分離装置、プログラムおよび信号分離方法に関する。 The present invention relates to a signal separation device, a program, and a signal separation method.
従来、脳磁図(MEG:Magneto-encephalography)測定機器などの生体磁気計測装置において同時計測されるノイズである妨害信号やアーチファクトは、解析の妨げとなるため、除去する必要がある。 Conventionally, interference signals and artifacts, which are noises that are simultaneously measured in biomagnetic measurement devices such as magnetoencephalography (MEG) measuring devices, need to be removed because they impede analysis.
特許文献1には、多重チャンネル磁場または電荷ポテンシャル測定における妨害信号やアーチファクトを除去する目的で、信号を信号部分空間に分離し除去する技術であって、マスクウェルの方程式を用いた物理モデルで信号を空間的に分離する技術が開示されている。
しかしながら、従来の空間分離を用いた妨害信号やアーチファクトの除去技術では、パラメータを設定する必要があるが、従来は、パラメータが適切かどうかの指標がなく、最終的な処理結果を用いて試行する必要があり、より容易に適切な空間分離を行う手法が求められていた。 However, conventional techniques for removing interference signals and artifacts using spatial separation require setting parameters, but in the past there was no indicator of whether the parameters were appropriate, and trials had to be performed using the final processing results, so there was a demand for a method to more easily perform appropriate spatial separation.
本発明は、上記に鑑みてなされたものであって、適切な目的信号の部分空間を作成することを目的とする。 The present invention has been made in consideration of the above, and aims to create an appropriate subspace for a target signal.
上述した課題を解決し、目的を達成するために、本発明は、空間分離を用いて信号を分離する信号分離装置において、互いに異なる位置に設置された複数のセンサの空間情報から目的信号と当該目的信号以外の信号とを分離する際に、互いに異なる位置に設置された複数のセンサ上の空間情報に従って分離するように構成され、第1の領域と第2の領域との間の一致の程度を計算するように構成され、該第1の領域は目的信号の部分空間領域であり、該第2の領域は目的信号が生成される場所であり、前記一致の程度に基づいて空間分離パラメータを設定し、設定された前記空間分離パラメータが適切かどうかを示す指標として分離度を決定し、当該分離度を用いて設定される空間分離パラメータにより目的信号と目的信号以外の信号とを互いに分離するものであって、前記目的信号の部分空間は、投影される空間情報を、目的信号を含む信号と含まない信号とに分離可能なベクトル空間である、ことを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the present invention provides a signal separation device that separates signals using spatial separation, wherein, when separating a target signal from signals other than the target signal from spatial information of a plurality of sensors installed at different positions, the device is configured to separate the signals according to spatial information on the plurality of sensors installed at different positions, and is configured to calculate a degree of agreement between a first region and a second region, the first region being a partial spatial region of the target signal and the second region being a location where the target signal is generated, a spatial separation parameter is set based on the degree of agreement, a degree of separation is determined as an index showing whether the set spatial separation parameter is appropriate, and the target signal and signals other than the target signal are separated from each other by the spatial separation parameter set using the degree of separation, and the partial space of the target signal is a vector space in which the projected spatial information can be separated into signals including the target signal and signals not including the target signal.
本発明によれば、適切な目的信号の部分空間を作成することができる、という効果を奏する。 The present invention has the effect of creating an appropriate subspace for the target signal.
以下に添付図面を参照して、信号分離装置、プログラムおよび信号分離方法の実施の形態を詳細に説明する。 Embodiments of a signal separation device, a program, and a signal separation method are described in detail below with reference to the attached drawings.
(第1の実施形態)
<システム構成>
図1は、第1の実施形態に係る情報処理システム1の構成例を示す図である。図1において、情報処理システム1は、複数種類の生体信号、たとえば脳磁図(MEG:Magneto-encephalography)信号と脳波図(EEG:Electro-encephalography)信号を計測し、表示する。情報処理システム1は、測定装置3と、データ収録サーバ42と、情報処理装置20とを含む。情報処理装置20は、計測で得られた信号情報(計測情報)と解析結果を表示するモニタディスプレイ26を有する。ここでは、データ収録サーバ42と情報処理装置20が別々に描かれているが、データ収録サーバ42の少なくとも一部を情報処理装置20に組み込んでもよい。
(First embodiment)
<System Configuration>
FIG. 1 is a diagram showing an example of the configuration of an
被測定者は、頭に脳波測定用の電極(またはセンサ)を付けた状態で測定テーブル4に仰向けで横たわり、測定装置3のデュワ30の窪み31に頭部を入れる。デュワ30は、液体ヘリウムを用いた極低温環境の保持容器であり、デュワ30の窪み31の内側には脳磁測定用の多数の磁気センサが配置されている。測定装置3は、電極からの脳波信号と、磁気センサからの脳磁信号を収集し、収集された生体信号(計測情報)をデータ収録サーバ42に出力する。データ収録サーバ42に収録された計測情報は、情報処理装置20に読み出されて表示され、解析される。一般的に、磁気センサを内蔵するデュワ30と測定テーブル4は磁気シールドルーム内に配置されているが、図示の便宜上、磁気シールドルームを省略している。
The subject lies on his/her back on the measurement table 4 with electrodes (or sensors) for measuring EEG attached to his/her head, and places his/her head in the
上述したように、測定装置3は、脳磁図(MEG)測定機器などの生体磁気計測装置であって、多チャンネル計測装置として機能する。多チャンネル計測装置である測定装置3は、脳磁測定用の多数の磁気センサの位置や向きが既知であり、磁気センサ群に近い信号源を仮定したときに、その磁気センサの応答値を計算することができる。
As described above, the
情報処理装置20は、複数の磁気センサからの脳磁信号の波形と、複数の電極からの脳波信号の波形を、同じ時間軸上に同期させて表示する。脳波信号は、神経細胞の電気的な活動(シナプス伝達の際にニューロンの樹状突起で起きるイオン電荷の流れ)を電極間の電圧値として表すものである。脳磁信号は、脳の電気活動により生じた微小な磁場変動を表わす。脳磁場は高感度の超伝導量子干渉計(SQUID)センサで検知される。
The
<ハードウェア構成>
図2は、情報処理装置20のハードウェア構成の一例を示すブロック図である。情報処理装置20は、CPU(Central Processing Unit:プロセッサ)21、RAM(Random Access Memory)22、ROM(Read Only Memory)23、補助記憶装置24、入出力インタフェース25、及びモニタディスプレイ(表示装置)26を有している。CPU21、RAM22、ROM23、補助記憶装置24、入出力インタフェース25、及びモニタディスプレイ(表示装置)26は、バス27で相互に接続されている。
<Hardware Configuration>
2 is a block diagram showing an example of a hardware configuration of the
CPU21は、情報処理装置20の全体の動作を制御し、各種の情報処理を行う。CPU21はまた、ROM23または補助記憶装置24に格納された情報処理プログラムを実行して、測定収録画面と解析画面の表示動作を制御する。
The
本実施形態の情報処理装置20で実行される情報処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
The information processing program executed by the
また、本実施形態の情報処理装置20で実行される情報処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置20で実行される情報処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
The information processing program executed by the
また、本実施形態の情報処理装置20で実行される情報処理プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
In addition, the information processing program executed by the
RAM22は、CPU21のワークエリアとして用いられ、主要な制御パラメータや情報を記憶する不揮発RAMを含んでもよい。ROM23は、基本入出力プログラム等を記憶する。本発明の情報処理プログラムもROM23に保存されてもよい。
補助記憶装置24は、SSD(Solid State Drive)、HDD(Hard Disk Drive)などの記憶装置であり、たとえば、情報処理装置20の動作を制御する情報処理プログラムや、情報処理装置20の動作に必要な各種のデータ、ファイル等を格納する。
The auxiliary storage device 24 is a storage device such as an SSD (Solid State Drive) or HDD (Hard Disk Drive), and stores, for example, information processing programs that control the operation of the
入出力インタフェース25は、タッチパネル、キーボード、表示画面、操作ボタン等のユーザインタフェースと、各種センサあるいはデータ収録サーバ42からの情報を取り込み、他の電子機器に解析情報を出力する通信インタフェースの双方を含む。
The input/
モニタディスプレイ26では、測定収録画面と解析画面が表示され、入出力インタフェース25を介した入出力操作に応じて画面が更新される。
The
<機能構成>
次に、本実施の形態の情報処理装置20の機能のうち、測定装置3において同時計測されるノイズである妨害信号やアーチファクトを除去する機能について説明する。図3は、情報処理装置20が備えるアーチファクト除去機能を示すブロック図である。
<Functional configuration>
Next, a description will be given of the function of the
情報処理装置20は、信号分離装置として機能するものであって、計測情報取得手段201と、パラメータ設定手段202と、空間分離手段203と、時間分離手段204と、アーチファクト分離手段205と、を備える。
The
計測情報取得手段201と、パラメータ設定手段202と、空間分離手段203と、時間分離手段204と、アーチファクト分離手段205とは、CPU21が、ROM23または補助記憶装置2に格納された情報処理プログラムを読み出して実行することで実現される。
The measurement information acquisition means 201, the parameter setting means 202, the spatial separation means 203, the time separation means 204, and the artifact separation means 205 are realized by the
計測情報取得手段201は、測定装置3で計測した生体信号(計測情報)をデータ収録サーバ42から取得する。計測情報取得手段201は、測定装置3で計測したセンサ情報である生体信号(計測情報)を補助記憶装置24に格納する。
The measurement information acquisition means 201 acquires the biosignal (measurement information) measured by the
パラメータ設定手段202は、測定装置3の磁気センサの位置と磁気センサの向きである空間情報を用いて、後述の空間分離における適切なパラメータを選択し、設定する。
The parameter setting means 202 uses spatial information, which is the position and orientation of the magnetic sensor of the
すなわち、パラメータ設定手段202は、目的信号の部分空間の広がりに基づいて算出された値をパラメータとして設定する。 That is, the parameter setting means 202 sets the value calculated based on the extent of the subspace of the target signal as the parameter.
なお、パラメータ設定手段202は、パラメータ選択肢の中から目的信号の部分空間の広がりにかかる所定の基準に基づくパラメータを選択して、パラメータとして設定するようにしてもよい。 The parameter setting means 202 may select a parameter based on a predetermined criterion related to the extent of the subspace of the target signal from the parameter options and set it as the parameter.
また、パラメータ設定手段202は、目的信号の部分空間の広がりに基づいて算出された値を予め設定された値から置き換えてパラメータとして設定するようにしてもよい。 The parameter setting means 202 may also set a value calculated based on the extent of the subspace of the target signal as a parameter by replacing a preset value.
空間分離手段203は、パラメータ設定手段202で設定されたパラメータに基づいて作成される投影行列を用い、目的信号の部分空間の内側と外側とに分離する。 The spatial separation means 203 separates the target signal into an inside and outside subspace using a projection matrix created based on the parameters set by the parameter setting means 202.
時間分離手段204は、空間分離手段203で分離した各部分空間の時間方向の基底ベクトルを、特異値分解などで求め、目的信号以外の成分を分離する。 The time separation means 204 finds the basis vectors in the time direction of each subspace separated by the space separation means 203 using singular value decomposition or the like, and separates out components other than the target signal.
アーチファクト分離手段205は、信号分離手段として機能するものであって、時間方向の基底ベクトルに基づいて、妨害信号やアーチファクト成分を除去する。また、アーチファクト分離手段205は、パラメータ設定手段202に設定されたパラメータが適切かどうかの指標として、(空間の)分離度(本実施例では分離度として、分離のゲイン)を求める。 The artifact separation means 205 functions as a signal separation means, and removes interference signals and artifact components based on basis vectors in the time direction. The artifact separation means 205 also determines the degree of (spatial) separation (in this embodiment, the degree of separation is the separation gain) as an index of whether the parameters set in the parameter setting means 202 are appropriate.
ここで、測定装置3におけるパラメータの決定例について説明する。
Here, we explain an example of how parameters are determined in the
図4は、パラメータ決定処理の流れを示すフローチャートである。ここでは、空間分離を用いた妨害信号およびアーチファクトの除去手法の1つであるDSSP法(非特許文献1参照)での処理例について述べる。 Figure 4 is a flowchart showing the flow of the parameter determination process. Here, we will describe an example of processing using the DSSP method (see Non-Patent Document 1), which is one of the methods for removing interference signals and artifacts using spatial separation.
空間分離手段203は、図5に示すように、あらかじめ設定した関心領域(観測したい目的信号が発生しうる領域)をボクセルVに区切っておく。そして、図4に示すように、空間分離手段203は、M個の磁気センサを備える測定装置3のデュワ30の磁気センサの位置と磁気センサの向きの空間情報から、関心領域内のri番目のボクセルVに信号源が存在した場合のセンサ応答L(ri)を関心領域内の全てのボクセルVで算出し、下記に示す式(1)のように、事前情報Fを計算する(ステップS11)。
As shown in Fig. 5, the spatial separation means 203 divides a preset region of interest (a region where a target signal to be observed may occur) into voxels V. Then, as shown in Fig. 4, the spatial separation means 203 calculates, for all voxels V in the region of interest, a sensor response L(r i ) in the case where a signal source is present in the r i -th voxel V in the region of interest, from spatial information on the positions and orientations of the magnetic sensors of the Dewar 30 of the measuring
次いで、時間分離手段204は、下記に示す式(2)、(3)のように、ステップS11で算出した事前情報Fのグラム行列の固有ベクトルを目的信号の部分空間の基底ベクトルとし、目的信号の部分空間への投影行列Pを算出する(ステップS12)。時間分離手段204によって目的信号の部分空間への投影行列Pを算出する際、投影行列は事前情報の次元を圧縮して作成するため、これが目的信号の部分空間の次元ζ(0<ζ<M)となる。 Next, the time separation means 204 calculates a projection matrix P onto the subspace of the target signal by using the eigenvectors of the Gram matrix of the prior information F calculated in step S11 as basis vectors of the subspace of the target signal, as shown in the following formulas (2) and (3) (step S12). When the time separation means 204 calculates the projection matrix P onto the subspace of the target signal, the projection matrix is created by compressing the dimensions of the prior information, and this becomes the dimension ζ (0<ζ<M) of the subspace of the target signal.
なお、以上の処理は、空間分離を用いる妨害信号およびアーチファクトの除去手法の1つであるDSSP法の一部として知られている。 The above processing is known as part of the DSSP method, which is a method for removing interference signals and artifacts using spatial separation.
次に、アーチファクト分離手段205は、任意の位置から発生する信号における測定装置3の複数の磁気センサの応答B(x,y,z)に対して目的信号の部分空間へ投影し目的信号を含む信号1と含まない信号2とに分離する投影行列Pの投影の性能を評価する目的信号の部分空間の定量指標を算出する(ステップS13)。
Next, the artifact separation means 205 calculates a quantitative index of the subspace of the target signal to evaluate the performance of the projection of the projection matrix P, which projects the responses B(x, y, z) of the multiple magnetic sensors of the measuring
より詳細には、アーチファクト分離手段205は、以下の式(4)に示すように、元信号B(x,y,z)の分離後の信号との強度比を用いて、目的信号の部分空間の定量指標を定義する。なお、式(4)では、目的信号を含まない信号2((I-P)B)を用いているが目的信号を含む信号1(PB)を用いても同義であり、ここで重要なのはその位置から発生した信号は信号1と信号2のどちらにどれだけの割合で分離されるかということである。ここでは、外側の部分空間への投影の場合で説明する。アーチファクト分離手段205は、様々な位置のB(x,y,z)に対する部分空間のゲインφ(x,y,z)を求める。
More specifically, the artifact separation means 205 defines a quantitative index of the subspace of the target signal using the intensity ratio of the original signal B(x, y, z) to the separated signal, as shown in the following formula (4). Note that in formula (4), signal 2 ((I-P)B) that does not contain the target signal is used, but signal 1 (PB) that contains the target signal is used as well, and what is important here is the proportion of the signal generated from that position that is separated into
そして、アーチファクト分離手段205は、ゲインφが閾値以下の領域(白い領域)Rφと、ステップS11で設定した関心領域RIとの一致度を算出する(ステップS14)。本実施形態では、他の指標も加えるものとして、下記の示す式(5)のように、一致度の指標の1つであるJaccard Indexのスコアλを求める。 Then, the artifact separating means 205 calculates the degree of coincidence between the region (white region) R φ where the gain φ is equal to or less than the threshold value and the region of interest R I set in step S11 (step S14). In this embodiment, other indices are also added, and the score λ of the Jaccard Index, which is one of the indices of the degree of coincidence, is calculated as shown in the following formula (5).
なお、他の一致度を求める手法としては、Dice Index、volume similarityなどの一般的な一致度や、Accuracy、F値のような二値分類モデルの評価指標、確率を用いた類似度などの手法を用いることができる。 Other methods for calculating similarity include general similarity measures such as Dice Index and volume similarity, evaluation indices for binary classification models such as Accuracy and F-value, and similarity measures using probability.
また、二値化を行わない場合でも、ROC曲線とそのArea Under the Curveなど、様々な確率分布とその評価指標や、画像比較手法を用いて求めることができる。なお、確率分布を用いれば上述の閾値を最適化することも可能である。 Even if binarization is not performed, it can be obtained using various probability distributions and their evaluation indices, such as ROC curves and their Area Under the Curve, and image comparison methods. It is also possible to optimize the above-mentioned threshold value by using probability distributions.
続いて、アーチファクト分離手段205は、下記に示す式(6)のようにスコアλが最大となるようなζを求めることで、関心領域に最も適した目的信号の部分空間を作成するζを決定する(ステップS15)。 Next, the artifact separation means 205 determines ζ that creates the subspace of the target signal that is most suitable for the region of interest by finding ζ that maximizes the score λ as shown in equation (6) below (step S15).
以上の処理は、DSSP法と同様に、目的信号の部分空間の広がりに影響を与えるパラメータを持つ手法で有効である。 The above processing is effective for methods that have parameters that affect the spread of the subspace of the target signal, similar to the DSSP method.
次に、具体的な目的信号の部分空間の広がりとその指標(DSSP法)について説明する。 Next, we will explain the extent of the subspace of a specific target signal and its index (DSSP method).
ここで、図6は目的信号の部分空間の広がりとその指標(DSSP法)について説明する図である。図6に示す(a),(b),(c)は、目的信号の部分空間の次元ζの値を変化させてゲインφの値を可視化した図である。 Here, Figure 6 is a diagram explaining the spread of the subspace of the target signal and its index (DSSP method). (a), (b), and (c) in Figure 6 are diagrams that visualize the value of the gain φ by changing the value of the dimension ζ of the subspace of the target signal.
図6に示すように、空間分離手段203は、関心領域(残したい信号が発生する領域)をボクセルVに区切った直方体に設定する。そして、空間分離手段203は、設定した直方体の所定のaxial断面を切り出して表示している。つまり、図6に示す(a),(b),(c)の白枠が、設定した関心領域の範囲を表している。図6に示す(a),(b),(c)は、白色が強いほどその位置から発生した信号について目的信号を含まない信号2に分離されるゲインが小さい、すなわち、その位置から発生した信号の大半を目的信号を含む信号1に分離するという意味になる。したがって、関心領域内の信号は目的信号である前提から、白枠内の領域は白色が強くなり、それ以外では抑制され、黒色になることが理想である。よって、白色の領域が目的信号の部分空間の広がりを表している。
As shown in FIG. 6, the spatial separation means 203 sets the region of interest (the region where the signal to be kept occurs) as a rectangular parallelepiped divided into voxels V. Then, the spatial separation means 203 cuts out and displays a specific axial cross section of the set rectangular parallelepiped. In other words, the white frames (a), (b), and (c) in FIG. 6 represent the range of the set region of interest. In (a), (b), and (c) in FIG. 6, the stronger the white color, the smaller the gain for separating the signal generated from that position into signal 2 that does not contain the target signal, that is, it means that most of the signal generated from that position is separated into
図6(a)においては、定義した関心領域に対して目的信号の部分空間が小さく、不十分であることを示している。一方、図6(c)においては、定義した関心領域に対して目的信号の部分空間が大きく、関心領域外の妨害信号も目的信号に取り入れてしまうことを示している。したがって、図6(b)が最適であることはわかるが、関心領域と目的信号の部分空間の領域の一致度を求めて広がりを定量化することでも、最適なパラメータを選択することが可能になる。 Figure 6(a) shows that the subspace of the target signal is small and insufficient relative to the defined region of interest. On the other hand, Figure 6(c) shows that the subspace of the target signal is large relative to the defined region of interest, and interference signals outside the region of interest are also incorporated into the target signal. Therefore, while it is clear that Figure 6(b) is optimal, it is also possible to select optimal parameters by quantifying the spread by determining the degree of coincidence between the region of interest and the subspace of the target signal.
また、図6に示す(A),(B),(C)は、それぞれ、上述の図6(a),(b),(c)を用いて妨害信号除去を行った結果波形である。その際に用いた妨害信号は、実際に左鎖骨付近にノイズ源を置き脳磁図(MEG)測定機器である測定装置3で収録した妨害信号である。この妨害信号に対して、図6(A),(B),(C)は、図6(D)の模擬生体信号を重ね合わせたデータである。図6(B)の波形が、図6(D)の正解の波形に最も近いことは見て明らかである。
Figure 6 (A), (B), and (C) show the waveforms resulting from removing the interference signal using the above-mentioned Figures 6 (a), (b), and (c), respectively. The interference signal used in this case was an interference signal recorded by measuring
このことから、関心領域に目的信号の部分空間の広がりを一致させたほうが最終的な結果が良くなるため、アーチファクト分離手段205は、目的信号の部分空間の広がりを指標としてパラメータを決定する。 For this reason, the final result will be better if the extent of the subspace of the target signal is matched to the region of interest, so the artifact separation means 205 determines parameters using the extent of the subspace of the target signal as an index.
このように本実施形態によれば、設定されたパラメータが適切かどうかの指標として分離のゲインを求めることで、適切な目的信号の部分空間を作成することができる。 In this way, according to this embodiment, by calculating the separation gain as an index of whether the set parameters are appropriate, it is possible to create an appropriate subspace for the target signal.
したがって、本実施形態によれば、パラメータを計測後に試行錯誤で探す必要がなくなる。また、本実施形態によれば、解析者によって選択するパラメータが異なることにより、結果が変わってしまうことがなくなる。さらに、本実施形態によれば、脳磁計の場合、患者ごとに合わせた目的信号の部分空間を作成することができる。 Therefore, according to this embodiment, it is not necessary to search for parameters by trial and error after measurement. Furthermore, according to this embodiment, the results do not change due to different parameters selected by different analysts. Furthermore, according to this embodiment, in the case of magnetoencephalography, a subspace of the target signal tailored to each patient can be created.
(第2の実施形態)
次に、第2の実施形態について説明する。
Second Embodiment
Next, a second embodiment will be described.
第2の実施形態は、tSSS法を用いる点が、DSSP法を用いる第1の実施形態と異なる。以下、第2の実施形態の説明では、第1の実施形態と同一部分の説明については省略し、第1の実施形態と異なる箇所について説明する。 The second embodiment differs from the first embodiment, which uses the DSSP method, in that it uses the tSSS method. In the following explanation of the second embodiment, the explanation of the same parts as in the first embodiment will be omitted, and only the differences from the first embodiment will be explained.
図7は、第2の実施形態にかかる目的信号の部分空間の広がりとその指標(tSSS法)について説明する図である。 Figure 7 is a diagram explaining the spread of the subspace of the target signal and its index (tSSS method) in the second embodiment.
tSSS法では設定する球中心が目的信号の部分空間の広がりに関連するパラメータであるため、図7に示す(a),(b),(c)は、球中心を変化させてゲインφの値を可視化した図である。 In the tSSS method, the center of the sphere is a parameter related to the extent of the subspace of the target signal, so (a), (b), and (c) in Figure 7 visualize the value of the gain φ by changing the center of the sphere.
なお、図6に示したDSSP法と目的信号の部分空間の広がり方が異なるため、図7ではsagittal中央断面を表し、図7の右側がanterior、左側がposteriorを表す。また、tSSS法では関心領域が球体のため、図7では、今回設置を仮定したセンサの位置を同時に投影している。 Note that because the way the subspace of the target signal spreads is different from that of the DSSP method shown in Figure 6, Figure 7 shows the sagittal central cross section, with the right side of Figure 7 showing the anterior and the left side showing the posterior. Also, because the region of interest in the tSSS method is a sphere, Figure 7 also projects the position of the sensor assumed to be installed in this case.
図7に示す関心領域は、センサが設置されている領域の内部となる。なお、図7に示す(a),(b),(c)おいては、白色が強いほどその位置から発生した信号について目的信号を含まない信号2に分離されるゲインが小さい、すなわちその位置から発生した信号の大半を目的信号を含む信号1に分離するという意味になる。したがって、関心領域内の信号は目的信号である前提から、球中心の領域は白色が強くなり、それ以外では抑制され、黒色になることが理想である。よって、白色の領域が目的信号の部分空間の広がりを表している。
The region of interest shown in Figure 7 is the inside of the area where the sensor is installed. Note that in (a), (b), and (c) shown in Figure 7, the stronger the white, the smaller the gain in separating the signal generated from that position into signal 2 that does not contain the target signal, meaning that most of the signal generated from that position is separated into
図7(a)においては、定義した関心領域に対して目的信号の部分空間が小さく、不十分であることを示し、一方、図7(c)においては、定義した関心領域に対して目的信号の部分空間が大きく、関心領域外の妨害信号も目的信号に取り入れてしまうことを示している。したがって、図7(b)が最適であることはわかるが、関心領域と目的信号の部分空間の領域の一致度を求めて広がりを定量化することでも、最適なパラメータを選択することが可能になる。 Figure 7(a) shows that the subspace of the target signal is small and insufficient relative to the defined region of interest, while Figure 7(c) shows that the subspace of the target signal is large relative to the defined region of interest, and interference signals outside the region of interest are also incorporated into the target signal. Therefore, while it can be seen that Figure 7(b) is optimal, it is also possible to select optimal parameters by quantifying the spread by determining the degree of coincidence between the region of interest and the subspace of the target signal.
また、図7に示す(A),(B),(C)は、それぞれ、上述の図7(a),(b),(c)を用いて妨害信号除去を行った結果波形である。その際に用いた妨害信号は、実際に左鎖骨付近にノイズ源を置き脳磁計である測定装置3で収録した妨害信号である。この妨害信号に対して、図7(A),(B),(C)は、図7(D)の模擬生体信号を重ね合わせたデータである。図7(B)の波形が、図7(D)の正解の波形に最も近いことは見て明らかである。
In addition, (A), (B), and (C) in Figure 7 are the waveforms resulting from removing the interference signal using the above-mentioned Figures 7(a), (b), and (c), respectively. The interference signal used in this case was an interference signal recorded by measuring
このことから、関心領域に目的信号の部分空間の広がりを一致させたほうが最終的な結果が良くなるため、アーチファクト分離手段205は、目的信号の部分空間の広がりを指標としてパラメータを決定する。 For this reason, the final result will be better if the extent of the subspace of the target signal is matched to the region of interest, so the artifact separation means 205 determines parameters using the extent of the subspace of the target signal as an index.
このように本実施形態によれば、tSSS法においても同様に、任意の信号源に対して算出された割合から目的信号の部分空間の広がりを定量化し、定量化した目的信号の部分空間の広がりに基づいて適切なパラメータを決定することができるので、適切な目的信号の部分空間を作成できる。 In this manner, according to this embodiment, the tSSS method can also quantify the spread of the subspace of the target signal from the ratio calculated for any signal source, and appropriate parameters can be determined based on the spread of the quantified subspace of the target signal, thereby creating an appropriate subspace of the target signal.
(第3の実施形態)
次に、第3の実施形態について説明する。
Third Embodiment
Next, a third embodiment will be described.
第3の実施形態は、測定装置3における目的信号の部分空間の作成方法を説明するものである。以下、第3の実施形態の説明では、第1の実施形態と同一部分の説明については省略し、第1の実施形態と異なる箇所について説明する。
The third embodiment describes a method for creating a subspace of a target signal in the
ここで、図8は第3の実施形態にかかる目的信号の部分空間の作成の流れを示すフローチャートである。図8に示すフローチャートは、第1の実施形態で説明した図4のステップS11における空間分離手段203による処理を詳述したものである。 Here, FIG. 8 is a flowchart showing the flow of creating a subspace of a target signal according to the third embodiment. The flowchart shown in FIG. 8 details the processing by the spatial separation means 203 in step S11 of FIG. 4 described in the first embodiment.
図8に示すように、空間分離手段203は、撮像機器や形状測定装置などの情報取得装置から得られた情報を用いて、手動ないし自動で信号発生領域を抽出する(ステップS111)。 As shown in FIG. 8, the spatial separation means 203 manually or automatically extracts the signal generation region using information obtained from an information acquisition device such as an imaging device or a shape measurement device (step S111).
例えば、測定装置3が脳磁図(MEG)の場合においては、空間分離手段203は、MRI(Magnetic Resonance Imaging:磁気共鳴画像診断装置)などの撮像機器にて得られた情報と測定装置3のデュワ30の磁気センサとの位置合わせを行うことにより、関心領域を実際の信号発生領域に合わせてボクセルやメッシュを作成する。ここで、信号発生領域とは、例えば脳磁図(MEG)の場合においては脳領域のことであり、観測したい目的信号が発生しうる領域のことを指す。
For example, when the measuring
次いで、空間分離手段203は、計測情報取得手段201を介して取得した測定装置3で計測したセンサ情報を用いて信号発生領域内の事前情報Fを計算する(ステップS112)。
Next, the spatial separation means 203 calculates the prior information F within the signal generation area using the sensor information measured by the
ここで、図9は目的信号の部分空間の指標(DSSP法)について説明する図である。図9(a)は、図8のステップS111で定義されたボクセルで作成した投影行列を用いてDSSPを実行した結果波形である。一方、図9(b)は、図6で説明したような直方体で定義されたボクセルで作成した投影行列を用いてDSSPを実行した結果波形である。その際に用いた妨害信号は、実際に左鎖骨付近にノイズ源を置き脳磁図(MEG)測定機器である測定装置3で収録した妨害信号である。この妨害信号に対して、図9(a),図9(b)は、図9(c)の模擬生体信号を重ね合わせたデータである。図9(a)の波形が、図9(c)の波形に最も近いことは見て明らかである。
Here, FIG. 9 is a diagram explaining the subspace index (DSSP method) of the target signal. FIG. 9(a) is a waveform resulting from executing DSSP using a projection matrix created with voxels defined in step S111 of FIG. 8. On the other hand, FIG. 9(b) is a waveform resulting from executing DSSP using a projection matrix created with voxels defined in a rectangular parallelepiped as described in FIG. 6. The interference signal used in this case is an interference signal recorded by measuring
このことから、ボクセルを作成するときは、MRIなどの撮像機器や形状測定装置にて得られた情報と測定装置3のデュワ30の磁気センサとの位置合わせによって得られた情報を基に、関心領域を実際の脳の形状に合わせてボクセルを作成する手法が有用であることがわかる。
This shows that when creating voxels, it is useful to use a method of creating voxels by matching the region of interest to the actual shape of the brain, based on information obtained from imaging equipment such as MRI and shape measurement devices, and information obtained by aligning the magnetic sensor of the Dewar 30 of the
なお、実際の脳の形状を表現する方法として、単一球で近似する方法(Single-sphere Model)や複数の球で近似する(Overlapping-sphere Model)方法、実際の脳の形状を撮像された情報から抽出する方法などのいずれであってもよいし、これらに限定されない。 Methods for representing the actual brain shape include, but are not limited to, approximating it with a single sphere (single-sphere model), approximating it with multiple spheres (overlapping-sphere model), or extracting the actual brain shape from imaged information.
このように本実施形態によれば、信号発生領域(観測したい目的信号が発生しうる領域)に即したボクセルを設定して空間を作成することで、空間分離性能が向上するため、適するパラメータを選択したときの妨害信号除去性能をより高めることができる。 In this way, according to this embodiment, by creating a space by setting voxels that correspond to the signal generation area (the area where the target signal to be observed may occur), spatial separation performance is improved, and interference signal removal performance can be further improved when appropriate parameters are selected.
なお、各実施形態においては、生体として頭部を考慮した場合を例として詳細に説明したが、これに限るものではない。例えば、生体は、脊磁計(MagnetoSpinoGraphy(MSG))が対象とする頸椎などであってもよく、脊磁計計測における生体トラッキングも本発明の範囲にある。 In each embodiment, the living body is described in detail by taking the head as an example, but the living body is not limited to this. For example, the living body may be the cervical vertebrae that are the subject of a magnetospinography (MagnetoSpinoGraphy (MSG)), and the tracking of the living body in a magnetospinography measurement is also within the scope of the present invention.
20 信号分離装置
202 パラメータ設定手段
203 空間分離手段
204 時間分離手段
205 信号分離手段
20
Claims (9)
互いに異なる位置に設置された複数のセンサの空間情報から目的信号と当該目的信号以外の信号とを分離する際に、互いに異なる位置に設置された複数のセンサ上の空間情報に従って分離するように構成され、
第1の領域と第2の領域との間の一致の程度を計算するように構成され、該第1の領域は目的信号の部分空間領域であり、該第2の領域は目的信号が生成される場所であり、
前記一致の程度に基づいて空間分離パラメータを設定し、
設定された前記空間分離パラメータが適切かどうかを示す指標として分離度を決定し、当該分離度を用いて設定される空間分離パラメータにより目的信号と目的信号以外の信号とを互いに分離するものであって、
前記目的信号の部分空間は、投影される空間情報を、目的信号を含む信号と含まない信号とに分離可能なベクトル空間である、
ことを特徴とする信号分離装置。 1. A signal separation device that separates signals using spatial separation,
When separating a target signal from signals other than the target signal from spatial information of a plurality of sensors installed at different positions, the separation is performed according to spatial information on the plurality of sensors installed at different positions;
configured to calculate a degree of match between a first region and a second region, the first region being a subspace region of the target signal and the second region being where the target signal is generated;
setting a spatial separation parameter based on the degree of match;
A degree of separation is determined as an index showing whether the set spatial separation parameter is appropriate, and a target signal and a signal other than the target signal are separated from each other by the spatial separation parameter set using the degree of separation,
The subspace of the target signal is a vector space in which the projected spatial information can be separated into a signal including the target signal and a signal not including the target signal.
A signal separation device comprising:
ことを特徴とする請求項1に記載の信号分離装置。 a spatial separation means for setting a region in which the target signal may occur, and separating the target signal into an inside and an outside of a subspace region using a projection matrix created based on the set spatial separation parameters;
2. The signal separating device according to claim 1.
ことを特徴とする請求項2に記載の信号分離装置。 A time separation means is provided for calculating a basis vector in a time direction of each of the subspace regions separated by the space separation means, and separating components other than the target signal.
3. The signal separating device according to claim 2.
互いに異なる位置に設置された複数のセンサの空間情報から目的信号と当該目的信号以外の信号とを分離する投影行列を作成する際に、前記目的信号が発生しうる領域に即した空間を、前記投影行列による前記目的信号の分離度合いにより、前記目的信号が発生しうる領域と一致するように設定し、該作成された投影行列を用いて信号を分離する空間分離手段を備える、
ことを特徴とする信号分離装置。 1. A signal separation device that separates signals using spatial separation,
a spatial separation means for separating signals using the projection matrix created when creating a projection matrix for separating a target signal from signals other than the target signal from spatial information of a plurality of sensors installed at different positions, the spatial separation means setting a space corresponding to an area where the target signal may occur so as to coincide with the area where the target signal may occur, depending on a degree of separation of the target signal by the projection matrix ;
A signal separation device comprising:
ことを特徴とする請求項4に記載の信号分離装置。 the spatial separation means sets a space corresponding to a region where the target signal may be generated, using information about the region of interest obtained from an imaging device or a shape measurement device;
5. The signal separating device according to claim 4.
互いに異なる位置に設置された複数のセンサの空間情報から目的信号と当該目的信号以外の信号とを分離する際に、互いに異なる位置に設置された複数のセンサ上の空間情報に従って分離するように構成され、第1の領域と第2の領域との間の一致の程度を計算するように構成され、該第1の領域は目的信号の部分空間領域であり、該第2の領域は目的信号が生成される場所であり、前記一致の程度に基づいて空間分離パラメータを設定するパラメータ設定手段と、
前記パラメータ設定手段に設定された前記空間分離パラメータが適切かどうかを示す指標として分離度を決定し、当該分離度を用いて設定される空間分離パラメータにより目的信号と目的信号以外の信号とを互いに分離する信号分離手段と、
として機能させ、
前記目的信号の部分空間は、投影される空間情報を、目的信号を含む信号と含まない信号とに分離可能なベクトル空間である、
ためのプログラム。 A computer that controls a signal separation device that separates signals using spatial separation,
a parameter setting means configured to separate a target signal from a signal other than the target signal according to spatial information on a plurality of sensors installed at different positions, when separating the target signal from the spatial information on the plurality of sensors installed at different positions, and configured to calculate a degree of agreement between a first region and a second region, the first region being a partial spatial region of the target signal and the second region being a location where the target signal is generated, and to set a spatial separation parameter based on the degree of agreement;
a signal separating means for determining a degree of separation as an index showing whether the spatial separation parameters set by the parameter setting means are appropriate, and for separating a target signal from a signal other than the target signal by the spatial separation parameters set using the degree of separation;
Function as a
The subspace of the target signal is a vector space in which the projected spatial information can be separated into a signal including the target signal and a signal not including the target signal.
Program for.
互いに異なる位置に設置された複数のセンサの空間情報から目的信号と当該目的信号以外の信号とを分離する投影行列を作成する際に、前記目的信号が発生しうる領域に即した空間を、前記投影行列による前記目的信号の分離度合いにより、前記目的信号が発生しうる領域と一致するように設定し、該作成された投影行列を用いて信号を分離する空間分離手段、
として機能させるためのプログラム。 A computer that controls a signal separation device that separates signals using spatial separation,
a spatial separation means for separating a target signal from signals other than the target signal based on spatial information from a plurality of sensors installed at different positions, the spatial separation means setting a space corresponding to an area where the target signal may be generated so as to coincide with the area where the target signal may be generated, depending on a degree of separation of the target signal by the projection matrix, and separating signals using the projection matrix thus generated ;
A program to function as a
互いに異なる位置に設置された複数のセンサの空間情報から目的信号と当該目的信号以外の信号とを分離する際に、互いに異なる位置に設置された複数のセンサ上の空間情報に従って分離するように構成され、第1の領域と第2の領域との間の一致の程度を計算するように構成され、該第1の領域は目的信号の部分空間領域であり、該第2の領域は目的信号が生成される場所であり、前記一致の程度に基づいて空間分離パラメータを設定するパラメータ設定工程と、
前記パラメータ設定工程で設定された前記空間分離パラメータが適切かどうかを示す指標として分離度を決定し、当該分離度を用いて設定される空間分離パラメータにより目的信号と目的信号以外の信号とを互いに分離する信号分離工程と、
を含み、
前記目的信号の部分空間は、投影される空間情報を、目的信号を含む信号と含まない信号とに分離可能なベクトル空間である、
ことを特徴とする信号分離方法。 A signal separation method in a signal separation device that separates signals using spatial separation, comprising:
a parameter setting step of setting a spatial separation parameter based on the degree of matching between a first region and a second region, the parameter setting step being configured to perform separation according to spatial information on a plurality of sensors installed at different positions when separating a target signal from a signal other than the target signal from spatial information on the plurality of sensors installed at different positions, the parameter setting step being configured to calculate a degree of matching between a first region and a second region, the first region being a partial spatial region of the target signal and the second region being a location where the target signal is generated;
a signal separation step of determining a degree of separation as an index showing whether the spatial separation parameters set in the parameter setting step are appropriate, and separating a target signal from a signal other than the target signal using the spatial separation parameters set using the degree of separation;
Including,
The subspace of the target signal is a vector space in which the projected spatial information can be separated into a signal including the target signal and a signal not including the target signal.
2. A signal separation method comprising:
互いに異なる位置に設置された複数のセンサの空間情報から目的信号と当該目的信号以外の信号とを分離する投影行列を作成する際に、前記目的信号が発生しうる領域に即した空間を、前記投影行列による前記目的信号の分離度合いにより、前記目的信号が発生しうる領域と一致するように設定し、該作成された投影行列を用いて信号を分離する空間分離工程を含む、
ことを特徴とする信号分離方法。 A signal separation method in a signal separation device that separates signals using spatial separation, comprising:
A spatial separation step of creating a projection matrix for separating a target signal from signals other than the target signal from spatial information of a plurality of sensors installed at different positions, the spatial separation step being to set a space corresponding to an area where the target signal may be generated so as to coincide with the area where the target signal may be generated , depending on a degree of separation of the target signal by the projection matrix, and to separate signals using the created projection matrix .
2. A signal separation method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/952,094 US11768258B2 (en) | 2019-11-27 | 2020-11-19 | Signal separating apparatus, signal separating method, and non-transitory recording medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019214679 | 2019-11-27 | ||
| JP2019214679 | 2019-11-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021087761A JP2021087761A (en) | 2021-06-10 |
| JP7593000B2 true JP7593000B2 (en) | 2024-12-03 |
Family
ID=76218748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020129329A Active JP7593000B2 (en) | 2019-11-27 | 2020-07-30 | SIGNAL SEPARATION DEVICE, PROGRAM, AND SIGNAL SEPARATION METHOD |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7593000B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117289187A (en) * | 2023-11-27 | 2023-12-26 | 之江实验室 | Magnetic signal acquisition system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008073342A (en) | 2006-09-22 | 2008-04-03 | Konica Minolta Medical & Graphic Inc | Radiographic image capturing system and radiographic image capturing method |
| JP2013533782A (en) | 2010-07-06 | 2013-08-29 | エレクタ アクチボラゲット(パブル) | Method for adjusting interference signal space in biomagnetic field measurement |
| US20150289847A1 (en) | 2014-04-15 | 2015-10-15 | Samsung Electronics Co., Ltd. | Ultrasound imaging apparatus and method for controlling the same |
| JP2018005805A (en) | 2016-07-08 | 2018-01-11 | 株式会社リコー | Information processing system, image processing device, information processing device, and program |
| US20190125268A1 (en) | 2016-05-26 | 2019-05-02 | University Of Washington | Reducing sensor noise in multichannel arrays using oversampled temporal projection and associated systems and methods |
| WO2023073063A1 (en) | 2021-10-28 | 2023-05-04 | Micrima Limited | Medical examination system with signal artefact compensation |
-
2020
- 2020-07-30 JP JP2020129329A patent/JP7593000B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008073342A (en) | 2006-09-22 | 2008-04-03 | Konica Minolta Medical & Graphic Inc | Radiographic image capturing system and radiographic image capturing method |
| JP2013533782A (en) | 2010-07-06 | 2013-08-29 | エレクタ アクチボラゲット(パブル) | Method for adjusting interference signal space in biomagnetic field measurement |
| US20150289847A1 (en) | 2014-04-15 | 2015-10-15 | Samsung Electronics Co., Ltd. | Ultrasound imaging apparatus and method for controlling the same |
| US20190125268A1 (en) | 2016-05-26 | 2019-05-02 | University Of Washington | Reducing sensor noise in multichannel arrays using oversampled temporal projection and associated systems and methods |
| JP2018005805A (en) | 2016-07-08 | 2018-01-11 | 株式会社リコー | Information processing system, image processing device, information processing device, and program |
| WO2023073063A1 (en) | 2021-10-28 | 2023-05-04 | Micrima Limited | Medical examination system with signal artefact compensation |
Non-Patent Citations (1)
| Title |
|---|
| 清水孝一,体内蛍光像透視イメージング,日本レーザ医学会誌,日本,2005年,Vol.26, No.3,pp.206-213 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021087761A (en) | 2021-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yasoda et al. | Automatic detection and classification of EEG artifacts using fuzzy kernel SVM and wavelet ICA (WICA). | |
| Jas et al. | Autoreject: Automated artifact rejection for MEG and EEG data | |
| EP3617815B1 (en) | Work support device, work support method, and work support program | |
| Grootswagers et al. | Decoding dynamic brain patterns from evoked responses: a tutorial on multivariate pattern analysis applied to time series neuroimaging data | |
| Haufe et al. | Dimensionality reduction for the analysis of brain oscillations | |
| Pineda-Pardo et al. | Guiding functional connectivity estimation by structural connectivity in MEG: an application to discrimination of conditions of mild cognitive impairment | |
| Castro et al. | Characterization of groups using composite kernels and multi-source fMRI analysis data: application to schizophrenia | |
| Miao et al. | A spatial-frequency-temporal optimized feature sparse representation-based classification method for motor imagery EEG pattern recognition | |
| JP7591769B2 (en) | Brain state estimation device, computer program, brain state estimation method, brain function testing system and method | |
| JPS63226340A (en) | Method and apparatus for displaying timewise relation between position and internal area of brain nerve activity | |
| JP2009542351A (en) | Analysis of brain patterns using temporal scales | |
| Raizada et al. | Pattern‐information fMRI: New questions which it opens up and challenges which face it | |
| Jha et al. | Alzheimer disease detection in MRI using curvelet transform with KNN | |
| Sekhar et al. | Deep generative adversarial networks with marine predators algorithm for classification of Alzheimer’s disease using electroencephalogram | |
| Fang et al. | Noninvasive neuroimaging and spatial filter transform enable ultra low delay motor imagery EEG decoding | |
| Becq et al. | Classification of epileptic motor manifestations using inertial and magnetic sensors | |
| Khosropanah et al. | Fused multivariate empirical mode decomposition (MEMD) and inverse solution method for EEG source localization | |
| JP7593000B2 (en) | SIGNAL SEPARATION DEVICE, PROGRAM, AND SIGNAL SEPARATION METHOD | |
| Corsi | Electroencephalography and magnetoencephalography | |
| US11768258B2 (en) | Signal separating apparatus, signal separating method, and non-transitory recording medium | |
| US11712189B2 (en) | Dipole group quantification method and dipole group display system | |
| Gohel et al. | Dynamic pattern decoding of source-reconstructed MEG or EEG data: Perspective of multivariate pattern analysis and signal leakage | |
| Bazay et al. | Assessing the impact of preprocessing pipelines on fMRI based autism spectrum disorder classification: ABIDE II results | |
| Liu et al. | Rapidly decoding image categories from MEG data using a multivariate short-time FC pattern analysis approach | |
| Nagarhalli et al. | Evaluating the effectiveness of the convolution neural network in detecting brain tumors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230511 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240802 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241022 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241104 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7593000 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |