JP7279507B2 - 情報処理装置、情報処理プログラム及び制御方法 - Google Patents
情報処理装置、情報処理プログラム及び制御方法 Download PDFInfo
- Publication number
- JP7279507B2 JP7279507B2 JP2019095469A JP2019095469A JP7279507B2 JP 7279507 B2 JP7279507 B2 JP 7279507B2 JP 2019095469 A JP2019095469 A JP 2019095469A JP 2019095469 A JP2019095469 A JP 2019095469A JP 7279507 B2 JP7279507 B2 JP 7279507B2
- Authority
- JP
- Japan
- Prior art keywords
- learning rate
- learning
- value
- epoch
- continuous curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Description
本発明は、情報処理装置、情報処理プログラム及び制御方法に関する。
一般に、ＤＮＮ（Deep Neural Network）を用いた学習処理では、入力データを認識する順伝播処理と、認識結果と正解データとの差分値を逆伝播しながら勾配情報を算出する逆伝播処理と、勾配情報に基づいて重みパラメータを更新する更新処理とが実行される。
このうち、重みパラメータを更新する更新処理では、学習率（ＬＲ：Learning Rate）に基づいて更新量が制御される。この際に用いる学習率は、通常、学習処理開始時に高い値を設定し、学習処理が進むにつれて、徐々に小さい値へと変化させていく。
しかしながら、ＤＮＮを用いた学習処理の場合、更新処理の際に用いる学習率をどのように変化させるかによって、有限時間内に得られる学習結果（学習済みのモデル）の性能に影響を与える。
一つの側面では、学習結果の性能を向上させることを目的としている。
一態様によれば、ニューラルネットワークを用いて学習処理を行う情報処理装置であって、
連続曲線の算出に用いるパラメータの入力を受け付ける受付部と、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、前記パラメータに基づいて算出される連続曲線で変化する学習率を算出する算出部と、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する制御部と、を有し、
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最大値の中間値の時点から最低値に到達するまでの減衰の加速率と、
最終のｅｐｏｃｈでの学習率と、が含まれる。
連続曲線の算出に用いるパラメータの入力を受け付ける受付部と、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、前記パラメータに基づいて算出される連続曲線で変化する学習率を算出する算出部と、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する制御部と、を有し、
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最大値の中間値の時点から最低値に到達するまでの減衰の加速率と、
最終のｅｐｏｃｈでの学習率と、が含まれる。
学習結果の性能を向上させることができる。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
［第１の実施形態］
＜情報処理装置の機能構成＞
はじめに、ＤＮＮ（Deep Neural Network）を用いて学習処理を行う情報処理装置の機能構成について説明する。図１は、情報処理装置の機能構成の一例を示す図である。情報処理装置１００には、情報処理プログラムがインストールされており、当該プログラムが実行されることで、情報処理装置１００は、パラメータ受付部１１０、学習率算出部１２０、学習率設定部１３０、学習部１４０として機能する。
＜情報処理装置の機能構成＞
はじめに、ＤＮＮ（Deep Neural Network）を用いて学習処理を行う情報処理装置の機能構成について説明する。図１は、情報処理装置の機能構成の一例を示す図である。情報処理装置１００には、情報処理プログラムがインストールされており、当該プログラムが実行されることで、情報処理装置１００は、パラメータ受付部１１０、学習率算出部１２０、学習率設定部１３０、学習部１４０として機能する。
パラメータ受付部１１０は受付部の一例であり、学習処理中の学習率の変化を示す連続曲線の算出に用いるパラメータを受け付ける。パラメータ受付部１１０において受け付けたパラメータは、学習率算出部１２０に通知される。
学習率算出部１２０は算出部の一例であり、パラメータ受付部１１０より通知されたパラメータに基づいて、学習処理中の学習率の変化を示す連続曲線を算出し、学習率設定部１３０に通知する。
学習率設定部１３０は、学習率算出部１２０より通知された、学習率の変化を示す連続曲線を、学習部１４０に設定する。
学習部１４０は、ＤＮＮを用いて学習処理を行う。具体的には、学習部１４０は、学習用データ格納部１５０より入力データを読み出し、読み出した入力データを認識する順伝播処理を行う。
また、学習部１４０は、学習用データ格納部１５０より正解データを読み出し、順伝播処理により得た認識結果と、読み出した正解データとの差分値を算出する。また、学習部１４０は、算出した差分値を逆伝播しながら勾配情報を算出する逆伝播処理を行う。
更に、学習部１４０は、勾配情報に基づいて重みパラメータを更新する更新処理を行う。なお、学習部１４０では、重みパラメータを更新する際、学習率設定部１３０により設定された、学習率の変化を示す連続曲線を参照することで学習率を取得し、取得した学習率に基づいて更新量を制御する。
＜情報処理装置のハードウェア構成＞
次に、情報処理装置１００のハードウェア構成について説明する。図２は、情報処理装置のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＧＰＵ（Graphics Processing Unit）２０２＿１～２０２＿４を有する。また、情報処理装置１００は、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０４を有する。なお、ＣＰＵ２０１、ＧＰＵ２０２＿１～２０２＿４、ＲＯＭ２０３、ＲＡＭ２０４は、いわゆるコンピュータを形成する。
次に、情報処理装置１００のハードウェア構成について説明する。図２は、情報処理装置のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＧＰＵ（Graphics Processing Unit）２０２＿１～２０２＿４を有する。また、情報処理装置１００は、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０４を有する。なお、ＣＰＵ２０１、ＧＰＵ２０２＿１～２０２＿４、ＲＯＭ２０３、ＲＡＭ２０４は、いわゆるコンピュータを形成する。
また、情報処理装置１００は、補助記憶装置２０５、表示装置２０６、操作装置２０７、ドライブ装置２０８を有する。なお、情報処理装置１００の各ハードウェアは、バス２０９を介して相互に接続されている。
ＣＰＵ２０１は、補助記憶装置２０５にインストールされている各種プログラム（例えば、情報処理プログラム等）を実行する演算デバイスである。
ＧＰＵ２０２＿１～２０２＿４は、画像処理用の演算デバイスであり、ＣＰＵ２０１により各種プログラムが実行される際に、画像データである入力データについて、並列処理による高速演算を実行する。なお、図２の例は、情報処理装置１００が４つのＧＰＵを有する場合について示しているが、情報処理装置１００が有するＧＰＵの数は４つに限定されない。
ＲＯＭ２０３は、不揮発性メモリである。ＲＯＭ２０３は、補助記憶装置２０５にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０３はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
ＲＡＭ２０４は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０４は、補助記憶装置２０５にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶装置２０５は、各種プログラムや、各種プログラムが実行される際に用いられるデータを格納する補助記憶デバイスである。例えば、学習用データ格納部１５０は、補助記憶装置２０５において実現される。
表示装置２０６は、情報処理装置１００の内部状態等を表示する表示デバイスである。操作装置２０７は、情報処理装置１００のユーザが情報処理装置１００に対して各種指示を入力する際に用いる入力デバイスである。
ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置２０５にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０５にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。
＜学習用データの説明＞
次に、学習用データ格納部１５０に格納される学習用データについて説明する。図３は、学習処理時の学習用データの構成例を示す図である。上述したように、情報処理装置１００は、４つのＧＰＵ（ＧＰＵ２０２＿１～２０２＿４）を有するため、１回の学習で、４つのミニバッチが入力される。なお、各ミニバッチには、例えば、数百のデータの組（入力データと正解データの組）が含まれているものとする。
次に、学習用データ格納部１５０に格納される学習用データについて説明する。図３は、学習処理時の学習用データの構成例を示す図である。上述したように、情報処理装置１００は、４つのＧＰＵ（ＧＰＵ２０２＿１～２０２＿４）を有するため、１回の学習で、４つのミニバッチが入力される。なお、各ミニバッチには、例えば、数百のデータの組（入力データと正解データの組）が含まれているものとする。
また、図３の例は、１ｅｐｏｃｈ（エポック）において、Ｎ回の学習が行われることを示している。つまり、学習用データ格納部１５０には、（数百のデータの組）×４×Ｎのデータ群が格納されており、学習部１４０では、学習処理時に図３に示す１ｅｐｏｃｈ分の学習を、複数回（例えば、９０回）繰り返す。
＜学習部の機能構成＞
次に、学習部１４０の機能構成について説明する。図４は、情報処理装置の学習部の機能構成の一例を示す図である。上述したように、情報処理装置１００は、４つのＧＰＵ（ＧＰＵ２０２＿１～２０２＿４）を有するため、学習部１４０は、４つの機能ブロック（機能ブロック４１０～４４０）に分かれて、それぞれ、並列に学習処理が行われる。なお、機能ブロック４１０～４１０の各機能ブロックは、同様の機能を有するため、ここでは、機能ブロック４１０の機能について説明する。
次に、学習部１４０の機能構成について説明する。図４は、情報処理装置の学習部の機能構成の一例を示す図である。上述したように、情報処理装置１００は、４つのＧＰＵ（ＧＰＵ２０２＿１～２０２＿４）を有するため、学習部１４０は、４つの機能ブロック（機能ブロック４１０～４４０）に分かれて、それぞれ、並列に学習処理が行われる。なお、機能ブロック４１０～４１０の各機能ブロックは、同様の機能を有するため、ここでは、機能ブロック４１０の機能について説明する。
機能ブロック４１０は、ＧＰＵ２０２＿１により実現され、図４に示すように、入力層４１１と、制御部の一例である第１のニューロン層４１２、第２のニューロン層４１３、第３のニューロン層４１４と、差分器４１５とを有する。なお、機能ブロック４１０が有するニューロン層の数は、３つに限定されるものではない。
入力層４１１は、学習用データ格納部１５０より、ミニバッチ単位で入力データと正解データとの組を読み出し、入力データを第１のニューロン層４１２に入力する。また、入力層４１１は、正解データを差分器４１５に入力する。
第１のニューロン層４１２は、前回の学習において算出された差分値から勾配情報を算出し、算出した勾配情報に基づいて更新した重みパラメータを用いて、入力データを演算する。また、第１のニューロン層４１２は、演算した入力データを、第２のニューロン層４１３に入力する。なお、第１のニューロン層４１２では、学習率設定部１３０により設定された学習率に応じた更新量で、重みパラメータを更新する。
同様に、第２のニューロン層４１３は、前回の学習において算出された差分値から勾配情報を算出し、算出した勾配情報に基づいて更新した重みパラメータを用いて、入力データを演算する。また、第２のニューロン層４１３は、演算した入力データを、第３のニューロン層４１４に入力する。なお、第２のニューロン層４１３では、学習率設定部１３０により設定された学習率に応じた更新量で、重みパラメータを更新する。
同様に、第３のニューロン層４１４は、前回の学習において算出された差分値から勾配情報を算出し、算出した勾配情報に基づいて更新した重みパラメータを用いて、入力データを演算する。また、第３のニューロン層４１４は、入力データを演算することで得られる認識結果を、差分器４１５に入力する。なお、第３のニューロン層４１４では、学習率設定部１３０により設定された学習率に応じた更新量で、重みパラメータを更新する。
差分器４１５は、入力層４１１より入力された正解データと、第３のニューロン層４１４より入力された認識結果との差分値を算出し、算出した差分値を逆伝播する。これにより、第１のニューロン層４１２から第３のニューロン層４１４では、次の学習において用いる勾配情報を算出する。
＜パラメータ受付部及び学習率算出部＞
次に、学習部１４０の第１のニューロン層４１２から第３のニューロン層４１４それぞれにおいて、勾配情報に基づいて重みパラメータを更新する際に用いる学習率を算出する、パラメータ受付部及び学習率算出部の機能構成について説明する。
次に、学習部１４０の第１のニューロン層４１２から第３のニューロン層４１４それぞれにおいて、勾配情報に基づいて重みパラメータを更新する際に用いる学習率を算出する、パラメータ受付部及び学習率算出部の機能構成について説明する。
図５は、情報処理装置のパラメータ受付部及び学習率算出部の機能構成及び学習率の変化を示す連続曲線の一例を示す第１の図である。
図５に示すように、パラメータ受付部１１０は、
・ｔｕｒｎ＿ｅｐｏｃｈ：学習率の減衰率が０．５（学習率の最大値の中間値）となるｅｐｏｃｈ、
・ｐｏｗｅｒ：ｅｐｏｃｈの乗数、
・ｓｍａｌｌ＿ｅｐｏｃｈ：ｔｕｒｎ＿ｅｐｏｃｈ以降（学習率が最大値の中間値から最低値に到達するまで）の学習率の減衰の加速率、
・ｍｉｎ＿ｒａｔｉｏ：最終ｅｐｏｃｈでの学習率（学習率の最低値）、
の入力を受け付ける。なお、図５の例では、ｔｕｒｎ＿ｅｐｏｃｈ＝７０、ｐｏｗｅｒ＝３、ｓｍａｌｌ＿ｒａｔｉｏ＝２、ｍｉｎ＿ｒａｔｉｏ＝０．０００１が入力されたことを示している。
・ｔｕｒｎ＿ｅｐｏｃｈ：学習率の減衰率が０．５（学習率の最大値の中間値）となるｅｐｏｃｈ、
・ｐｏｗｅｒ：ｅｐｏｃｈの乗数、
・ｓｍａｌｌ＿ｅｐｏｃｈ：ｔｕｒｎ＿ｅｐｏｃｈ以降（学習率が最大値の中間値から最低値に到達するまで）の学習率の減衰の加速率、
・ｍｉｎ＿ｒａｔｉｏ：最終ｅｐｏｃｈでの学習率（学習率の最低値）、
の入力を受け付ける。なお、図５の例では、ｔｕｒｎ＿ｅｐｏｃｈ＝７０、ｐｏｗｅｒ＝３、ｓｍａｌｌ＿ｒａｔｉｏ＝２、ｍｉｎ＿ｒａｔｉｏ＝０．０００１が入力されたことを示している。
学習率算出部１２０は、パラメータ受付部１１０が入力を受け付けたパラメータを用いて、下式に基づいて、学習処理中の学習率の変化を示す連続曲線ｌｒを算出する。
なお、上式において、
・ｌｒ＿ｄｅｃａｙは学習率の減衰、
・ｘ２＿ｌは最終のｅｐｏｃｈでのｘ２、
・ｌｒ＿１は最終のｅｐｏｃｈでのｌｒ、
・ｂａｓｅ＿ｌｒは基準となる学習率、
をそれぞれ表す。
・ｌｒ＿ｄｅｃａｙは学習率の減衰、
・ｘ２＿ｌは最終のｅｐｏｃｈでのｘ２、
・ｌｒ＿１は最終のｅｐｏｃｈでのｌｒ、
・ｂａｓｅ＿ｌｒは基準となる学習率、
をそれぞれ表す。
図５において、グラフ５１０は、学習率算出部１２０により算出された、学習処理中の学習率の変化を示す連続曲線ｌｒの一例を示している。図５に示すように、ｔｕｒｎ＿ｅｐｏｃｈを入力することで、学習率が減衰する時点を指定することができる。また、ｐｏｗｅｒを入力することで、学習率が減衰する際の全体の急峻度を指定することができる。また、ｓｍａｌｌ＿ｒａｔｉｏを入力することで、ｔｕｒｎ＿ｅｐｏｃｈ以降に学習率が減衰する際の急峻度を指定することができる。更に、ｍｉｎ＿ｒａｔｉｏを入力することで、学習処理の終了を指定することができる。
ここで、本願出願人は、学習処理中の学習率の変化を示す連続曲線ｌｒを算出するにあたり、“学習率が高い状態を長くすることで、より高性能な学習結果を実現できる”という知見を得た。パラメータ受付部１１０及び学習率算出部１２０は、これらの知見を反映させた連続曲線を算出することができるように、
・学習率が減衰する時点（ｔｕｒｎ＿ｅｐｏｃｈ）、
・学習率が減衰する際の全体の急峻度（ｐｏｗｅｒ）、
・ｔｕｒｎ＿ｅｐｏｃｈ以降に学習率が減衰する際の急峻度（ｓｍａｌｌ＿ｒａｔｉｏ）、
をユーザが指定できるようにした。
・学習率が減衰する時点（ｔｕｒｎ＿ｅｐｏｃｈ）、
・学習率が減衰する際の全体の急峻度（ｐｏｗｅｒ）、
・ｔｕｒｎ＿ｅｐｏｃｈ以降に学習率が減衰する際の急峻度（ｓｍａｌｌ＿ｒａｔｉｏ）、
をユーザが指定できるようにした。
これにより、パラメータ受付部１１０及び学習率算出部１２０では、
・学習率が最大値の中間値の時点から、学習率が最低値に到達するまでの時間が、
・学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも、
短くなるように（つまり、学習率が高い状態が長くなるように）、連続曲線ｌｒを算出することが可能となる。
・学習率が最大値の中間値の時点から、学習率が最低値に到達するまでの時間が、
・学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも、
短くなるように（つまり、学習率が高い状態が長くなるように）、連続曲線ｌｒを算出することが可能となる。
＜設定処理及び学習処理の流れ＞
次に、情報処理装置１００による設定処理及び学習処理の流れについて説明する。図６は、情報処理装置による設定処理及び学習処理の流れを示すフローチャートである。
次に、情報処理装置１００による設定処理及び学習処理の流れについて説明する。図６は、情報処理装置による設定処理及び学習処理の流れを示すフローチャートである。
このうち、図６（ａ）は、情報処理装置１００による設定処理の流れを示すフローチャートである。図６（ａ）に示すように、ステップＳ６０１において、パラメータ受付部１１０は、学習処理中の学習率の変化を示す連続曲線の算出に用いるパラメータを受け付ける。
ステップＳ６０２において、学習率算出部１２０は、パラメータ受付部１１０が受け付けたパラメータを用いて、学習処理中の学習率の変化を示す連続曲線を算出する。
ステップＳ６０３において、学習率設定部１３０は、学習処理中の学習率の変化を示す連続曲線を、学習部１４０に設定する。
また、図６（ｂ）は、情報処理装置１００により学習処理の流れを示すフローチャートである。図６（ｂ）に示すように、ステップＳ６１１において、学習部１４０は、学習用データ格納部１５０より学習用データを、ミニバッチ単位で読み出す。
ステップＳ６１２において、学習部１４０は、ミニバッチ単位で読み出した学習用データに含まれる入力データについて順伝播処理を行う。
ステップＳ６１３において、学習部１４０は、ミニバッチ単位で読み出した学習用データに含まれる正解データと、順伝播処理により得られた認識結果との差分値を算出し、算出した差分値を逆伝播しながら勾配情報を算出する逆伝播処理を行う。
ステップＳ６１４において、学習部１４０は、勾配情報に基づいて重みパラメータを更新する更新処理を行う。このとき、学習部１４０では、学習率設定部１３０により設定された連続曲線を参照することで学習率を取得し、取得した学習率に基づいて更新量を制御する。
ステップＳ６１５において、学習部１４０は、学習処理を終了するか否かを判定する。ステップＳ６１５において、学習処理を継続すると判定した場合には（ステップＳ６１５においてＮｏの場合には）、ステップＳ６１１に戻る。一方、ステップＳ６１５において、学習処理を終了すると判定した場合には（ステップＳ６１５においてＹｅｓの場合には）、学習処理を終了する。
＜学習結果の性能比較＞
次に、情報処理装置１００の学習部１４０が学習処理を行うことで得た学習結果の性能について、比較例の学習部が学習処理を行うことで得た学習結果と対比しながら図７を用いて説明する。図７は、学習結果の性能向上を示す図である。
次に、情報処理装置１００の学習部１４０が学習処理を行うことで得た学習結果の性能について、比較例の学習部が学習処理を行うことで得た学習結果と対比しながら図７を用いて説明する。図７は、学習結果の性能向上を示す図である。
このうち、グラフ７１０は、横軸にｅｐｏｃｈ数を、縦軸に学習結果の性能（学習結果を用いて推論処理を行った場合の精度）をとったグラフである。グラフ７１０において、点線は、学習部１４０が学習処理を行うことで得た学習結果（学習率算出部１２０により算出された連続曲線ｌｒに基づいて学習率を変化させた場合の、学習結果）の性能を示している。
一方、グラフ７１０において、実線は、比較例の学習部が学習処理を行うことで得た学習結果（学習処理の初期では、高い学習率を設定し、学習処理が進むについて徐々に学習率を小さい値に変換させた場合の、学習結果）の性能を示している。
グラフ７１０から明らかなように、学習部１４０が学習処理を行うことで得た学習結果の方が、学習処理中、常に、高い性能が得られる。
また、表７２０は、有限時間内において学習処理を終了させた際の、最終的な到達性能を比較したものである。表７２０に示すように、学習部１４０が学習処理を行うことで得た学習結果の方が、最終的にも高い性能が得られる。
以上の説明から明らかなように、情報処理装置１００は、学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、連続曲線で変化する学習率を算出する。また、情報処理装置１００は、連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する。
これにより、ニューラルネットワークを用いた学習処理において、学習率が高い状態を長くすることが可能となる。この結果、第１の実施形態によれば、有限時間内で得られる学習結果の性能を向上させることができる。
［第２の実施形態］
上記第１の実施形態では、学習率の変化を示す連続曲線を算出する際、学習率が減衰する時点、学習率が減衰する際の全体の急峻度、ｔｕｒｎ＿ｅｐｏｃｈ以降に学習率が減衰する際の急峻度をユーザが指定できるようにした。
上記第１の実施形態では、学習率の変化を示す連続曲線を算出する際、学習率が減衰する時点、学習率が減衰する際の全体の急峻度、ｔｕｒｎ＿ｅｐｏｃｈ以降に学習率が減衰する際の急峻度をユーザが指定できるようにした。
しかしながら、学習率の変化を示す連続曲線を算出する際に指定する内容はこれらに限定されない。そこで、第２の実施形態では、第１の実施形態とは異なる内容を指定することで、学習率の変化を示す連続曲線を算出する場合について説明する。なお、以下では、上記第１の実施形態との相違点を中心に説明する。
＜パラメータ受付部及び学習率算出部＞
図８は、情報処理装置のパラメータ受付部及び学習率算出部の機能構成及び学習率の変化を示す連続曲線の一例を示す第２の図である。
図８は、情報処理装置のパラメータ受付部及び学習率算出部の機能構成及び学習率の変化を示す連続曲線の一例を示す第２の図である。
図８に示すように、パラメータ受付部８１０は受付部の一例であり、
・ｔｕｒｎ＿ｅｐｏｃｈ：学習率の減衰率が０．５（学習率の最大値の中間値）となるｅｐｏｃｈ、
・ｐｏｗｅｒ：ｅｐｏｃｈの乗数、
・ｌａｓｔ＿ｅｐｏｃｈ：最終のｅｐｏｃｈ数、
・ｍｉｎ＿ｒａｔｉｏ：最終ｅｐｏｃｈでの学習率（学習率の最低値）、
の入力を受け付ける。なお、図８の例では、ｔｕｒｎ＿ｅｐｏｃｈ＝７０、ｐｏｗｅｒ＝３、ｌａｓｔ＿ｅｐｏｃｈ＝９０、ｍｉｎ＿ｒａｔｉｏ＝０．０００１が入力されたことを示している。
・ｔｕｒｎ＿ｅｐｏｃｈ：学習率の減衰率が０．５（学習率の最大値の中間値）となるｅｐｏｃｈ、
・ｐｏｗｅｒ：ｅｐｏｃｈの乗数、
・ｌａｓｔ＿ｅｐｏｃｈ：最終のｅｐｏｃｈ数、
・ｍｉｎ＿ｒａｔｉｏ：最終ｅｐｏｃｈでの学習率（学習率の最低値）、
の入力を受け付ける。なお、図８の例では、ｔｕｒｎ＿ｅｐｏｃｈ＝７０、ｐｏｗｅｒ＝３、ｌａｓｔ＿ｅｐｏｃｈ＝９０、ｍｉｎ＿ｒａｔｉｏ＝０．０００１が入力されたことを示している。
学習率算出部８２０は算出部の一例であり、パラメータ受付部８１０が入力を受け付けたパラメータを用いて、下式に基づいて、学習処理中の学習率の変化を示す連続曲線ｌｒを算出する。
なお、上式において、
・ｌｒ＿ｄｅｃａｙは学習率の減衰、
・ｌｒ＿１は最終のｅｐｏｃｈでのｌｒ、
・ｂａｓｅ＿ｌｒは基準となる学習率、
をそれぞれ表す。
・ｌｒ＿ｄｅｃａｙは学習率の減衰、
・ｌｒ＿１は最終のｅｐｏｃｈでのｌｒ、
・ｂａｓｅ＿ｌｒは基準となる学習率、
をそれぞれ表す。
図８において、グラフ８３０は、学習率算出部８２０により算出された、学習処理中の学習率の変化を示す連続曲線ｌｒの一例を示している。図８に示すように、ｔｕｒｎ＿ｅｐｏｃｈを入力することで、学習率が減衰する時点を指定することができる。また、ｐｏｗｅｒを入力することで、学習率が減衰する際の全体の急峻度を指定することができる。また、ｌａｓｔ＿ｅｐｏｃｈを入力することで、最終のｅｐｏｃｈを指定することができる。更に、ｍｉｎ＿ｒａｔｉｏを入力することで、学習処理の終了を指定することができる。
このように、パラメータ受付部８１０及び学習率算出部８２０によれば、学習率の変化を示す連続曲線ｌｒを算出する際、
・学習率が減衰する時点（ｔｕｒｎ＿ｅｐｏｃｈ）、
・学習率が減衰する際の全体の急峻度（ｐｏｗｅｒ）、
・最終のｅｐｏｃｈ（ｌａｓｔ＿ｅｐｏｃｈ）、
をユーザが指定することができる。
・学習率が減衰する時点（ｔｕｒｎ＿ｅｐｏｃｈ）、
・学習率が減衰する際の全体の急峻度（ｐｏｗｅｒ）、
・最終のｅｐｏｃｈ（ｌａｓｔ＿ｅｐｏｃｈ）、
をユーザが指定することができる。
これにより、パラメータ受付部８１０及び学習率算出部８２０では、学習率が高い状態が長くなるように、連続曲線ｌｒを算出することが可能となる。この結果、第２の実施形態によれば、上記第１の実施形態同様、学習結果の性能を向上させることができる。また、第２の実施形態によれば、更に、最終のｅｐｏｃｈでの学習率を、指定した値に滑らかに遷移させることができる。
［その他の実施形態］
上記第１及び第２の実施形態では、学習処理中の学習率の変化を示す連続曲線を算出するにあたり、ａｒｃｃｏｔを用いるものとして説明した。しかしながら、学習処理中の学習率の変化を示す連続曲線を算出する際に用いる関数は、ａｒｃｃｏｔに限定されず、ａｒｃｃｏｔ以外の関数を用いてもよい。
上記第１及び第２の実施形態では、学習処理中の学習率の変化を示す連続曲線を算出するにあたり、ａｒｃｃｏｔを用いるものとして説明した。しかしながら、学習処理中の学習率の変化を示す連続曲線を算出する際に用いる関数は、ａｒｃｃｏｔに限定されず、ａｒｃｃｏｔ以外の関数を用いてもよい。
また、上記第１及び第２の実施形態では、パラメータ受付部、学習率算出部、学習率設定部、学習部が、１台の情報処理装置１００において実現されるものとして説明したが、これらの各部は、複数台の情報処理装置において実現されてもよい。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
ニューラルネットワークを用いて学習処理を行う情報処理装置であって、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、連続曲線で変化する学習率を算出する算出部と、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する制御部と
を有する情報処理装置。
（付記２）
前記連続曲線の算出に用いるパラメータの入力を受け付ける受付部を更に有し、
前記算出部は、前記パラメータに基づいて前記連続曲線を算出する、付記１に記載の情報処理装置。
（付記３）
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最大値の中間値の時点から最低値に到達するまでの減衰の加速率と、
最終のｅｐｏｃｈでの学習率と、
が含まれる、付記２に記載の情報処理装置。
（付記４）
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最低値となるｅｐｏｃｈと、
最終のｅｐｏｃｈでの学習率と、
が含まれる、付記２に記載の情報処理装置。
（付記５）
ニューラルネットワークを用いて学習処理を行うコンピュータに、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、連続曲線で変化する学習率を算出し、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する、
処理を実行させるための情報処理プログラム。
（付記６）
ニューラルネットワークを用いて学習処理を行う情報処理装置の制御方法であって、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、連続曲線で変化する学習率を算出し、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する、
処理をコンピュータが実行する制御方法。
（付記１）
ニューラルネットワークを用いて学習処理を行う情報処理装置であって、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、連続曲線で変化する学習率を算出する算出部と、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する制御部と
を有する情報処理装置。
（付記２）
前記連続曲線の算出に用いるパラメータの入力を受け付ける受付部を更に有し、
前記算出部は、前記パラメータに基づいて前記連続曲線を算出する、付記１に記載の情報処理装置。
（付記３）
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最大値の中間値の時点から最低値に到達するまでの減衰の加速率と、
最終のｅｐｏｃｈでの学習率と、
が含まれる、付記２に記載の情報処理装置。
（付記４）
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最低値となるｅｐｏｃｈと、
最終のｅｐｏｃｈでの学習率と、
が含まれる、付記２に記載の情報処理装置。
（付記５）
ニューラルネットワークを用いて学習処理を行うコンピュータに、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、連続曲線で変化する学習率を算出し、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する、
処理を実行させるための情報処理プログラム。
（付記６）
ニューラルネットワークを用いて学習処理を行う情報処理装置の制御方法であって、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、連続曲線で変化する学習率を算出し、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する、
処理をコンピュータが実行する制御方法。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００ ：情報処理装置
１１０ ：パラメータ受付部
１２０ ：学習率算出部
１３０ ：学習率設定部
１４０ ：学習部
８１０ ：パラメータ受付部
８２０ ：学習率算出部
１１０ ：パラメータ受付部
１２０ ：学習率算出部
１３０ ：学習率設定部
１４０ ：学習部
８１０ ：パラメータ受付部
８２０ ：学習率算出部
Claims (6)
- ニューラルネットワークを用いて学習処理を行う情報処理装置であって、
連続曲線の算出に用いるパラメータの入力を受け付ける受付部と、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、前記パラメータに基づいて算出される連続曲線で変化する学習率を算出する算出部と、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する制御部と、を有し、
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最大値の中間値の時点から最低値に到達するまでの減衰の加速率と、
最終のｅｐｏｃｈでの学習率と、
が含まれる情報処理装置。 - ニューラルネットワークを用いて学習処理を行う情報処理装置であって、
連続曲線の算出に用いるパラメータの入力を受け付ける受付部と、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、前記パラメータに基づいて算出される連続曲線で変化する学習率を算出する算出部と、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する制御部と、を有し、
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最低値となるｅｐｏｃｈと、
最終のｅｐｏｃｈでの学習率と、
が含まれる情報処理装置。 - ニューラルネットワークを用いて学習処理を行うコンピュータに、
連続曲線の算出に用いるパラメータの入力を受け付け、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、前記パラメータに基づいて算出される連続曲線で変化する学習率を算出し、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する、処理を実行させ、
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最大値の中間値の時点から最低値に到達するまでの減衰の加速率と、
最終のｅｐｏｃｈでの学習率と、
が含まれる情報処理プログラム。 - ニューラルネットワークを用いて学習処理を行うコンピュータに、
連続曲線の算出に用いるパラメータの入力を受け付け、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、前記パラメータに基づいて算出される連続曲線で変化する学習率を算出し、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する、処理を実行させ、
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最低値となるｅｐｏｃｈと、
最終のｅｐｏｃｈでの学習率と、
が含まれる情報処理プログラム。 - ニューラルネットワークを用いて学習処理を行う情報処理装置の制御方法であって、
連続曲線の算出に用いるパラメータの入力を受け付け、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、前記パラメータに基づいて算出される連続曲線で変化する学習率を算出し、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する、処理をコンピュータが実行し、
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最大値の中間値の時点から最低値に到達するまでの減衰の加速率と、
最終のｅｐｏｃｈでの学習率と、
が含まれる制御方法。 - ニューラルネットワークを用いて学習処理を行う情報処理装置の制御方法であって、
連続曲線の算出に用いるパラメータの入力を受け付け、
学習率が最大値の中間値の時点から最低値に到達するまでの時間が、学習処理開始時から学習率が最大値の中間値に到達するまでの時間よりも短くなるように、前記パラメータに基づいて算出される連続曲線で変化する学習率を算出し、
前記連続曲線で変化する学習率に基づいて、更新処理において重みパラメータを更新する際の更新量を制御する、処理をコンピュータが実行し、
前記パラメータには、
前記学習率が最大値の中間値となるｅｐｏｃｈと、
ｅｐｏｃｈの乗数と、
前記学習率が最低値となるｅｐｏｃｈと、
最終のｅｐｏｃｈでの学習率と、
が含まれる制御方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019095469A JP7279507B2 (ja) | 2019-05-21 | 2019-05-21 | 情報処理装置、情報処理プログラム及び制御方法 |
| EP20169584.8A EP3742352A1 (en) | 2019-05-21 | 2020-04-15 | Information processing apparatus, control method, and information processing program |
| US16/852,611 US11455533B2 (en) | 2019-05-21 | 2020-04-20 | Information processing apparatus, control method, and non-transitory computer-readable storage medium for storing information processing program |
| CN202010363229.7A CN111985605A (zh) | 2019-05-21 | 2020-04-30 | 信息处理装置、控制方法和存储信息处理程序的存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019095469A JP7279507B2 (ja) | 2019-05-21 | 2019-05-21 | 情報処理装置、情報処理プログラム及び制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020190896A JP2020190896A (ja) | 2020-11-26 |
| JP7279507B2 true JP7279507B2 (ja) | 2023-05-23 |
Family
ID=70289667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019095469A Active JP7279507B2 (ja) | 2019-05-21 | 2019-05-21 | 情報処理装置、情報処理プログラム及び制御方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11455533B2 (ja) |
| EP (1) | EP3742352A1 (ja) |
| JP (1) | JP7279507B2 (ja) |
| CN (1) | CN111985605A (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7363748B2 (ja) | 2020-11-17 | 2023-10-18 | トヨタ自動車株式会社 | ハイブリッド車両の駆動装置 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3276035B2 (ja) * | 1994-09-02 | 2002-04-22 | 日本電信電話株式会社 | 神経回路網モデルの逐次型加速化学習方法 |
| JP6620439B2 (ja) | 2015-07-01 | 2019-12-18 | 株式会社リコー | 学習方法、プログラム及び学習装置 |
| JP6643905B2 (ja) | 2016-01-15 | 2020-02-12 | クラリオン株式会社 | 機械学習方法および機械学習装置 |
| CN106295637B (zh) * | 2016-07-29 | 2019-05-03 | 电子科技大学 | 一种基于深度学习与强化学习的车辆识别方法 |
| CN106815971B (zh) * | 2016-12-21 | 2019-11-26 | 西安工程大学 | 一种基于rbf神经网络的滑坡灾害预报方法 |
| US20190095794A1 (en) * | 2017-09-26 | 2019-03-28 | Intel Corporation | Methods and apparatus for training a neural network |
| CN107729992B (zh) * | 2017-10-27 | 2020-12-29 | 深圳市未来媒体技术研究院 | 一种基于反向传播的深度学习方法 |
| CN110033078B (zh) * | 2018-01-12 | 2024-01-12 | 华为技术有限公司 | 一种基于树状拓扑的计算系统及方法 |
| CN108881660B (zh) * | 2018-05-02 | 2021-03-02 | 北京大学 | 一种采用优化初始权重的量子神经网络压缩计算全息图的方法 |
| CN108805264B (zh) * | 2018-05-15 | 2021-08-31 | 哈尔滨理工大学 | 一种基于快速学习率的rbf评估舰载机出动能力的方法 |
| CN110795228B (zh) * | 2018-08-03 | 2023-08-25 | 伊姆西Ip控股有限责任公司 | 用于训练深度学习模型的方法和制品、以及计算系统 |
| WO2020046719A1 (en) * | 2018-08-31 | 2020-03-05 | D5Ai Llc | Self-supervised back propagation for deep learning |
| CN109325495B (zh) * | 2018-09-21 | 2022-04-26 | 南京邮电大学 | 一种基于深度神经网络建模的作物图像分割系统及方法 |
| US11061902B2 (en) * | 2018-10-18 | 2021-07-13 | Oracle International Corporation | Automated configuration parameter tuning for database performance |
| US11836600B2 (en) * | 2020-08-20 | 2023-12-05 | D5Ai Llc | Targeted incremental growth with continual learning in deep neural networks |
-
2019
- 2019-05-21 JP JP2019095469A patent/JP7279507B2/ja active Active
-
2020
- 2020-04-15 EP EP20169584.8A patent/EP3742352A1/en not_active Withdrawn
- 2020-04-20 US US16/852,611 patent/US11455533B2/en active Active
- 2020-04-30 CN CN202010363229.7A patent/CN111985605A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| 矢野 正基 外２名，"深層学習を用いた画像識別タスクの精度向上テクニック"，電子情報通信学会論文誌Ｄ 早期公開論文 ２０１８ＪＤＲ０００１ [online]，電子情報通信学会，2018年11月01日，pp.1-2,8-11，[平成30年11月29日 検索], インターネット:<URL:http://search.ieice.org/bin/pdf_advpub.php?category=D&lang=J&fname=2018JDR0001&abst=> <DOI:10.14923/transinfj.2018JDR0001> |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3742352A1 (en) | 2020-11-25 |
| US20200372347A1 (en) | 2020-11-26 |
| JP2020190896A (ja) | 2020-11-26 |
| CN111985605A (zh) | 2020-11-24 |
| US11455533B2 (en) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6965690B2 (ja) | ニューラルネットワークの処理速度を向上させるための装置及び方法、並びにその応用 | |
| CN112001491B (zh) | 针对处理器确定神经网络架构的搜索方法和装置 | |
| US11907679B2 (en) | Arithmetic operation device using a machine learning model, arithmetic operation method using a machine learning model, and training method of the machine learning model | |
| EP3828776A1 (en) | Program, learning method, and learning apparatus | |
| CN118569344A (zh) | 受存储器限制的神经网络训练 | |
| CN111898752B (zh) | 执行lstm神经网络运算的装置和方法 | |
| CN113888390A (zh) | 特征图处理方法、装置、电子设备和计算机可读介质 | |
| CN113496248A (zh) | 训练计算机实施的模型的方法和设备 | |
| JP7279507B2 (ja) | 情報処理装置、情報処理プログラム及び制御方法 | |
| US11886832B2 (en) | Operation device and operation method | |
| KR102883346B1 (ko) | 호스트 프로세서 및 가속기의 동작 방법 및 이들을 포함한 전자 장치 | |
| KR102833321B1 (ko) | 뉴럴 네트워크에서 컨볼루션 연산을 수행하는 방법 및 장치 | |
| CN115952835A (zh) | 数据处理方法、可读介质和电子设备 | |
| JP7326867B2 (ja) | 情報処理装置、情報処理プログラム及び情報処理方法 | |
| JP7436830B2 (ja) | 学習プログラム、学習方法、および学習装置 | |
| JP2019200657A (ja) | 演算装置及び演算装置の制御方法 | |
| WO2022009449A1 (ja) | 情報処理装置，情報処理方法および情報処理プログラム | |
| US20210089885A1 (en) | Training device and training method | |
| JP7700650B2 (ja) | モデル削減プログラム、装置、及び方法 | |
| EP4125001B1 (en) | Machine learning program, information processing device, and machine learning method | |
| JP2020003860A (ja) | 学習システム、処理装置、処理方法、およびプログラム | |
| JP7570584B1 (ja) | 近似量子フーリエ変換装置、近似量子フーリエ変換方法及び近似量子フーリエ変換プログラム | |
| CN117973468B (zh) | 基于存算架构的神经网络推理方法及相关设备 | |
| US20240346312A1 (en) | Electronic device and controlling method of electronic device | |
| US20250238666A1 (en) | Electronic device and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230424 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7279507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |