[go: up one dir, main page]

WO2020100393A1 - ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、およびニューラルネットワーク処理プログラム - Google Patents

ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、およびニューラルネットワーク処理プログラム Download PDF

Info

Publication number
WO2020100393A1
WO2020100393A1 PCT/JP2019/035493 JP2019035493W WO2020100393A1 WO 2020100393 A1 WO2020100393 A1 WO 2020100393A1 JP 2019035493 W JP2019035493 W JP 2019035493W WO 2020100393 A1 WO2020100393 A1 WO 2020100393A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
binary signal
value
memory
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/035493
Other languages
English (en)
French (fr)
Inventor
拓之 徳永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leap Mind Inc
Original Assignee
Leap Mind Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leap Mind Inc filed Critical Leap Mind Inc
Priority to JP2020504042A priority Critical patent/JP6885645B2/ja
Priority to US17/292,661 priority patent/US12282842B2/en
Publication of WO2020100393A1 publication Critical patent/WO2020100393A1/ja
Anticipated expiration legal-status Critical
Priority to US19/081,855 priority patent/US20250217636A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks

Definitions

  • the present invention relates to a neural network processing device, a neural network processing method, and a neural network processing program.
  • CNN Convolutional Neural Networks
  • FIG. 11 is a diagram showing a general CNN signal processing flow.
  • the CNN has an input layer, an intermediate layer, and an output layer (see Non-Patent Document 1, for example).
  • a convolution operation for multiplying an input signal by weight is performed.
  • ReLU Rectified Linear Units
  • pooling processing is performed in some cases.
  • the characteristics of the input signal extracted through the convolution operation are applied to the classifier consisting of the fully connected layer, and the classification result is output from the output layer.
  • the convolution operation is repeatedly performed.
  • the input value and weight of the input data used for CNN are expressed in, for example, a 32-bit floating point format and may include a decimal point.
  • the convolution operation of a conventional neural network such as CNN
  • the operation processing is performed in a form in which the number of digits of the operation result is secured.
  • Non-Patent Document 2 a CNN that binarizes an input signal of a neural network has been conventionally proposed (see Non-Patent Document 2).
  • the binarized neural network can speed up the process and reduce the memory usage.
  • the present invention has been made to solve the above-described problems, and provides a neural network processing technique capable of suppressing deterioration in accuracy of a neural network even when a binarized input signal is used.
  • the purpose is to provide.
  • a neural network processing apparatus includes a first memory that stores a value given to a neural network, a value given to the neural network, and a binary signal corresponding to the value.
  • a second memory that stores a table in which the two are associated with each other, a binary signal acquisition unit that refers to the table and acquires a binary signal corresponding to the value stored in the first memory, and the binary signal
  • a neural network operation unit that performs an operation of the neural network based on the binary signal acquired by the acquisition unit, and the binary signal has an accuracy matched to the operation accuracy of the neural network set in advance. It is characterized by having.
  • a neural network processing program includes a first step of causing a computer to store a value given to a neural network in a first memory, a value given to the neural network, and A second step of storing a table in which a binary signal corresponding to a value is associated with each other in a second memory, and referring to the table, obtaining a binary signal corresponding to the value stored in the first memory.
  • the third step and the fourth step of performing the calculation of the neural network based on the binary signal acquired in the third step are executed, and the binary signal is stored in the preset neural network. It is characterized in that it has an accuracy that matches the calculation accuracy.
  • the value given to the neural network and the binary signal corresponding to the value are referred to, and the binary signal having the accuracy matched with the calculation accuracy of the preset neural network is determined. Since it is acquired, even when a binarized input signal is used, deterioration of the accuracy of the neural network can be suppressed.
  • the “value” given to the CNN is, for example, an “input signal” such as image data described later, and the case of acquiring a binary signal corresponding to such an input signal will be described as an example. explain.
  • the CNN processing device 1 described above includes an input buffer (first memory) 10, a weight buffer 11, a storage unit (second memory) 12, a binary signal acquisition unit 13, a convolution operation unit (neural network operation unit) 14, and an output.
  • a buffer 15 is provided.
  • the input buffer 10 is a memory that stores an input signal given to the CNN. More specifically, the input buffer 10 is realized by a main storage device 103 described later, and the input buffer 10 stores, for example, image data given from the outside.
  • the input signal provided to the input buffer 10 may be image data pre-processed in advance. Examples of preprocessing include monochrome conversion, contrast adjustment, and brightness adjustment. Further, the input signal may be reduced to have a bit depth set in the CNN processing device 1 according to a CNN model set in advance.
  • the weight buffer 11 is a memory that stores the weight of CNN. More specifically, the weight buffer 11 is realized by a main storage device 103 described later, and the weight buffer 11 is stored in advance in a server (not shown) installed outside the CNN processing device 1, a storage unit 12, or the like. CNN weighting parameters are loaded. As the value of the weight, for example, a 1-bit representation value that has been binarized in advance is used (for example, see Non-Patent Document 2).
  • the storage unit 12 stores a table 120 in which a value given to CNN and a binary signal corresponding to the value are associated with each other.
  • the binary signal has a precision that matches the preset CNN computation precision.
  • this binary signal is a binary signal in which the input signal given to the CNN is replaced with a code containing the amount of information required for the CNN to obtain a desired accuracy. Therefore, the binary signal mentioned here is a signal containing a larger amount of information than the original input signal.
  • the binary signal acquisition unit 13 refers to the table 120 and acquires the binary signal corresponding to the input signal stored in the input buffer 10.
  • the convolution operation unit 14 performs a convolution operation based on the binary signal acquired by the binary signal acquisition unit 13. More specifically, the convolution operation unit 14 performs a convolution operation based on a binary signal corresponding to an input signal such as image data and the pre-binarized weight read from the weight buffer 11.
  • Both the input signal and the weight input to the convolution operation unit 14 are binarized signals. Therefore, the convolution operation executed by the convolution operation unit 14 does not require a multiplication process, and the result of the convolution operation can be obtained by each bit operation process of negative exclusive OR (XNOR), subtraction, and bit shift.
  • XNOR negative exclusive OR
  • the details of the calculation processing by the convolution calculation unit 14 will be described later.
  • the output buffer 15 is a memory that temporarily stores the calculation result of the convolution calculation unit 14.
  • the CNN processing device 1 is, for example, a computer including a processor 102, a main storage device 103, a communication interface 104, an auxiliary storage device 105, and an input / output device 106, which are connected via a bus 101, and these. Can be realized by a program that controls the hardware resources of
  • a program for the processor 102 to perform various controls and calculations is stored in the main storage device 103 in advance.
  • the functions of the CNN processing device 1 including the binary signal acquisition unit 13 and the convolution operation unit 14 illustrated in FIG. 1 are realized by the processor 102 and the main storage device 103.
  • the main storage device 103 realizes the input buffer 10, the weight buffer 11, and the output buffer 15 described in FIG.
  • the auxiliary storage device 105 is composed of a readable / writable storage medium and a drive device for reading / writing various information such as programs and data from / to the storage medium.
  • a semiconductor memory such as a hard disk or a flash memory can be used as a storage medium.
  • the auxiliary storage device 105 has a storage area for storing input signals and weights obtained from the outside, and a program storage area for storing a program for the CNN processing device 1 to perform CNN arithmetic processing such as convolution arithmetic.
  • the storage unit 12 described in FIG. 1 is realized by the auxiliary storage device 105. Further, for example, it may have a backup area for backing up the above-mentioned data and programs.
  • the input / output device 106 is configured by an I / O terminal that inputs a signal from an external device and outputs a signal to the external device.
  • a display device (not shown) or the like may be provided via the input / output device 106 to display the calculation result output by the CNN processing device 1.
  • CNN processing method Next, the operation of the CNN processing device 1 having the above configuration will be described with reference to FIG. As a premise, it is assumed that the storage unit 12 stores a table 120 in advance. Further, in the following description, it is assumed that the binary signal corresponding to the weight is stored in the storage unit 12 in advance.
  • the binary signal acquisition unit 13 refers to the table 120 for the input signal “131” and refers to the 12 bits stored in the input address “131”, for example.
  • the binary signal of width “101010111001” is acquired.
  • the table 120 stores the binary signal corresponding to the value of the range [0, 255] that the value of the input signal can take.
  • the binary signal “101010111001” corresponding to the input signal is a signal including a larger amount of information than the input signal “131”.
  • Step S4 the binary signal corresponding to the input signal acquired by the binary signal acquisition unit 13 and the binary signal of the weight read from the weight buffer 11 are input to the convolution operation unit 14, and the convolution operation is performed.
  • a binary signal A ′ of an input signal having a 12-bit width and a binary signal U ′ having a 1-bit weight are input to a negative exclusive logical sum (XNOR) circuit, and these binary values are input.
  • the NOT exclusive OR of the signals A'and U' is calculated.
  • the output of the XNOR circuit is input to the bit count circuit.
  • the output of the convolution operation obtained by performing the iterative convolution operation in the convolution layer of CNN is input as the output of the feature extraction unit of CNN to the full connection layer that constitutes the subsequent classifier (not shown), The image data of the input signal A and the like are discriminated.
  • the binary signal acquisition unit 13 refers to the table 120, and calculates the preset CNN calculation accuracy corresponding to the input signal. Acquire a binary signal having an accuracy matching with. Further, the CNN processing device 1 performs a convolution operation based on the acquired binary signal. Therefore, even when the binarized input signal is used, it is possible to suppress the deterioration of the accuracy of CNN.
  • the input signal stored in the input buffer 10 is, for example, a relatively long integer type or a value including a decimal point
  • the input signal is set to the address of the table 120. Convert to the same data type, size, and range of values as the value, and then obtain the binary signal.
  • the configuration different from that of the first embodiment will be mainly described.
  • the CNN processing device 1A according to the second embodiment further includes a conversion unit 16.
  • the other configuration of the CNN processing device 1A is the same as that of the first embodiment.
  • the conversion unit 16 converts the data type and size of the input signal stored in the input buffer 10 into the data type and size of the address value in the table 120, and outputs the data.
  • the conversion unit 16 when the input signal is an unsigned 16-bit integer type (value range [0,65535]), the conversion unit 16 outputs an unsigned 8-bit integer type (value range: [0 , 255]) and output.
  • the binary signal acquisition unit 13 acquires a binary signal corresponding to the value output by the conversion unit 16.
  • CNN processing method Next, the CNN processing method according to the present embodiment will be described with reference to FIG. As a premise, it is assumed that the table 120 is stored in the storage unit 12 in advance. Further, in the following description, regarding the weight, it is assumed that the corresponding binary signal is stored in the storage unit 12 in advance.
  • the input buffer 10 temporarily stores the input signal A given from a server or the like installed outside the CNN processing device 1 (step S10).
  • the input signal A is represented by an unsigned 16-bit integer type (uint16) and is a signal in the range of values [0,65535].
  • the conversion unit 16 reads the input signal A from the input buffer 10 and outputs a value obtained by converting the data type and size of the input signal A into the data type and size of the address value of the table 120 (step S11).
  • the unsigned 16-bit integer type (uint16) input signal A is converted into an unsigned 8-bit integer type (uint8) value.
  • the output obtained by the repeated convolution operation in the CNN convolutional layer is input to the fully connected layer that constitutes the subsequent classifier (not shown) as the output of the CNN feature extraction unit, and the input signal The image data of A and the like are discriminated.
  • the input signal is converted into the same data type and size as the data type and size of the address value of the table 120, and then the corresponding binary value is converted. Get the signal. Therefore, even if an input signal including a relatively long integer type or a decimal number is given to the CNN, a binary signal including a larger amount of information can be obtained, and thus deterioration of the accuracy of the CNN is suppressed. be able to.
  • the storage unit 12 stores one table 120 has been described.
  • the storage unit 12 includes a plurality of tables 120B.
  • Each of the plurality of tables 120B stores a binary signal corresponding to each value of the range that the input signal can take. Further, the amount of information included in the binary signal stored in the plurality of tables 120B differs for each table 120B. For example, when the input signal is an unsigned 8-bit integer type, the binary signal “1010101110” associated with each value in the range [0,255], for example, the value “131” and the value “10010101110” in another table 120B.
  • the binary signal "110110011110" associated with "131” is a binary signal having different accuracy.
  • one table 120B stores a binary signal containing a predetermined amount of information in the range [0, 100], and another table 120B stores the binary signal.
  • a binary signal containing an information amount different from the binary signal in the range [0,100] in the range [101,255] can be stored.
  • the table selection unit 17 for example, according to the input signal stored in the input buffer 10, from among the plurality of tables 120B, based on a reference regarding the accuracy of the binary signal that is set in advance to the operation accuracy of the CNN. , One table 120B is selected. For example, consider a case where each of red R, green G, and blue B is represented by an unsigned 8-bit integer type (value range [0, 255]) pixel value as an input signal of image data. When increasing the brightness of the image data, a table to be applied can be set in advance for the set value range of the input signal.
  • the binary signal acquisition unit 13 refers to the table 120B corresponding to the table information from the table selection unit 17, and acquires the binary signal corresponding to the input signal.
  • CNN processing method Next, the operation of the CNN processing device 1B having the above configuration will be described with reference to FIG. As a premise, it is assumed that the storage unit 12 stores a plurality of tables 120B in advance. Further, in the following description, regarding the weight, it is assumed that the corresponding binary signal is stored in the storage unit 12 in advance.
  • the input buffer 10 temporarily stores the input signal A given from a server or the like installed outside the CNN processing device 1B (step S20).
  • the input signal A is a signal represented by an unsigned 8-bit integer type (uint8).
  • the table selection unit 17 reads the input signal A from the input buffer 10 and selects one table 120B from the plurality of tables 120B according to the value of the input signal A (step S21). For example, when the value of the input signal A is “45”, the table selection unit 17 selects LUT1. When the value of the input signal A is in the range of [101, 255], the table selection unit 17 selects LUT2.
  • the binary signal stored in the LUT1 and the binary signal stored in the LUT2 are, for example, signals expanded to have different bit numbers from each other. In the example of FIG. 7, the LUT1 stores a 10-bit binary signal, and the LUT2 stores a 12-bit binary signal.
  • the binary signal acquisition unit 13 refers to the table 120B (LUT1 or LUT2) selected by the table selection unit 17, and acquires the binary signal A'corresponding to the input signal A (step S22). After that, the binary signal U ′ of the weight stored in the storage unit 12 is transferred to the weight buffer 11 (step S23).
  • the binary signal A ′ of the input signal A and the binary signal U ′ of the weight are input to the convolution operation unit 14 and the convolution operation is performed (step S24).
  • the convolution operation unit 14 calculates, for example, a negative exclusive logical sum (XNOR) of the binary signals A ′ and U ′ of the input signal and the weight, and performs a bit count (popcnt) to obtain an operation result of the convolution operation.
  • the output obtained by repeatedly performing the convolution operation in the convolution layer of CNN is input as the output of the feature extraction unit of CNN to the fully connected layer that constitutes the subsequent classifier (not shown), and the input signal A
  • the output signal A The image data and the like are determined.
  • a plurality of tables 120B are prepared in the storage unit 12, and the tables 120B are selected according to the value of the input signal to be acquired.
  • the amount of information contained in the binary signal can be adjusted.
  • the plurality of tables 120C are provided at least for each data type and size of the input signal value given to the CNN.
  • the plurality of tables 120C are tables that store binary signals corresponding to unsigned 8-bit integer type input signals and tables that store binary signals corresponding to unsigned 6-bit integer type input signals. Composed of etc.
  • the binary signals stored in the plurality of tables are signals expanded so as to have different amounts of information.
  • the binary signal corresponding to the unsigned 8-bit integer type input signal may include a larger amount of information as compared with the binary signal corresponding to the unsigned 6-bit integer type input signal. it can.
  • the conversion unit 16 converts the data type and size of the input signal based on the determination result of the determination unit 18. For example, as shown in FIG. 9, let us consider a case where the input signal A2 of the unsigned 8-bit integer type input signals A1, A2, A3 is a signal indicating specific information (for example, a pixel value of green G). .. In this case, since the input signals A1 and A3 other than the input signal A2 are relatively low in importance or have a small amount of information, the conversion unit 16 sets the data types and sizes (uint8) of the input signals A1 and A3 to unsigned. Convert to 6-bit integer type (uint6).
  • the conversion unit 16 converts the data type and size of the input signal A based on the determination result of the determination unit 18 (step S32). More specifically, as shown in FIG. 9, the conversion unit 16 has a small amount of information or a relatively low degree of importance for input signals A1 and A3 other than the input signal A2 indicating specific information.
  • the data type and size are converted from an unsigned 8-bit integer type (uint8) to an unsigned 6-bit integer type (uint6).
  • the input signal A2 indicating specific information is maintained as an unsigned 8-bit integer type.
  • the table selection unit 17 selects a table that matches the data type and size of the input signal A ′′ converted by the conversion unit 16 from the plurality of tables 120C stored in the storage unit 12 (step S33). Specifically, the table selection unit 17 selects the LUT3 for the input signals A1 ′′ and A3 ′′ converted into the unsigned 6-bit integer type (uint6), and the unsigned 8-bit integer type (uint8). The LUT4 is selected for the signal A2 which remains the data type.
  • the binary signal U ′ of the weight stored in the storage unit 12 is transferred to the weight buffer 11 (step S35).
  • the binary signal acquisition process according to the described embodiment is applied to at least one layer of the multilayer CNN to suppress a decrease in the accuracy of the CNN, reduce the calculation load in the CNN, and increase the processing speed. Can be realized. Therefore, the effect of the present invention can be obtained with a simpler configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

ＣＮＮ処理装置（１）は、ＣＮＮに与えられる入力信号を記憶する入力バッファ（１０）と、ＣＮＮに与えられる入力信号と、入力信号の値に対応する二値信号とを互いに関連付けたテーブル（１２０）を記憶する記憶部（１２）と、テーブル（１２０）を参照して入力バッファ（１０）に記憶された入力信号の値に対応する二値信号を取得する二値信号取得部（１３）と、二値信号取得部（１３）によって取得された二値信号に基づいて、ＣＮＮの演算を行う畳み込み演算部（１４）とを備え、二値信号は、予め設定されたＣＮＮの演算精度に合わせた精度を有する。

Description

ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、およびニューラルネットワーク処理プログラム
　本発明は、ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、およびニューラルネットワーク処理プログラムに関する。
　近年、画像を複数のカテゴリに分類するためのディープニューラルネットワークとして、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ：ＣＮＮ）が注目されている。ＣＮＮは、ディープニューラルネットワークにおいて畳み込み層を有することを特徴とする。
　図１１は、一般的なＣＮＮの信号処理のフローを示す図である。ＣＮＮは、入力層、中間層、および出力層を有する（例えば、非特許文献１参照）。中間層においては、入力信号に重みを掛け合わせる畳み込み演算が行われている。さらに、中間層での畳み込み演算の結果に対して、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔｓ）が適用され、各中間層の出力が決定される。また、場合によってはプーリング処理が行われる。
　畳み込み演算を介して抽出された入力信号の特徴は、全結合層からなる分類器にかけられ、分類結果が出力層から出力される。このように、ＣＮＮなどのニューラルネットワークにおいては、畳み込み演算が繰り返し行われていることがその特徴の１つとして挙げられる。
　ここで、ＣＮＮに用いられる入力データの入力値や重みは、例えば、３２ビット浮動小数点形式などで表現され、小数点を含む場合があるが、従来のＣＮＮなどのニューラルネットワークの畳み込み演算においては、図１１の「入力信号」、「重み」、および「畳み込み演算」の各値に示すように、演算結果の桁数を確保した形での演算処理が行われている。
　しかし、従来のＣＮＮなどのニューラルネットワークをＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やマイコンなどの組み込み用のハードウェアで実装する場合、計算リソースに制限があるため、桁数の多い多数の入力値に対する多数の演算処理による処理速度の低下が課題となっていた。
　このような課題に対して、従来から、ニューラルネットワークの入力信号を二値化したＣＮＮが提案されている（非特許文献２参照）。二値化されたニューラルネットワークにより、処理の高速化やメモリ使用量の削減が可能となる。
麻生英樹　他、「Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ　深層学習」近代科学社、２０１５年１１月 Ｍｏｈａｍｍａｄ　Ｒａｓｔｅｇａｒｉ，Ｖｉｃｅｎｔｅ　Ｏｒｄｏｎｅｚ，Ｊｏｓｅｐｈ　Ｒｅｄｍｏｎ，ａｎｄ　Ａｌｉ　Ｆａｒｈａｄｉ．Ｘｎｏｒ－ｎｅｔ：Ｉｍａｇｅｎｅｔ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｕｓｉｎｇ　ｂｉｎａｒｙ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ．Ｉｎ　Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，ｐａｇｅｓ　５２５－５４２．Ｓｐｒｉｎｇｅｒ，２０１６．
　しかし、従来の二値化した入力信号を用いるニューラルネットワークでは、特に、多層ニューラルネットワークの第一層において入力信号を直接二値化することによってネットワークの精度が劣化することが問題となっていた。
　本発明は、上述した課題を解決するためになされたものであり、二値化した入力信号を用いた場合であっても、ニューラルネットワークの精度の劣化を抑制することができるニューラルネットワーク処理技術を提供することを目的とする。
　上述した課題を解決するために、本発明に係るニューラルネットワーク処理装置は、ニューラルネットワークに与えられる値を記憶する第１メモリと、前記ニューラルネットワークに与えられる値と、その値に対応する二値信号とを互いに関連付けたテーブルを記憶する第２メモリと、前記テーブルを参照して前記第１メモリに記憶された前記値に対応する二値信号を取得する二値信号取得部と、前記二値信号取得部によって取得された前記二値信号に基づいて、前記ニューラルネットワークの演算を行うニューラルネットワーク演算部とを備え、前記二値信号は、予め設定された前記ニューラルネットワークの演算精度に合わせた精度を有することを特徴とする。
　上述した課題を解決するために、本発明に係るニューラルネットワーク処理方法は、ニューラルネットワークに与えられる値を第１メモリに記憶する第１ステップと、前記ニューラルネットワークに与えられる値と、その値に対応する二値信号とを互いに関連付けたテーブルを第２メモリに記憶する第２ステップと、前記テーブルを参照して前記第１メモリに記憶された前記値に対応する二値信号を取得する第３ステップと、前記第３ステップで取得した前記二値信号に基づいて、前記ニューラルネットワークの演算を行う第４ステップと、を備え、前記二値信号は、予め設定された前記ニューラルネットワークの演算精度に合わせた精度を有することを特徴とする。
　上述した課題を解決するために、本発明に係るニューラルネットワーク処理プログラムは、コンピュータに、ニューラルネットワークに与えられる値を第１メモリに記憶する第１ステップと、前記ニューラルネットワークに与えられる値と、その値に対応する二値信号とを互いに関連付けたテーブルを第２メモリに記憶する第２ステップと、前記テーブルを参照して前記第１メモリに記憶された前記値に対応する二値信号を取得する第３ステップと、前記第３ステップで取得した前記二値信号に基づいて、前記ニューラルネットワークの演算を行う第４ステップと、を実行させ、前記二値信号は、予め設定された前記ニューラルネットワークの演算精度に合わせた精度を有することを特徴とする。
　本発明によれば、ニューラルネットワークに与えられる値と、その値に対応する二値信号とを関連付けたテーブルを参照し、予め設定されたニューラルネットワークの演算精度に合わせた精度を有する二値信号を取得するので、二値化した入力信号を用いた場合であっても、ニューラルネットワークの精度の劣化を抑制することができる。
図１は、本発明の第１の実施の形態に係るＣＮＮ処理装置の機能を示すブロック図である。 図２は、第１の実施の形態に係るＣＮＮ処理装置のハードウェア構成を示すブロック図である。 図３は、第１の実施の形態に係るＣＮＮ処理方法のフローを説明するための図である。 図４は、第２の実施の形態に係るＣＮＮ処理装置の機能を示すブロック図である。 図５は、第２の実施の形態に係るＣＮＮ処理方法のフローを説明するための図である。 図６は、第３の実施の形態に係るＣＮＮ処理装置の機能を示すブロック図である。 図７は、第３の実施の形態に係るＣＮＮ処理方法のフローを説明するための図である。 図８は、第４の実施の形態に係るＣＮＮ処理装置の機能を示すブロック図である。 図９は、第４の実施の形態に係る判定処理を説明するための図である。 図１０は、第４の実施の形態に係るＣＮＮ処理方法のフローを説明するための図である。 図１１は、従来のＣＮＮの演算処理を説明するための図である。
　以下、本発明の好適な実施の形態について、図１から図１０を参照して詳細に説明する。
　［第１の実施の形態］
　本発明に係るニューラルネットワーク処理装置は、ニューラルネットワークとしてＣＮＮを用いたＣＮＮ処理装置１である。
　本実施の形態に係るＣＮＮ処理装置１は、ＣＮＮに与えられる値に対して二値信号を取得して、その二値信号に基づいて畳み込み演算を行う演算処理装置である。ＣＮＮ処理装置１は、さらに畳み込み演算の結果に対して活性化関数を適用してＣＮＮの中間層を構成する一層分の畳み込み層の出力を決定する。また、活性化関数の出力は必要に応じてプーリング処理される。こうして得られた畳み込み層の出力は、後続の畳み込み層の入力信号として用いられる。
　なお、以下においては、ＣＮＮに与えられる「値」は、例えば、後述の画像データなどの「入力信号」であり、このような入力信号に対応する二値信号を取得する場合を例に挙げて説明する。
　［ＣＮＮ処理装置の機能ブロック］
　上述したＣＮＮ処理装置１は、入力バッファ（第１メモリ）１０、重みバッファ１１、記憶部（第２メモリ）１２、二値信号取得部１３、畳み込み演算部（ニューラルネットワーク演算部）１４、および出力バッファ１５を備える。
　入力バッファ１０は、ＣＮＮに与えられる入力信号を記憶するメモリである。より詳細には、入力バッファ１０は、後述する主記憶装置１０３によって実現され、この入力バッファ１０には、例えば、外部から与えられた画像データなどが記憶される。入力バッファ１０に与えられる入力信号は、予め前処理を行った画像データであってもよい。前処理の例としては、モノクロ変換、コントラスト調整、および輝度調整などが挙げられる。また、入力信号は、ＣＮＮ処理装置１において予め設定されているＣＮＮモデルに応じて設定されたビット深度となるように縮小されていてもよい。
　入力バッファ１０に与えられる入力信号の値としては、例えば、３２ビットや１６ビット精度の浮動小数点の配列で表現された小数点を含む値や、これらの値を予め設定されたビット数表現に削減した値が用いられる。予め設定されたビット数表現としては、例えば、符号付き、または符号なし１６ビットや８ビット整数型など任意の大きさを持つデータ型を用いることができる。
　重みバッファ１１は、ＣＮＮの重みを記憶するメモリである。より詳細には、重みバッファ１１は、後述する主記憶装置１０３によって実現され、重みバッファ１１には、ＣＮＮ処理装置１の外部に設置されたサーバ（図示しない）や記憶部１２などに予め記憶されているＣＮＮの重みパラメータがロードされる。重みの値としては、例えば、予め二値化された１ビット表現の値が用いられる（例えば、非特許文献２参照）。
　記憶部１２は、ＣＮＮに与えられる値と、その値に対応する二値信号とを関連付けたテーブル１２０を記憶する。二値信号は、予め設定されたＣＮＮの演算精度に合わせた精度を有する。例えば、この二値信号は、ＣＮＮに与えられる入力信号を、ＣＮＮが所望の精度を得るために必要とされる情報量が含まれるコードに置き換えた二値表現の信号である。したがって、ここでいう二値信号は、元の入力信号よりも多くの情報量を含む信号である。
　テーブル１２０は、例えば、Ｌｏｏｋ　Ｕｐ　Ｔａｂｌｅ（ＬＵＴ）などのデータ構造を有し、入力信号の入力値のアドレスに格納されている二値信号を出力する。例えば、入力信号が符号なし８ビット整数型（ｕｉｎｔ８）で表現される場合、入力信号のとり得る範囲［０，２５５］の値のそれぞれに対応する二値信号がテーブル１２０に格納されている。
　二値信号取得部１３は、テーブル１２０を参照して、入力バッファ１０に記憶されている入力信号に対応する二値信号を取得する。
　畳み込み演算部１４は、二値信号取得部１３によって取得された二値信号に基づいて畳み込み演算を行う。より詳細には、畳み込み演算部１４は、画像データなどの入力信号に対応する二値信号と、重みバッファ１１から読み出した予め二値化された重みとに基づいて畳み込み演算を行う。
　畳み込み演算部１４に入力される入力信号および重みはともに二値化された信号である。したがって、畳み込み演算部１４が実行する畳み込み演算は、乗算処理を必要とせず、否定排他的論理和（ＸＮＯＲ）、減算、およびビットシフトの各ビット演算処理によって畳み込み演算の結果を得ることができる。畳み込み演算部１４による演算処理の詳細は後述する。
　出力バッファ１５は畳み込み演算部１４による演算結果を一時的に記憶するメモリである。
　［ＣＮＮ処理装置のハードウェア構成］
　次に、上述した機能を有するＣＮＮ処理装置１のハードウェア構成の例について図２のブロック図を用いて説明する。
　図２に示すように、ＣＮＮ処理装置１は、例えば、バス１０１を介して接続されるプロセッサ１０２、主記憶装置１０３、通信インターフェース１０４、補助記憶装置１０５、入出力装置１０６を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。
　主記憶装置１０３には、プロセッサ１０２が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ１０２と主記憶装置１０３とによって、図１に示した二値信号取得部１３および畳み込み演算部１４を含むＣＮＮ処理装置１の各機能が実現される。
　主記憶装置１０３によって、図１で説明した入力バッファ１０、重みバッファ１１、および出力バッファ１５が実現される。
　通信インターフェース１０４は、通信ネットワークＮＷを介して各種外部電子機器との通信を行うためのインターフェース回路である。通信インターフェース１０４を介して、ＣＮＮ処理装置１が用いる画像データなどの入力信号や、重みを、外部のサーバなどから受信してもよい。また、通信インターフェース１０４を介して、外部のサーバなどから記憶部１２にテーブル１２０を受信してもよい。
　補助記憶装置１０５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置１０５には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。
　補助記憶装置１０５は、外部から取得された入力信号や重みを記憶する記憶領域や、ＣＮＮ処理装置１が畳み込み演算などのＣＮＮの演算処理を行うためのプログラムを格納するプログラム格納領域を有する。補助記憶装置１０５によって、図１で説明した記憶部１２が実現される。さらには、例えば、上述したデータやプログラムやなどをバックアップするためのバックアップ領域などを有していてもよい。
　入出力装置１０６は、外部機器からの信号を入力したり、外部機器へ信号を出力したりするＩ／Ｏ端子により構成される。入出力装置１０６を介して、図示しない表示装置などを備えて、ＣＮＮ処理装置１によって出力される演算結果などを表示してもよい。
　ここで、補助記憶装置１０５のプログラム格納領域に格納されているプログラムは、本明細書で説明するＣＮＮ処理方法の順序に沿って時系列に処理が行われるプログラムであってもよく、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであってもよい。また、プログラムは、１つのコンピュータにより処理されるものでもよく、複数のコンピュータによって分散処理されるものであってもよい。
　［ＣＮＮ処理方法］
　次に、上述した構成を有するＣＮＮ処理装置１の動作について図３を参照して説明する。前提として、記憶部１２には予めテーブル１２０が記憶されているものとする。また、以下の説明において、重みについては対応する二値信号が予め記憶部１２に記憶されているものとする。
　まず、入力バッファ１０は、ＣＮＮ処理装置１の外部に設置されたサーバなどから与えられた入力信号Ａを一時的に記憶する（ステップＳ１）。例えば、入力信号Ａは、符号なし８ビット整数型（ｕｉｎｔ８）で表され、値の範囲が［０，２５５］の信号である。
　次に、二値信号取得部１３は、入力バッファ１０から入力信号を読み出し、テーブル１２０を参照し、入力信号に対応する二値信号を取得する（ステップＳ２）。
　具体的には、図３に示すように、二値信号取得部１３は、例えば、入力信号「１３１」に対して、テーブル１２０を参照して、入力アドレス「１３１」に格納されている１２ビット幅の二値信号「１０１０１０１１１００１」を取得する。また、前述したように、テーブル１２０には、入力信号の値がとり得る範囲［０，２５５］の値に対応する二値信号が格納されている。また、入力信号に対応する二値信号「１０１０１０１１１００１」は、入力信号「１３１」よりも多くの情報量を含む信号である。
　その後、記憶部１２に記憶されている重みの二値信号Ｕ’が重みバッファ１１に転送される（ステップＳ３）。より具体的には、重みＵ’は「０」または「１」の１ビットで表現される信号である。
　次に、二値信号取得部１３によって取得された入力信号に対応する二値信号、および重みバッファ１１から読み出された重みの二値信号は、畳み込み演算部１４に入力され、畳み込み演算が行われる（ステップＳ４）。例えば、畳み込み演算部１４において、１２ビット幅の入力信号の二値信号Ａ’、および１ビットの重みの二値信号Ｕ’は否定排他的論理和（ＸＮＯＲ）回路に入力され、これらの二値信号Ａ’、Ｕ’の否定排他的論理和が演算される。ＸＮＯＲ回路の出力は、ビットカウント回路に入力される。
　その後、ＸＮＯＲ回路の出力はビットカウンタ（ｐｏｐｕｌａｔｉｏｎ　ｃｏｕｎｔ：ｐｏｐｃｎｔ）によって有効ビット値「１」の数がカウントされる。
　一方、１２ビット幅の重みの二値信号Ｕ’はインバータ（ＮＯＴ）において反転されて、その後、ビットカウンタ（ｐｏｐｃｎｔ）によって有効ビット値「１」の数がカウントされる。その後ビットカウント回路は、それぞれのビットカウンタからの出力の差分を計算して出力する。
　次に、ビットシフト回路は、減算回路から出力された差分を上位ビット側にシフトしたシフト値を計算して出力する。その後、減算回路は、ビットシフト回路から出力されたシフト値を合算し、得られた合算結果を畳み込み演算の結果として出力する。
　その後、畳み込み演算の結果に対して、ＲｅＬＵなどの活性化関数が適用され、畳み込み層の出力が決定される（ステップＳ５）。さらに、必要に応じてよく知られたプーリング処理が行われ（非特許文献１参照）、得られた出力信号は一層分の畳み込み層の演算結果として出力バッファ１５に記憶される（ステップＳ７）。なお、出力バッファ１５に記憶された出力信号は、後続の畳み込み層の入力信号として用いられる。
　このように、ＣＮＮの畳み込み層において繰り返し畳み込み演算が行われて得られた畳み込み演算の出力は、ＣＮＮの特徴抽出部の出力として、後続の図示しない分類器を構成する全結合層に入力され、入力信号Ａの画像データなどの判別が行われる。
　以上説明したように、第１の実施の形態に係るＣＮＮ処理装置１によれば、二値信号取得部１３がテーブル１２０を参照して、入力信号に対応する、予め設定されたＣＮＮの演算精度に一致した精度を有する二値信号を取得する。また、ＣＮＮ処理装置１は、取得された二値信号に基づいて畳み込み演算を行う。そのため、二値化した入力信号を用いた場合であっても、ＣＮＮの精度の劣化を抑制することができる。
　［第２の実施の形態］
　次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
　第１の実施の形態では、二値信号取得部１３は、入力バッファ１０から読み出した入力信号のデータ型、サイズおよび値の範囲がテーブル１２０のアドレス値と一致する場合について説明した。これに対し、第２の実施の形態では、入力バッファ１０に記憶されている入力信号が、例えば、比較的長い整数型や、小数点を含む値である場合に、入力信号を、テーブル１２０のアドレス値と同じデータ型、サイズおよび値の範囲の値に変換してから二値信号を取得する。以下、第１の実施の形態と異なる構成を中心に説明する。
　図４に示すように、第２の実施の形態に係るＣＮＮ処理装置１Ａは、変換部１６をさらに備える。ＣＮＮ処理装置１Ａが備える他の構成は、第１の実施の形態と同様である。
　変換部１６は、入力バッファ１０に記憶されている入力信号のデータ型およびサイズを、テーブル１２０のアドレス値のデータ型およびサイズに変換して出力する。
　例えば、変換部１６は、入力信号が符号なし１６ビット整数型（値の範囲［０，６５５３５］）である場合に、テーブル１２０のアドレス値の符号なし８ビット整数型（値の範囲：［０，２５５］）に変換して出力する。
　二値信号取得部１３は、変換部１６によって出力された値に対応する二値信号を取得する。
　［ＣＮＮ処理方法］
　次に、本実施の形態に係るＣＮＮ処理方法について図５を参照して説明する。
　なお、前提として、記憶部１２には予めテーブル１２０が記憶されているものとする。また、以下の説明において、重みについては、対応する二値信号が予め記憶部１２に記憶されているものとする。
　まず、入力バッファ１０は、ＣＮＮ処理装置１の外部に設置されたサーバなどから与えられた入力信号Ａを一時的に記憶する（ステップＳ１０）。例えば、入力信号Ａは、符号なし１６ビット整数型（ｕｉｎｔ１６）で表され、値の範囲［０，６５５３５］の信号である。
　次に、変換部１６は、入力バッファ１０から入力信号Ａを読み出し、入力信号Ａのデータ型およびサイズを、テーブル１２０のアドレス値のデータ型およびサイズに変換した値を出力する（ステップＳ１１）。例えば、符号なし１６ビット整数型（ｕｉｎｔ１６）の入力信号Ａを符号なし８ビット整数型（ｕｉｎｔ８）の値に変換する。
　次に、二値信号取得部１３は、テーブル１２０を参照し、変換部１６から出力された変換後の入力信号ａに対応する二値信号Ａ’をそれぞれ取得する（ステップＳ１２）。
　その後、記憶部１２に記憶されている重みの二値信号Ｕ’が重みバッファ１１に転送される（ステップＳ１３）。より具体的には、重みＵ’は「０」または「１」の１ビットで表現される信号である。
　次に、二値信号取得部１３によって取得された入力信号に対応する二値信号Ａ’、および重みバッファ１１から読み出された重みの二値信号Ｕ’は、畳み込み演算部１４に入力され、畳み込み演算が行われる（ステップＳ１４）。畳み込み演算部１４は、例えば、入力信号および重みの二値信号Ａ’、Ｕ’の否定排他的論理和（ＸＮＯＲ）を演算し、ビットカウント（ｐｏｐｃｎｔ）を行って畳み込み演算の演算結果を求めることができる。
　その後、畳み込み演算の結果に対して、ＲｅＬＵなどの活性化関数が適用され、畳み込み層の出力が決定される（ステップＳ１５）。そして、必要に応じてよく知られたプーリング処理が行われ（非特許文献１参照）（ステップＳ１６）、得られた出力信号は一層分の畳み込み層の演算結果として出力バッファ１５に記憶される（ステップＳ１７）。なお、出力バッファ１５に記憶された出力信号は、後続の畳み込み層の入力信号として用いられる。
　このように、ＣＮＮの畳み込み層において、繰り返し畳み込み演算が行われて得られた出力は、ＣＮＮの特徴抽出部の出力として、後続の図示しない分類器を構成する全結合層に入力され、入力信号Ａの画像データなどの判別が行われる。
　以上説明したように、第２の実施の形態に係るＣＮＮ処理装置１Ａによれば、入力信号をテーブル１２０のアドレス値のデータ型およびサイズと同じデータ型およびサイズに変換してから対応する二値信号を取得する。そのため、ＣＮＮにおいて、比較的長い整数型や小数を含む入力信号が与えられた場合にも、より多くの情報量を含む二値信号を取得することができるので、ＣＮＮの精度の劣化を抑制することができる。
　［第３の実施の形態］
　次に、本発明の第３の実施の形態について説明する。なお、以下の説明では、上述した第１および第２の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
　第１および第２の実施の形態では、記憶部１２は、１つのテーブル１２０を記憶する場合について説明した。これに対し、第３の実施の形態では、記憶部１２は、複数のテーブル１２０Ｂを備える。
　図６に示すように、本実施の形態に係るＣＮＮ処理装置１Ｂは、記憶部１２が複数のテーブル１２０Ｂを有し、テーブル選択部１７をさらに備える。ＣＮＮ処理装置１Ｂの他の構成は第１の実施の形態と同様である。
　複数のテーブル１２０Ｂのそれぞれには、入力信号がとり得る範囲の値のそれぞれに対応する二値信号が格納されている。また、複数のテーブル１２０Ｂに格納されている二値信号に含まれる情報量はテーブル１２０Ｂごとに異なる。例えば、入力信号が符号なし８ビット整数型である場合に、範囲［０，２５５］の各値、例えば値「１３１」に関連付けられている二値信号「１０１０１０１１１０」と別のテーブル１２０Ｂの値「１３１」に関連付けられている二値信号「１１０１１００１１１１０」とは、互いに異なる精度を有する二値信号である。
　別の例を挙げると、値の範囲［０，２５５］のうち、あるテーブル１２０Ｂには、範囲［０，１００］における所定の情報量を含む二値信号が格納され、別のテーブル１２０Ｂには、範囲［１０１，２５５］における、範囲［０，１００］の二値信号とは異なる情報量を含んだ二値信号を格納することができる。
　テーブル選択部１７は、例えば、入力バッファ１０に記憶された入力信号に応じて、複数のテーブル１２０Ｂのうちから、予め設定されたＣＮＮの演算精度に合わせた二値信号の精度に関する基準に基づいて、一のテーブル１２０Ｂを選択する。例えば、画像データの入力信号として、赤Ｒ、緑Ｇ、青Ｂのそれぞれが、符号なし８ビット整数型（値の範囲［０，２５５］）のピクセル値で表現される場合を考える。このような画像データの明度などを上げるような場合に、設定された入力信号の値の範囲に対して、予め適用するテーブルを定めておくことができる。
　テーブル選択部１７によって選択されたテーブルの情報は、二値信号取得部１３に送出される。二値信号取得部１３は、テーブル選択部１７からのテーブル情報に応じたテーブル１２０Ｂを参照し、入力信号に対応する二値信号を取得する。
　［ＣＮＮ処理方法］
　次に、上述した構成を有するＣＮＮ処理装置１Ｂの動作について図７を参照して説明する。前提として、記憶部１２には予め複数のテーブル１２０Ｂが記憶されているものとする。また、以下の説明において、重みについては、対応する二値信号が予め記憶部１２に記憶されているものとする。
　まず、入力バッファ１０は、ＣＮＮ処理装置１Ｂの外部に設置されたサーバなどから与えられた入力信号Ａを一時的に記憶する（ステップＳ２０）。例えば、入力信号Ａは、符号なし８ビット整数型（ｕｉｎｔ８）で表される信号である。
　次に、テーブル選択部１７は、入力バッファ１０から入力信号Ａを読み出し、入力信号Ａの値に応じて、複数のテーブル１２０Ｂのうちから一のテーブル１２０Ｂを選択する（ステップＳ２１）。例えば、入力信号Ａの値が「４５」である場合には、テーブル選択部１７はＬＵＴ１を選択する。また、入力信号Ａの値が［１０１，２５５］の範囲の値である場合には、テーブル選択部１７は、ＬＵＴ２を選択する。ＬＵＴ１に格納されている二値信号と、ＬＵＴ２に格納されている二値信号とは、例えば、互いに異なるビット数に拡張された信号である。図７の例では、ＬＵＴ１には１０ビットの二値信号が格納され、ＬＵＴ２には１２ビットの二値信号が格納されている。
　次に、二値信号取得部１３は、テーブル選択部１７によって選択されたテーブル１２０Ｂ（ＬＵＴ１またはＬＵＴ２）を参照し、入力信号Ａに対応する二値信号Ａ’を取得する（ステップＳ２２）。その後、記憶部１２に記憶されている重みの二値信号Ｕ’が重みバッファ１１に転送される（ステップＳ２３）。
　次に、入力信号Ａの二値信号Ａ’および重みの二値信号Ｕ’は、畳み込み演算部１４に入力され、畳み込み演算が行われる（ステップＳ２４）。畳み込み演算部１４は、例えば、入力信号および重みの二値信号Ａ’、Ｕ’の否定排他的論理和（ＸＮＯＲ）を演算し、ビットカウント（ｐｏｐｃｎｔ）を行って畳み込み演算の演算結果を求めることができる。
　次に、畳み込み演算の結果に対して、ＲｅＬＵなどの活性化関数が適用され、畳み込み層の出力が決定される（ステップＳ２５）。その後、必要に応じてよく知られたプーリング処理が行われ（非特許文献１参照）（ステップＳ２６）、得られた出力信号は一層分の畳み込み層の演算結果として出力バッファ１５に記憶される（ステップＳ２７）。なお、出力バッファ１５に記憶された出力信号は、後続の畳み込み層の入力信号として用いられる。
　このように、ＣＮＮの畳み込み層で畳み込み演算が繰り返し行われて得られた出力は、ＣＮＮの特徴抽出部の出力として、後続の図示しない分類器を構成する全結合層に入力され、入力信号Ａの画像データなどの判別が行われる。
　以上説明したように、第３の実施の形態に係るＣＮＮ処理装置１Ｂによれば、記憶部１２に複数のテーブル１２０Ｂが用意され、入力信号の値に応じてテーブルを選択することで、取得する二値信号に含まれる情報量を調整することができる。
　［第４の実施の形態］
　次に、本発明の第４の実施の形態について説明する。なお、以下の説明では、上述した第１から第３の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
　第３の実施の形態では、ＣＮＮに与えられる入力信号の値に対して共通した基準に基づいて用意された複数のテーブル１２０Ｂのうちから、一のテーブル１２０Ｂを選択して二値信号を取得する場合について説明した。これに対して、第４の実施の形態では、ＣＮＮ処理装置１Ｃは入力信号が特定の信号であるか否かを判定する判定部１８をさらに備え、判定部１８の判定結果に応じて入力信号に適用するテーブルを選択する。以下、第１から第３の実施の形態と異なる構成を中心に説明する。
　図８に示すように、ＣＮＮ処理装置１Ｃは、判定部１８をさらに備え、複数のテーブル１２０Ｃを有する記憶部１２を有する。ＣＮＮ処理装置１Ｃが備える他の機能構成は、第１から第３の実施の形態と同様である。
　判定部１８は、入力バッファ１０に記憶された入力信号の値が特定の情報を示す値であるか否かを判定する。入力信号によっては、より重要度が高い入力信号の値が含まれていたり、他の入力信号の値に対してより情報量が多いような場合がある。例えば、入力信号が、赤Ｒ、緑Ｇ、青Ｂのピクセル値を示す信号であり、緑Ｇのピクセル値を他の色の値よりも強調させるような場合に、判定部１８は、入力信号に含まれる、例えば、緑Ｇのピクセル値を特定する。
　複数のテーブル１２０Ｃは、少なくともＣＮＮに与えられる入力信号の値のデータ型およびサイズごとに設けられている。例えば、複数のテーブル１２０Ｃは、符号なし８ビット整数型の入力信号に対応する二値信号が格納されたテーブル、および符号なし６ビット整数型の入力信号に対応する二値信号が格納されたテーブルなどによって構成される。また、複数のテーブルに格納されている二値信号は互いに異なる情報量を有するように拡張された信号である。例えば、上記の符号なし８ビット整数型の入力信号に対応する二値信号は、符号なし６ビット整数型の入力信号に対応する二値信号と比較して、より多くの情報量を含むことができる。
　変換部１６は、判定部１８による判定結果に基づいて、入力信号のデータ型およびサイズを変換する。例えば、図９に示すように、符号なし８ビット整数型の入力信号Ａ１、Ａ２、Ａ３のうち、入力信号Ａ２が特定の情報（例えば、緑Ｇのピクセル値）を示す信号である場合を考える。この場合、入力信号Ａ２以外の入力信号Ａ１、Ａ３については比較的重要度が低い、または情報量が少ないため、変換部１６は、入力信号Ａ１、Ａ３のデータ型およびサイズ（ｕｉｎｔ８）を符号なし６ビット整数型（ｕｉｎｔ６）に変換する。
　テーブル選択部１７は、変換部１６によって変換された入力信号のデータ型およびサイズに一致するテーブルを複数のテーブル１２０Ｃから選択する。
　［ＣＮＮ処理方法］
　次に、上述した構成を有するＣＮＮ処理装置１Ｃの動作について、図９および図１０を参照して説明する。前提として、記憶部１２には予め複数のテーブル１２０Ｃが記憶されているものとする。また、以下の説明において、重みについては、対応する二値信号が予め記憶部１２に記憶されているものとする。
　まず、入力バッファ１０は、ＣＮＮ処理装置１Ｂの外部に設置されたサーバなどから与えられた入力信号Ａを一時的に記憶する（ステップＳ３０）。入力信号Ａは、例えば、図９に示すような、符号なし８ビット整数型（ｕｉｎｔ８）で表される信号Ａ１、Ａ２、Ａ３である。
　次に、判定部１８は、入力バッファ１０から入力信号Ａを読み出し、入力信号Ａが特定の情報を示す信号であるか否かを判定する（ステップＳ３１）。例えば、図９に示す例では、判定部１８は、入力信号Ａ１、Ａ２、Ａ３のうち、入力信号Ａ２が特定の情報を示す信号であると判定する。ここで、特定の情報とは、前述したように、入力信号において、より重要性の高い情報であることや、より情報量が多い信号であることを示す情報である。具体的には、ＲＧＢ成分からなる入力信号において緑Ｇの情報量が多い、またはより強調する場合などに、判定部１８の判定により、入力信号Ａ２が緑Ｇを示す情報であることが特定される。
　その後、変換部１６は、判定部１８による判定結果に基づいて、入力信号Ａのデータ型およびサイズを変換する（ステップＳ３２）。より具体的には、図９に示すように、変換部１６は、特定の情報を示す入力信号Ａ２以外の入力信号Ａ１、Ａ３については、情報量が少ないまたは、重要度が比較的低いため、データ型およびサイズを符号なし８ビット整数型（ｕｉｎｔ８）から符号なし６ビット整数型（ｕｉｎｔ６）に変換する。なお、この例では、特定の情報を示す入力信号Ａ２については符号なし８ビット整数型のまま維持される。
　その後、テーブル選択部１７は、変換部１６によって変換された入力信号Ａ’’のデータ型およびサイズに一致するテーブルを記憶部１２に記憶された複数のテーブル１２０Ｃから選択する（ステップＳ３３）。具体的には、テーブル選択部１７は、符号なし６ビット整数型（ｕｉｎｔ６）に変換された入力信号Ａ１’’、Ａ３’’については、ＬＵＴ３を選択し、符号なし８ビット整数型（ｕｉｎｔ８）のデータ型のままの信号Ａ２についてはＬＵＴ４を選択する。
　次に、二値信号取得部１３は、テーブル選択部１７によって選択されたＬＵＴ３、ＬＵＴ４を参照し、各入力信号Ａ１’’、Ａ２、Ａ３’’に対応する二値信号Ａ’を取得する（ステップＳ３４）。図１０に示すように、ＬＵＴ３に格納されている符号なし６ビット整数型（ｕｉｎｔ６）の入力信号に対応する二値信号Ａ’は、１０ビットを有する。一方、ＬＵＴ４に格納されている符号なし８ビット整数型（ｕｉｎｔ８）の入力信号に対応する二値信号Ａ’は１２ビットであり、より多くの情報が含まれる。
　その後、記憶部１２に記憶されている重みの二値信号Ｕ’が重みバッファ１１に転送される（ステップＳ３５）。
　次に、入力信号Ａの二値信号Ａ’および重みの二値信号Ｕ’は、畳み込み演算部１４に入力され、畳み込み演算が行われる（ステップＳ３６）。畳み込み演算部１４は、例えば、入力信号および重みの二値信号Ａ’、Ｕ’の否定排他的論理和（ＸＮＯＲ）を演算し、ビットカウント（ｐｏｐｃｎｔ）を行って畳み込み演算の演算結果を求めることができる。
　次に、畳み込み演算の結果に対して、ＲｅＬＵなどの活性化関数が適用され、畳み込み層の出力が決定される（ステップＳ３７）。その後、必要に応じてよく知られたプーリング処理が行われ（非特許文献１参照）（ステップＳ３８）、得られた出力信号は一層分の畳み込み層の演算結果として出力バッファ１５に記憶される（ステップＳ３９）。なお、出力バッファ１５に記憶された出力信号は、後続の畳み込み層の入力信号として用いられる。
　このように、ＣＮＮの畳み込み層で畳み込み演算が繰り返し行われて得られた出力は、ＣＮＮの特徴抽出部の出力として、後続の図示しない分類器を構成する全結合層に入力され、入力信号Ａの画像データなどの判別が行われる。
　以上説明したように、第４の実施の形態に係るＣＮＮ処理装置１Ｃによれば、ＣＮＮに与えられる入力信号が特定の情報を示すか否かを判定する。すなわち、入力信号により多くの情報量が含まれるか否か、あるいは、含まれる情報の重要性が比較的高いか否かを判定する。入力信号が特定の情報を示す場合には、そのような入力信号に対して、他の入力信号よりも情報量の多い二値信号を取得する。そのため、二値信号を用いた場合であっても、ＣＮＮの精度を向上しつつ、処理されるデータ量を削減することができる。
　以上、本発明のニューラルネットワーク処理装置、ニューラルネットワーク処理方法およびニューラルネットワーク処理プログラムにおける実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。
　例えば、説明した実施の形態では、ニューラルネットワークの一例としてＣＮＮを挙げて説明したが、ニューラルネットワーク処理装置が採用するニューラルネットワークはＣＮＮに限らない。
　また、説明した実施の形態では、入力信号に対応する二値信号を取得する場合について説明したが、ＣＮＮ処理装置は、入力信号の二値信号だけでなく、例えば重みなどについても同様に二値信号を取得してもよい。
　また、説明した実施の形態では、ＣＮＮの第１層目において入力信号などの二値信号を取得する場合について説明したが、例えば、ＣＮＮの中間層において１層目以外の層に実施の形態に係る二値信号の取得処理を適用してもよい。
　また、説明した実施の形態に係る二値信号の取得処理は、多層ＣＮＮの少なくとも１層に適用することで、ＣＮＮの精度の低下を抑制し、かつ、ＣＮＮにおける計算負荷の低減および処理の高速化が可能となる。そのため、より簡易な構成によって本発明の効果が得られる。
　なお、ここで開示された実施の形態に関連して記述された様々の機能ブロック、モジュール、および回路は、汎用プロセッサ、ＧＰＵ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡあるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、または上述した機能を実現するために設計された上記いずれかの組み合わせを用いて実行されうる。
　汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ以上のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
　１…ＣＮＮ処理装置、１０…入力バッファ、１１…重みバッファ、１２…記憶部、１３…二値信号取得部、１４…畳み込み演算部、１５…出力バッファ、１０１…バス、１０２…プロセッサ、１０３…主記憶装置、１０４…通信インターフェース、１０５…補助記憶装置、１０６…入出力装置、１２０…テーブル、ＮＷ…通信ネットワーク、Ｕ’…重み、Ａ…入力信号。

Claims (8)

  1. 　ニューラルネットワークに与えられる値を記憶する第１メモリと、
    　前記ニューラルネットワークに与えられる値と、その値に対応する二値信号とを互いに関連付けたテーブルを記憶する第２メモリと、
    　前記テーブルを参照して前記第１メモリに記憶された前記値に対応する二値信号を取得する二値信号取得部と、
    　前記二値信号取得部によって取得された前記二値信号に基づいて、前記ニューラルネットワークの演算を行うニューラルネットワーク演算部と、
    　を備え、
    　前記二値信号は、予め設定された前記ニューラルネットワークの演算精度に合わせた精度を有する
    　ことを特徴とするニューラルネットワーク処理装置。
  2. 　請求項１に記載のニューラルネットワーク処理装置において、
    　前記第２メモリは複数のテーブルを記憶し、
    　前記二値信号取得部は、前記複数のテーブルのうちから選択された一のテーブルを参照して、前記第１メモリに記憶された前記値に対応する二値信号を取得する
    　ことを特徴とするニューラルネットワーク処理装置。
  3. 　請求項２に記載のニューラルネットワーク処理装置において、
    　前記第１メモリに記憶された前記値に応じて前記複数のテーブルのうちから、予め設定された前記精度に関する基準に基づいて前記一のテーブルを選択するテーブル選択部をさらに備え、
    　前記複数のテーブルのそれぞれに記憶されている二値信号は、互いに異なる前記精度を有する
    　ことを特徴とするニューラルネットワーク処理装置。
  4. 　請求項３に記載のニューラルネットワーク処理装置において、
    　前記第１メモリに記憶された前記値が特定の情報を示す値であるか否かを判定する判定部と、
    　前記判定部による判定結果に基づいて前記第１メモリに記憶された前記値のデータ型およびサイズを変換する変換部と、
    　をさらに備え、
    　前記複数のテーブルは、少なくとも前記ニューラルネットワークに与えられる値のデータ型およびサイズごとに設けられており、
    　前記テーブル選択部は、前記変換部によって変換された前記値のデータ型およびサイズに一致するテーブルを前記複数のテーブルのうちから選択し、
    　前記二値信号取得部は、前記テーブル選択部によって選択されたテーブルを参照して、前記変換部によって変換された前記値に対応する二値信号を取得する
    　ことを特徴とするニューラルネットワーク処理装置。
  5. 　請求項１から３のいずれか１項に記載のニューラルネットワーク処理装置において、
    　前記第１メモリが記憶する前記値のデータ型およびサイズを、前記第２メモリが記憶する前記テーブルのアドレス値のデータ型およびサイズに変換して出力する変換部をさらに備え、
    　前記二値信号取得部は、前記変換部が出力した値に対応する二値信号を取得する
    　ことを特徴とするニューラルネットワーク処理装置。
  6. 　請求項１から５のいずれか１項に記載のニューラルネットワーク処理装置において、
    　前記ニューラルネットワークは、少なくとも１層の中間層を有する畳み込みニューラルネットワークであり、
    　前記ニューラルネットワーク演算部は、前記二値信号取得部によって取得された前記二値信号に基づいて畳み込み演算を行う
    　ことを特徴とするニューラルネットワーク処理装置。
  7. 　ニューラルネットワークに与えられる値を第１メモリに記憶する第１ステップと、
    　前記ニューラルネットワークに与えられる値と、その値に対応する二値信号とを互いに関連付けたテーブルを第２メモリに記憶する第２ステップと、
    　前記テーブルを参照して前記第１メモリに記憶された前記値に対応する二値信号を取得する第３ステップと、
    　前記第３ステップで取得した前記二値信号に基づいて、前記ニューラルネットワークの演算を行う第４ステップと、
    　を備え、
    　前記二値信号は、予め設定された前記ニューラルネットワークの演算精度に合わせた精度を有する
    　ことを特徴とするニューラルネットワーク処理方法。
  8. 　コンピュータに、
    　ニューラルネットワークに与えられる値を第１メモリに記憶する第１ステップと、
    　前記ニューラルネットワークに与えられる値と、その値に対応する二値信号とを互いに関連付けたテーブルを第２メモリに記憶する第２ステップと、
    　前記テーブルを参照して前記第１メモリに記憶された前記値に対応する二値信号を取得する第３ステップと、
    　前記第３ステップで取得した前記二値信号に基づいて、前記ニューラルネットワークの演算を行う第４ステップと、
    　を実行させ、
    　前記二値信号は、予め設定された前記ニューラルネットワークの演算精度に合わせた精度を有する
    　ことを特徴とするニューラルネットワーク処理プログラム。
PCT/JP2019/035493 2018-11-15 2019-09-10 ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、およびニューラルネットワーク処理プログラム Ceased WO2020100393A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020504042A JP6885645B2 (ja) 2018-11-15 2019-09-10 ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、およびニューラルネットワーク処理プログラム
US17/292,661 US12282842B2 (en) 2018-11-15 2019-09-10 Neural network processing apparatus, neural network processing method, and neural network processing program
US19/081,855 US20250217636A1 (en) 2018-11-15 2025-03-17 Neural network processing apparatus, neural network processing method, and neural network processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-214570 2018-11-15
JP2018214570 2018-11-15

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/292,661 A-371-Of-International US12282842B2 (en) 2018-11-15 2019-09-10 Neural network processing apparatus, neural network processing method, and neural network processing program
US19/081,855 Continuation US20250217636A1 (en) 2018-11-15 2025-03-17 Neural network processing apparatus, neural network processing method, and neural network processing program

Publications (1)

Publication Number Publication Date
WO2020100393A1 true WO2020100393A1 (ja) 2020-05-22

Family

ID=70730465

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035493 Ceased WO2020100393A1 (ja) 2018-11-15 2019-09-10 ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、およびニューラルネットワーク処理プログラム

Country Status (3)

Country Link
US (2) US12282842B2 (ja)
JP (2) JP6885645B2 (ja)
WO (1) WO2020100393A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021119524A (ja) * 2018-11-15 2021-08-12 ＬｅａｐＭｉｎｄ株式会社 ニューラルネットワークモデル、ニューラルネットワーク処理装置、およびニューラルネットワークの演算方法
JP2021193565A (ja) * 2020-06-08 2021-12-23 三星電子株式会社Samsung Electronics Co., Ltd. ニューラルネットワークを具現化する装置及びその動作方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102562322B1 (ko) * 2021-11-29 2023-08-02 주식회사 딥엑스 이진화 신경망(bnn)을 위한 신경 프로세싱 유닛
CN119675842A (zh) * 2025-02-19 2025-03-21 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种高效密态联合神经网络推理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127350A (ja) * 2004-11-01 2006-05-18 Kddi Corp 多層ニューラルネットワーク装置とそのソフトウェア
JP2018092377A (ja) * 2016-12-02 2018-06-14 国立大学法人東京工業大学 ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563825B2 (en) * 2014-11-20 2017-02-07 Adobe Systems Incorporated Convolutional neural network using a binarized convolution layer
CN108351986B (zh) 2015-10-30 2022-03-29 株式会社摩如富 学习系统及装置和方法、训练数据生成装置及生成方法
US10089577B2 (en) * 2016-08-05 2018-10-02 Xilinx, Inc. Binary neural networks on progammable integrated circuits
WO2020100393A1 (ja) 2018-11-15 2020-05-22 ＬｅａｐＭｉｎｄ株式会社 ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、およびニューラルネットワーク処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127350A (ja) * 2004-11-01 2006-05-18 Kddi Corp 多層ニューラルネットワーク装置とそのソフトウェア
JP2018092377A (ja) * 2016-12-02 2018-06-14 国立大学法人東京工業大学 ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIMODA, MASAYUKI ET AL.: "All Binarized Conventional Neural Network and its Implementation on an FPGA", IEICE TECHNICAL REPORT, vol. 117, no. 378, 11 January 2018 (2018-01-11), pages 7 - 11, XP033313515, ISSN: 0913-5685 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021119524A (ja) * 2018-11-15 2021-08-12 ＬｅａｐＭｉｎｄ株式会社 ニューラルネットワークモデル、ニューラルネットワーク処理装置、およびニューラルネットワークの演算方法
US12282842B2 (en) 2018-11-15 2025-04-22 Maxell, Ltd. Neural network processing apparatus, neural network processing method, and neural network processing program
JP2021193565A (ja) * 2020-06-08 2021-12-23 三星電子株式会社Samsung Electronics Co., Ltd. ニューラルネットワークを具現化する装置及びその動作方法
JP7708381B2 (ja) 2020-06-08 2025-07-15 三星電子株式会社 ニューラルネットワークを具現化する装置及びその動作方法

Also Published As

Publication number Publication date
JP2021119524A (ja) 2021-08-12
JPWO2020100393A1 (ja) 2021-02-15
JP7274180B2 (ja) 2023-05-16
US12282842B2 (en) 2025-04-22
US20220004857A1 (en) 2022-01-06
JP6885645B2 (ja) 2021-06-16
US20250217636A1 (en) 2025-07-03

Similar Documents

Publication Publication Date Title
JP7274180B2 (ja) プログラム、ニューラルネットワーク処理コンピュータ、ニューラルネットワーク処理装置、およびニューラルネットワークの演算方法
US11580719B2 (en) Dynamic quantization for deep neural network inference system and method
EP3674883A1 (en) Multiplication circuit, system on chip, and electronic device
CN112422980B (zh) 图像数据解压缩
US11663743B2 (en) Image data decompression
US12008791B2 (en) Image data compression
US20210004679A1 (en) Asymmetric quantization for compression and for acceleration of inference for neural networks
US20220256164A1 (en) Data Compression and Packing
US20250097442A1 (en) Data decompression and packing
CN110888623B (zh) 数据转换方法、乘法器、加法器、终端设备及存储介质
CN115423716B (zh) 基于多维滤波的图像增强方法、装置、设备及存储介质
GB2566050A (en) Luminance-normalised colour spaces
TWI880914B (zh) 類神經網路處理裝置、類神經網路處理方法、類神經網路處理電腦、運算方法及程式
CN110390389B (zh) 神经网络引擎
CN108305234A (zh) 一种基于最优化模型的双直方图均衡方法
CN114026847A (zh) 使用混合查找表方案对高动态范围视频的预处理
TW201505425A (zh) 在資料處理裝置內實施的低複雜度雙邊濾波(bf)
KR102803170B1 (ko) 부동 소수점 데이터 압축을 위한 방법 및 장치
US20240348798A1 (en) Palette intra prediction for video encoding
CN120235790A (zh) 用于图像恢复的方法和电子装置
CN116206115A (zh) 一种低功耗芯片及其数据处理方法、存储介质
CN118158423A (zh) 图像数据压缩
CN118158393A (zh) 图像数据解压缩
CN120704739A (zh) 一种数据格式转换装置及方法、电子设备和存储介质
JP2016105543A (ja) 画像処理装置、及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020504042

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19885148

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19885148

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17292661

Country of ref document: US