[go: up one dir, main page]

WO2019229977A1 - 推定システム、推定方法及び推定プログラム - Google Patents

推定システム、推定方法及び推定プログラム Download PDF

Info

Publication number
WO2019229977A1
WO2019229977A1 PCT/JP2018/021194 JP2018021194W WO2019229977A1 WO 2019229977 A1 WO2019229977 A1 WO 2019229977A1 JP 2018021194 W JP2018021194 W JP 2018021194W WO 2019229977 A1 WO2019229977 A1 WO 2019229977A1
Authority
WO
WIPO (PCT)
Prior art keywords
accuracy
estimation
estimated value
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/021194
Other languages
English (en)
French (fr)
Inventor
俊也 高野
幸造 伴野
友祐 星野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Energy Systems and Solutions Corp filed Critical Toshiba Corp
Priority to PCT/JP2018/021194 priority Critical patent/WO2019229977A1/ja
Priority to JP2020522541A priority patent/JP6984013B2/ja
Priority to CN201880094033.3A priority patent/CN112204586A/zh
Priority to US15/734,077 priority patent/US20210216901A1/en
Publication of WO2019229977A1 publication Critical patent/WO2019229977A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • Embodiments described herein relate generally to an estimation system, an estimation method, and an estimation program.
  • a neural network that mimics the mechanism of the cranial nerve system which is one of machine learning, can be modeled nonlinearly, and can accurately learn the correspondence between input data and output data corresponding to input data as a material source. Therefore, modeling with high estimation accuracy can be expected.
  • the estimation accuracy depends on the data used at the time of learning, and there is a problem that the estimation accuracy deteriorates when a new input / output relationship that did not exist at the time of learning occurs due to changes in the environment or state. It was.
  • an accuracy estimation system that can appropriately estimate the accuracy of the estimation model has been devised, and this accuracy estimation system can estimate the accuracy of future values after a predetermined time due to environmental changes over time. Provides a mechanism to estimate the accuracy of the estimation model against the deterioration of
  • this accuracy estimation system estimates the accuracy of the estimation model from actual measured values obtained in the future after estimation, and cannot obtain accuracy or accuracy information for each estimation value of the estimation model. It could not be applied to fields that require reliability, such as plant facilities and equipment operations.
  • Embodiments of the present invention have been made to solve the above-described problems, and an object thereof is to provide an estimation system, an estimation method, and an estimation program that can obtain accuracy information for an estimated value.
  • the estimation system includes a learning unit that creates an estimation model by machine learning based on a correspondence relationship between the first input data and the first output data.
  • An estimation unit that estimates an output value obtained by inputting two input data as a second estimation value that is an output value corresponding to the second input data; and the first input data is the estimation model.
  • An accuracy estimation information creating unit that obtains accuracy reference information of the first estimated value obtained by inputting to the first estimated value and creates accuracy estimation information that is a correspondence relationship between the first estimated value and the accuracy reference information;
  • the accuracy reference information for the second estimation value is obtained based on the estimated value of 2 and the accuracy estimation information, and the accuracy information that is the estimation accuracy of the second estimation value is obtained based on the accuracy reference information.
  • An accuracy estimation unit And wherein the door.
  • the present embodiment can also be understood as a method for realizing the processing of each unit by a computer or an electronic circuit, and a program for causing a computer to execute the processing of each unit.
  • learning processing for creating an estimation model by machine learning from the correspondence between the first input data and the first output data, and second input data are input to the estimation model.
  • the estimation program inputs a learning process for creating an estimation model by machine learning from the correspondence between the first input data and the first output data, and second input data to the estimation model. Obtained by estimating the output value obtained as a second estimated value that is an output value corresponding to the second input data, and inputting the first input data to the estimated model. Based on accuracy estimation information creation processing for creating accuracy estimation information that is a correspondence relationship between the first estimated value and the accuracy reference information with respect to the first estimated value, and the second estimated value and the accuracy estimated information Then, the accuracy reference information for the second estimated value is obtained, and the accuracy information for obtaining the accuracy information for the second estimated value is obtained using the accuracy reference information as the accuracy information that is the estimated accuracy of the second estimated value. And an output process for outputting the second estimated value obtained by the estimating process and the accuracy information obtained by the accuracy estimating process for the second estimated value. It is characterized by.
  • FIG. It is a figure which shows precision estimation information. It is a flowchart which shows the determination operation
  • FIG. 1 is a diagram illustrating a configuration of an estimation system according to a first embodiment applied to a plant. As shown in FIG. 1, the estimation system 1 of this embodiment is connected to a plant 100 via a data collection unit 200 and a data storage unit 300.
  • the plant 100 is a collection of equipment or equipment that generates input data and output data necessary for estimation. Examples of the plant 100 include those requiring reliability and safety such as an electric power system and a water supply facility.
  • the data collection unit 200 collects input data to the facility or equipment of the plant 100 and output data as an output result thereof by wireless or wired at predetermined time intervals and stores them in the data storage unit 300.
  • the data storage unit 300 stores input data and output data in association with each other at predetermined time intervals. Further, the data storage unit 300 stores input data (hereinafter referred to as learning data) used in machine learning described later in association with output data (hereinafter referred to as teacher data) corresponding to the learning data. .
  • the learning data and the teacher data are data for the past of the plant 100 collected through the data collection unit 200.
  • the estimation system 1 creates an estimation model by performing machine learning using the data stored in the data storage unit 300, and estimates a target item according to the estimation model.
  • the estimation item is, for example, a predicted value output from the facility or equipment of the plant 100 after a predetermined time, or data that should be collected originally, but estimation of missing data that could not be collected due to a problem such as data communication. Can be mentioned.
  • the estimation system 1 includes a single computer or a plurality of computers connected to a network and a display device.
  • the estimation system 1 stores programs and databases in HDDs, SSDs, etc., which are appropriately expanded in a RAM and processed by a CPU to perform necessary calculations such as creation of an estimation model and creation of accuracy estimation information, which will be described later. Do.
  • the estimation system 1 includes a learning data input unit 2, a learning unit 3, an estimation model storage unit 4, an accuracy estimation information creation unit 5, an accuracy estimation information storage unit 6, an estimation data input unit 7, an estimation unit. 8, an accuracy estimation unit 9 and a user interface 10 are provided.
  • the learning data input unit 2 includes a CPU and a memory.
  • the learning data input unit 2 acquires learning data and teacher data corresponding to the learning data from the data storage unit 30 and stores them.
  • the number of dimensions of the learning data and the teacher data is one dimension or more, and the number of records used for learning can be set according to the number of acquired records and estimated items.
  • the learning unit 3 includes a CPU, and creates an estimation model by machine learning from the correspondence between the learning data and the teacher data acquired from the learning data input unit 2.
  • Various methods such as a neural network, a decision tree, and random forest can be used for machine learning.
  • the learning unit 3 includes learning data preprocessing means 31 and learning means 32.
  • the learning data pre-processing means 31 is configured to include a CPU.
  • the learning data pre-processing means 31 inspects whether the learning data or the teacher data includes an abnormality such as a defect. If the abnormality is detected, the learning data or the teacher data is recorded. Exclude from learning. Alternatively, processing such as complementing with the previous value is performed. Further, the learning data preprocessing means 31 may perform processing such as normalizing the learning data and the teacher data to, for example, an average value 0 and a variance 1 in order to efficiently create an estimation model.
  • the learning unit 32 includes a CPU, and creates an estimation model by machine learning based on the preprocessed learning data and the preprocessed teacher data obtained from the learning data preprocessing unit 31.
  • parameters included in the estimation model are repeatedly adjusted so that an error between the output of the estimation model (hereinafter also referred to as an estimated value) and teacher data is minimized.
  • an error back propagation method can be used for parameter adjustment.
  • the learning unit 3 determines that learning is complete when the error between the estimated value based on the estimated model and the teacher data is equal to or less than a preset reference value, or when the number of repetitions of learning reaches a predetermined number of times. The result is output to the estimated model storage unit 4. In addition, the learning unit 3 outputs the teacher data used for the estimation model and the estimated value obtained when the learning data corresponding to the teacher data is input to the estimation model to the accuracy estimation information creation unit 5.
  • the estimation model storage unit 4 includes a memory or a storage, and stores the estimation model created by the learning unit 3.
  • the accuracy estimation information creation unit 5 includes a CPU, and obtains accuracy reference information of an estimated value obtained by inputting learning data into an estimation model.
  • This estimated value is a value output from the estimated model when learning data is input to the estimated model at the learning stage in the learning unit 3.
  • the estimated value in the learning stage is also referred to as a first estimated value.
  • the accuracy reference information is information serving as a reference for the degree of certainty of the estimated value, and is, for example, standard deviation and variance.
  • the accuracy estimation information creating unit 5 creates accuracy estimation information that is a correspondence relationship between the estimated value obtained by inputting the learning data into the estimation model and the accuracy reference information with respect to the estimated value. Details of the accuracy estimation information creation unit 5 will be described later.
  • the accuracy estimation information storage unit 6 includes a memory or a storage, and stores the accuracy estimation information created by the accuracy estimation information creation unit 5.
  • the estimation data input unit 7 includes a CPU and a memory, and acquires and stores input data necessary for estimation (hereinafter also referred to as estimation data) from the data storage unit 300 at preset time intervals. . Then, the stored estimation data is output to the estimation unit 8.
  • the estimation unit 8 includes a CPU, and estimates the output result using the estimation data and the estimation model. That is, the estimation unit 8 acquires an estimation model used for estimation from the estimation model storage unit 4. Then, an output value obtained by inputting the estimation data to the estimation model is output as an estimated value that is an output value corresponding to the estimation data.
  • the estimated value corresponding to the estimation data in the estimation stage by the estimation unit 8 is also referred to as a second estimated value below.
  • the estimation unit 8 of the present embodiment includes estimation data preprocessing means 81 and estimation means 82.
  • the estimation data pre-processing means 81 is configured to include a CPU.
  • the estimation data is inspected for the presence or absence of an abnormality such as a defect in the estimation data. Process.
  • a process corresponding to the process performed by the learning data preprocessing unit 31 is performed. For example, when normalization processing with an average value of 0 and a variance of 1 is performed on learning data during learning, normalization is performed using the average value and variance of the learning data used at this time.
  • the estimation unit 82 includes a CPU, acquires an estimation model from the estimation model storage unit 4, inputs the preprocessed estimation data output from the estimation data preprocessing unit 81 into the estimation model, and The estimation result is output to the accuracy estimation unit 9 as an estimated value.
  • the accuracy estimation unit 9 includes a CPU, and obtains accuracy information for the estimated value of the estimation unit 8.
  • the accuracy information is information indicating a degree of accuracy (accuracy) with respect to the estimated value of the estimation unit 8 and is obtained based on accuracy reference information.
  • the accuracy estimation unit 9 acquires accuracy estimation information from the accuracy estimation information storage unit 6, obtains accuracy reference information for the second estimation value that is an estimation value at the estimation stage, and based on the accuracy criterion information Thus, the accuracy information which is the estimation accuracy of the estimation value of the estimation model by the estimation unit 8 is obtained.
  • the accuracy estimation unit 9 outputs the obtained accuracy information and an estimated value corresponding to the accuracy information to the user interface 10. Details of the accuracy estimation unit 9 will be described later.
  • the user interface 10 outputs the estimated value obtained by the estimating unit 8 and the accuracy information obtained by the accuracy estimating unit 9 for the estimated value.
  • the estimated value obtained by the estimating unit 8 is an estimated value input from the accuracy estimating unit 9 here, but may be an estimated value directly input from the estimating unit 8.
  • the user interface 10 is, for example, a display device such as an organic EL or a liquid crystal display, and a pair of the estimated value obtained by the estimating unit 8 and the accuracy information obtained by the accuracy estimating unit 9 with respect to the estimated value. Display as data. In addition to the pair of data, the user interface 10 may display the frequency distribution of the teacher data corresponding to the estimated value obtained by the estimating unit 8.
  • FIG. 2 is a processing block diagram of the accuracy estimation information creation unit 5.
  • FIG. 3 is a diagram for explaining the accuracy estimation information creation unit 5.
  • the accuracy estimation information creation unit 5 includes a distribution creation unit 51 and an accuracy reference information calculation unit 52.
  • the distribution creating unit 51 includes a CPU and a memory. As shown in FIG. 3, the distribution creating unit 51 divides a possible range of the estimated value (first estimated value) of the estimated model with respect to the learning data into sections, and the estimated value Corresponding teacher data values are associated with sections, and a frequency distribution of teacher data values corresponding to the estimated values is created for each section. Since the first estimated value is a value output by inputting learning data to the estimated model, it has a correspondence with learning data, and the learning data has a correspondence with teacher data. Therefore, there is a correspondence relationship between the first estimated value corresponding to the common learning data and the teacher data.
  • FIG. 3 shows an example in which the estimated value can be in the range of 0 to 129, and the range is divided into 13 equal parts and divided into sections of 0 to 9, 10 to 19,..., 120 to 129.
  • the estimated value when the estimated value is 85, this estimated value corresponds to the sections 80 to 89.
  • the estimated value when the estimated value is less than 0 or 130 or more, it is handled as a section of less than 0 or 130 or more, respectively.
  • the range which an estimated value can take is previously determined from the data specification of the installation or apparatus of the plant 100, for example.
  • the distribution creation unit 51 records the cumulative information for the teacher data value in the corresponding section for each divided section of the estimated value for the correspondence between the estimated value corresponding to the learning data and the teacher data. For example, as shown in FIG. 4, when the estimated value output by inputting the learning data to the estimation model is 85 and the teacher data corresponding to the estimated value is 79, the estimated range is 80 to 89. The accumulated information A of the corresponding teacher data sections 70 to 79 is updated to A + 1 and recorded. In other words, as shown in FIG. 4, a numerical value that is cumulative information of the number of teacher data values corresponding to the estimated value is written in the square of each section of the teacher data value in each estimated value section.
  • the frequency distribution is a distribution in which the horizontal axis indicates the value of the teacher data and the vertical axis indicates the number of teacher data corresponding to the estimated value, and is created for each estimated value section.
  • N is the number of estimated value intervals.
  • b k (a i ) indicates teacher data b k for the estimated value a i .
  • L indicates the number of teacher data in the section to which the estimated value a i belongs.
  • the accuracy estimation information T is, for example, a table indicating a correspondence relationship between the estimated value a i and the accuracy reference information ⁇ (a i ).
  • the accuracy estimation unit 9 refers to the accuracy estimation information T from the accuracy estimation information storage unit 6 to obtain accuracy reference information corresponding to the estimation value input from the estimation unit 8, and based on the accuracy reference information, Find accuracy information.
  • FIG. 7 is a flowchart showing the accuracy information determining operation for the estimated value in the accuracy estimating unit 9.
  • the accuracy estimator 9 receives an input of the estimated value x from the estimation unit 8 (step S01), and identifies the interval estimate x belongs, a i ⁇ x ⁇ a i + 1 to become a i , A i + 1 are detected (step S02). Then, it is determined whether (x ⁇ a i ) ⁇ (a i + 1 ⁇ x) is satisfied (step S03).
  • step S03 If (x ⁇ a i ) ⁇ (a i + 1 ⁇ x) holds (YES in step S03), the accuracy reference information ⁇ (a i ) is output to the user interface 10 as accuracy information (step S04). On the other hand, if (x ⁇ a i ) ⁇ (a i + 1 ⁇ x) (NO in step S03), ⁇ (a i + 1 ) is output to the user interface 10 as accuracy information (step S05).
  • the accuracy estimation unit 9 uses the accuracy reference information corresponding to the estimation value x that is closest to the estimation value of the accuracy estimation information T as the accuracy information. Information obtained based on the interpolation of the accuracy reference information for the estimated value at T may be used as the accuracy information.
  • the accuracy estimation unit 9 receives an input of the estimation value x from the estimation unit 8 (step S11), specifies a section to which the estimation value x belongs, and a i ⁇ x ⁇ a i + 1 is satisfied. a i and a i + 1 are detected (step S12). Then, accuracy reference information ⁇ (a i ) and ⁇ (a i + 1 ) for the estimated values a i and a i + 1 are searched from the accuracy estimated information T, and a linear interpolation value y is calculated according to equation (2) (step S13).
  • X in Equation (2) is an estimated value.
  • the accuracy estimation unit 9 multiplies the linear interpolation value y by the weighting factor W (step S14), and outputs the obtained value to the user interface 10 as accuracy information (step S15).
  • the weight coefficient W is a real number and is set in advance.
  • the weighting factor W is a section in which an estimated value a i corresponding to the accuracy reference information ⁇ (a i ) belongs to the data parameter used when calculating the accuracy reference information ⁇ (a i ), ⁇ (a i + 1 ).
  • the estimated value a i + 1 corresponding to the accuracy reference information ⁇ (a i + 1 ) is different from the section to which the accuracy reference information ⁇ (a i + 1 ) belongs, it is determined to weight the one having the larger parameter, and the linear interpolation value y is corrected.
  • the estimation system 1 inputs, from the correspondence between learning data and teacher data, a learning unit 3 that creates an estimation model by machine learning, and estimation data to the estimation model created by the learning unit 3
  • the estimation unit 8 that estimates the output value obtained as a second estimation value that is an output value corresponding to the estimation data, and the accuracy of the first estimation value that is obtained by inputting the learning data to the estimation model Based on the second estimated value and the accuracy estimation information T
  • the accuracy estimation information creating unit 5 that obtains the criterion information and creates the accuracy estimation information T that is the correspondence between the first estimation value and the accuracy criterion information
  • An accuracy estimation unit 9 for obtaining accuracy reference information for the second estimated value and obtaining accuracy information that is the estimation accuracy of the second estimated value based on the accuracy reference information is provided.
  • the estimation system 1 includes the user interface 10 that outputs the second estimated value obtained by the estimating unit 8 and the accuracy information obtained by the accuracy estimating unit 9 for the second estimated value. The user can obtain the second estimated value and the accuracy information for the second estimated value, and can evaluate the accuracy of the second estimated value.
  • the accuracy estimation information creating unit 5 divides the possible range of the first estimated value of the estimation model into sections, associates the value of the teacher data corresponding to the first estimated value with the section, and A distribution creation unit 51 that creates a frequency distribution of teacher data values corresponding to the first estimated value for each section, and a accuracy reference information calculation unit 52 that calculates a standard deviation from the frequency distribution as accuracy reference information I did it.
  • the first estimated value obtained by inputting the learning data to the estimation model may include an error that is a difference from the teacher data that is the actual value for the learning data.
  • the second estimated value obtained by inputting the estimation data to the estimated model may also contain an error, but the error potentially included in the second estimated value is determined when the estimated model is created. That is, it is considered that the error inherent in the sample used at the time of learning is reflected. For this reason, since the frequency distribution is created from the teacher data used at the time of learning and the first estimated value, and the standard deviation is calculated as an index for evaluating the error, the accuracy of the second estimated value is determined based on the standard deviation. Can be evaluated.
  • the frequency distribution of the estimated value of the estimation model and the value of the teacher data corresponding to the estimated value and the accuracy reference information obtained from the obtained frequency distribution are obtained.
  • an error stochastically included in the second estimated value can be given as accuracy information, and the accuracy with respect to the second estimated value can be evaluated.
  • the accuracy estimation unit 9 uses the standard deviation (accuracy reference information) for the estimated value of the accuracy estimation information T closest to the second estimated value as the accuracy information. Thereby, accuracy information can be obtained simply.
  • the accuracy estimation unit 9 uses the value obtained by multiplying the linear interpolation value of the standard deviation (accuracy reference information) with respect to the estimated value in the accuracy estimation information T including the second estimated value by the weighting coefficient as the accuracy information. did. Thereby, the estimation precision with respect to the estimated value of accuracy information can be improved.
  • the user interface 10 is a display device, and displays the frequency distribution of teacher data values with respect to the first estimated value. Thereby, the user can confirm not only the estimated value and its accuracy information but also the frequency distribution, and can confirm whether the learning data is biased from the shape of the frequency distribution. For example, if there is no bias in the learning data and sufficient learning is possible, the frequency distribution can be expected to have a shape like a normal distribution centered on the average value. The sharp shape can be expected.
  • FIG. 9 is a diagram showing a configuration of an estimation system according to the second embodiment applied to a plant. As shown in FIG. 9, the estimation system 1 includes an accuracy determination unit 11.
  • the accuracy determination unit 11 includes a CPU, provides a threshold for accuracy information, and determines whether the accuracy is low with respect to the threshold. Specifically, the accuracy determination unit 11 compares the threshold value with the accuracy information output from the accuracy estimation unit 9, and when the accuracy information is lower than the threshold value, information indicating a section for determining that the accuracy is low. Generate and output information indicating the section to the learning unit 3. In addition, the accuracy determination unit 11 generates information indicating a section in which the accuracy is determined to be high when the accuracy information is equal to or greater than the threshold by comparing the threshold value with the accuracy information, and the information indicating the section is stored in the learning unit 3. Output to.
  • the accuracy determination unit 11 specifies a section in which it is determined that the accuracy is low or a section in which it is determined that the accuracy is high as follows. If the section which determines that the accuracy is low is described as an example, the accuracy determination unit 11 includes the second estimated value corresponding to the accuracy information determined to be lower than the threshold value. The input of the second estimated value is received, the accuracy estimation information T is acquired from the accuracy estimation unit 9, and the interval to which the second estimation value belongs is specified with reference to the accuracy estimation information T.
  • the accuracy estimation unit 9 refers to the accuracy estimation information T from the second estimation value and identifies the section a i to a i + 1 to which the second estimation value belongs, the accuracy determination unit 11 The identified sections a i to a i + 1 are acquired.
  • the accuracy determination unit 11 compares the accuracy information acquired from the accuracy estimation unit 9 with a threshold value, so that the accuracy information is higher than the threshold value and the accuracy is high, or the accuracy information is less than the threshold value and the accuracy is low. Therefore, the section with high accuracy or the section with low accuracy is specified by associating the determination result with the acquired sections a i to a i + 1 based on the common second estimated value.
  • the learning unit 3 additionally learns the estimated model by machine learning and updates the estimated model.
  • the new learning data and teacher data to be additionally learned to this estimation model are the results corresponding to the estimation data that resulted in low accuracy and the estimation data that resulted in low accuracy after the estimation model was created. Value.
  • the estimation data with a low accuracy result is input data corresponding to the second estimated value used by the accuracy estimation unit 9 to obtain accuracy information determined by the accuracy determination unit 11 to be lower than the threshold. .
  • the actual value corresponding to the estimation data that has resulted in low accuracy generated after the creation of the estimation model is low in accuracy among the output data values generated from the facilities or equipment of the plant 100 after the creation of the estimation model. It is an output data value corresponding to the resulting estimation data.
  • the second estimated value of the estimation unit 8 is a predicted value after a predetermined time from the estimation time and the actual value can be acquired after the predetermined time at the time of estimation, the second value determined to have low accuracy.
  • the estimation data corresponding to the estimated value becomes learning data
  • the actual value after a predetermined time from the estimation time becomes teacher data.
  • These learning data and teacher data are samples of a section specified as having low accuracy, and are stored in the learning data input unit 2, for example.
  • the second estimated value determined as having low accuracy is the second estimated value corresponding to the accuracy information determined by the accuracy determining unit 11 as having low accuracy.
  • the learning unit 3 uses the sample of the section identified as having a low newly generated accuracy after the creation of the estimation model as a material source to additionally learn the estimation model by machine learning, thereby determining the accuracy determination unit 11.
  • the estimation model is updated for the section identified as having low accuracy.
  • the accuracy information determined by the accuracy determination unit 11 to have low accuracy includes a corresponding second estimated value, and estimation data exists for the second estimated value. . Therefore, the estimation data that resulted in low accuracy is identified.
  • the accuracy information determined to have high accuracy by the accuracy determination unit 11 includes the corresponding second estimated value, and the estimation data exists for the second estimated value. ing. Therefore, the estimation data that has a high accuracy result is identified.
  • the accuracy estimation unit 9 corresponds to the acquired second estimation value a j .
  • the accuracy information K j is obtained and output to the accuracy determination unit 11.
  • Accuracy determining unit 11 by comparing the threshold value with respect to the obtained probability information K j, it determines the level of certainty with respect to probability information K j.
  • the estimation unit 8 associates the estimation data I j and the second estimation value a j and stores them in the memory in the estimation system 1, and the accuracy estimation unit 9 stores the second estimation value a j and the accuracy information K.
  • the accuracy determination unit 11 determines the accuracy information K j and the second estimated value a. j is extracted from the memory stored by the accuracy estimation unit 9, and the second estimated value a j and the estimation data I j are extracted from the memory stored by the estimation unit 8.
  • the estimation data I j corresponding to the accuracy information K j is specified.
  • the actual value b j after a predetermined time after estimation using the estimation data I j is collected by the data collection unit 200 and stored in the learning data input unit 2 via the data storage unit 300, for example. The Therefore, by associating the estimation data with the actual value after a predetermined time from the estimation, a new sample to be additionally learned in the section determined to have low accuracy is obtained.
  • the estimation unit 8 associates the time t j when the second estimated value a j is estimated with the estimation data I j corresponding to the second estimated value a j , so that the estimation system 1 If the second estimated value a j is a predicted value after a predetermined time ⁇ t from the estimated time t j , the accuracy determining unit 11 performs the actual value b j generated at the time t j + ⁇ t. Is acquired from the learning data input unit 2 and the specified estimation data I j and the actual value b j are associated with each other and stored in the learning data input unit 2.
  • the estimation system of the present embodiment includes a threshold value for the accuracy information, and includes the accuracy determination unit 11 that determines whether the accuracy is low with respect to the threshold value. Thereby, a section with low accuracy can be known.
  • the reason why the accuracy is low is thought to be due to the small number of samples, but at the time of learning the estimation model, the parameter included in the estimation model is an error between the estimation value of the estimation model and the teacher data. It is only adjusted so as to be minimum, and the interval where the number of samples is insufficient or unknown is unknown, but the accuracy determination unit 11 can know the interval estimated to be insufficient for the number of samples.
  • the learning unit 3 updates the estimation model by performing additional learning on the estimation model by machine learning for the section identified as having low accuracy by the accuracy determination unit 11.
  • the estimation accuracy of the estimated value in the section with low accuracy can be improved.
  • the level of accuracy in each section is relative, and in a section with high accuracy, accuracy is improved by preventing additional learning of new samples consisting of new input data and actual values for the data. It is possible to improve the estimation accuracy of an estimated value in a section with a low accuracy relative to the estimation accuracy of an estimated value in a section with a high accuracy.
  • the estimation accuracy for the new sample can be improved more than the estimation accuracy for the previously learned sample.
  • the estimation accuracy for a new sample is emphasized so as to be high and reflected in the estimation model, it is possible to provide an estimation model that follows changes over time in the facilities and equipment of the plant 100 and the output trend with respect to the input changes. The estimation accuracy can be improved with respect to the target to be estimated.
  • a third embodiment will be described.
  • the third embodiment is the same as the basic configuration of the second embodiment.
  • only differences from the second embodiment will be described, and the same parts as those of the second embodiment will be denoted by the same reference numerals and detailed description thereof will be omitted.
  • the learning unit 3 re-learns and newly creates an estimation model. That is, the learning unit 3 uses the correspondence relationship between the past learning data and the teacher data used to create the estimation model for the section identified by the accuracy determination unit 11 as having low accuracy, and a new relationship after the estimation model is created. A new estimation model is created by machine learning from the learning data and the correspondence relationship with the actual data corresponding to the learning data.
  • the learning unit 3 has a correspondence relationship between the learning data and the teacher data and a correspondence relationship between the new learning data and the record data corresponding to the data for the section identified as having low accuracy by the accuracy determination unit 11. Therefore, a new estimation model is created by re-learning by machine learning. This makes it possible to obtain an estimation model that can accurately estimate both a previously learned sample and a newly learned sample. In other words, it is possible to obtain an estimation model that can obtain a highly accurate estimated value for any input, and to improve the reliability of the estimation.
  • FIG. 10 is a diagram showing a configuration of an estimation system according to the fourth embodiment applied to a plant. As shown in FIG. 10, the estimation system of this embodiment includes a high accuracy storage unit 12.
  • the high accuracy storage unit 12 includes a memory or a storage, and stores the second estimated value determined to have high accuracy and the time when the estimation unit 8 performed the estimation in association with each other.
  • the second estimated value determined to have high accuracy is an estimated value used by the accuracy estimating unit 9 to obtain accuracy information in a section that the accuracy determining unit 11 has identified as having high accuracy.
  • the accuracy estimation unit 9 determines from the high accuracy storage unit 12 that the most recent accuracy at the time of estimation is high when the estimated second estimation value is determined to be low by the accuracy determination unit 11.
  • the second estimated value is acquired, and the acquired second estimated value is replaced with the second estimated value determined to have low accuracy, and is output to the user interface 10.
  • the accuracy estimation unit 9 associates the second estimated value determined to be highly accurate by the accuracy determining unit 11 and the time when the second estimated value is output by the estimating unit 8, It is stored in the accuracy storage unit 12.
  • accuracy estimation is performed.
  • the unit 9 acquires the second estimated value stored in the high-accuracy storage unit 12 at the most recent time before the time when the estimating unit 8 estimated the other second estimated value. And accuracy information is calculated
  • the estimation system of the present embodiment stores the second estimated value determined to be highly accurate by the accuracy determining unit 11 and the time when the estimating unit 8 performs the estimation in association with each other.
  • the accuracy estimation unit 9 includes the unit 12, and when the estimated second estimated value is determined to be low in accuracy by the accuracy determination unit 11, the accuracy at the time of estimation from the high accuracy storage unit 12 is high.
  • the second estimated value determined to be obtained is acquired, the second estimated value determined to be low in accuracy is replaced with the acquired second estimated value, and the second estimated value is output to the user interface 10.
  • the estimation target is a control value for controlling plant equipment and equipment
  • the estimated value with low accuracy by replacing the estimated value with low accuracy with the latest estimated value with high accuracy, even if it is determined that the accuracy is low, it is possible to quickly cope without additional learning or relearning. Even if a section with low accuracy is found, additional learning and relearning are performed after a new sample (actual value) is accumulated to some extent, so the span whose accuracy is corrected becomes relatively long. .
  • the estimated value is used to quickly determine the interval where the accuracy is determined to be low. Can deal with.
  • the user interface 10 is provided.
  • the user interface 10 is not necessarily provided.
  • the estimation system 1 may output the accuracy information obtained by the accuracy estimation unit 9 and the estimated value corresponding to the accuracy information to the outside in response to a request from the outside.
  • Such an estimation system 1 is, for example, a server configured by a single computer or a plurality of computers.
  • the learning data, the teacher data, and the estimation data are pre-processed by the learning data pre-processing unit 31 and the estimation data pre-processing unit 81. good.
  • additional learning and relearning are performed for sections with low accuracy.
  • additional learning and relearning may be performed for sections with high accuracy. Thereby, it is possible to further improve the estimation accuracy of the estimated value for the section with high accuracy, and it is possible to appropriately operate the equipment and equipment of the plant that requires reliability and safety using this estimated value. .
  • the accuracy reference information is the standard deviation of the frequency distribution, but may be a confidence interval. That is, the accuracy reference information calculation unit 52 calculates a confidence interval from the frequency distribution.
  • the accuracy estimation information creating unit 5 calculates accuracy estimation information T that is a correspondence relationship between the estimated value and the determined confidence interval.
  • the accuracy estimation unit 9 calculates a confidence interval corresponding to the estimated value from the estimated value and the accuracy estimation information T, and calculates accuracy information based on the confidence interval. For example, the accuracy estimation unit 9 can use

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

推定値に対する確度情報を得ることのできる推定システム、推定方法及び推定プログラムを提供する。第１の入力データと第１の出力データの対応関係から、機械学習により推定モデルを作成する学習部３と、学習部３により作成された推定モデルに推定用データを入力して得られた出力値を、推定用データに対応する出力値である第２の推定値として推定する推定部８と、第１の入力データを推定モデルに入力して得られる第１の推定値の確度基準情報を求め、第１の推定値と確度基準情報との対応関係である精度推定情報Ｔを作成する精度推定情報作成部５と、第２の推定値と精度推定情報Ｔとに基づいて、第２の推定値に対する確度基準情報を求め、当該確度基準情報に基づいて第２の推定値の推定精度である確度情報を求める精度推定部９と、を備える。

Description

推定システム、推定方法及び推定プログラム
　本発明の実施形態は、推定システム、推定方法及び推定プログラムに関する。
　近年、推定モデルの構築手法として機械学習が注目されている。特に機械学習のひとつである脳神経系の仕組みを模したニューラルネットワークは非線形のモデル化が可能であり、入力データと入力データに対応する出力データの対応関係を材料源として正確に学習することができるため、推定精度の高いモデル化が期待できる。
　一方で、推定精度は学習時に使用したデータに依存しており、環境や状態の変化により、学習時には存在しなかった新たな入出力関係が発生した場合などに推定精度が悪化するという課題があった。
国際公開第２０１６／１５２０５３号公報
　上記のように環境や状態の変化により学習時に存在しなかった新たな入出力関係により推定精度が悪化する場合、新たな入出力関係を材料源として学習し、推定モデルを更新することが考えられる。しかし、推定モデルによる推定値と実績値との差が大きくなったとしても、その現象が一時的なものであれば、推定モデルの精度が劣化したとは言えず、そのような場合にまで推定モデルを更新することは運用者の負担が大きくなる。
　この課題に対して、推定モデルの精度を適切に推定できる精度推定システムが考案されており、この精度推定システムは、時間経過とともに環境の変化などの要因で所定時間後の将来の値の推定精度が劣化することに対して、推定モデルの精度を推定する仕組みを提供している。
　しかしながら、この精度推定システムは推定モデルの精度を推定後の将来に得られる実測値から推定するものであり、推定モデルの個々の推定値に対して、その精度あるいは確度情報を得ることができず、プラント施設や機器の運用など信頼性が要求される分野には適用できなかった。
　本発明の実施形態は、上記のような課題を解決するためになされたものであり、推定値に対する確度情報を得ることのできる推定システム、推定方法及び推定プログラムを提供することを目的とする。
　上記の目的を達成するために、本実施形態の推定システムは、第１の入力データと第１の出力データの対応関係から、機械学習により推定モデルを作成する学習部と、前記推定モデルに第２の入力データを入力して得られた出力値を、前記第２の入力データに対応する出力値である第２の推定値として推定する推定部と、前記第１の入力データを前記推定モデルに入力して得られる第１の推定値の確度基準情報を求め、前記第１の推定値と前記確度基準情報との対応関係である精度推定情報を作成する精度推定情報作成部と、前記第２の推定値と前記精度推定情報とに基づいて、前記第２の推定値に対する前記確度基準情報を求め、当該確度基準情報に基づいて前記第２の推定値の推定精度である確度情報を求める精度推定部と、を備えることを特徴とする。
　また、本形態は、上記各部の処理をコンピュータ又は電子回路により実現する方法、上記の各部の処理をコンピュータに実行させるプログラムとして捉えることもできる。
　すなわち、本実施形態の推定方法は、第１の入力データと第１の出力データの対応関係から、機械学習により推定モデルを作成する学習処理と、前記推定モデルに第２の入力データを入力して得られた出力値を、前記第２の入力データに対応する出力値である第２の推定値として推定する推定処理と、前記第１の入力データを前記推定モデルに入力して得られる第１の推定値と、前記第１の推定値に対する確度基準情報との対応関係である精度推定情報を作成する精度推定情報作成処理と、前記第２の推定値と前記精度推定情報とに基づいて、前記第２の推定値に対する前記確度基準情報を求め、当該確度基準情報を前記第２の推定値の推定精度である確度情報として前記第２の推定値に対する前記確度情報を求める精度推定処理と、前記推定処理により得られた前記第２の推定値と、前記第２の推定値に対して前記精度推定処理により得られた前記確度情報とを出力する出力処理と、を備えること、を特徴とする。
　本実施形態の推定プログラムは、コンピュータに、第１の入力データと第１の出力データの対応関係から、機械学習により推定モデルを作成する学習処理と、前記推定モデルに第２の入力データを入力して得られた出力値を、前記第２の入力データに対応する出力値である第２の推定値として推定する推定処理と、前記第１の入力データを前記推定モデルに入力して得られる第１の推定値と、前記第１の推定値に対する確度基準情報との対応関係である精度推定情報を作成する精度推定情報作成処理と、前記第２の推定値と前記精度推定情報とに基づいて、前記第２の推定値に対する前記確度基準情報を求め、当該確度基準情報を前記第２の推定値の推定精度である確度情報として前記第２の推定値に対する前記確度情報を求める精度推定処理と、前記推定処理により得られた前記第２の推定値と、前記第２の推定値に対して前記精度推定処理により得られた前記確度情報とを出力する出力処理と、を実行させること、を特徴とする。
プラントに適用された第１の実施形態に係る推定システムの構成を示す図である。 精度推定情報作成部の処理ブロック図である。 精度推定情報作成部を説明するための図である。 頻度分布の作成について説明する図である。 推定値の取り得る範囲を区分し、各推定値ａｉ（ｉ＝１，２，…，Ｎ）が属する区間に対する教師データ値｛ｂ１，ｂ２，…，ｂＮ｝の頻度分布を模式的に示した図である。 精度推定情報を示す図である。 精度推定部における推定値に対する確度情報の決定動作を示すフローチャートである。 精度推定部における推定値に対する確度情報の決定を補間により決定する動作フローチャートである。 プラントに適用された第２の実施形態に係る推定システムの構成を示す図である。 プラントに適用された第４の実施形態に係る推定システムの構成を示す図である。
　（第１の実施形態）
　（基本構成）
　図１は、プラントに適用された第１の実施形態に係る推定システムの構成を示す図である。図１に示すように、本実施形態の推定システム１は、プラント１００と、データ収集部２００及びデータ記憶部３００を介して接続される。
　プラント１００は、推定で必要となる入力データ及び出力データを生成する設備又は機器の集合体である。プラント１００としては、電力系統や水道設備などの信頼性、安全性が要求されるものが挙げられる。データ収集部２００は、プラント１００の設備又は機器への入力データ、及びその出力結果である出力データを、予め設定された時間間隔毎に無線又は有線により収集し、データ記憶部３００に記憶させる。
　データ記憶部３００は、予め設定された時間間隔毎に入力データ及び出力データを対応付けて記憶する。また、データ記憶部３００は、後述する機械学習で使用する入力データ（以下、学習データと称する。）及び学習データに対応する出力データ（以下、教師データと称する）を対応付けて記憶している。この学習データ及び教師データは、データ収集部２００を介して収集されたプラント１００の過去分のデータである。
　推定システム１は、データ記憶部３００に記憶されたデータを用いて、機械学習を行うことで推定モデルを作成し、この推定モデルに従って目的とする項目を推定する。推定項目は、例えば、プラント１００の設備又は機器が所定時間後に出力する予測値や、本来収集されるべきデータであったが、データ通信等の不具合で収集できなかった欠測データの推定などが挙げられる。
　推定システム１は、単一のコンピュータ又はネットワーク接続された複数のコンピュータ及び表示装置を含み構成されている。推定システム１は、プログラム及びデータベースをＨＤＤやＳＳＤ等に記憶しており、ＲＡＭに適宜展開し、ＣＰＵで処理することにより、後述する推定モデルの作成や精度推定情報の作成などの必要な演算を行う。
　具体的には、推定システム１は、学習用データ入力部２、学習部３、推定モデル格納部４、精度推定情報作成部５、精度推定情報格納部６、推定用データ入力部７、推定部８、精度推定部９、及びユーザインタフェース１０を備える。
　学習用データ入力部２は、ＣＰＵ及びメモリを含み構成され、データ記憶部３０から学習データと学習データに対応する教師データを取得し、記憶する。学習データ及び教師データの次元数は１次元以上であり、学習に使用するレコード数は、取得済みのレコード数や推定項目によって設定することができる。
　学習部３は、ＣＰＵを含み構成され、学習用データ入力部２から取得した学習データ及び教師データの対応関係から、機械学習により推定モデルを作成する。機械学習は、ニューラルネットワーク、決定木、ランダムフォーレストなど様々な方式を用いることができる。
　本実施形態では、学習部３は、学習用データ前処理手段３１と学習手段３２を有する。学習用データ前処理手段３１は、ＣＰＵを含み構成され、学習データ又は教師データに欠損などの異常が含まれていないかを検査し、異常を検出した場合は、学習データ又は教師データのレコードを学習対象から除外する。或いは、前値で補完するなどの処理を行う。また、学習用データ前処理手段３１は、推定モデルを効率的に作成するため、学習データと教師データを、例えば、平均値０、分散１に規格化するなどの処理を行っても良い。
　学習手段３２は、ＣＰＵを含み構成され、学習用データ前処理手段３１から得た前処理済み学習データ及び前処理済み教師データを元に、機械学習により推定モデルを作成する。機械学習では、推定モデルの出力（以降、推定値とも称する。）と、教師データとの誤差が最小となるように、推定モデルに含まれるパラメータを繰り返し調整する。パラメータの調整には、例えば機械学習がニューラルネットワークである場合、誤差逆伝播法を用いることができる。
　学習部３は、推定モデルによる推定値と教師データとの誤差が予め設定した基準値以下となった場合や、学習の繰り返し数が所定回数に達した場合、学習完了とし、作成した推定モデルを推定モデル格納部４に出力する。また、学習部３は、推定モデルに使用した教師データと、当該教師データに対応する学習データを推定モデルに入力した時に得られる推定値を精度推定情報作成部５に出力する。
　推定モデル格納部４は、メモリ又はストレージを含み構成され、学習部３で作成された推定モデルを記憶する。
　精度推定情報作成部５は、ＣＰＵを含み構成され、学習データを推定モデルに入力して得られる推定値の確度基準情報を求める。この推定値は、学習部３における学習段階の推定モデルに学習データを入力して当該推定モデルから出力された値である。この学習段階の推定値を以下では第１の推定値とも称する。確度基準情報は、推定値の確かさの度合いの基準となる情報であり、例えば、標準偏差、分散である。また、精度推定情報作成部５は、学習データを推定モデルに入力して得られる推定値と、推定値に対する確度基準情報との対応関係である精度推定情報を作成する。この精度推定情報作成部５の詳細は後述する。
　精度推定情報格納部６は、メモリ又はストレージを含み構成され、精度推定情報作成部５で作成された精度推定情報を記憶する。
　推定用データ入力部７は、ＣＰＵ及びメモリを含み構成され、データ記憶部３００から推定に必要となる入力データ（以降、推定用データとも称する。）を予め設定した時間間隔で取得し、記憶する。そして、記憶した推定用データを推定部８に出力する。
　推定部８は、ＣＰＵを含み構成され、推定用データと推定モデルとを用いて出力結果を推定する。すなわち、推定部８は、推定に使用する推定モデルを推定モデル格納部４から取得する。そして、推定モデルに推定用データを入力して得られた出力値を、推定用データに対応する出力値である推定値として出力する。この推定部８による推定段階における推定用データに対応する推定値を、以下では第２の推定値とも称する。
　本実施形態の推定部８は、推定用データ前処理手段８１と推定手段８２を有する。推定用データ前処理手段８１は、ＣＰＵを含み構成され、推定用データについて欠損などの異常の有無を検査し、異常を検出した場合は、推定を行わず、前置の推定値で置き換えるなどの処理を行う。また、推定モデルを規格化した学習データ及び教師データで作成した場合、学習用データ前処理手段３１で行った処理と対応する処理を行う。例えば、学習時に学習データに対して、平均値０、分散１の規格化処理が行われていた場合、このとき使用された学習データの平均値と分散を用いて規格化する。
　推定手段８２は、ＣＰＵを含み構成され、推定モデル格納部４から推定モデルを取得し、推定用データ前処理手段８１から出力された前処理済みの推定用データを推定モデルに入力して、その推定結果を推定値として精度推定部９に出力する。
　精度推定部９は、ＣＰＵを含み構成され、推定部８の推定値に対する確度情報を求める。確度情報とは、推定部８の推定値に対する確かさの度合い（確度）を示す情報であり、確度基準情報に基づいて求められる。
　具体的には、精度推定部９は、精度推定情報格納部６から精度推定情報を取得し、推定段階の推定値である第２の推定値に対する確度基準情報を求め、当該確度基準情報に基づいて、推定部８による推定モデルの推定値の推定精度である確度情報を求める。精度推定部９は、求めた確度情報と当該確度情報に対応する推定値をユーザインタフェース１０に出力する。この精度推定部９の詳細は、後述する。
　ユーザインタフェース１０は、推定部８により得られた推定値と、当該推定値に対して精度推定部９により得られた確度情報とを出力する。推定部８により得られた推定値は、ここでは精度推定部９から入力された推定値であるが、推定部８から直接入力された推定値であっても良い。ユーザインタフェース１０は、例えば、有機ＥＬや液晶ディスプレイなどの表示装置であり、推定部８により得られた推定値と、当該推定値に対して精度推定部９により得られた確度情報とを一対のデータとして表示する。ユーザインタフェース１０は、この一対のデータの他にも、推定部８により得られた推定値に対応する教師データの頻度分布を表示しても良い。
　（詳細構成）
　精度推定情報作成部５及び精度推定部９を更に詳細に説明する。図２は、精度推定情報作成部５の処理ブロック図である。図３は、精度推定情報作成部５を説明するための図である。図２に示すように、精度推定情報作成部５は、分布作成部５１、確度基準情報算出部５２を有する。
　分布作成部５１は、ＣＰＵ及びメモリを含み構成され、図３に示すように、学習データに対する推定モデルの推定値（第１の推定値）の取り得る範囲を区分に分割し、当該推定値に対応する教師データの値を区間に対応付けて、区間毎に当該推定値に対応する教師データの値の頻度分布を作成する。なお、第１の推定値は、推定モデルに学習データを入力して出力された値であるため、学習データと対応関係があり、また当該学習データは教師データと対応関係がある。そのため、共通する学習データに対して対応する第１の推定値と教師データには対応関係がある。
　図３では、推定値の取り得る範囲が０～１２９であり、その範囲を１３等分し、０～９、１０～１９、…、１２０～１２９の区間で区切った例を示している。この例において、推定値が８５であった場合、この推定値は区間８０～８９に対応する。また、推定値が０未満又は１３０以上となる場合は、それぞれ０未満、１３０以上の区間として取り扱うものとする。なお、推定値の取り得る範囲は、例えばプラント１００の設備又は機器のデータ仕様から予め決定する。
　分布作成部５１は、学習データに対応する推定値と教師データの対応関係について、推定値のそれぞれの分割区間に対して、教師データ値に対する累積情報を対応する区間に記録する。例えば、図４に示すように、学習データを推定モデルに入力して出力された推定値が８５であり、推定値に対応する教師データが７９であった場合、推定範囲の区間８０～８９に対応する教師データの区間７０～７９の累積情報ＡをＡ＋１に更新し、記録する。換言すれば、図４に示すように、各推定値の区間における教師データ値の各区間のマス目には、推定値に対応する教師データの値の数の累積情報である数値が書き込まれる。
　このように分布作成部５１は、累積情報の更新を、推定値と当該推定値に対応する教師データ値の組み合わせの分繰り返し、図５に示すように頻度分布を作成する。図５は、推定値の取り得る範囲を区分し、各推定値ａｉ（ｉ＝１，２，…，Ｎ）が属する区間に対する教師データ値｛ｂ１，ｂ２，…，ｂＮ｝の頻度分布を模式的に示した図である。このように、頻度分布は、横軸が教師データの値、縦軸が推定値に対応する教師データの数となる分布であり、各推定値の区間に対してそれぞれ作成される。なお、ここでいうＮは、推定値の区間の数である。
　確度基準情報算出部５２は、ＣＰＵを含み構成され、分布作成部５１により作成された頻度分布から標準偏差を算出する。すなわち、確度基準情報とは、ここでは頻度分布の標準偏差であり、確度基準情報算出部５２は、例えば、頻度分布から式（１）に従って標準偏差σ（ａｉ）（ｉ＝１，２，…，Ｎ）を算出する。
Figure JPOXMLDOC01-appb-M000001
 　ｂｋ（ａｉ）は、推定値ａｉに対する教師データｂｋを示す。Ｌは、推定値ａｉが属する区間における教師データの数を示す。
　このように、精度推定情報作成部５は、確度基準情報算出部５２により各推定値ａｉに対する確度基準情報σ（ａｉ）（ｉ＝１，２，…，Ｎ）をそれぞれ求め、図６に示すように、推定値ａｉと、推定値ａｉに対する確度基準情報σ（ａｉ）との対応関係である精度推定情報Ｔを作成する。精度推定情報Ｔは、例えば推定値ａｉと確度基準情報σ（ａｉ）との対応関係を示すテーブルである。ここでのＮは、推定値の区間の数である。したがって、確度基準情報σ（ａｉ）は、推定値ａｉが属する区間に対応し、当該区間の数求められる（ｉ＝１，２，…，Ｎ）。
　精度推定部９は、精度推定情報格納部６から精度推定情報Ｔを参照し、推定部８から入力された推定値に対応する確度基準情報を求め、当該確度基準情報に基づいて当該推定値に対する確度情報を求める。
　図７は、精度推定部９における推定値に対する確度情報の決定動作を示すフローチャートである。図７に示すように、精度推定部９は、推定部８から推定値ｘの入力を受け（ステップＳ０１）、推定値ｘが属する区間を特定し、ａｉ≦ｘ＜ａｉ＋１となるａｉ、ａｉ＋１を検出する（ステップＳ０２）。そして、（ｘ－ａｉ）＜（ａｉ＋１－ｘ）が成立するかを判定する（ステップＳ０３）。
　（ｘ－ａｉ）＜（ａｉ＋１－ｘ）が成立する場合は（ステップＳ０３のＹＥＳ）、確度基準情報σ（ａｉ）を確度情報としてユーザインタフェース１０に出力する（ステップＳ０４）。一方、（ｘ－ａｉ）≧（ａｉ＋１－ｘ）である場合は（ステップＳ０３のＮＯ）、σ（ａｉ＋１）を確度情報としてユーザインタフェース１０に出力する（ステップＳ０５）。
　また、上記のように精度推定部９は、推定値ｘが精度推定情報Ｔの推定値に最も近い推定値に対応する確度基準情報を確度情報としたが、次に示すように、精度推定情報Ｔにおける推定値に対する確度基準情報の補間に基づいて得られた情報を確度情報としても良い。
　すなわち、図８に示すように、精度推定部９は、推定部８から推定値ｘの入力を受け（ステップＳ１１）、推定値ｘが属する区間を特定し、ａｉ≦ｘ＜ａｉ＋１となるａｉ、ａｉ＋１を検出する（ステップＳ１２）。そして、推定値ａｉ、ａｉ＋１に対する確度基準情報σ（ａｉ）、σ（ａｉ＋１）を精度推定情報Ｔから検索し、式（２）に従って線形補間値ｙを算出する（ステップＳ１３）。
Figure JPOXMLDOC01-appb-M000002
 　式（２）のｘは推定値である。
　更に、精度推定部９は、線形補間値ｙに重み係数Ｗを乗じ（ステップＳ１４）、得られた値を確度情報としてユーザインタフェース１０に出力する（ステップＳ１５）。なお、重み係数Ｗは、実数であり、予め設定されている。重み係数Ｗは、確度基準情報σ（ａｉ）、σ（ａｉ＋１）の算出の際に使用したデータの母数が、確度基準情報σ（ａｉ）に対応する推定値ａｉが属する区間と、確度基準情報σ（ａｉ＋１）に対応する推定値ａｉ＋１が属する区間とで異なるとき、母数が多い方を重み付けするように決定し、線形補間値ｙを補正する。
　（作用・効果）
（１）本実施形態の推定システム１は、学習データと教師データの対応関係から、機械学習により推定モデルを作成する学習部３と、学習部３により作成された推定モデルに推定用データを入力して得られた出力値を、推定用データに対応する出力値である第２の推定値として推定する推定部８と、学習データを推定モデルに入力して得られる第１の推定値の確度基準情報を求め、第１の推定値と確度基準情報との対応関係である精度推定情報Ｔを作成する精度推定情報作成部５と、第２の推定値と精度推定情報Ｔとに基づいて、第２の推定値に対する確度基準情報を求め、当該確度基準情報に基づいて第２の推定値の推定精度である確度情報を求める精度推定部９と、を備えるようにした。
　これにより、機械学習により作成された推定モデルが出力した推定値と併せて当該推定値に対する確度情報が得られるので、推定値に対する確度を評価することができる。そのため、推定値を信頼性や安全性が要求されるプラントの施設や機器などを適切に運用することが可能となる。例えば、推定システム１が、推定部８により得られた第２の推定値と、第２の推定値に対して精度推定部９により得られた確度情報とを出力するユーザインタフェース１０を備えることで、ユーザは、第２の推定値と、当該第２の推定値に対する確度情報とを得ることができ、第２の推定値の確度を評価することができる。
　（２）精度推定情報作成部５は、推定モデルの第１の推定値の取り得る範囲を区間に分割し、第１の推定値に対応する教師データの値を上記区間に対応付けて、上記区間毎に第１の推定値に対応する教師データの値の頻度分布を作成する分布作成部５１と、確度基準情報として、頻度分布から標準偏差を算出する確度基準情報算出部５２と、を有するようにした。
　これにより、推定モデルを作成する際に使用したデータから第２の推定値に潜在的に含まれる誤差を推定することができる。すなわち、学習データ及び教師データの標本が推定モデルの作成に使用されるため、当該標本に内在していた誤差が推定モデルに反映される。そのため、推定モデルに学習データを入力して得られた第１の推定値には、学習データに対する実績値である教師データとの差分である誤差が含まれ得る。同様に、推定モデルに推定用データを入力して得られた第２の推定値にも誤差が含まれ得るが、この第２の推定値に潜在的に含まれる誤差は、推定モデルの作成時、即ち学習時に使用した標本に内在していた誤差が反映されるものと考えられる。そのため、学習時に使用した教師データ、第１の推定値から頻度分布を作成し、誤差を評価する指標として標準偏差を算出するようにしたので、標準偏差を基準として第２の推定値の確度を評価することができる。
　このように、機械学習による推定モデルの学習時に、推定モデルの推定値とその推定値に対応する教師データの値の頻度分布と、求めた頻度分布から得られる確度基準情報を求めて、推定時には、確度基準情報に基づいて確度情報を求めることで、第２の推定値に確率的に含まれる誤差を確度情報として与えることができ、第２の推定値に対する確度を評価することができる。
　（３）精度推定部９は、第２の推定値に最も近い精度推定情報Ｔの推定値に対する標準偏差（確度基準情報）を確度情報とするようにした。これにより、簡便に確度情報を得ることができる。
　（４）精度推定部９は、第２の推定値が含まれる精度推定情報Ｔにおける推定値に対する標準偏差（確度基準情報）の線形補間値に重み係数を乗じた値を確度情報とするようにした。これにより、確度情報の推定値に対する推定精度を向上させることができる。
　（５）ユーザインタフェース１０は、表示装置であり、第１の推定値に対する教師データの値の頻度分布を表示するようにした。これにより、ユーザは、推定値及びその確度情報だけでなく、頻度分布も確認することができ、頻度分布の形状から学習データに偏りがないかを確認することができる。例えば、学習データに偏りがなく十分な学習ができていれば、頻度分布は平均値を中心に正規分布のような形状が期待でき、また精度良く学習ができていれば、分散が小さくなり分布形状がシャープになることが期待できる。
　（第２の実施形態）
　（構成）
　第２の実施形態を、図９を用いて説明する。第２の実施形態は、第１の実施形態の基本構成と同じである。以下では、第１の実施形態と異なる点のみを説明し、第１の実施形態と同じ部分については同じ符号を付して詳細な説明は省略する。
　図９は、プラントに適用された第２の実施形態に係る推定システムの構成を示す図である。図９に示すように、推定システム１は、確度判定部１１を備える。
　確度判定部１１は、ＣＰＵを含み構成され、確度情報に対して閾値を設け、閾値に対して確度が低いか否かを判定する。具体的には、確度判定部１１は、上記閾値と、精度推定部９が出力した確度情報とを比較し、確度情報が閾値よりも低い場合は、確度が低いと判定する区間を示す情報を生成し、当該区間を示す情報を学習部３に出力する。また、確度判定部１１は、閾値と確度情報との比較により、確度情報が閾値以上である場合は、確度が高いと判定する区間を示す情報を生成し、当該区間を示す情報を学習部３に出力する。
　なお、確度判定部１１は、確度が低いと判定する区間又は確度が高いと判定する区間を次のように特定する。確度が低いと判定する区間を例に説明すると、確度判定部１１は、閾値より低いと判定した確度情報には、対応する第２の推定値が存在しているため、精度推定部９から当該第２の推定値の入力を受け、また、精度推定部９から精度推定情報Ｔを取得し、この精度推定情報Ｔを参照して当該第２の推定値が属している区間を特定する。
　また、確度が高い区間又は確度が低い区間の特定は、次のように特定してもよい。すなわち、精度推定部９が第２の推定値から精度推定情報Ｔを参照して第２の推定値が属する区間ａｉ～ａｉ＋１を特定するため、確度判定部１１は、精度推定部９から特定された区間ａｉ～ａｉ＋１を取得する。一方、確度判定部１１は、精度推定部９から取得した確度情報を閾値と比較することにより、確度情報が閾値以上となって確度が高いか、又は確度情報が閾値未満となって確度が低いかを判定しているので、当該判定結果と取得した区間ａｉ～ａｉ＋１とを共通する第２の推定値に基づいて紐付けることで、確度が高い区間又は確度が低い区間を特定する。
　学習部３は、機械学習により推定モデルに追加学習させて推定モデルを更新する。この推定モデルに追加学習させる新たな学習データ及び教師データは、確度が低い結果となった推定用データと、推定モデルの作成以降に発生した確度が低い結果となった推定用データに対応する実績値である。確度が低い結果となった推定用データとは、確度判定部１１により閾値より低いと判定された確度情報を求めるのに精度推定部９で使用した第２の推定値に対応する入力データである。推定モデルの作成以降に発生した確度が低い結果となった推定用データに対応する実績値とは、推定モデルの作成以降にプラント１００の設備又は機器から発生した出力データ値のうち、確度が低い結果となった推定用データに対応する出力データ値である。
　すなわち、推定部８の第２の推定値が、推定時から所定時間後の予測値であり、推定時の所定時間後に実績値が取得可能である場合、確度が低いと判定された当該第２の推定値に対応する推定用データが学習データとなり、推定時から所定時間後の実績値が教師データとなる。これらの学習データ及び教師データは、確度が低いと特定された区間のサンプルであり、例えば学習用データ入力部２に記憶される。なお、確度が低いと判定された第２の推定値とは、確度判定部１１により確度が低いと判定された確度情報に対応する第２の推定値である。
　このように、学習部３は、推定モデルの作成以降に新たな発生した確度が低いと特定された区間のサンプルを材料源として、機械学習により推定モデルに追加学習させることで、確度判定部１１が確度が低いと特定した区間について、推定モデルを更新する。
　なお、確度判定部１１により確度が低いと判定された確度情報には、対応する第２の推定値が存在しており、当該第２の推定値に対しては推定用データが存在している。そのため、確度が低い結果となった推定用データが特定される。また、同様に、確度判定部１１により確度が高いと判定された確度情報には、対応する第２の推定値が存在しており、当該第２の推定値に対して推定用データが存在している。そのため、確度が高い結果となった推定用データが特定される。
　例えば、推定用データＩｊが推定部８に入力されて推定部８から第２の推定値ａｊが出力されたとすると、精度推定部９は、取得した第２の推定値ａｊに対応する確度情報Ｋｊを求め、確度判定部１１に出力する。確度判定部１１は、取得した確度情報Ｋｊに対して閾値を比較することで、確度情報Ｋｊに対して確度の高低を判定する。例えば、推定部８が推定用データＩｊと第２の推定値ａｊとを紐付けて推定システム１内のメモリに格納し、精度推定部９が第２の推定値ａｊと確度情報Ｋｊとを紐付けて推定システム１内のメモリに格納しておき、確度情報Ｋｊが確度が低いと判定した場合に、確度判定部１１は、当該確度情報Ｋｊと第２の推定値ａｊとを精度推定部９により格納されたメモリから取り出し、第２の推定値ａｊと推定用データＩｊとを推定部８により格納されたメモリから取り出すことにより、確度が低いと判定された確度情報Ｋｊに対応する推定用データＩｊを特定する。
　また、当該推定用データＩｊを用いた推定の後の所定時間後の実績値ｂｊは、データ収集部２００により収集され、データ記憶部３００を介して例えば学習用データ入力部２に記憶される。そのため、推定用データと、推定から所定時間後の実績値とを紐付けることで、確度が低いと判定された区間における追加学習させる新たなサンプルを得る。例えば、推定部８は、第２の推定値ａｊを推定した時の時刻ｔｊと、当該第２の推定値ａｊに対応する推定用データＩｊとを紐付けて、推定システム１内のメモリに格納しておき、第２の推定値ａｊが推定時刻ｔｊから所定時間Δｔ後の予測値であるとすると、確度判定部１１は、時刻ｔｊ＋Δｔに発生した実績値ｂｊを学習用データ入力部２から取得し、特定した推定用データＩｊと実績値ｂｊとを対応付け、学習用データ入力部２に記憶させる。
　（作用・効果）
　（１）本実施形態の推定システムは、確度情報に対して閾値を設け、閾値に対して確度が低いか否かを判定する確度判定部１１を備えるようにした。これにより、確度の低い区間を知ることができる。すなわち、確度が低い要因としては、サンプル数が少ないことが一因として考えられるが、推定モデルの学習時においては、推定モデルに含まれるパラメータが、推定モデルの推定値と教師データとの誤差が最小となるように調整されるだけであり、サンプル数が不足しているか区間は不明であるが、確度判定部１１により、サンプル数が不足していると推定される区間を知ることができる。
　（２）学習部３は、確度判定部１１により確度が低いと特定された区間について、機械学習により推定モデルに追加学習させて推定モデルを更新するようにした。これにより、確度が低い区間における推定値の推定精度を向上させることができる。換言すれば、各区間における確度の高低は相対的であり、確度が高い区間においては、新たな入力データと当該データに対する実績値とからなる新たなサンプルを追加学習させないようにすることで、確度が低い区間における推定値の推定精度を確度が高い区間の推定値の推定精度に対し、相対的に向上させることができる。
　また、新たな入力データと当該データに対する実績値とからなる新たなサンプルを追加学習させることで、以前に学習したサンプルに対する推定精度よりも、新たなサンプルに対する推定精度を向上させやすい。つまり、新たなサンプルに対する推定精度が高くなるように強調されて推定モデルに反映されるため、プラント１００の設備や機器の経時変化等に追従した推定モデルを提供でき、入力に対する出力のトレンドが変わっていく推定対象に対して推定精度を向上させることができる。
　（第３の実施形態）
　第３の実施形態を説明する。第３の実施形態は、第２の実施形態の基本構成と同じである。以下では、第２の実施形態と異なる点のみを説明し、第２の実施形態と同じ部分については同じ符号を付して詳細な説明は省略する。
　本実施形態では、学習部３は、再学習させて推定モデルを新たに作成する。すなわち、学習部３は、確度判定部１１により確度が低いと特定された区間について、推定モデルを作成するのに使用した過去の学習データ及び教師データの対応関係と、推定モデル作成以降の新たな学習データ及び当該学習データに対応する実績データとの対応関係とから、機械学習により推定モデルを新たに作成する。
　このように、学習部３は、確度判定部１１により確度が低いと特定された区間について、学習データ及び教師データの対応関係と、新たな学習データ及び当該データに対応する実績データの対応関係とから、機械学習により再学習させて推定モデルを新たに作成するようにした。これにより、以前に学習したサンプルに対しても新たに学習したサンプルに対しても精度良く推定することができる推定モデルを得ることができる。言い換えれば、あらゆる入力に対しても精度の高い推定値を得ることができる推定モデルを得ることができ、推定に対する信頼性を向上させることができる。
　（第４の実施形態）
　第４の実施形態を、図１０を用いて説明する。第４の実施形態は、第２の実施形態の基本構成と同じである。以下では、第２の実施形態と異なる点のみを説明し、第２の実施形態と同じ部分については同じ符号を付して詳細な説明は省略する。
　図１０は、プラントに適用された第４の実施形態に係る推定システムの構成を示す図である。図１０に示すように、本実施形態の推定システムは、高確度記憶部１２を備える。
　高確度記憶部１２は、メモリ又はストレージを含み構成され、確度が高いと判定された第２の推定値と、その推定を推定部８が行った時刻とを対応付けて記憶する。ここでいう確度が高いと判定された第２の推定値とは、確度判定部１１が確度が高いと特定した区間における確度情報を、精度推定部９が求めるのに用いた推定値である。
　精度推定部９は、推定された第２の推定値が確度判定部１１により確度が低いと判定された場合に、高確度記憶部１２から、推定の時点の直近の確度が高いと判定された第２の推定値を取得し、取得した前記第２の推定値に確度が低いと判定された第２の推定値を置き換えてユーザインタフェース１０に出力する。
　例えば、精度推定部９は、確度判定部１１により確度が高いと判定された第２の推定値と、当該第２の推定値が推定部８により出力された時刻とを紐付けておき、高確度記憶部１２に記憶させる。そして、精度推定部９に、推定部８から推定部８が推定した他の第２の推定値が入力され、求めた確度情報が確度判定部１１により確度が低いと判定された場合、精度推定部９は、推定部８が上記他の第２の推定値を推定した時刻より前の直近の時刻における高確度記億部１２に記憶された第２の推定値を取得する。そして、取得した第２の推定値に従って確度情報を求める。
　このように本実施形態の推定システムは、確度判定部１１により確度が高いと判定された第２の推定値と、その推定を推定部８が行った時刻とを対応付けて記憶する高確度記憶部１２を備え、精度推定部９は、推定された第２の推定値が確度判定部１１により確度が低いと判定された場合に、高確度記憶部１２から推定の時点の直近の確度が高いと判定された第２の推定値を取得し、取得した第２の推定値に確度が低いと判定された第２の推定値を置き換えてユーザインタフェース１０に出力するようにした。
　例えば、推定対象がプラント設備や機器を制御するための制御値である場合に、確度の低い推定値を制御値として使用することはプラント設備や機器に信頼性が求められる場合に好ましくない。これに対し、確度の低い推定値を確度の高い直近の推定値に置き換えることで、確度が低いと判定された場合でも、追加学習や再学習をすることなく迅速に対処することができる。確度が低い区間が判明したとしても、追加学習や再学習は、ある程度新たなサンプル（実績値）が蓄積してから学習させることになるので、確度が矯正されるスパンは比較的長くなってしまう。これに対し、確度が低いと判定されたとしても、その推定以前に確度が高いと判定されている場合には、その推定値を使用することで確度が低いと判定された区間に対して迅速に対処することができる。
（他の実施形態）
　本明細書においては、本発明に係る複数の実施形態を説明したが、これらの実施形態は例として提示したものであって、発明の範囲を限定することを意図していない。以上のような実施形態は、その他の様々な形態で実施されることが可能であり、発明の範囲を逸脱しない範囲で、種々の省略や置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　第１乃至第４の実施形態では、ユーザインタフェース１０を有するようにしたが、必ずしも有していなくても良い。例えば、推定システム１は、外部からの要求に応じて、精度推定部９により求めた確度情報と、当該確度情報に対応する推定値とを外部に出力するようにしても良い。このような推定システム１は、例えば単一又は複数のコンピュータで構成されたサーバである。
　第１乃至第４の実施形態では、学習データ、教師データ、推定用データに対し、学習用データ前処理手段３１、推定用データ前処理手段８１によって前処理を行ったが、必ずしも行わなくても良い。
　第２の実施形態、第３の実施形態では、確度が低い区間について、追加学習、再学習させるようにしたが、確度が高い区間について、追加学習、再学習させるようにしても良い。これにより、確度が高い区間について更に推定値の推定精度を向上させることができ、この推定値を用いて信頼性や安全性が要求されるプラントの設備や機器などを適切に運用することができる。
　第１乃至第４の実施形態では、確度基準情報を頻度分布の標準偏差としたが、信頼区間としても良い。すなわち、確度基準情報算出部５２は、頻度分布から信頼区間を算出する。信頼区間は、標本平均±ｔ×標本標準偏差／√（標本数）に従って算出することができる。ｔは、ｔ分布表及び自由度（＝標本数－１）から求めることができる。例えば、信頼区間を９９．７％信頼区間とする場合は、ｔ＝３である。精度推定情報作成部５は、推定値と求めた信頼区間との対応関係である精度推定情報Ｔを求める。そして、精度推定部９は、推定値と精度推定情報Ｔから推定値に対応する信頼区間を求め、信頼区間に基づいて確度情報を求める。例えば、精度推定部９は、｜信頼区間－標本平均｜を確度情報とすることができる。
１　　　　　推定システム
２　　　　　学習用データ入力部
３　　　　　学習部
３１　　　　学習用データ前処理手段
３２　　　　学習手段
４　　　　　推定モデル格納部
５　　　　　精度推定情報作成部
５１　　　　分布作成部
５２　　　　確度基準情報算出部
６　　　　　精度推定情報格納部
７　　　　　推定用データ入力部
８　　　　　推定部
８１　　　　推定用データ前処理手段
８２　　　　推定手段
９　　　　　精度推定部
１０　　　　ユーザインタフェース
１１　　　　確度判定部
１２　　　　高確度記憶部
Ｔ　　　　　精度推定情報
１００　　　プラント
２００　　　データ収集部
３００　　　データ記憶部

Claims (12)

  1. 　第１の入力データと第１の出力データの対応関係から、機械学習により推定モデルを作成する学習部と、
    　前記推定モデルに第２の入力データを入力して得られた出力値を、前記第２の入力データに対応する出力値である第２の推定値として推定する推定部と、
    　前記第１の入力データを前記推定モデルに入力して得られる第１の推定値の確度基準情報を求め、前記第１の推定値と前記確度基準情報との対応関係である精度推定情報を作成する精度推定情報作成部と、
    　前記第２の推定値と前記精度推定情報とに基づいて、前記第２の推定値に対する前記確度基準情報を求め、当該確度基準情報に基づいて前記第２の推定値の推定精度である確度情報を求める精度推定部と、
    　を備える推定システム。
  2. 　前記精度推定情報作成部は、
    　前記推定モデルの前記第１の推定値の取り得る範囲を区間に分割し、前記第１の推定値に対応する前記第１の出力データの値を前記区間に対応付けて、前記区間毎に前記第１の推定値に対応する前記第１の出力データの値の頻度分布を作成する分布作成部と、
    　前記確度基準情報として、前記頻度分布から標準偏差を算出する確度基準情報算出部と、
    　を有する、
    　請求項１記載の推定システム。
  3. 　前記精度推定部は、前記第２の推定値に最も近い精度推定情報の推定値に対する前記標準偏差を確度情報とする、
    　請求項２記載の推定システム。
  4. 　前記精度推定部は、前記第２の推定値が含まれる前記精度推定情報における推定値に対する前記標準偏差の線形補間値に重み係数を乗じた値を確度情報とする、
    　請求項２記載の推定システム。
  5. 　前記推定部により得られた前記第２の推定値と、前記第２の推定値に対して前記精度推定部により得られた前記確度情報とを出力するユーザインタフェースを備える、
    　請求項１～４の何れか記載の推定システム。
  6. 　前記ユーザインタフェースは、表示装置であり、前記第１の推定値に対する前記第１の出力データの値の頻度分布を表示する、
    　請求項５記載の推定システム。
  7. 　前記確度情報に対して閾値を設け、前記閾値に対して確度が低いか否かを判定する確度判定部を備える、
    　請求項５又は６記載の推定システム。
  8. 　前記学習部は、前記確度判定部が前記確度が低いと特定した前記区間について、機械学習により前記推定モデルに追加学習させて前記推定モデルを更新する、
    　請求項７記載の推定システム。
  9. 　前記学習部は、前記確度判定部により前記確度が低いと特定された前記区間について、前記第１の入力データ及び前記第１の出力データの対応関係と、新たな入力データ及び当該データに対応する実績データの対応関係とから、機械学習により再学習させて推定モデルを新たに作成する、
    　請求項７記載の推定システム。
  10. 　前記確度判定部により前記確度が高いと判定された前記第２の推定値と、その推定を前記推定部が行った時刻とを対応付けて記憶する高確度記憶部を備え、
    　前記精度推定部は、推定された前記第２の推定値が前記確度判定部により前記確度が低いと判定された場合に、前記高確度記憶部から前記推定の時点の直近の前記確度が高いと判定された前記第２の推定値を取得し、前記確度が低いと判定された前記第２の推定値を前記取得した前記第２の推定値に置き換えて前記ユーザインタフェースに出力する、
    　請求項７記載の推定システム。
  11. 　第１の入力データと第１の出力データの対応関係から、機械学習により推定モデルを作成する学習処理と、
    　前記推定モデルに第２の入力データを入力して得られた出力値を、前記第２の入力データに対応する出力値である第２の推定値として推定する推定処理と、
    　前記第１の入力データを前記推定モデルに入力して得られる第１の推定値と、前記第１の推定値に対する確度基準情報との対応関係である精度推定情報を作成する精度推定情報作成処理と、
    　前記第２の推定値と前記精度推定情報とに基づいて、前記第２の推定値に対する前記確度基準情報を求め、当該確度基準情報を前記第２の推定値の推定精度である確度情報として前記第２の推定値に対する前記確度情報を求める精度推定処理と、
    　前記推定処理により得られた前記第２の推定値と、前記第２の推定値に対して前記精度推定処理により得られた前記確度情報とを出力する出力処理と、
    　を備える推定方法。
  12. 　コンピュータに、
    　第１の入力データと第１の出力データの対応関係から、機械学習により推定モデルを作成する学習処理と、
    　前記推定モデルに第２の入力データを入力して得られた出力値を、前記第２の入力データに対応する出力値である第２の推定値として推定する推定処理と、
    　前記第１の入力データを前記推定モデルに入力して得られる第１の推定値と、前記第１の推定値に対する確度基準情報との対応関係である精度推定情報を作成する精度推定情報作成処理と、
    　前記第２の推定値と前記精度推定情報とに基づいて、前記第２の推定値に対する前記確度基準情報を求め、当該確度基準情報を前記第２の推定値の推定精度である確度情報として前記第２の推定値に対する前記確度情報を求める精度推定処理と、
    　前記推定処理により得られた前記第２の推定値と、前記第２の推定値に対して前記精度推定処理により得られた前記確度情報とを出力する出力処理と、
    　を実行させる推定プログラム。
PCT/JP2018/021194 2018-06-01 2018-06-01 推定システム、推定方法及び推定プログラム Ceased WO2019229977A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/021194 WO2019229977A1 (ja) 2018-06-01 2018-06-01 推定システム、推定方法及び推定プログラム
JP2020522541A JP6984013B2 (ja) 2018-06-01 2018-06-01 推定システム、推定方法及び推定プログラム
CN201880094033.3A CN112204586A (zh) 2018-06-01 2018-06-01 推定系统、推定方法和推定程序
US15/734,077 US20210216901A1 (en) 2018-06-01 2018-06-01 Estimation system, estimation method, and estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/021194 WO2019229977A1 (ja) 2018-06-01 2018-06-01 推定システム、推定方法及び推定プログラム

Publications (1)

Publication Number Publication Date
WO2019229977A1 true WO2019229977A1 (ja) 2019-12-05

Family

ID=68697938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021194 Ceased WO2019229977A1 (ja) 2018-06-01 2018-06-01 推定システム、推定方法及び推定プログラム

Country Status (4)

Country Link
US (1) US20210216901A1 (ja)
JP (1) JP6984013B2 (ja)
CN (1) CN112204586A (ja)
WO (1) WO2019229977A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021121888A (ja) * 2020-01-31 2021-08-26 横河電機株式会社 学習装置、学習方法、学習プログラム、判定装置、判定方法、および判定プログラム
JPWO2022024315A1 (ja) * 2020-07-30 2022-02-03
JPWO2022024211A1 (ja) * 2020-07-28 2022-02-03
JP2022108816A (ja) * 2021-01-14 2022-07-27 株式会社日立製作所 データ作成支援装置及びデータ作成支援方法
WO2022205016A1 (zh) * 2021-03-30 2022-10-06 Oppo广东移动通信有限公司 基于人工智能的信道估计方法及装置
JP2023122199A (ja) * 2022-02-22 2023-09-01 株式会社日立製作所 動作検証システム及び動作検証方法
WO2023223533A1 (ja) * 2022-05-20 2023-11-23 日本電気株式会社 推定装置、推定方法およびプログラム
WO2025115599A1 (ja) * 2023-11-28 2025-06-05 オリンパスメディカルシステムズ株式会社 支援装置、支援方法および記録媒体
JP7790562B2 (ja) 2022-05-20 2025-12-23 日本電気株式会社 推定装置、推定方法およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230274408A1 (en) * 2020-07-27 2023-08-31 Fanuc Corporation Inspection device
JP2022149352A (ja) * 2021-03-25 2022-10-06 本田技研工業株式会社 状態推定システム及び状態推定プログラム
JP7782320B2 (ja) * 2022-03-08 2025-12-09 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010436A (ja) * 2015-06-25 2017-01-12 富士電機株式会社 誤差幅推定装置、誤差幅推定システム、誤差幅推定方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4109630B2 (ja) * 2004-01-06 2008-07-02 名古屋電機工業株式会社 良否判定装置、良否判定プログラムおよび良否判定方法
JP5048625B2 (ja) * 2008-10-09 2012-10-17 株式会社日立製作所 異常検知方法及びシステム
JP5301310B2 (ja) * 2009-02-17 2013-09-25 株式会社日立製作所 異常検知方法及び異常検知システム
JP6313730B2 (ja) * 2015-04-10 2018-04-18 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 異常検出システムおよび方法
GB201506824D0 (en) * 2015-04-22 2015-06-03 Trailreach Ltd TrailReach Multitrial
CN107944466B (zh) * 2017-10-25 2020-12-25 浙江大学 一种基于分段思想的降雨偏差纠正方法
JP2019087012A (ja) * 2017-11-07 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010436A (ja) * 2015-06-25 2017-01-12 富士電機株式会社 誤差幅推定装置、誤差幅推定システム、誤差幅推定方法及びプログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650557B2 (en) 2020-01-31 2023-05-16 Yokogawa Electric Corporation Learning apparatus, learning method, computer readable medium having recorded thereon learning program, determination apparatus, determination method, and computer readable medium having recorded thereon determination program
JP2021121888A (ja) * 2020-01-31 2021-08-26 横河電機株式会社 学習装置、学習方法、学習プログラム、判定装置、判定方法、および判定プログラム
JP7298494B2 (ja) 2020-01-31 2023-06-27 横河電機株式会社 学習装置、学習方法、学習プログラム、判定装置、判定方法、および判定プログラム
JP7438365B2 (ja) 2020-07-28 2024-02-26 三菱電機株式会社 学習活用システム、活用装置、学習装置、プログラム及び学習活用方法
JPWO2022024211A1 (ja) * 2020-07-28 2022-02-03
WO2022024211A1 (ja) * 2020-07-28 2022-02-03 三菱電機株式会社 学習活用システム、活用装置、学習装置、プログラム及び学習活用方法
WO2022024315A1 (ja) * 2020-07-30 2022-02-03 富士通株式会社 精度推定プログラム、装置、及び方法
JP7424496B2 (ja) 2020-07-30 2024-01-30 富士通株式会社 精度推定プログラム、装置、及び方法
JPWO2022024315A1 (ja) * 2020-07-30 2022-02-03
JP2022108816A (ja) * 2021-01-14 2022-07-27 株式会社日立製作所 データ作成支援装置及びデータ作成支援方法
JP7544607B2 (ja) 2021-01-14 2024-09-03 株式会社日立製作所 データ作成支援装置及びデータ作成支援方法
WO2022205016A1 (zh) * 2021-03-30 2022-10-06 Oppo广东移动通信有限公司 基于人工智能的信道估计方法及装置
JP2023122199A (ja) * 2022-02-22 2023-09-01 株式会社日立製作所 動作検証システム及び動作検証方法
JP7732921B2 (ja) 2022-02-22 2025-09-02 株式会社日立製作所 動作検証システム及び動作検証方法
WO2023223533A1 (ja) * 2022-05-20 2023-11-23 日本電気株式会社 推定装置、推定方法およびプログラム
JPWO2023223533A1 (ja) * 2022-05-20 2023-11-23
JP7790562B2 (ja) 2022-05-20 2025-12-23 日本電気株式会社 推定装置、推定方法およびプログラム
WO2025115599A1 (ja) * 2023-11-28 2025-06-05 オリンパスメディカルシステムズ株式会社 支援装置、支援方法および記録媒体

Also Published As

Publication number Publication date
JP6984013B2 (ja) 2021-12-17
US20210216901A1 (en) 2021-07-15
JPWO2019229977A1 (ja) 2021-04-22
CN112204586A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
JP6984013B2 (ja) 推定システム、推定方法及び推定プログラム
CN113869342B (zh) 预估性建模中的标记偏移检测和调整
CN110705598B (zh) 智能模型管理方法、装置、计算机设备及存储介质
JP6845126B2 (ja) 故障確率算出装置、故障確率算出方法及びプログラム
US12001180B2 (en) Condition-based method for malfunction prediction
EP3716160A1 (en) Learning parameters of a probabilistic model comprising gaussian processes
JP2019185422A (ja) 故障予知方法、故障予知装置および故障予知プログラム
JP2016004525A (ja) データ分析システム及びデータ分析方法
JP2017524182A (ja) グローバルモデルからの局所化された学習
JP2020086778A (ja) 機械学習モデル構築装置および機械学習モデル構築方法
US20100217734A1 (en) Method and system for calculating value of website visitor
US12086697B2 (en) Relationship analysis device, relationship analysis method, and recording medium for analyzing relationship between a plurality of types of data using kernel mean learning
CN113641525A (zh) 变量异常修复方法、设备、介质及计算机程序产品
US20200311326A1 (en) Self-service artificial intelligence platform leveraging data-based and physics-based models for providing real-time controls and recommendations
KR20210135416A (ko) 시편의 검사를 위한 알고리즘 모듈들의 자동 선택
US20210064941A1 (en) Method for adaptive context length control for on-line edge learning
JP2015184818A (ja) サーバ、モデル適用可否判定方法およびコンピュータプログラム
JP6919856B2 (ja) 強化学習プログラム、強化学習方法、および強化学習装置
CN119691759A (zh) 应用于电子信息平台的信息安全防护方法及系统
KR20160053977A (ko) 모델 적응을 위한 장치 및 방법
JP7710965B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN113837208B (zh) 一种异常图像的确定方法、装置、电子设备及存储介质
CN114722061B (zh) 数据处理方法及装置、设备、计算机可读存储介质
JP2020191007A (ja) 製造制御装置、製造制御方法及びプログラム
CN117033145B (zh) 一种基于云计算的软件开发方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18921100

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020522541

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18921100

Country of ref document: EP

Kind code of ref document: A1