TWI860923B

TWI860923B - 模型重建方法及系統

Info

Publication number: TWI860923B
Application number: TW112151066A
Authority: TW
Inventors: 王俊權; 黃逸琴; 周芳儀; 戴君翰
Original assignee: 中國信託商業銀行股份有限公司
Priority date: 2023-12-27
Filing date: 2023-12-27
Publication date: 2024-11-01
Also published as: TW202526753A

Abstract

一種模型重建系統包含一處理單元，其執行以下操作：根據多個訓練資料集、多個測試資料集及多個訓練組合獲得一目標需求預測模型及所對應的多個待更新需求預測結果；根據一第一級距排列方式及該等待更新需求預測結果獲得一第一級距排列結果；根據該等測試資料集及一第二級距排列方式，利用一待比對需求預測模型獲得一第二級距排列結果；根據該第一級距排列結果及該第二級距排列結果分別獲得一第一指標值及一第二指標值；及根據該第一指標值及該第二指標值判定是否以該目標需求預測模型取代該待比對需求預測模型。

Description

模型重建方法及系統

本發明是有關於一種重建方法及系統，特別是指一種模型重建方法及系統。

對於已在線上部署的機器學習模型，當模型因現實情況改變而效度明顯下降時，就需要對已部署的模型進行優化。然而，若是以改變訓練資料或是選用其他機器學習演算法重新構建新模型，可能會造成新模型的預測結果與舊模型的預測結果差異較大，無法以統一的標準來衡量，因而無法比較兩個模型的效度孰優孰劣。

因此，如何改善現有的模型優化方式，以統一的標準衡量新舊模型的優劣已成為相關技術領域所欲解決的議題之一。

因此，本發明之目的，即在提供一種模型重建方法及系統，其能克服現有技術至少一個缺點。

於是，本發明所提供的一種模型重建方法，適用於優化一需求預測模型。該需求預測模型是用於根據相關於一待分析客戶與一金融機構之互動的待分析互動紀錄資料，獲得一需求預測結果。該需求預測結果包含一指示出該待分析客戶可能購買一金融產品的機率值。該模型重建方法藉由儲存有多筆對應多個客戶的客戶行為資料集，及多個訓練組合的一電腦系統來執行。每一客戶行為資料集包含多筆相關於所對應之客戶在多個不同時間區間與該金融機構之互動的互動紀錄資料，與指示出所對應之客戶在該等時間區間內是否購買該金融產品的多個購買結果。每一訓練組合包含所對應的一機器學習演算法及一模型參數組。該模型重建方法包含以下步驟：(A)根據一第一取用規則自該等客戶行為資料集選取多筆訓練資料集，並根據一第二取用規則自該等客戶行為資料集選取多筆測試資料集，其中每一訓練資料集包含自所對應之客戶的該等互動紀錄資料及該等購買結果選取出的至少一互動訓練資料與一購買訓練結果，每一測試資料集包含自所對應之客戶的該等互動紀錄資料及該等購買結果選取出的至少一互動測試資料與一購買測試結果；(B)根據該等訓練資料集、該等測試資料集及該等訓練組合獲得一目標需求預測模型；(C)對於每一測試資料集，根據該測試資料集利用該目標需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的待更新需求預測結果；(D)根據一對應有多個第一分群級距閾值的第一級距排列方式將步驟(C)所獲得的所有待更新需求預測結果進行分群以獲得一第一級距排列結果；(E)對於每一測試資料集，根據該測試資料集利用一待比對需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的當前需求預測結果；(F)根據一對應有多個第二分群級距閾值的第二級距排列方式將步驟(E)所獲得的所有當前需求預測結果進行分群以獲得一第二級距排列結果；(G)根據該第一級距排列結果及該第二級距排列結果分別獲得一對應於該目標需求預測模型的第一指標值及一對應於該待比對需求預測模型的第二指標值；(H)判定該第一指標值是否大於該第二指標值；及(I)當判定出該第一指標值大於該第二指標值時，以該目標需求預測模型取代該待比對需求預測模型。

於是，本發明所提供的一種模型重建系統，適用於優化一需求預測模型。該需求預測模型是用於根據相關於一待分析客戶與一金融機構之互動的待分析互動紀錄資料，獲得一需求預測結果。該需求預測結果包含一指示出該待分析客戶可能購買一金融產品的機率值。該模型重建系統包含一儲存單元及一處理單元。

該儲存單元儲存有多筆對應多個客戶的客戶行為資料集，及多個訓練組合。每一客戶行為資料集包含多筆相關於所對應之客戶在多個不同時間區間與該金融機構之互動的互動紀錄資料，與指示出所對應之客戶在該等時間區間內是否購買該金融產品的多個購買結果。每一訓練組合包含所對應的一機器學習演算法及一模型參數組。

該處理單元訊號連接該儲存單元，用於根據一第一取用規則自該等客戶行為資料集選取多筆訓練資料集，並根據一第二取用規則自該等客戶行為資料集選取多筆測試資料集。其中每一訓練資料集包含自所對應之客戶的該等互動紀錄資料及該等購買結果選取出的至少一互動訓練資料與一購買訓練結果，每一測試資料集包含自所對應之客戶的該等互動紀錄資料及該等購買結果選取出的至少一互動測試資料與一購買測試結果。根據該等訓練資料集、該等測試資料集及該等訓練組合獲得一目標需求預測模型。對於每一測試資料集，根據該測試資料集利用該目標需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的待更新需求預測結果。根據一對應有多個第一分群級距閾值的第一級距排列方式將所獲得的所有待更新需求預測結果進行分群以獲得一第一級距排列結果。對於每一測試資料集，根據該測試資料集利用一待比對需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的當前需求預測結果。根據一對應有多個第二分群級距閾值的第二級距排列方式所獲得的所有當前需求預測結果進行分群以獲得一第二級距排列結果。根據該第一級距排列結果及該第二級距排列結果分別獲得一對應於該目標需求預測模型的第一指標值及一對應於該待比對需求預測模型的第二指標值。判定該第一指標值是否大於該第二指標值。當判定出該第一指標值大於該第二指標值時，以該目標需求預測模型取代該待比對需求預測模型。

本發明之功效在於：藉由採用具有相同的級距標準的分群方式將該目標需求預測模型的所有待更新需求預測結果進行分群獲得該第一級距排列結果，並將該待比對需求預測模型的所有當前需求預測結果進行分群獲得該第二級距排列結果，使得該第一級距排列結果及該第二級距排列結果中的各機率值能被相同的級距標準劃分和排序，即便不同需求預測模型產生出來的需求預測結果的機率值分佈範圍因外在因素的變化有大幅提升或下降，仍能以共同的評價標準來評判不同需求預測模型之間的優劣。

在本發明被詳細描述之前，應當注意在以下的説明內容中，類似的元件是以相同的編號來表示。

參閲圖1，本發明實施例的一種模型重建系統1，適用於優化一需求預測模型。該需求預測模型是用於根據相關於一待分析客戶與一金融機構之互動的待分析互動紀錄資料，獲得一需求預測結果，該需求預測結果包含一指示出該待分析客戶可能購買一金融產品(例如但不限於基金、保單、外幣)的機率值。在本實施例中，該需求預測模型是用來預測在一指定時間間隔N後每一待分析客戶可能購買該金融產品的機率值。每一待分析互動紀錄資料例如但不限於包括所對應的待分析客戶在該金融機構進行交易行為的次數、頻率與每次交易的金額，以及瀏覽該金融機構的網路頁面的頻率與每次瀏覽頁面的時長等。該模型重建系統1包含一儲存單元11，及一訊號連接該儲存單元11的處理單元12。

該儲存單元11儲存有多筆對應多個客戶的客戶行為資料集，及多個訓練組合。每一客戶行為資料集包含多筆相關於所對應之客戶在多個不同時間區間(例如，每一個月)與該金融機構之互動的互動紀錄資料，與指示出所對應之客戶在該等時間區間內是否購買該金融產品的多個購買結果。每一訓練組合包含所對應的一機器學習演算法(例如但不限於XGBoost、LightGBM、CatBoost等演算法)及一模型參數組。

參閲圖1及圖2，示例性地説明該實施例的該處理單元12如何執行一模型重建程序。該模型重建程序包含以下步驟201~210。

首先，在步驟201中，該處理單元12判定當前時間T是否到達一預定的更新時間。該更新時間例如為每月的月底，以使該處理單元12每月都執行一次該模型重建程序，以達到定時自動重建模型的效果。當該處理單元12判定出該當前時間T到達該更新時間時，流程進行步驟202；否則，流程回到步驟201。

在步驟202中，該處理單元12根據一第一取用規則自該等客戶行為資料集選取多筆訓練資料集，並根據一第二取用規則自該等客戶行為資料集選取多筆測試資料集。其中，每一訓練資料集包含自所對應之客戶的該等互動紀錄資料及該等購買結果選取出的至少一互動訓練資料與一購買訓練結果；每一測試資料集包含自所對應之客戶的該等互動紀錄資料及該等購買結果選取出的至少一互動測試資料與一購買測試結果。

舉例來説，若該需求預測模型是用來預測在1個月後(即，N=1)後每一待分析客戶可能購買該金融產品的機率值，並將一預定的資料取用視窗大小(window-size)K設定為3個月(即，K=3)，將該第一取用規則例如設定為取用一第一時間區間為[T-N-K,T-N)內的客戶行為資料集作爲該等訓練資料集，將該第二取用規則例如設定為取用一第二時間區間為[T-1,T)內的客戶行為資料集作爲該等測試資料集：假設該當前時間T為11月底(即T=11)，那麼每一訓練資料集是以7~10月(不包含10月)的所有互動紀錄資料作為該至少一互動訓練資料並以10月的購買結果作為該購買訓練結果，每一測試資料集是以10月的互動紀錄資料作為該至少一互動測試資料並以11月的購買結果作為該購買測試結果。

在步驟203中，該處理單元12根據該等訓練資料集、該等測試資料集及該等訓練組合獲得一目標需求預測模型。更具體地説，步驟203包含以下子步驟301~307(參閱圖3)。

在子步驟301中，該處理單元12將該等訓練組合作爲多個待評價訓練組合，並將一訓練計數值設定為一，且將一訓練總數設定為M(M＞1)。更具體地說，該訓練總數代表對於該等訓練組合共會進行M輪進行訓練，該訓練計數值用於代表當次訓練是第幾輪訓練。

在子步驟302中，對於每一待評價訓練組合，該處理單元12自該等訓練資料集選取出i筆待訓練資料集，並利用該待評價訓練組合，根據該等i筆待訓練資料集進行訓練，以獲得一對應於該待評價訓練組合的待評價需求預測模型。i為該訓練計數值與該訓練總數的比值乘上該等訓練資料集的總數。舉例來說，假設共有100筆訓練資料集，並設定該訓練總數為5(即，M=5)：當進行第一輪訓練時(即，訓練計數值=1)，i=20(即， )，該處理單元12自該等訓練資料集選取出20筆待訓練資料集；當進行第二輪訓練時(即，訓練計數值=2)，i=40(即， )，該處理單元12自該等訓練資料集選取出40筆待訓練資料集；以此類推。

在子步驟303中，對於每一待評價需求預測模型，該處理單元12根據該等測試資料集對該待評價需求預測模型進行測試以獲得一待評價指標值。更具體地說，對於每一測試資料集，該處理單元12根據該測試資料集利用該待評價需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的待評價需求預測結果；接著該處理單元12將所獲得的所有待評價需求預測結果的機率值由高到低進行排序，以獲得一待評價排序後總預測結果；最後，該處理單元12獲得位列於該待評價排序後總預測結果一目標百分比內的客戶中實際購買該金融產品的人數的比例以作爲該待評價指標值。舉例來說，假設該待評價排序後總預測結果中含有100名客戶的100筆待評價需求預測結果，該目標百分比為30%，則該待評價指標值即為該100筆該待評價需求預測結果中機率值前30%高的30名客戶中實際購買該金融產品的人數的比例，若這30名客戶中共有27人實際購買了該金融產品，則該待評價指標值為0.9。

在子步驟304中，根據該等待評價指標值，該處理單元12自該等待評價需求預測模型中選取出j個候選需求預測模型。j為該等待評價需求預測模型的總數的1/M。舉例來說，假設已設定該訓練總數為5(即，M=5)，若本輪總共獲得50個待評價需求預測模型，則該處理單元12從中選取10(即，j= )個候選需求預測模型。選取方式例如為選取其中對應有前10高的待評價指標值的待評價需求預測模型作為該等候選需求預測模型。

值得一提的是，由於每輪僅選取出數量爲當輪待評價需求預測模型的總數的1/M的候選需求預測模型，因此往後的每一輪都會比前一輪選取出更少的候選需求預測模型；此外，由於在進行模型訓練時並非一次使用所有的訓練資料集進行訓練，而是每輪僅採用部分的訓練資料集作為該等待訓練資料集，並逐漸增加該等待訓練資料集的數量，藉由將此種待訓練資料集的選取方式與前述的候選需求預測模型選取方式兩者並行，有助於減少模型篩選的時間，使其小於通常採用的以完整的訓練資料對所有候選模型進行訓練的方式所耗費的時間。

在子步驟305中，該處理單元12判定該訓練計數值是否等於M。若該處理單元12判定出該訓練計數值不等於M時，流程進行子步驟306；若該處理單元12判定出該訓練計數值等於M時，流程進行子步驟307。

在子步驟306中，該處理單元12將該等j個候選需求預測模型所對應的訓練組合作爲j個待評價訓練組合，並將該訓練計數值加一，且流程回到子步驟302，以進行下一輪訓練。

在子步驟307中，該處理單元12自該等j個候選需求預測模型中選取對應有最高待評價指標值的候選預測模型作爲該目標需求預測模型。

接著，在步驟204中，對於每一測試資料集，該處理單元12根據該測試資料集利用該目標需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的待更新需求預測結果。

在步驟205中，該處理單元12根據一對應有多個第一分群級距閾值的第一級距排列方式將所獲得的所有待更新需求預測結果進行分群以獲得一第一級距排列結果。更具體地説，步驟205包含以下子步驟401~404(參閱圖4)。

在子步驟401中，該處理單元12將所獲得的所有待更新需求預測結果的機率值由高到低進行排序，以獲得一待更新排序後總預測結果。

在子步驟402中，該處理單元12根據該等測試資料集之購買結果及多個欲分群準確率，將該待更新排序後總預測結果分成多個分群。每一分群中之待更新需求預測結果符合所對應之購買結果的比例等於該等欲分群準確率之其中一者。舉例來說，假設該待更新排序後總預測結果含有10名客戶(客戶#1~#10)的10筆待更新需求預測結果(如下表1所示)，並預定了三個欲分群準確率，分別為80%、50%及30%：客戶#1~#5被分至對應於欲分群準確率80%的分群，客戶#6~#7被分至對應於欲分群準確率50%的分群，客戶#8~#10被分至對應於欲分群準確率30%的分群。表1

客戶	待更新需求預測結果	購買結果	分群
客戶#1	98%	買	欲分群準確率80%
客戶#2	95%	買
客戶#3	88%	買
客戶#4	87%	沒買
客戶#5	85%	買
客戶#6	80%	沒買	欲分群準確率50%
客戶#7	75%	買
客戶#8	74%	沒買	欲分群準確率30%
客戶#9	70%	沒買
客戶#10	64%	買

在子步驟403中，對於每一分群，該處理單元12將該分群中對應有排序最後的待更新需求預測結果作為該分群的第一分群級距閾值。延續前述表1之例，0.85為對應於欲分群準確率80%的分群的第一分群級距閾值，0.75為對應於欲分群準確率50%的分群的第一分群級距閾值，0.64為對應於欲分群準確率80%的分群的第一分群級距閾值。

在子步驟404中，該處理單元12根據該等第一分群級距閾值將所獲得的所有待更新需求預測結果進行分群以獲得該第一級距排列結果。該第一級距排列結果包含該等分群。更具體地，對於每一第一分群級距閾值，該處理單元12是將大於等於該第一分群級距閾值且不屬於另一分群的所有待更新需求預測結果加入該第一分群級距閾值所對應的分群。值得注意的是，子步驟404的再次分群與子步驟402的分群的差異為，子步驟404是對於未排序的所有待更新需求預測結果進行分群，而子步驟402則是對於排序後的該待更新排序後總預測結果進行分群。延續前述表一之例，該第一級距排列結果例如為下表2所示：表2

客戶	待更新需求預測結果	購買結果	分群
客戶#5	85%	買	欲分群準確率80%
客戶#3	88%	買
客戶#2	95%	買
客戶#4	87%	沒買
客戶#1	98%	買
客戶#6	80%	沒買	欲分群準確率50%
客戶#7	75%	買
客戶#8	74%	沒買	欲分群準確率30%
客戶#10	64%	買
客戶#9	70%	沒買

之後，在步驟206中，對於每一測試資料集，該處理單元12根據該測試資料集利用一待比對需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的當前需求預測結果。該待比對需求預測模型即為當前已部署在線上需要被優化的需求預測模型。

在步驟207中，該處理單元12根據一對應有多個第二分群級距閾值的第二級距排列方式將所獲得的所有當前需求預測結果進行分群以獲得一第二級距排列結果。值得說明的是，該等第二分群級距閾值是該待比對需求預測模型在之前被挑選為目標需求預測模型時所獲得的第一分群級距閾值。獲得該第二級距排列結果的細節與子步驟404大致相同，在此不多做贅述。

在步驟208中，該處理單元12根據該第一級距排列結果及該第二級距排列結果分別獲得一對應於該目標需求預測模型的第一指標值及一對應於該待比對需求預測模型的第二指標值。在本實施例中，該第一指標值為位列於該第一級距排列結果該目標百分比內的客戶中實際購買該金融產品的人數的比例，該第二指標值為位列於該第二級距排列結果該目標百分比內的客戶中實際購買該金融產品的人數的比例。此處計算該第一指標值及該第二指標值的方式與子步驟303中計算待評價指標值的方式大致相同，不同之處在於子步驟303的排序方式是將對應有越高機率值的需求預測結果排在越前面，而此處則是將對應有越高欲分群準確率的需求預測結果排在越前面。舉例來說，若該目標百分比為30%，延續前述表2之例，排在前3名(前30%)的客戶依次為客戶#5、客戶#3、客戶#2，並且這三人實際皆購買了該金融產品，則該第一指標值為1。

在步驟209中，該處理單元12判定該第一指標值是否大於該第二指標值。當該處理單元12判定出該第一指標值大於該第二指標值時，流程進行步驟210；否則，流程回到步驟201。

在步驟210中，該處理單元12以該目標需求預測模型取代該待比對需求預測模型。

綜上所述，藉由採用具有相同的級距標準的分群方式將該目標需求預測模型的所有待更新需求預測結果進行分群獲得該第一級距排列結果，並將該待比對需求預測模型的所有當前需求預測結果進行分群獲得該第二級距排列結果，使得該第一級距排列結果及該第二級距排列結果中的各機率值能被相同的級距標準劃分和排序。即便不同需求預測模型產生出來的需求預測結果的機率值分佈範圍因外在因素的變化有大幅提升或下降，仍能以共同的評價標準來評判不同需求預測模型之間的優劣。其次，本案中採用的模型訓練方式是藉由在每輪模型訓練中逐步減少候選模型數量並增加模型的訓練資料量的方式來進行，能夠比以往的模型訓練方式節省更多時間，從而更有效地篩選訓練組合以得到該目標需求預測模型。此外，定時對模型進行重建并重新部署上線也能使在線上的模型總是維持著最好的效度，減少模型效度因現實情況改變而受到的影響。因此，確實能達成本發明之目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1:模型重建系統 11:儲存單元 12:處理單元 201~210:步驟 301~307:子步驟 401~404:子步驟

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，示例性地說明本發明實施例的一種模型重建系統；圖2是一流程圖，示例性地説明該實施例的一處理單元如何執行一模型重建程序；圖3是一流程圖，示例性地説明該實施例的該處理單元如何獲得一目標需求預測模型；及圖4是一流程圖，示例性地説明該實施例的該處理單元如何獲得一第一級距排列結果。

1:模型重建系統

11:儲存單元

12:處理單元

Claims

一種模型重建方法，適用於優化一需求預測模型，該需求預測模型是用於根據相關於一待分析客戶與一金融機構之互動的待分析互動紀錄資料，獲得一需求預測結果，該需求預測結果包含一指示出該待分析客戶可能購買一金融產品的機率值，該模型重建方法藉由儲存有多筆對應多個客戶的客戶行為資料集，及多個訓練組合的一電腦系統來執行，每一客戶行為資料集包含多筆相關於所對應之客戶在多個不同時間區間與該金融機構之互動的互動紀錄資料，與指示出所對應之客戶在該等時間區間內是否購買該金融產品的多個購買結果，每一訓練組合包含所對應的一機器學習演算法及一模型參數組，該模型重建方法包含以下步驟： (A)根據一第一取用規則自該等客戶行為資料集選取多筆訓練資料集，並根據一第二取用規則自該等客戶行為資料集選取多筆測試資料集，其中每一訓練資料集包含自所對應之客戶的該等互動紀錄資料及該等購買結果選取出的至少一互動訓練資料與一購買訓練結果，每一測試資料集包含自所對應之客戶的該等互動紀錄資料及該等購買結果選取出的至少一互動測試資料與一購買測試結果； (B)根據該等訓練資料集、該等測試資料集及該等訓練組合獲得一目標需求預測模型； (C)對於每一測試資料集，根據該測試資料集利用該目標需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的待更新需求預測結果； (D)根據一對應有多個第一分群級距閾值的第一級距排列方式將步驟(C)所獲得的所有待更新需求預測結果進行分群以獲得一第一級距排列結果； (E)對於每一測試資料集，根據該測試資料集利用一待比對需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的當前需求預測結果； (F)根據一對應有多個第二分群級距閾值的第二級距排列方式將步驟(E)所獲得的所有當前需求預測結果進行分群以獲得一第二級距排列結果； (G)根據該第一級距排列結果及該第二級距排列結果分別獲得一對應於該目標需求預測模型的第一指標值及一對應於該待比對需求預測模型的第二指標值； (H)判定該第一指標值是否大於該第二指標值；及 (I)當判定出該第一指標值大於該第二指標值時，以該目標需求預測模型取代該待比對需求預測模型。
如請求項1所述的模型重建方法，其中，步驟(B)包含以下子步驟： (B-1)將該等訓練組合作爲多個待評價訓練組合，並將一訓練計數值設定為一，且將一訓練總數設定為M(M＞1)； (B-2)對於每一待評價訓練組合，自該等訓練資料集選取出i筆待訓練資料集，並利用該待評價訓練組合，根據該等i筆待訓練資料集進行訓練，以獲得一對應於該待評價訓練組合的待評價需求預測模型，i為該訓練計數值與該訓練總數的比值乘上該等訓練資料集的總數； (B-3)對於每一待評價需求預測模型，根據該等測試資料集對該待評價需求預測模型進行測試以獲得一待評價指標值； (B-4)根據該等待評價指標值，自該等待評價需求預測模型中選取出j個候選需求預測模型，j為該等待評價需求預測模型的總數的1/M； (B-5)判定該訓練計數值是否等於M； (B-6)當判定出該訓練計數值不等於M時，將該等j個候選需求預測模型所對應的訓練組合作爲j個待評價訓練組合，並將該訓練計數值加一，且流程回到步驟(B-2)；及 (B-7)當判定出該訓練計數值等於M時，自該等j個候選需求預測模型中選取對應有最高待評價指標值的候選預測模型作爲該目標需求預測模型。
如請求項2所述的模型重建方法，其中，對於每一待評價需求預測模型，步驟(B-3)包含以下子步驟： (B-3-1)對於每一測試資料集，根據該測試資料集利用該待評價需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的待評價需求預測結果； (B-3-2)將步驟(B-3-1)所獲得的所有待評價需求預測結果的機率值進行排序，以獲得一待評價排序後總預測結果；及 (B-3-3)獲得位列於該待評價排序後總預測結果一目標百分比內的客戶中實際購買該金融產品的人數的比例以作爲該待評價指標值。
如請求項3所述的模型重建方法，其中，步驟(D)包含以下子步驟： (D-1)將步驟(C)所獲得的所有待更新需求預測結果的機率值進行排序，以獲得一待更新排序後總預測結果； (D-2)根據該等測試資料集之購買結果及多個欲分群準確率，將該待更新排序後總預測結果分成多個分群，每一分群中之待更新需求預測結果符合所對應之購買結果的比例等於該等欲分群準確率之其中一者； (D-3)對於每一分群，將該分群中對應有排序最後的待更新需求預測結果作為該分群的第一分群級距閾值；及 (D-4)根據該等第一分群級距閾值將步驟(C)所獲得的所有待更新需求預測結果進行分群以獲得該第一級距排列結果，該第一級距排列結果包含該等分群。
如請求項4所述的模型重建方法，其中，在步驟(G)中：該第一指標值為位列於該第一級距排列結果該目標百分比內的客戶中實際購買該金融產品的人數的比例；及該第二指標值為位列於該第二級距排列結果該目標百分比內的客戶中實際購買該金融產品的人數的比例。
如請求項5所述的模型重建方法，在步驟(A)之前，還包含以下步驟： (J)判定當前時間是否到達一預定的更新時間；其中，當判定出該當前時間到達該更新時間時，執行步驟(A)。
一種模型重建系統，適用於優化一需求預測模型，該需求預測模型是用於根據相關於一待分析客戶與一金融機構之互動的待分析互動紀錄資料，獲得一需求預測結果，該需求預測結果包含一指示出該待分析客戶可能購買一金融產品的機率值，該模型重建系統包含：一儲存單元，儲存有多筆對應多個客戶的客戶行為資料集，及多個訓練組合，每一客戶行為資料集包含多筆相關於所對應之客戶在多個不同時間區間與該金融機構之互動的互動紀錄資料，與指示出所對應之客戶在該等時間區間內是否購買該金融產品的多個購買結果，每一訓練組合包含所對應的一機器學習演算法及一模型參數組；及一處理單元，訊號連接該儲存單元，用於根據一第一取用規則自該等客戶行為資料集選取多筆訓練資料集，並根據一第二取用規則自該等客戶行為資料集選取多筆測試資料集，其中每一訓練資料集包含自所對應之客戶的該等互動紀錄資料及該等購買結果選取出的至少一互動訓練資料與一購買訓練結果，每一測試資料集包含自所對應之客戶的該等互動紀錄資料及該等購買結果選取出的至少一互動測試資料與一購買測試結果，根據該等訓練資料集、該等測試資料集及該等訓練組合獲得一目標需求預測模型，對於每一測試資料集，根據該測試資料集利用該目標需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的待更新需求預測結果，根據一對應有多個第一分群級距閾值的第一級距排列方式將所獲得的所有待更新需求預測結果進行分群以獲得一第一級距排列結果，對於每一測試資料集，根據該測試資料集利用一待比對需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的當前需求預測結果，根據一對應有多個第二分群級距閾值的第二級距排列方式所獲得的所有當前需求預測結果進行分群以獲得一第二級距排列結果，根據該第一級距排列結果及該第二級距排列結果分別獲得一對應於該目標需求預測模型的第一指標值及一對應於該待比對需求預測模型的第二指標值，判定該第一指標值是否大於該第二指標值，當判定出該第一指標值大於該第二指標值時，以該目標需求預測模型取代該待比對需求預測模型。
如請求項7所述的模型重建系統，其中：該處理單元將該等訓練組合作爲多個待評價訓練組合，並將一訓練計數值設定為一，且將一訓練總數設定為M(M＞1)，對於每一待評價訓練組合，該處理單元自該等訓練資料集選取出i筆待訓練資料集，並利用該待評價訓練組合，根據該等i筆待訓練資料集進行訓練，以獲得一對應於該待評價訓練組合的待評價需求預測模型，i為該訓練計數值與該訓練總數的比值乘上該等訓練資料集的總數，對於每一待評價需求預測模型，該處理單元根據該等測試資料集對該待評價需求預測模型進行測試以獲得一待評價指標值，該處理單元根據該等待評價指標值，自該等待評價需求預測模型中選取出j個候選需求預測模型，j為該等待評價需求預測模型的總數的1/M，該處理單元判定該訓練計數值是否等於M，當判定出該訓練計數值不等於M時，該處理單元將該等j個候選需求預測模型所對應的訓練組合作爲j個待評價訓練組合，並將該訓練計數值加一，且重複獲得每一待評價訓練組合所對應的待評價需求預測模型及其待評價指標值並從中選取出j個候選需求預測模型，直到該訓練計數值等於M，當判定出該訓練計數值等於M時，該處理單元自該等j個候選需求預測模型中選取對應有最高待評價指標值的候選預測模型作爲該目標需求預測模型。
如請求項8所述的模型重建系統，其中，對於每一待評價需求預測模型：對於每一測試資料集，該處理單元根據該測試資料集利用該待評價需求預測模型獲得一包含所對應之客戶可能購買該金融產品的機率值的待評價需求預測結果，該處理單元將所獲得的所有待評價需求預測結果的機率值進行排序，以獲得一待評價排序後總預測結果，該處理單元獲得位列於該待評價排序後總預測結果一目標百分比內的客戶中實際購買該金融產品的人數的比例以作爲該待評價指標值。
如請求項9所述的模型重建系統，其中：該處理單元將所獲得的所有待更新需求預測結果的機率值進行排序，以獲得一待更新排序後總預測結果，該處理單元根據該等測試資料集之購買結果及多個欲分群準確率，將該待更新排序後總預測結果分成多個分群，每一分群中之待更新需求預測結果符合所對應之購買結果的比例等於該等欲分群準確率之其中一者，對於每一分群，該處理單元將該分群中對應有排序最後的待更新需求預測結果作為該分群的第一分群級距閾值，該處理單元根據該等第一分群級距閾值將所獲得的所有待更新需求預測結果進行分群以獲得該第一級距排列結果，該第一級距排列結果包含該等分群。
如請求項10所述的模型重建系統，其中：該第一指標值為位列於該第一級距排列結果該目標百分比內的客戶中實際購買該金融產品的人數的比例；及該第二指標值為位列於該第二級距排列結果該目標百分比內的客戶中實際購買該金融產品的人數的比例。
如請求項11所述的模型重建系統，其中：該處理單元判定當前時間是否到達一預定的更新時間，當該處理單元判定出該當前時間到達該更新時間時，該處理單元才進行該等訓練資料集及該等測試資料集之選取。