[go: up one dir, main page]

TWI881345B - 預測方法、訓練方法、預測系統及非暫時性電腦可讀媒體 - Google Patents

預測方法、訓練方法、預測系統及非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI881345B
TWI881345B TW112118089A TW112118089A TWI881345B TW I881345 B TWI881345 B TW I881345B TW 112118089 A TW112118089 A TW 112118089A TW 112118089 A TW112118089 A TW 112118089A TW I881345 B TWI881345 B TW I881345B
Authority
TW
Taiwan
Prior art keywords
user
item
loss
pairs
data set
Prior art date
Application number
TW112118089A
Other languages
English (en)
Other versions
TW202407610A (zh
Inventor
雷米 拉吉波契柯拉艾
Original Assignee
日商樂天集團股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商樂天集團股份有限公司 filed Critical 日商樂天集團股份有限公司
Publication of TW202407610A publication Critical patent/TW202407610A/zh
Application granted granted Critical
Publication of TWI881345B publication Critical patent/TWI881345B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Recommending goods or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

在推薦系統中，目標係自一小組互動之使用者與物品中學習一模型，及識別具有未知互動之大量對當中正相關之使用者-物品對。用於訓練該模型之已知方法依賴於相似及不相似使用者-物品對兩者。使用不相似對會引入數個挑戰，諸如增加訓練時間或即使使用者在被呈現物品時可能喜歡該物品卻仍將具有未知互動之對標記為不相似。若該等已知方法中僅使用相似對，則結果係其中所有使用者及物品被映射至相同表示之一崩潰解。本文中之方法揭示內容藉由僅使用相似對但將兩個項添加至目標函數從而防止一崩潰或部分崩潰解而克服此等挑戰。具體而言，該目標函數包含使表示之間的平均成對距離保持大於一限度之一成對距離損失項，及降低向量空間中之維度之間的相關性之一正交性損失項。

Description

預測方法、訓練方法、預測系統及非暫時性電腦可讀媒體
本發明大體而言係關於基於機器學習的推薦系統，且更具體而言，係關於一種僅利用相似使用者-物品對及包含一成對距離損失項及一正交損失項之一目標函數加以訓練的單類別推薦系統。
推薦系統(RS)用於許多購物平台上。一推薦系統之目標係獲取已知使用者回饋及預測對一物品之未知使用者回饋。回饋，通常被稱為一使用者-物品互動，可係隱性的(例如，購買/點選)或顯性的(例如，在1與5之間的一評分)。所預測回饋可用於為使用者推薦物品或用於在一購物平台上提供物品之靶向廣告。
在隱性回饋(其在現實世界中係一常見情境)之情況下，僅知曉使用者是否與一物品進行了互動(諸如點選、購買等)。單類別推薦系統之目標係解決隱性「單類別」回饋預測問題。其被稱作一「單類別」問題，乃因訓練集中之一使用者與一物品之間的一「無互動」並不必然意味著該使用者不喜歡彼物品。其僅意味著不具有關於其互動之資訊。此乃因一推薦系統中之物品集係龐大的，且使用者不能看到所有物品。使用者僅可看到物品之一小的子集且然後與其中幾個互動。
在訓練一RS模型以預測一使用者-物品互動時存在三個主要步驟。第一步驟係學習使用者及物品向量表示。此可藉由自使用者及物品ID中學習使用者及物品矩陣、自使用者-物品互動向量及/或邊資訊中學習使用者及物品多層感知器(MLP)或自二分使用者-物品圖中學習圖神經網路而完成。
第二步驟係依據使用者及物品向量表示將互動得分模型化。運算互動得分之常見方式如下：(1)獲取使用者表示與物品表示之點積，(2)運算使用者表示與物品表示之餘弦相似度，及(3)對所級聯使用者及物品表示應用神經網路。
第三步驟係最佳化一損失函數，其隨著RS模型輸出的相似使用者-物品對(與不相似使用者-物品對相比)之使用者-物品互動得分越大產生的值越小。已知解決方案中已使用不同類型之損失函數。均方誤差(MSE)損失及二元交叉熵(BCE)直接將所預測得分與實際得分之間的差最小化。貝葉斯(Bayesian)個性化排序(BPR)損失試圖使相似對之互動得分大於不相似對，而非直接將其映射至實際得分。對比學習損失試圖將相似使用者-物品對之表示彼此接近且將不相似使用者-物品對相遠離。
在對隱性使用者-物品回饋加以訓練之一推薦系統中，「相似使用者-物品對」係具有一已知互動(諸如使用者購買物品或點選物品)之使用者-物品對。「不相似使用者-物品對」係不存在已知互動且出於訓練目的假定使用者與物品之間成一負關係之使用者-物品對。
所有上述損失函數需要使用者之相似及不相似對兩者以學習一模型。此乃因，如在圖1A中所圖解說明，此等損失函數具有以下兩者：(1)一吸引損失項，其對於訓練資料集中之每一相似使用者-物品對， 使使用者與物品向量表示之間在向量空間中之距離有效最小化；及(2)一排斥損失項，其對於訓練資料集中之每一不相似使用者-物品對，使使用者與物品向量表示之間在向量空間中之距離有效最大化。若此等損失函數僅使用相似對加以訓練，則僅吸引損失項被使用。如在圖1B中所展示，結果係一崩潰解：所有表示將被映射至隱空間中之同一點，且模型針對所有對預測出同一互動得分。崩潰解之效能同將隨機表示指派給使用者及物品一樣差。為避免崩潰解，在使用此等習用損失函數中之任一者訓練一RS模型時，不相似對係必要的。
在單類別推薦系統中，僅可存取已知的隱性互動。其餘互動係未知的。為建立一組不相似使用者與物品對，常見方法係隨機選擇具有未知互動之一組使用者與物品對且認為其不相似。另一策略係找出困難負樣本：模型難以歸類為不相似之具有未知互動之對。
自具有未知互動之使用者-物品對中建立不相似對因兩個主要原因而係有問題的。第一，需要大量不相似對以達成合理結果，此使訓練變得緩慢。第二，不具有互動之一對並不必然意味著使用者不喜歡物品。使用大量不相似對會損害效能，乃因該等對中之某些有可能成為其中若使用者瞭解物品則使用者可能會喜歡該物品之對。(「假不相似對」)。該問題在困難負樣本方法中更嚴重，乃因「假不相似對」按定義難以被歸類為不相似，且會被錯誤地認為係困難負樣本。
因此，需要一種使得一RS模型能夠在無需不相似對之情況下加以訓練同時仍避免崩潰解且達成最新技術水平之結果的解決方案。
本發明係關於一種僅使用相似使用者-物品對且無需不相似 使用者-物品對加以訓練之單類別推薦系統。在訓練該推薦系統時藉由使用包含一成對距離損失項及一正交性損失項之一損失函數而避免上文所論述之崩潰解以及下文所論述之一部分崩潰解。該成對距離損失藉由使向量空間中之所有向量表示之間的平均成對距離保持大於一限度而避免崩潰解。該正交性損失項藉由降低向量空間中之維度之間的相關性而避免一部分崩潰解。
在一項實施例中，一種訓練一單類別推薦模型且使用該模型來預測一使用者與物品之一互動值之方法包括以下步驟：(a)獲得一訓練資料集，該訓練資料集包含僅相似使用者-物品對之使用者及物品資料，其中：該訓練資料集不包含不相似使用者-物品對；相似使用者-物品對係具有一已知互動之使用者-物品對；且不相似使用者-物品對係不存在已知互動之使用者-物品對；(b)將該模型應用於該訓練資料集中之該相似使用者-物品對資料以獲得該等相似使用者-物品對中之每一者之一所預測互動值，其中獲得該所預測互動值包含產生該訓練資料集中之該使用者及該等物品之在一向量空間中之向量表示；(c)使用一損失函數計算該模型之一損失值，該損失函數包括以下損失項：一吸引損失項，其使該訓練資料集中之該等相似使用者-物品對中之每一者中之該使用者及該物品之該等向量表示之間在該向量空間中之一距離最小化；一成對距離損失項，其使該訓練資料集中之所有向量表示之間在該 向量空間中之平均成對距離保持大於一限度；及一正交性損失項，其降低該向量空間中之維度之間的相關性；(d)調整該模型之一可訓練參數集以降低該損失值；及重複步驟(b)至步驟(d)達一定數目個反覆；及使用該經訓練模型來獲得關於未知曉互動值之使用者與物品對之使用者-物品互動值預測。
210:步驟
220:步驟
230:步驟
240:步驟
250:步驟
410:步驟
420:步驟
430:步驟
440:步驟
510:使用者資料
520:物品資料
530:單類別推薦模型/預測模型
540:推薦模組
550:訓練模組
605:使用者輸入資料
615:輸入物品資料
620:物品神經網路編碼器
640:使用者神經網路編碼器
650:物品向量表示
660:使用者向量表示
670:點積
680:所預測互動值
圖1A至圖1B係圖解說明先前技術損失函數之方塊圖。
圖2係圖解說明根據一項實施例用於訓練一單類別推薦模型之一方法之一流程圖。
圖3係圖解說明用於訓練一單類別推薦模型之一新穎損失函數之一方塊圖。
圖4A及圖4B係圖解說明用於使用一單類別推薦模型來在一預測階段期間做出推薦之方法之流程圖。
圖5係根據一項實施例之一實例性推薦系統架構之一方塊圖。
圖6係圖解說明根據一項實施例之一實例性推薦模型架構之一方塊圖。
本發明係關於一種僅使用相似使用者-物品對且無需不相似使用者-物品對加以訓練之單類別推薦系統。「相似使用者-物品對」係具有一已知互動(諸如使用者購買物品或點選物品)之使用者-物品對。不相似使用者-物品對係不存在已知互動且出於訓練目的假定使用者與物品之 間成一負關係之使用者-物品對。如下文所更詳細地論述，在訓練推薦系統時藉由使用包含一成對距離損失項及一正交性損失項之一損失函數而避免上文所論述之崩潰解。成對距離損失藉由使向量空間中之所有向量表示之間的平均成對距離保持大於一限度而避免崩潰解。正交性損失項藉由降低向量空間中之維度之間的相關性而避免一部分崩潰解。
本文中所闡述之方法係由一電腦系統(「系統」或「推薦系統」)執行。下文針對推薦系統闡述一訓練階段及一預測階段兩者。在訓練階段期間，對由推薦系統使用之一機器學習模型加以訓練以預測使用者-物品互動。在預測階段期間，使用該模型來預測具有未知互動之使用者與物品對之使用者-物品互動。
1.數學符號
關於本文中所使用之數學符號，令 R
Figure 112118089-A0305-12-0006-1
 標示一使用者-物品互動矩陣，其中m及n分別係使用者及物品之數目。R jk 係使用者j與物品k之互動值。R jk =1意味著使用者j與物品k互動(例如，購買)，且R jk =0意味著互動係未知的。矩陣H之第i列由H i,：展示，且第j行由H ,j：展示。所有使用者及所有物品之d-維表示分別由Z u
Figure 112118089-A0305-12-0006-3
 及Z i
Figure 112118089-A0305-12-0006-6
 標示。第j使用者及第k物品之表示分別由
Figure 112118089-A0305-12-0006-4
及
Figure 112118089-A0305-12-0006-5
標示。
2.單類別推薦模型
推薦系統使用一機器學習模型來預測使用者-物品互動值(「模型」或「單類別推薦模型」)。圖6圖解說明根據一項實施例之一實例性模型架構。該模型包含依據使用者輸入資料605產生一使用者向量表示660之一 使用者神經網路編碼器640。該模型亦包含依據物品輸入資料615產生一物品向量表示650之一物品神經網路編碼器620。在某些實施例中，使用者與物品之所預測互動值680係使用者表示與物品表示之點積670。在其他實施例中，所預測互動值係藉由獲取使用者表示與物品表示之餘弦相似度或級聯該等表示且將一神經網路應用於經級聯表示而獲得。對模型進行訓練包括學習提供最準確的預測之使用者及物品神經網路編碼器之參數。
3.訓練階段
圖2圖解說明用於訓練由推薦系統使用來做出使用者-物品互動預測之單類別推薦模型之一方法。
3.1.將單類別推薦模型應用於僅具有相似對之訓練資料
系統獲得僅具有相似使用者-物品對且不具有不相似使用者-物品對之一訓練資料集(步驟210)。如上文所敘述，一相似使用者-物品對係具有一已知互動值之一使用者-物品對，例如，其中一使用者點選或購買之一使用者-物品對。訓練資料集包含每一使用者-物品對之使用者資料及物品資料。舉例而言，使用者資料可包含使用者ID及/或使用者-物品互動向量，且物品資料可包含邊物品資料，諸如物品說明、物品價格、物品種類及物品影像。此資料係單類別推薦模型之輸入。
系統將單類別推薦模型應用於訓練資料集中之使用者-物品對資料以獲得相似使用者-物品對中之每一者之一所預測互動值(步驟220)。
3.2 計算模型之一損失
如在圖3中所圖解說明，系統使用一損失函數計算模型之一損失值，該損失函數包含以下各項：(1)一吸引損失項，(2)一成對距離損失項，及(3)一正交性損失項(步驟230)。圖3中所展示之2D映射僅為了便於圖解說明。實際上，使用者及物品表示將映射至具有更多個維度(例如，100個維度)之一向量空間。術語「損失函數」與「目標函數」在本文中可互換使用。
下文更詳細地論述三個損失項。
3.2.1 吸引損失項
對於訓練資料中之每一相似使用者-物品對，吸引損失項使該對之使用者向量表示與物品向量表示之間在向量空間中之一距離最小化。該吸引損失項可係用於已知解決方案中之損失函數中之吸引損失項。舉例而言，其可係一均方誤差損失或一對比損失中之吸引損失項。下文在數學上定義此等吸引損失項： 均方誤差損失之吸引損失項：
Figure 112118089-A0305-12-0008-7
對比損失之吸引損失項：
Figure 112118089-A0305-12-0008-8
3.2.2 成對距離損失項
成對距離損失項使向量空間中之所有向量表示之間的平均成對距離保持大於一限度。此防止崩潰解。
平均成對距離基於向量空間中之所有使用者-使用者表示、物品-物品表示及使用者-物品表示之間的距離。在一項實施例中，成對距離損失項係一樞紐成對距離損失，其闡釋於下文。
如上文所註解，所有m個使用者及所有n個物品之d-維表示分別由Z u
Figure 112118089-A0305-12-0009-12
 及Z i
Figure 112118089-A0305-12-0009-15
 標示。一聯合使用者-物品表示可藉由垂直級聯使用者及物品表示達成，
Figure 112118089-A0305-12-0009-13
。在此情況下， Z 中之所有表示之間的平均成對距離係運算為：
Figure 112118089-A0305-12-0009-9
其中l標示 Z 中之第l表示且s標示 Z 中之第s表示。
注意d p 運算所有使用者-使用者、物品-物品及使用者-物品表示之間的平均距離，其與運算相似使用者與物品對之間的距離之吸引損失項E cont ( Z u , Z i )不同。在崩潰解中，平均成對距離d p 等於零。為避免崩潰解，平均成對距離d p 必須大於零。樞紐成對損失項使平均成對距離d p 保持大於一限度。樞紐成對損失項在數學上定義如下：
Figure 112118089-A0305-12-0009-10
 其中m p 係限度。
在一項實施例中，運算平均成對距離d p 涉及運算所有使用者-使用者、物品-物品及使用者-物品表示之間的距離。運算d p 之一更快方式係運算每一維度之方差之和。列於下文之方程式展示運算每一維度之方差之兩倍之和等同於運算所有使用者-使用者、物品-物品及使用者-物品表示之間的平均成對距離。
將第1表示之第q維度標示為Z l,q 且將第q維度之成對距離標示為
Figure 112118089-A0305-12-0009-11
。則d p 可於d個維度上分離：
Figure 112118089-A0305-12-0010-16
可將
Figure 112118089-A0305-12-0010-18
重寫為：
Figure 112118089-A0305-12-0010-17
因此，一維度之方差之兩倍等於彼維度中之使用者-使用者、物品-物品及使用者-物品表示之平均成對距離。在崩潰情境中，每一維度之方差係0，且為避免此崩潰情境，維度之方差之和必須大於一限度。
總之，所有表示之間的平均成對距離d p 可藉由運算每一維度之方差之兩倍之和來計算。樞紐成對損失項包含於用於訓練模型之損失(目標)函數中以確保平均成對距離d p 大於一限度。
3.2.3 正交性損失項
雖然目標函數中之吸引項與成對損失項之組合避免崩潰解，但僅有此兩個項仍可導致一「部分崩潰解」。部分崩潰解僅返回使用者之全集之表示之兩個集。換言之，所有使用者及物品被映射至基本上兩個表示中之一者。若表示之兩個集相距足夠遠，則維度之平均方差大於成對損失項要求之限度m p 。因此，在某些情境中，要求平均成對距離大於一限度不足以防止部分崩潰解。不幸的係，部分崩潰解亦導致不良預測。
使用一第三損失項(即，正交性損失項)來避免部分崩潰解。在部分崩潰解中，向量空間Z之維度之間存在一線性關係，且因此向量空間中之維度係高度相關的，此意味著一個維度可預測另一維度。正交性項使向量空間中之維度正交，且因此降低維度之間的相關性。正交性項可在數學上表達如下：
Figure 112118089-A0305-12-0011-19
成對距離損失項與正交性項之組合在訓練模型時防止崩潰解及部分崩潰解兩者。
3.2.4.數學表達式
具有全部三個損失項(即，吸引損失項、成對距離損失項及正交性損失項)之目標函數可在數學上表達如下：
Figure 112118089-A0305-12-0011-20
其中λ1、λ2及λ3係模型之超參數。
在上文方程式中，吸引損失項係一對比損失函數之吸引項。可使用其他吸引損失項，諸如均方誤差損失函數之吸引項，如在下文替代目標函數中所展示：
Figure 112118089-A0305-12-0011-21
3.3 調整模型參數及對模型進行最佳化
在步驟230中計算損失後，系統調整模型之可訓練參數集以降低損失(步驟240)。系統重複步驟210至步驟240達一定數目個反覆以使模型最佳化(步驟250)。可重複該等步驟直至達到收斂或達一固定反覆數目。
4.0 預測階段
在一預測階段中，經訓練模型可在電子商務平台上用於因靶向廣告為店鋪推薦使用者或用於為使用者推薦物品。
圖4A圖解說明在預測階段中為店鋪推薦使用者之一方法。系統使用經訓練模型來獲得關於一電子商務平台上未知曉互動值之使用者-物品對之使用者-物品互動值預測(步驟410)。系統基於由一店鋪在電子商務平台上販售之一物品與複數個測試使用者中之每一者之所預測互動值而為該店鋪推薦一或多個測試使用者(步驟420)。
圖4B圖解說明為測試使用者推薦一或多個物品之一方法。系統使用經訓練模型來獲得關於一電子商務平台上未知曉互動值之使用者-物品對之使用者-物品互動值預測(步驟430)。系統然後基於一測試使用者與電子商務平台上之複數個物品中之每一者之所預測互動值而為該測試使用者推薦一或多個物品(步驟440)。
5.0 實例性系統架構
圖5圖解說明推薦系統之一實例性系統架構。如上文所闡述，推薦系統包含預測使用者-物品對之使用者-物品互動之一單類別推薦模型530。對模型之輸入係使用者資料510，諸如使用者ID及/或使用者-互動向量，及物品資料520，諸如邊物品資料(例如，物品說明、物品價格、物品種類及物品影像)。模型之預測以使用者-物品互動得分之形式來輸出。一推薦模組540自預測模型530接收使用者-物品互動得分且使用該等得分來為店鋪推薦使用者或為使用者推薦物品，如上文關於圖4A及圖4B所闡述。一訓練模組550根據圖2之方法訓練單類別推薦模型530。
6.0 實驗展示改良之效能
在相關申請案章節中以引用的方式併入本文中之臨時申請案列述比較僅使用相似對且根據圖2之方法加以訓練之一推薦系統與利用相似及不相似對兩者以及一習用目標函數加以訓練之一習用推薦系統之效能之實驗結果。實驗結果係前者系統利用更少訓練資料具有更佳效能(召回率(recall))。
7.0 概要
關於圖2至圖6所闡述之方法體現於軟體中且由執行軟體之一電腦系統(包括一或多個運算裝置)執行。熟習此項技術者應將理解，一電腦系統具有一或多個實體記憶體單元、磁碟或用於儲存軟體指令之其他實體電腦可讀儲存媒體，以及用於執行軟體指令之一或多個處理器。熟習此項技術者亦將理解，一電腦系統可係一獨立電腦或一起工作之電腦之一網路，諸如在一用戶端-伺服器架構中。
如熟習此項技術者將理解，本發明可在不背離本發明之精神或基本特性之情況下以其他具體形式體現。因此，上述揭示內容意欲圖解說明但不限制本發明之範疇。
相關申請案
本申請案主張在2022年7月27日提出申請且標題為「具有樞紐成對距離損失和正交表示的單類別推薦系統(One Class Recommendation Systems with the Hinge Pairwise Distance Loss and Orthogonal Representations)」之美國臨時申請案第63/392,826號之權益，該臨時申請案之內容如同在本文中完全揭示一般以引用的方式併入本文中。
210:步驟 220:步驟 230:步驟 240:步驟 250:步驟

Claims (20)

  1. 一種預測方法，其係由電腦系統執行之使用單類別推薦模型預測使用者及物品之互動值之方法，該方法包括： 藉由執行以下操作而訓練單類別推薦模型： (a) 獲得訓練資料集，該訓練資料集包含僅相似使用者-物品對之使用者資料及物品資料，其中： 該訓練資料集不包含不相似使用者-物品對； 相似使用者-物品對係：具有已知互動之使用者-物品對；且 不相似使用者-物品對係：不存在已知互動之使用者-物品對； (b) 將該模型應用於該訓練資料集中之該相似使用者-物品對之資料，獲得該相似使用者-物品對之各者之預測互動值，獲得該預測互動值包含產生該訓練資料集中之該使用者及該物品之在向量空間中之向量表示； (c) 使用損失函數計算該模型之損失值，該損失函數包括以下損失項，即： 吸引損失項(attractive loss)，其將該訓練資料集中之該相似使用者-物品對之各者中之該使用者之該向量表示與該物品之該向量表示之間在該向量空間中之距離最小化； 成對距離損失項(pairwise distance loss)，其將該訓練資料集中之所有向量表示之間在該向量空間中之平均成對距離保持大於限度(margin)；及 正交性損失項，其降低該向量空間中之維度之間的相關性； (d) 調整該模型之可訓練參數集，降低該損失值；及 (e) 於一定反覆次數重複步驟(b)至步驟(d)；及 使用該經訓練模型，獲得關於未知曉互動值之使用者與物品對之使用者-物品互動值預測。
  2. 如請求項1之預測方法，其中該吸引損失項係基於該訓練資料集中之該相似使用者-物品對之各者中之該使用者之該向量表示與該物品之該向量表示之間在該向量空間中之距離之對比損失。
  3. 如請求項1之預測方法，其中該吸引損失項係基於該訓練資料集內之該相似使用者-物品對之各者之該預測互動值與實際互動值之間的差之均方誤差損失。
  4. 如請求項1之預測方法，其中該成對距離損失項係樞紐成對距離損失(hinge pairwise distance loss)。
  5. 如請求項1之預測方法，其中該正交性損失項將該向量空間中之維度正交。
  6. 如請求項1之預測方法，其中該經訓練模型用於預測未知曉互動值之電子商務平台上之使用者-物品對之使用者-物品互動，且該方法進一步包括： 基於由該平台上之店鋪販售之物品及複數個測試使用者之各者之預測互動值，將該電子商務平台上之一人以上之測試使用者推薦給該店鋪。
  7. 如請求項1之預測方法，其中該經訓練模型用於預測未知曉互動值之電子商務平台上之使用者-物品對之使用者-物品互動，且該方法進一步包括： 基於測試使用者及該電子商務平台上之複數個物品之各者之預測互動值，將該電子商務平台上一個以上之物品推薦給該測試使用者。
  8. 一種訓練方法，其係由電腦系統執行之訓練單類別推薦模型以使用僅由具有正互動值之使用者-物品對組成之訓練資料預測使用者及物品之互動值之方法，該方法包括： (a)    獲得訓練資料集，該訓練資料集包含僅相似使用者-物品對之使用者資料及物品資料，其中： 該訓練資料集不包含不相似使用者-物品對； 相似使用者-物品對係：具有已知互動之使用者-物品對；且 不相似使用者-物品對係：不存在已知互動之使用者-物品對； (b)    將該模型應用於該訓練資料集中之該相似使用者-物品對之資料，獲得該相似使用者-物品對之各者之預測互動值，獲得該預測互動值包含產生該訓練資料集中之該使用者及該物品之在向量空間中之向量表示； (c)    使用損失函數計算該模型之損失值，該損失函數包括以下損失項，即： 吸引損失項，其將該訓練資料集中之該相似使用者-物品對之各者中之該使用者之該向量表示與該物品之該向量表示之間在該向量空間中之距離最小化； 成對距離損失項，其將該訓練資料集中之所有向量表示之間在該向量空間中之平均成對距離保持大於限度；及 正交性損失項，其降低該向量空間中之維度之間的相關性； (d)    調整該模型之可訓練參數集，降低該損失值；及 (e)    於一定反覆次數重複步驟(b)至步驟(d)。
  9. 如請求項8之訓練方法，其中該吸引損失項係基於該訓練資料集中之該相似使用者-物品對之各者中之該使用者之該向量表示與該物品之該向量表示之間在該向量空間中之距離之對比損失。
  10. 如請求項8之訓練方法，其中該吸引損失項係基於該訓練資料集內之該相似使用者-物品對之各者之該預測互動值與實際互動值之間的差之均方誤差損失。
  11. 如請求項8之訓練方法，其中該成對距離損失項係樞紐成對距離損失。
  12. 如請求項8之訓練方法，其中該正交性損失項將該訓練資料集中之所有該向量表示正交。
  13. 一種預測系統，其係預測電子商務平台上之使用者-物品互動值之系統，該系統包括： 處理器，其構成為執行使用機器碼之集而編程之指令； 一個以上記憶體單元，其耦合至該處理器；及 單類別機器學習推薦模型，其儲存於該系統之該一個以上記憶體單元，獲取使用者輸入及物品輸入，輸出與電子商務平台上之使用者及物品之預測使用者-互動值對應之使用者互動得分，其中 該模型包含以產生該輸出之該機器碼實施之運算指令， 該模型係根據方法訓練，該方法包括以下操作，即： (a) 獲得訓練資料集，該訓練資料集包含僅相似使用者-物品對之使用者資料及物品資料，其中： 該訓練資料集不包含不相似使用者-物品對； 相似使用者-物品對係：具有已知互動之使用者-物品對；且 不相似使用者-物品對係：不存在已知互動之使用者-物品對； (b) 將該模型應用於該訓練資料集中之該相似使用者-物品對之資料，獲得該相似使用者-物品對之各者之預測互動值，獲得該預測互動值包含產生該訓練資料集中之該使用者及該物品之在向量空間中之向量表示； (c) 使用損失函數計算該模型之損失值，該損失函數包括以下損失項，即： 吸引損失項，其將該訓練資料集中之該相似使用者-物品對之各者中之該使用者之該向量表示與該物品之該向量表示之間在該向量空間中之距離最小化； 成對距離損失項，其將該訓練資料集中之所有向量表示之間在該向量空間中之平均成對距離保持大於限度；及 正交性損失項，其降低該向量空間中之維度之間的相關性； (d) 調整該模型之可訓練參數集，降低該損失值；及 於一定反覆次數重複步驟(b)至步驟(d)。
  14. 如請求項13之預測系統，其中該吸引損失項係基於該訓練資料集中之該相似使用者-物品對之各者中之該使用者之該向量表示與該物品之該向量表示之間在該向量空間中之距離之對比損失。
  15. 如請求項13之預測系統，其中該吸引損失項係基於該訓練資料集內之該相似使用者-物品對之各者之該預測互動值與實際互動值之間的差之均方誤差損失。
  16. 如請求項13之預測系統，其中該成對距離損失項係樞紐成對距離損失。
  17. 如請求項13之預測系統，其中該正交性損失項將該訓練資料集中之所有該向量表示正交。
  18. 一種非暫時性電腦可讀媒體，其包括電腦程式，該電腦程式在由電腦系統執行時，該電腦系統能夠執行預測電子商務平台上之使用者-物品互動值之以下方法，該電子商務平台包含來自具有不同銷售量之各種店鋪之產品，該方法包括： 將單類別推薦模型應用於電子商務平台上之使用者資料及物品資料，獲得預測使用者-物品互動值，其中 該單類別推薦模型係根據以下方法訓練，即： (a) 獲得訓練資料集，該訓練資料集包含僅相似使用者-物品對之使用者資料及物品資料，其中： 該訓練資料集不包含不相似使用者-物品對； 相似使用者-物品對係：具有已知互動之使用者-物品對；且 不相似使用者-物品對係：不存在已知互動之使用者-物品對； (b) 將該模型應用於該訓練資料集中之該相似使用者-物品對之資料，獲得該相似使用者-物品對之各者之預測互動值，獲得該預測互動值包含產生該訓練資料集中之該使用者及該物品之在向量空間中之向量表示； (c) 使用損失函數計算該模型之損失值，該損失函數包括以下損失項，即： 吸引損失項，其將該訓練資料集中之該相似使用者-物品對之各者中之該使用者之該向量表示與該物品之該向量表示之間在該向量空間中之距離最小化； 成對距離損失項，其將該訓練資料集中之所有向量表示之間在該向量空間中之平均成對距離保持大於限度；及 正交性損失項，其降低該向量空間中之維度之間的相關性； (d) 調整該模型之可訓練參數集，降低該損失值；及 於一定反覆次數重複步驟(b)至步驟(d)。
  19. 如請求項18之非暫時性電腦可讀媒體，其中該成對距離損失項係樞紐成對距離損失。
  20. 如請求項18之非暫時性電腦可讀媒體，其中該正交性損失項將該訓練資料集中之所有該向量表示正交。
TW112118089A 2022-07-27 2023-05-16 預測方法、訓練方法、預測系統及非暫時性電腦可讀媒體 TWI881345B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263392826P 2022-07-27 2022-07-27
US63/392,826 2022-07-27
US17/975,473 US20240037191A1 (en) 2022-07-27 2022-10-27 One-class recommender system with hinge pairwise distance loss and orthogonal representations
US17/975,473 2022-10-27

Publications (2)

Publication Number Publication Date
TW202407610A TW202407610A (zh) 2024-02-16
TWI881345B true TWI881345B (zh) 2025-04-21

Family

ID=87426643

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112118089A TWI881345B (zh) 2022-07-27 2023-05-16 預測方法、訓練方法、預測系統及非暫時性電腦可讀媒體

Country Status (4)

Country Link
US (1) US20240037191A1 (zh)
EP (1) EP4322068A1 (zh)
JP (1) JP7573072B2 (zh)
TW (1) TWI881345B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201812646A (zh) * 2016-07-18 2018-04-01 美商南坦奧美克公司 分散式機器學習系統、分散式機器學習方法、以及產生代用資料之方法
CN113011469A (zh) * 2021-02-26 2021-06-22 北京大学 一种基于对抗互惠点学习的开集类别发掘训练方法及系统
JP2022063255A (ja) * 2020-10-09 2022-04-21 楽天グループ株式会社 機械学習に基づくレコメンダシステムにおける入力及びパラメータの同時学習
CN114692724A (zh) * 2022-03-03 2022-07-01 支付宝(杭州)信息技术有限公司 数据分类模型的训练方法、数据分类方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113626719B (zh) * 2021-10-12 2022-02-08 腾讯科技（深圳）有限公司 信息推荐方法、装置、设备、存储介质及计算机程序产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201812646A (zh) * 2016-07-18 2018-04-01 美商南坦奧美克公司 分散式機器學習系統、分散式機器學習方法、以及產生代用資料之方法
JP2022063255A (ja) * 2020-10-09 2022-04-21 楽天グループ株式会社 機械学習に基づくレコメンダシステムにおける入力及びパラメータの同時学習
CN113011469A (zh) * 2021-02-26 2021-06-22 北京大学 一种基于对抗互惠点学习的开集类别发掘训练方法及系统
CN114692724A (zh) * 2022-03-03 2022-07-01 支付宝(杭州)信息技术有限公司 数据分类模型的训练方法、数据分类方法和装置

Also Published As

Publication number Publication date
JP7573072B2 (ja) 2024-10-24
TW202407610A (zh) 2024-02-16
US20240037191A1 (en) 2024-02-01
EP4322068A1 (en) 2024-02-14
JP2024020147A (ja) 2024-02-14

Similar Documents

Publication Publication Date Title
TWI883341B (zh) 用於預測使用者-項目互動值之方法、系統及非暫時性電腦可讀媒體
US12211073B2 (en) Reducing sample selection bias in a machine learning-based recommender system
WO2009094672A2 (en) Belief propagation for generalized matching
US20230036964A1 (en) Reducing sample selection bias in a machine learning-based recommender system
CN114139724B (zh) 增益模型的训练方法及装置
US11551194B2 (en) System to facilitate exchange of data segments between data aggregators and data consumers
Gandhi et al. Spatio-temporal multi-graph networks for demand forecasting in online marketplaces
CN113779380A (zh) 跨域推荐、内容推荐方法、装置及设备
TWI881345B (zh) 預測方法、訓練方法、預測系統及非暫時性電腦可讀媒體
CN110413946B (zh) 使用交替最小二乘优化来在线训练和更新因子分解机
CN111402003A (zh) 实现用户相关推荐的系统和方法
CN110288444A (zh) 实现用户相关推荐的方法和系统
CN108304407B (zh) 一种进行对象排序的方法和系统
US12062080B2 (en) Reducing sample selection bias in a machine learning-based recommender system
Su et al. Multi-Task Neural Linear Bandit for Exploration in Recommender Systems
TWI877495B (zh) 機器學習方法、訓練方法、預測系統、及非暫時性電腦可讀媒體
CN112085093A (zh) 协同滤波模型的训练方法及装置、可读介质及系统
Ajibade et al. A Literature Review of Machine Learning Techniques for Recommender System In E-Commerce
JP7240240B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN116383485A (zh) 一种信息推荐方法及装置、存储介质