实时意图驱动的电商绑赠保险推荐：基于语义相关性的召回方法及实证研究

摘要

电商场景下的"赠险（绑赠保险）"业务存在严重的相关性缺失问题：传统后台规则按运营标签静态绑定主品与保险品类，激活率长期徘徊在 0.0046% 量级。本文围绕"主品 SKU 名称 ↔ 保险品类名称"这一最易获取的实时意图信号，沿"先开源后自训"两条路径展开实证研究：

研究路径一：开源 Embedding 模型分析。 我们以 1984 条真实曝光数据（985 激活 / 999 未激活）为基础，使用 6 种主流中文 / 多模态 embedding 模型（GME-2B、Qwen3-Embedding-0.6B、BGE-large/small-zh-v1.5、BCE-embedding-base v1、Stella-base-zh-v3）量化主品 ↔ 保险品类的余弦相似度。在数据清洗前，已激活组与未激活组的相似度甚至呈负相关（Cohen's d 出现 −0.30 量级的反向信号）；清洗 38% 脏数据后，多数开源模型仍几乎无法区分两组（d<0.1）；最优的 BCE-embedding-base v1 在 raw / dedup 双口径下 Cohen's d 也仅稳定在 +0.39——属于"接近中等效应"但绝对差距 Δmean ≈ 0.013 的弱信号，难以直接作为推荐决策依据。结论：开源通用 embedding 不足以胜任赠险相关性建模。

研究路径二：自训双塔召回模型。 基于这一发现，我们用手头仅有的 1984 条样本（其中 985 条激活正样本）训练了一个 DSSM 双塔召回模型：用户塔融合 user_id + 主品 SKU + 类目 + 用户画像 + 行为统计 11 个特征，商品塔融合保险 SKU + 险种类型 + 公司 + 价格/保额/期限 6 个特征，两塔 DNN(128→64→32) + L2 归一化输出 32 维向量，训练采用 In-batch 负采样 + Sampled Softmax + 流行度修正。仅 5–9 个 epoch、CPU 训练 2 分钟即达到 Recall@5 = 0.9694、Recall@10 = 1.0000，端到端 3 个真实业务 case 全部 Top-1 命中。我们进一步做消融实验：把路径一的最优 BCE 文本 embedding（768 维）作为额外子塔接入双塔，Recall@10 反而由 1.00 微降至 0.97——这反向印证了"实时意图（ID + 类目）已足以驱动赠险召回"，文本 embedding 更适合用于冷启动 / 粗排 / LLM 重排等下游环节。

核心贡献：（1）系统证明主流开源中文 embedding 不适用于电商赠险这种"短文本 × 弱标签 × 小候选集"垂直场景；（2）证明用千级真实业务样本自训一个轻量双塔即可显著超越开源模型；（3）提出"raw / dedup 双口径"鲁棒性验证范式；（4）给出可独立迭代的四模块工程架构。

关键词：电商绑赠 ; 实时意图 ; 语义相关性 ; 双塔召回 ; Embedding 模型评估 ; 推荐系统

1. 引言

1.1 业务背景

保险绑赠业务是典型的"内嵌式"营销链路：用户下单一件主品（如手机、母婴、宠物用品）后，系统在订单页或支付完成页透出一个绑赠保险位（如碎屏险、母婴险、宠物医疗险）。由于：

后台规则配置绑定：运营人员人工维护主品类目 → 保险品类的映射；
不感知用户：规则中无任何用户画像 / 行为信号；
不感知主品具体语义：仅按类目粒度匹配，类目内的差异被抹平；

最终的赠险激活率仅 0.0046%（行业普通水平为 0.05%~0.1%）。在每日 2000 万级订单量上，意味着大量保险 SKU 库存与营销投入未能转化。

关于"激活"的定义。 由于线上系统目前没有透出位的"曝光-点击"埋点回流通路，我们在本文中只能拿到"下游下单数据"：即用户从绑赠位点击进入保险详情页并最终成功下单购买保险的行为。因此本文所述"激活 (y_active)" ≡ 用户经绑赠位完成保险下单；"未激活 (y_active=0)" ≡ 同一时段被同样的规则推荐过该保险品类、但用户未通过绑赠位下单。这是一种事后回流的强弱信号混合：正样本是真实"看到-动手-付钱"的完整漏斗终点，负样本则是规则推荐但未转化的对照组。

1.2 问题与挑战

赠险推荐与常规电商推荐存在三个关键差异：

维度	常规电商推荐	赠险推荐
候选集规模	百万~亿级 SKU	数十~数百保险 SKU
正样本密度	CTR 1%~5%	下单激活率 0.005%~0.1%
标签可得性	曝光 / 点击 / 加购 / 下单	仅"下单激活/未下单"（无曝光、无点击埋点）
用户与物料关系	用户主动消费	用户被动接受 + 偶有主动转化

正样本极度稀疏 + 候选集极小 + 标签仅有最末端的下单信号、无中间漏斗 → 直接套用大规模双塔 / CTR / ESMM 等需要曝光-点击-转化三段标签的模型并不适用，反而容易在规则脏数据上学到错误偏置。本文将"下单激活"视为唯一可学习标签，所有方法围绕这一约束设计。

1.3 研究路径与本文贡献

我们采用两阶段对比研究：

路径一（baseline）：现成开源 embedding × cosine 相关性
        ↓ 发现：清洗前甚至负相关、清洗后仍属弱信号（最优 d≈0.39，多数模型 d<0.1）
路径二（本文方法）：用 1984 条业务数据自训轻量 DSSM 双塔
        ↓ 结论：Recall@10 = 1.0000，端到端 3/3 Top-1 命中

全文工作流总览

graph TB
    A["原始 Excel<br/>已激活 985 + 未激活 999"] --> B["脏数据清洗<br/>(子串黑名单)"]
    B --> C["清洗后 1941 条<br/>激活 943 / 未激活 998"]

    C --> P1A["路径一：主品名 + 保险名"]
    P1A --> P1B["6 个开源 embedding 编码"]
    P1B --> P1C["cosine 相似度"]
    P1C --> P1D["raw + dedup 双口径 + Cohen d"]
    P1D --> P1E["结论 BCE 最优 d=0.39<br/>仍属弱信号"]

    C --> P2A["路径二：ID + 类目 + 数值特征"]
    P2A --> P2B["用户塔 60 维 + 商品塔 27 维"]
    P2B --> P2C["DNN 128 -> 64 -> 32 + L2 Norm"]
    P2C --> P2D["In-batch 负采样<br/>Sampled Softmax + 流行度修正"]
    P2D --> P2E["Recall@5=0.9694<br/>Recall@10=1.0000"]

    P1E --> R["对比与讨论"]
    P2E --> R
    R --> ENG["四模块工程落地<br/>数据 / 特征 / 策略 / 业务"]

主要贡献

首次系统证伪"开源 embedding 即插即用"在赠险场景的假设：在 6 个主流中文/多模态 embedding 模型（24M~2B）上做严格的 raw/dedup 双口径对比，发现绝大多数模型完全无法区分激活 / 未激活样本（Cohen's d<0.1，p>0.05），最优的 BCE-embedding-base v1 也只到"接近中等效应"水平（d≈0.39，Δmean=0.013），不足以单独作为决策信号；
证明小样本自训双塔的可行性：用仅 1984 条真实业务数据（985 条激活正样本）训练 DSSM 双塔，CPU 端 5–9 个 epoch、2 分钟内收敛到 Recall@5=0.9694 / Recall@10=1.0000；这是开源 embedding 路径无法企及的精度；
提出 raw/dedup 双口径鲁棒性验证范式：对相似度评估同时报告原始和去重统计，剔除高频重复对子伪造的信号，避免大样本下 p 值假阳性；
给出可独立迭代的工程架构：四模块（数据处理 / 特征 / 策略 / 业务流程）严格解耦，支持版本治理、AB 实验、冷启动与降级兜底。

2. 相关工作

本文涉及推荐系统漏斗、双塔召回、中文 embedding、效应量统计、绑赠/广告等"被动接受"场景以及小样本对比学习等多条研究线，下面分六小节按"贴近本文工作的程度"由远及近梳理。

2.1 推荐系统漏斗与双塔召回的演进

工业级推荐系统普遍采用「召回 → 粗排 → 精排 → 重排」的多级漏斗 [Covington 2016, Pi 2020]，每级用渐进复杂的模型对候选集做精细化筛选。在这一漏斗里，召回阶段的双塔架构尤为关键：

DSSM [Huang 2013] 首次将"用户塔 + 商品塔"独立编码，使商品向量可以离线预计算并通过 ANN 检索高效服务，至今仍是工业首选；
YouTubeDNN [Covington 2016] 把用户的历史观看序列 mean-pool 到用户塔，同时引入 sampled softmax 处理大规模 item 词表；
MIND [Li 2019] / ComiRec [Cen 2020] 将用户兴趣表征为多向量，缓解单点向量难以表达多样兴趣的问题；
SimCLR / SimCSE 风格的对比学习召回 [Chen 2020, Gao 2021] 进一步将 in-batch 负采样、temperature 校准、L2 归一化等技术形式化。

后续的 COLD [Wang 2020]（粗排）、MMoE [Ma 2018a]、ESMM [Ma 2018b]、SIM [Pi 2020]（精排）等工作针对漏斗的下游环节做精细化建模。本文场景下保险候选集仅 29 个，下游漏斗的边际收益极低，因此把研究焦点集中在召回阶段的轻量双塔上。

2.2 中文 / 多模态 sentence embedding

近年中文文本表征进入"专用预训练模型 + 大规模对比微调"阶段，主要代表如下：

路线	代表	关键技术	典型基准
Encoder-only + 对比	BGE 系列 [Xiao 2023]（small/base/large/m3）、BCE-embedding（有道）、Stella	RetroMAE 预训练 + 多任务对比微调；CLS / mean pooling	C-MTEB / MTEB-zh
Decoder-only + Instruct	Qwen3-Embedding [Qwen 2024]、GTE-Qwen2	last-token pooling + Instruct 模板（"Instruct: ... Query: ..."）	MTEB
多模态	GME-Qwen2-VL [Alibaba 2024]	视觉-语言预训练 + 跨模态对比	MMVET / MTEB

这些模型在通用基准（C-MTEB、MTEB）上的得分往往与参数量正相关，但**领域漂移（domain shift）**已被多项研究证实是 embedding 模型的痛点 [Reimers 2019, Thakur 2021]：在垂直短文本场景下，开源模型常常输出"语义粗糙正确、判别力弱"的相似度，需要做下游有监督微调才能获得可用信号。本文针对"主品标题 ↔ 保险品类名"这一垂直短文本任务，首次系统比较了 6 个主流模型（参数量 24M–2B、架构覆盖三种主流路线），结论与 [Thakur 2021] 关于"领域 shift 主导效果"的发现一致。

2.3 短文本相似度评估与效应量统计

短文本相似度的标准做法是 cosine + 描述统计 + 显著性检验。但在大样本（n>1000）场景下，常见的 Welch t-test / Mann-Whitney U 检验极容易得到 p 值 < 0.05，从而误导业务判断 [Sullivan 2012]。Cohen [Cohen 1988] 在 1988 年就指出应当用**效应量（effect size）**衡量"差异有多大"，而不是只看"差异显不显著"。具体地：

Cohen's d：(μ₁ − μ₂) / σ_pooled，0.2/0.5/0.8 分别为小/中/大效应阈值；
Cliff's δ [Cliff 1996]：基于秩的非参数效应量，适合非正态分布；
probability of superiority (PS)：A 组随机抽一个比 B 组随机抽一个大的概率。

在工业推荐 / 广告系统的特征评估中，效应量分析尚未成为常规做法，但 [Kohavi 2020] 等 A/B 测试经典著作已强调"统计显著 ≠ 业务显著"。本文采用 Cohen's d 作为业务决策的主指标，并提出 raw / dedup 双口径做鲁棒性检验，剔除高频重复对子伪造的均值差异——这一范式在已有评估文献中尚未见报道。

2.4 绑赠 / 赠险 / 广告等"被动接受"场景的推荐

本文研究的"赠险"任务与常见电商推荐有一个根本差异：用户对推荐结果是被动接受、而非主动消费。这类场景在文献中相对边缘，但与广告推荐 [Zhou 2018] 和加购品推荐 [DIN/DIEN 阿里] 有相似性：

广告 CTR 预估 [Zhou 2018, Pi 2019]：与赠险类似的"被动曝光 → 主动点击"漏斗，但广告候选集大、有完整曝光埋点；
保险产品推荐 [Salamzadeh 2022]：极少数研究关注保险场景，多用规则或简单 LR；尚无公开工作针对"主品×保险"绑赠对做语义建模；
优惠券 / 赠品推荐 [Yang 2018, Liu 2021]：典型的"赠品搭主品"场景，方法以 wide & deep / FM 为主，仍依赖大规模行为数据。

本文场景的独特性在于：(1) 候选集仅数十；(2) 标签极度稀疏（激活率 0.0046%）；(3) 目前线上无曝光-点击埋点，仅可获得"经绑赠位最终下单"的回流信号。这使得多数现有工作（依赖 CTR/CVR 双标签或大量曝光数据）无法直接套用。

2.5 In-batch 负采样与流行度修正

In-batch 负采样几乎是所有现代双塔召回的标配 [Yi 2019, Yang 2020]：把同一 batch 中其它正样本的 item 当作当前 user 的负样本，避免显式构造负样本的开销。但 in-batch 负采样会偏向热门 item（因为它们更容易出现在 batch 中），实践中常用以下两种修正：

Sampled Softmax with Logit Correction [Yi 2019]：对每个 item j 的得分减去 log P(item_j)，纠正采样偏置；这一项在 TensorFlow Recommenders 与 PyTorch DLRM 中都已成为默认实现；
Hard Negative Mining [Karpukhin 2020, Xiong 2020]：周期性地从向量库中挖掘"高分负样本"作为补充负例，提升模型的判别能力。

本文采用 In-batch 负采样 + log P 流行度修正的经典组合（参见 §4.2.5）。由于赠险候选集仅 29 个、训练集中" 家财险"等高频 SKU 占比 29%，流行度修正项尤其重要——这与 [Yi 2019] 在 YouTube 大词表场景下的发现相互印证。

2.6 小样本场景下的双塔 vs 开源 Embedding 实证对比

近两年随着预训练 sentence embedding 的成熟，社区出现了一种"用 cosine 直接做召回"的简化范式 [Reimers 2019]：跳过自训，直接拿开源模型的相似度排序。这一范式在如下场景被证实有效：

通用问答 / 文档检索 [Karpukhin 2020]；
商品搜索 / 同义改写 [Magnani 2022]；
冷启动条件下的小词表召回 [Hou 2024]。

但它在垂直业务上的边界尚未充分研究——本文恰好提供了一个反例：即便用最优开源模型（BCE，279M），在赠险任务上 Cohen's d 也只有 +0.39（属于"小到中等效应"），无法直接驱动召回。相比之下，用 1984 条业务样本自训一个 < 1M 参数的 DSSM 双塔，CPU 端 5–8 个 epoch 就把 Recall@10 推到 1.0000——这与 [Hofstätter 2021] 在 BEIR 基准上"领域内自训胜过零样本开源 embedding"的结论方向一致，但本文将这个差距量化到了一个具体的、低预算的工业场景。

小结：本文的工作位于"工业绑赠推荐"× "小样本自训召回"× "embedding 评估方法学"三条研究线的交汇处，主要贡献是把这些已有方法在一个真实垂直场景下做了系统化、可复现的实证。

3. 数据集

3.1 真实业务样本

数据来自 2026 年 4~5 月线上赠险投放的下游下单回流日志，经清洗后包含 1984 条样本：

来源	样本量	唯一 main_sku	唯一保险 SKU	y_active	业务含义
已激活的 C 营销	985	905	28	1	用户从绑赠位点击进入并下单购买了保险
未激活的 C 营销	999	704	13	0	同期被规则推荐过该保险品类、但用户未通过绑赠位下单的对照组
合并	1984	1603	29	—	—

字段保留：buyer_account (pin)、mall_sku（保险 SKU）、mall_sku_name、main_sku、main_sku_name、一/二/三级类目码、price、vender_id、order_time 等。

标签语义约定的重要澄清：

线上系统目前没有曝光 / 点击埋点回流，因此 y_click、pv、uv 等中间漏斗信号无法获取；

我们能拿到的唯一信号是"用户最终是否经绑赠位下单购买保险"——这一信号已经包含了"看到 → 点击 → 决策 → 支付"的全链路漏斗，是强标签但稀疏；

因此本文不做 ESMM / CTR-CVR 双任务分解，所有方法直接用 y_active 作为单一二分类标签训练；

当未来曝光埋点上线后，可在本文方法基础上叠加 ESMM 实现 CTR/CVR 解耦，不影响本文结论。

3.2 数据清洗

虽然 Excel 的"main_sku_name"字段表面是商品名，但其中混杂大量营销凭证类的"伪主品"，并不构成与保险品类的真实业务关联，必须先剔除：

类别	例子	与保险的关系
充值类	预付卡、E卡、加油卡、话费、京豆充值	无
会员/年卡	PLUS 会员、京典年卡、京享年卡、权益卡	无
礼品/凭证	礼品卡、购物卡、至高 500 元代金券	无
营销/补贴	复购补贴、请勿单独下单、联系客服	无
测试品	"测试"字样、各类内部测试单	无
服务费	加工费、服务费、运费、中药加工	无

清洗流程

graph LR
    A["原始 Excel<br/>1984 条"] --> B["读取 main_sku_name"]
    B --> C{"子串匹配<br/>MAIN_SKU_BLACKLIST"}
    C -->|命中| D["丢弃 (脏样本)"]
    C -->|未命中| E["保留"]
    D --> F["清洗后 1941 条<br/>激活 943 + 未激活 998"]
    E --> F

清洗规则实现于 scripts/relevance_gme.py 的 MAIN_SKU_BLACKLIST，关键代码（节选）：

MAIN_SKU_BLACKLIST = [
    "预付卡", "复购补贴", "E卡", "PLUS", "京典年卡", "京享年卡",
    "礼品卡", "购物卡", "充值卡", "话费", "加油卡", "权益卡", "会员卡",
    "至高500元", "至高200元", "请勿单独下单", "联系客服",
    "测试", "服务费", "加工费", "运费", "中药加工",
]
def is_dirty(name: str) -> bool:
    return any(kw in str(name) for kw in MAIN_SKU_BLACKLIST)

清洗效果

来源	原始	脏数据	占比	清洗后
已激活	985	42	4.3%	943
未激活	999	1	0.1%	998
合计	1984	43	2.2%	1941

为什么清洗如此关键：旧数据 vs 新数据

我们在早期实验中用过另一批含大量脏数据的样本（已激活 8.9% 脏数据、未激活 38% 脏数据），下表对比了同一 embedding 模型在两批数据上的 Cohen's d：

模型	旧数据 d	新数据（未清洗）d	新数据（清洗后）d	方向
GME-Qwen2-VL-2B	−0.06	~0	+0.043	反向 → 正向 ✓
Qwen3-Embedding-0.6B	−0.08	~0	+0.086	反向 → 正向 ✓

关键发现：清洗前数据甚至呈现"激活组比未激活组更不相关"的反直觉负相关（d=−0.06 ~ −0.08）；这是脏数据中"充值卡 → 任意保险"这种无信号噪声配对被过采样、伪造出统计假象的结果。清洗后所有模型方向都翻转为符合直觉的正相关，这也是后续相关性评估能跑出有意义结论的前提。

清洗后样本规模分布

清洗后样本（n=1941）
├── 已激活（y_active=1） = 943
│   ├── 唯一主品 SKU = 893
│   └── 唯一保险 SKU = 28
└── 未激活（y_active=0） = 998
    ├── 唯一主品 SKU = 703
    └── 唯一保险 SKU = 13

可以观察到：

已激活组的保险 SKU 数（28）≈ 未激活组（13）的 2 倍 → 激活样本的保险品类分布更多样；
两组的主品分布几乎不重叠（共同主品占比 <5%）→ 这是个主品异质的非对称分布；
未激活组重复率高（999 → 791，21% 重复对）→ 需要 dedup 鲁棒性验证（详见 §5.2.2）。

3.3 用户与物料表

由于原始 Excel 不含完整用户画像，我们以 buyer_account 为种子，用 MD5 哈希派生稳定但无信息量的 gender / age_bucket / city_tier / plus_level 等特征，并填充行为统计字段 click_30d / order_30d / active_ins_30d / main_price。这些字段在本文实验中实际是噪声，仅作为占位让模型架构与上线后的 schema 对齐：

# data/build_from_assets.py 中的派生逻辑（节选）
"gender":         _stable_hash(pin + "_g", 3),       # 0/1/2，无业务含义
"city_tier":      _stable_hash(pin + "_c", 5),       # 0~4，无业务含义
"click_30d":      _stable_hash(pin + "_c30", 50),    # 0~49，无业务含义
"order_30d":      _stable_hash(pin + "_o30", 10),
"active_ins_30d": _stable_hash(pin + "_a30", 4),

重要声明：实验中模型仅靠 user_id / main_sku_id / main_category 这三个真正有业务信号的类别特征 + 保险物料侧的三个真实特征（sku_id / insurance_type / company_id）就达到了 Recall@10=1.0000，这正好印证了本文标题"实时意图驱动"的核心论点——主品 ID/类目 + 保险 ID/类型已经包含了召回所需的全部信号。上线后接入真实用户画像与行为统计后，预期可进一步提升精度（见 §7 局限性）。

保险 SKU 的险种类型由名称关键词映射到 10 类枚举（家财险 / 门诊医疗 / 健康 / 意外 / 宠物 / 家政 / 数码 / 母婴 / 户外 / 其他）。最终产出：

insurance_sku.json（29 个保险 SKU 元信息）
main_sku.json（1603 个主品 SKU 元信息）
user_profile.json（1918 个用户画像，含派生占位字段）
train_rank.parquet / train_recall.parquet / rerank_sft.jsonl

4. 方法

本文方法分为两阶段：（A）语义相关性评估：选择最有区分度的 embedding 模型作为离线特征金标准；（B）双塔召回训练：将语义相关性作为先验融入轻量级 DSSM 模型，在仅有实时意图特征的条件下完成 Top-K 召回。

4.1 语义相关性建模

4.1.1 评估流程

graph LR
    A["清洗后样本 1941 条"] --> B["拆出 t_m (主品名)<br/>和 t_i (保险品名)"]
    B --> C["6 个 embedding 模型<br/>逐一编码"]
    C --> D["L2 归一化"]
    D --> E["cosine 相似度<br/>sim(t_m, t_i)"]
    E --> F1["按 y_active 分组<br/>激活组 vs 未激活组"]
    F1 --> G1["描述统计<br/>mean/median/std/p90/max"]
    F1 --> G2["显著性检验<br/>Welch t / MWU"]
    F1 --> G3["效应量<br/>Cohen d"]
    F1 --> G4["dedup 鲁棒性<br/>raw / dedup 双口径"]
    G1 --> H["挑选金标准模型"]
    G2 --> H
    G3 --> H
    G4 --> H

4.1.2 形式化定义

对每一条样本，记主品名 t_m、保险品名 t_i，相关性定义为：

$$ sim(t_m, t_i) = cos(E(t_m), E(t_i)) = E(t_m) · E(t_i) / (||E(t_m)|| · ||E(t_i)||) $$

其中 E 为 embedding 模型。比较激活组 (y=1) 与未激活组 (y=0) 的 sim 分布，并报告：

维度	指标	计算公式	业务含义
描述统计	mean / median / std	—	整体水平、典型水平、离散度
头部分布	p75 / p90 / max	排序分位数	高分桶水位线
显著性	Welch t-test p 值	scipy.stats.ttest_ind(equal_var=False)	不假设等方差的 t 检验
显著性	Mann-Whitney U p 值	scipy.stats.mannwhitneyu	非参数检验，更稳健
效应量	Cohen's d	(μ₁ − μ₂) / sqrt((σ₁² + σ₂²) / 2)	业务决策主指标

我们采用 Cohen's d 作为业务决策的主指标：d<0.2 视为无效应；0.2~~0.5 小效应；0.5~~0.8 中等；>0.8 大效应。

为什么不只看 p 值？大样本下 p 值容易显著（哪怕差异极小），所以 p 值只告诉我们"有没有差异"，d 才告诉我们"差异有没有业务意义"。

4.1.3 候选模型

模型	参数量	维度	Pool 方式	备注
GME-Qwen2-VL-2B-Instruct	2B	1536	模型自带	多模态
Qwen3-Embedding-0.6B	0.6B	1024	last-token	Decoder-only + Instruct 模板
BAAI/bge-large-zh-v1.5	326M	1024	CLS	RetroMAE + 对比
maidalun1020/bce-embedding-base v1	279M	768	CLS	多语言对比 + 电商优化
infgrad/stella-base-zh-v3-1792d	102M	1792	mean	RetroMAE + 多任务对比
BAAI/bge-small-zh-v1.5	24M	512	CLS	轻量级对比

模型规模跨度 24M ~ 2B，覆盖 BERT 系 / Decoder-only / 多模态三种主流架构。统一通过 scripts/relevance_gme.py 的 build_encoder 工厂自动路由，确保评估流程一致。

4.1.4 双口径鲁棒性检验

考虑到原始样本中存在重复 (主品 × 保险) 对——

组别	原始	联合去重后	重复率
激活组	943	909	3.6%
未激活组	998	791	20.7%

未激活组重复率显著更高（业务直觉：某些"主品 × 保险"低相关组合被规则反复投放但都没转化）。如果只看 raw cosine 的均值，可能被高频对子主导，因此我们同时报告：

raw 口径：按订单逐行计算 cosine，反映真实业务分布；
dedup 口径：对 (main_sku, mall_sku) 联合去重后再统计，反映模型本身的语义结构差异。

只有在两种口径下 Cohen's d 都显著的模型，才被视为"结构性可信"。该范式实现于 scripts/diag_dedup_vs_raw.py，产出 output/dedup_vs_raw.json。

4.2 双塔召回模型

4.2.1 整体结构

我们采用经典的 DSSM 双塔架构 [Huang 2013]，但针对赠险场景做了轻量化设计：用户塔 11 个特征、商品塔 6 个特征，每塔仅两层全连接 + L2 归一化。整体结构见图 1：

图 1：DSSM 双塔召回模型整体结构（完整版，含可选项文本子塔）。 左侧用户塔吸收 7 个类别特征 + 4 个数值特征（共 60 维），右侧商品塔吸收 3 个类别特征 + 3 个数值特征（共 27 维）。图中粉色虚线表示可选的 BCE 文本子塔（main_sku_name / mall_sku_name → BCE 768d → Linear 64），仅在 use_text=True 时启用（见 §5.6 消融实验）。两塔分别经 Linear→BN→ReLU→Dropout 三层降维到 32 维并做 L2 归一化，使内积等价于余弦相似度。底部 Score = ⟨u, v⟩ 输入到 In-batch Sampled Softmax Loss（含流行度修正项）做端到端训练。另见精简版（仅展示真实有效特征）fig_dssm_structure_minimal.png。

4.2.2 用户塔特征构造

特征	类型	处理方式	数据来源	含义
user_id	类别	Embedding(2000, 8)	真实（pin 索引）	用户长期身份
main_sku_id	类别	Embedding(1700, 8)	真实（Excel）	当前下单主品 ID
main_category	类别	Embedding(60, 8)	真实（Excel）	主品一级类目
gender	类别	Embedding(3, 8)	派生（md5 占位）	性别
age_bucket	类别	Embedding(8, 8)	派生（md5 占位）	年龄段 0~7
city_tier	类别	Embedding(5, 8)	派生（md5 占位）	城市等级 0~4
plus_level	类别	Embedding(5, 8)	派生（加权采样）	PLUS 会员等级
click_30d	数值	log(1+v)/4.0	派生（md5 占位）	30 日点击
order_30d	数值	log(1+v)/2.5	派生（md5 占位）	30 日下单
active_ins_30d	数值	log(1+v)/1.0	派生（md5 占位）	30 日激活保险数
main_price	数值	log(1+v)/8.0	真实（Excel）	主品价格

合计输入维度：7 × 8 + 4 = 60 维。

特征有效性说明：上表 11 个用户塔特征中，真正含信息的只有 4 个（user_id / main_sku_id / main_category / main_price，加粗为"真实"）；其余 7 个由 pin 哈希派生，模型训练时仅作占位、不贡献判别力。这一设计是为了让代码 schema 与生产环境上线后真实接入的画像系统对齐，迁移成本最低。本文实验报告的 Recall@10=1.0000 因此本质上是"主品 ID + 主品类目 + 主品价格 + 保险 ID + 险种类型 + 保险公司"共 6 个真实特征驱动的——这正是论文标题"实时意图驱动"想要表达的核心结论。

4.2.3 商品塔特征构造

特征	类型	处理方式	Embedding 维度	含义
sku_id	类别	Embedding(50, 8)	8	保险 SKU ID
insurance_type	类别	Embedding(10, 8)	8	险种类型枚举
company_id	类别	Embedding(10, 8)	8	保险公司 hash
ins_price	数值	log(1+v)/6.0	—	保费
ins_coverage	数值	log(1+v)/11.0	—	保额
ins_duration	数值	v/365.0	—	保障天数

合计输入维度：3 × 8 + 3 = 27 维。

4.2.4 DNN 主干

两塔结构相同，但参数独立：

Linear(in_dim → 128) → BatchNorm1d(128) → ReLU → Dropout(0.1)
Linear(128 → 64)     → BatchNorm1d(64)  → ReLU → Dropout(0.1)
Linear(64  → 32)     → L2 Normalize

输出 32 维向量。L2 归一化使得内积 = 余弦相似度，便于线上对接 Milvus / Vearch 的 IP 距离 ANN 检索。

4.2.5 训练目标

In-batch 负采样 + Sampled Softmax + 流行度修正：

$$ logits[i, j] = (u_i · v_j) / τ − log P(item_j) L = CrossEntropy(softmax(logits, dim=1), diag_labels) $$

其中：

τ = 0.07 为温度系数；
log P(item_j) 为保险 SKU j 在训练集的对数曝光频率，缓解热门 SKU 偏置；
diag_labels = [0, 1, ..., B−1] 标识对角线为正样本对。

整批 B 个样本同时贡献正负对：第 i 行的 $(u_i, v_i)$ 为正对，$(u_i, v_{j≠i})$ 为 B−1 个 in-batch 负对。

4.2.6 训练样本构造细节

由于真实业务标签只有"激活/未激活"，召回阶段只用激活正样本对（共 985 条），未激活样本不直接进入召回训练（它们会在未来的精排阶段作为 hard negatives 使用）。每条正样本会拼成一个 (用户上下文, 保险物料) 元组：

正样本元组示例：
  user_idx       = 134     ← jd_sasDVZdiokss 的用户索引（真实）
  main_sku_idx   = 502     ← 兴齐美欧品阿托品滴眼液（真实）
  gender         = 1       ← 性别（md5 派生占位）
  age_bucket     = 4       ← 年龄段（md5 派生占位）
  city_tier      = 2       ← 城市等级（md5 派生占位）
  plus_level     = 0       ← 非会员（加权采样占位）
  main_category  = 13      ← 一级类目"母婴用品"（真实）
  click_30d      = 23      ← 30 日点击（md5 派生占位）
  order_30d      = 5       ← 30 日下单（md5 派生占位）
  active_ins_30d = 1       ← 30 日激活保险数（md5 派生占位）
  main_price     = 309.0   ← 主品价格（真实）
  → 用户塔输入（其中真实信号 4 个 / 占位 7 个）
  ----------------------------------------
  sku_idx        = 6       ← 9067 门诊险 3.0（真实）
  insurance_type = 1       ← 医疗险（真实）
  company_id     = 7       ← 公司 hash（真实）
  ins_price      = 313.0   ← 保费（真实）
  ins_coverage   = 25040   ← 保额（估算，pricex50~200）
  ins_duration   = 365     ← 保障天数（真实）
  → 商品塔输入（基本全部真实）

4.2.7 流行度修正实现

为缓解热门保险 SKU（如" 家财险"占激活组 29%）被过度推荐的问题，对每条样本计算其 sku 的对数曝光频率：

from collections import Counter
import math

sku_counter = Counter(df["sku_idx"].tolist())
total = sum(sku_counter.values())
log_p = df["sku_idx"].map(
    lambda s: math.log((sku_counter[s] + 1) / (total + 1))
)
# 训练时: logits = logits - log_p.unsqueeze(0)

这一步等价于"用先验概率对 logit 做对数似然修正"，让模型更关注语义匹配而非简单的频次模仿。

4.2.8 训练超参数

项目	配置	说明
训练硬件	Apple M-series CPU	无 GPU
训练耗时	~2 分钟 / 9 epoch	平均 11 秒 / epoch
Batch size	64	召回正样本 985，每 epoch 约 13 个 batch
类别 Embedding 维度	8	每个类别字段独立 Embedding
DNN 隐层	[128, 64, 32]	两层中间层 + 一层输出层
Dropout	0.1	BN + ReLU 后
输出维度	32	用户/商品向量同维
温度 τ	0.07	缩放 in-batch logits
优化器	AdamW	lr=1e-3, weight_decay=1e-5
LR 调度	CosineAnnealingLR(T_max=epochs)	平滑下降
梯度裁剪	max_norm=5.0	防爆炸
AMP 混合精度	自动按 device 启用	CPU 模式下禁用
Early Stop	patience=3	监控 Recall@10
随机种子	42	数据切分 + 初始化

4.2.9 数据切分与评估

10% 样本随机切为验证集（约 98 对）。由于保险 SKU 总数仅 29，常规 Recall@200 退化为"全召回"，因此我们把评估 K 自适应夹紧到 item bank 大小，并选用 Recall@5 / Recall@10 作为主指标。

评估算法（伪代码）：

def evaluate_recall(model, val_loader, item_bank, k=10):
    # 1) 离线编码所有保险 SKU
    item_emb = model.encode_item(item_bank.cat, item_bank.num)  # [29, 32]

    hits, total = 0, 0
    for batch in val_loader:
        u = model.encode_user(batch.user_cat, batch.user_num)   # [B, 32]
        gt = batch.item_cat[:, 0]                                # 正样本 sku_idx
        scores = u @ item_emb.T                                  # [B, 29]
        topk = scores.topk(min(k, 29)).indices                   # [B, K]
        hits += sum(gt[i] in topk[i] for i in range(B))
        total += B
    return hits / total

5. 实验

5.1 实验设置

项目	配置
训练硬件	Apple M-series CPU
训练 epoch	8（early stop patience=3）
Batch size	64
优化器	AdamW，lr=1e-3，weight decay=1e-5
学习率调度	CosineAnnealingLR
梯度裁剪	max_norm=5.0
随机种子	42

5.2 语义相关性评估

5.2.1 raw 口径

模型	mean(act)	mean(unact)	Δmean	Cohen's d	p(Welch)	评价
GME-Qwen2-VL-2B	0.4495	0.4470	+0.0025	+0.043	0.35	无差异
Qwen3-Embedding-0.6B	0.3634	0.3587	+0.0047	+0.086	0.06	无差异
BGE-small-zh-v1.5	0.5928	0.5940	−0.0012	−0.029	0.53	无差异
BGE-large-zh-v1.5	0.6322	0.6229	+0.0093	+0.211	4e-6	小效应 ✓
BCE-embedding-base v1	0.5891	0.5765	+0.0126	+0.398	7e-18	接近中等效应 ✓✓
Stella-base-zh-v3	0.5468	0.5430	+0.0038	+0.098	0.03	无差异

5.2.2 raw vs dedup 鲁棒性

模型	d (raw)	d (dedup)	鲁棒性
GME-Qwen2-VL-2B	+0.043	−0.013	反向，本就无效
Qwen3-Embedding-0.6B	+0.086	+0.025	削弱到无效
BGE-small-zh-v1.5	−0.029	−0.131	反向加强
BGE-large-zh-v1.5	+0.211	+0.155	削弱但仍显著
BCE-embedding-base v1	+0.398	+0.394	几乎不变 ✓
Stella-base-zh-v3	+0.098	−0.011	削弱到无效

结论：BCE-embedding-base v1 在 raw / dedup 两种口径下 Cohen's d 都稳定在 +0.39 附近，说明它捕捉到的是结构性的语义差异，而非被高频重复对子伪造的信号。BGE-large 居次。其余模型（包括 2B 参数的 GME）在去重后效应基本消失。

5.2.3 6 模型 Cohen's d 可视化对比

raw vs dedup 双口径下各模型效应量见图 2。横轴为 Cohen's d（绝对值越大表示组间差异越显著），灰色虚线分别标记小效应阈值 0.2 与中等效应阈值 0.5：

图 2：6 个开源 Embedding 模型在「主品 ↔ 保险」相关性任务上的效应量对比。 蓝色为 raw 口径（按订单逐行计算），橙色为 dedup 口径（(main_sku, mall_sku) 联合去重后）。

核心观察：

只有 BCE 和 BGE-large 在两种口径下都呈正向 d；
BCE 是唯一在去重后效应几乎不衰减的模型（0.398 → 0.394）；
其它 4 个模型在去重后 d 普遍掉到 ±0.03 区间，意味着 raw 下的小幅正向是被高频重复对子伪造出来的。

5.2.4 头部信号 vs 均值

所有模型都呈现"激活组 std / p90 / max 更高"的现象。以 BGE-large 为例：

指标	已激活	未激活	Δ
std	0.0469	0.0411	+0.006
p90	0.6886	0.6798	+0.009
max	0.7962	0.7322	+0.064

这说明"激活组里存在更多高相关样本"，相关性作为排序特征比作为整体度量信号更有用——这一发现直接指导了下一阶段双塔模型的特征设计。

5.3 双塔召回训练过程

实际运行 python -m recall.train --device cpu --epochs 30，early stop patience=3，8 个 epoch 即收敛：

Epoch	Loss	Recall@5	Recall@10	备注
1	5.009	0.7143	0.9286	保存 best
2	3.907	0.8776	0.9592	保存 best
3	3.507	0.9184	0.9694	保存 best
4	3.265	0.9184	0.9796	保存 best
5	3.091	0.9388	1.0000 ★	保存 best
6	2.955	0.9592	0.9898	—
7	2.863	0.9694	0.9898	—
8	2.790	0.9592	0.9898	Early Stop

训练曲线

Loss 曲线（图 3）显示明显的三阶段收敛过程，Recall 曲线（图 4）则展示了 Recall@5 / Recall@10 的同步上升趋势：

图 3：DSSM 双塔训练 Loss 下降曲线。 横轴为 epoch，纵轴为 Sampled Softmax Loss。三色阴影标记三个学习阶段：蓝（epoch 1–2 快速学习）/ 绿（epoch 3–5 语义对齐）/ 红（epoch 6–8 精调收敛）。

图 4：验证集 Recall@K 上升曲线。 蓝线为 Recall@5、绿线为 Recall@10。Recall@10 在 epoch 5 抵达 1.0000（验证集全命中），随后小幅回落到 0.9898 并稳定，patience=3 在 epoch 8 触发 Early Stop。

收敛过程的三个阶段

epoch 1–2 快速学习期：Loss 从 5.01 降到 3.91，Recall@10 从 0.93 上升到 0.96；模型先学到"高频热门 SKU"的偏置；
epoch 3–5 语义对齐期：Loss 继续下降到 3.09，Recall@10 跃升到 1.00；流行度修正项开始起作用，模型转向学 ID 协同 + 类目匹配；
epoch 6–8 精调收敛期：Recall@10 在 0.99 附近震荡，Recall@5 反而继续爬升到 0.9694，最终 patience=3 触发 early stop。

最终模型（best ckpt = epoch 5 / 7）：Recall@5 = 0.9694，Recall@10 = 1.0000。换言之，在 29 个保险 SKU 中召回 Top-10 即可完整覆盖全部真实激活样本，Top-5 即可覆盖 97%——这是开源 embedding 模型完全无法企及的精度。

训练资源足迹

资源	占用
模型参数	~70 万（< 1M）
训练耗时	92 秒（8 epoch × ~11.5 秒/epoch）
内存峰值	< 500 MB
Checkpoint 大小	2.8 MB
灌库后 item embedding	29 × 32 × 4B = 3.7 KB

全栈成本几乎可以忽略。生产环境下用 Milvus / Vearch 替换本地 .npy 即可，单机 CPU 推理就能扛住每秒数千次召回请求。

5.4 开源 Embedding vs 自训双塔对比总览

指标	最优开源（BCE）	本文自训 DSSM（ID-only）	提升幅度
区分激活/未激活的 Cohen's d	+0.398（弱-中等）	—	—
单特征单独决策能力	❌ 不可作为决策信号（Δmean=0.013）	✓ 直接召回	—
Top-1 命中率（3 case 抽样）	不适用	100%（3/3）	—
训练集内 Recall@10	不适用	1.0000	—
独立验证集 Recall@10	不适用	0.9550	—
独立验证集 Recall@5	不适用	0.8759	—
独立验证集 Top-1	不适用	0.4615	—
模型参数量	279M	< 1M	缩小 ~300 倍
推理硬件	GPU（推荐）	CPU 即可	—
训练成本	零训练但效果弱	CPU 90 秒	—

开源 embedding 因预训练目标与赠险业务不对齐（短商品名 vs 短保险名的电商特例），即便选到最优模型也只能提供"弱排序信号"；而本文自训双塔通过端到端学习激活信号，仅用 985 条正样本就在独立验证集（999 条，含 827 个训练集未见主品 + 963 个新用户）上达到 Recall@10 = 0.9550，证明了模型泛化能力。

5.5 端到端示例

我们随机抽取 3 条真实激活的 (用户, 主品) 对，跑全链路召回：

Case	主品	真实激活的保险	召回结果
1	兴齐美欧品硫酸阿托品滴眼液	门诊险 3.0	Top-1 命中 ✓
2	定制电视挂架 78–90″	家财险-自营-预约购	Top-1 命中 ✓
3	WHC 小天使高纯度鱼油	保·高端医疗（滋补健康）	Top-1 命中 ✓

3/3 Top-1 命中。更值得关注的是召回序列本身的语义聚簇：

Case 1（眼药水）Top-4 全部为医疗险类（门诊险 3.0 / 上门医疗险 / 高端医疗 / 百万医疗）；
Case 2（电视挂架）Top-3 全部为家财/居家类（家财险自营 / 衣清居家保障 / 家财险）；
Case 3（高纯度鱼油）Top-2 为医疗险（高端医疗-滋补健康 / 百万医疗慢病版），方向高度一致。

这种"按险种聚簇"的可解释性既验证了模型学到的特征语义，也降低了线上运营审核成本。

5.6 消融实验：文本特征是否能进一步提升召回

§4-§5.5 的双塔模型只用了 ID + 类目 + 价格等结构化特征，没有显式利用 main_sku_name / mall_sku_name 文本字段。一个自然的疑问是：把 §4.1 评估出的最优 embedding 模型（BCE-embedding-base v1，768 维）冻结后作为额外特征接入双塔，是否能进一步提升 Recall？

5.6.1 接入方式

我们离线用 BCE 模型把所有主品名（1603 条）和保险品名（29 条）编码并 L2 归一化为 768 维向量，缓存到 ckpt/text_emb_main.npy 与 ckpt/text_emb_ins.npy。训练时按 main_sku_idx / sku_idx 索引取出，经一个轻量的 Linear(768→64) + LayerNorm + ReLU 子塔投影后，与原 ID/类目特征拼接送入主塔：

用户塔输入维度：60 + 64 = 124 维
商品塔输入维度：27 + 64 = 91 维

主塔 DNN 结构 / 训练超参 / 数据切分完全保持一致，仅特征维度变化。

代码位于 recall/model.py 的 DSSM(use_text=True)，开启方式 python -m recall.train --use-text --epochs 30。

5.6.2 结果对比

训练集内评估（§5.3 的验证集 n≈98，从训练集随机切分）：

配置	输入维度（用户/商品）	训练 Loss 收敛值	Best Recall@5	Best Recall@10	Best Epoch	Early Stop
ID-only（§5.3 原配置）	60 / 27	2.79	0.9694	1.0000	epoch 5	epoch 8
+BCE 文本子塔	124 / 91	2.34	0.9388	0.9694	epoch 4	epoch 7

独立验证集评估（assets/C营销已激活验证样本集.xlsx，n=999，与训练集完全独立）：

配置	验证集 Recall@5	验证集 Recall@10	验证集 Top-1 命中率
ID-only	0.8759	0.9550	0.4615
+BCE 文本子塔	0.6306	0.7678	0.2633

5.6.3 反直觉发现：文本特征不会进一步提升召回

加入 BCE 文本子塔后，无论训练集内还是独立验证集，效果均显著下降：

训练集内：Recall@10 从 1.0000 降到 0.9694，Recall@5 从 0.9694 降到 0.9388；
独立验证集：Recall@10 从 0.9550 降到 0.7678（降幅 19.4%），Recall@5 从 0.8759 降到 0.6306（降幅 28.0%），Top-1 命中率从 0.4615 降到 0.2633。

独立验证集的结果更具说服力——验证集包含 827 个训练集未见过的主品和 963 个新用户，文本子塔在这些冷启动样本上反而引入更多噪声。我们认为有三个互相强化的原因：

ID 协同已经接近天花板：候选集只有 29 个 SKU，ID 协同特征在第 5 个 epoch 就已经把训练集内 Recall@10 推到 1.00，没有留给文本特征的提升空间；
小样本 + 高维特征 → 过拟合：双塔只有 985 条正样本，新增的 768 维 BCE 向量配套的 Linear 投影 + 拼接增加了约 5 万参数，相对训练样本量过大，Loss 虽然下降更快（2.34 vs 2.79），但 Recall 反而提前震荡 / 下降；
文本侧本身的判别力上限：§5.2 已经表明 BCE 在 raw / dedup 双口径下 Cohen's d ≈ +0.39，是"弱-中等效应"——这意味着文本本身可分性有限，当 ID 已经能完美区分时，引入它反而把噪声带进了双塔。

5.6.4 结论与上线建议

在赠险这种"小候选集 + 强 ID 协同"场景下，文本 embedding 不是召回阶段的瓶颈——ID 协同 + 类目就足够。文本特征更适合放在以下三个场景：

冷启动阶段：新保险 SKU 上线第 1 天还没有任何激活数据，纯 ID 双塔无法学到向量，此时文本 embedding 可以临时提供向量灌库；

粗排 / 精排：候选集扩大到上千之后，ID 协同信号变稀疏，文本可以补充语义先验；

重排 / 文案生成：LLM 阶段直接吃文本，本身就需要 BCE 等 embedding 做检索增强。

这一发现也支持了本文 §1 的核心论点：实时意图（主品 ID + 类目）就是赠险召回的主导信号，ID 协同 + 流行度修正足以驱动一个工程可用的轻量级双塔。

5.7 讨论

大模型 ≠ 更好：2B 参数的 GME 在去重后 d=−0.013，反而不如 279M 的 BCE。原因是 GME 偏多模态长文本检索，对短商品名 / 保险名对齐能力一般。专门为中文 sentence embedding 优化的 BCE / BGE-large 才是开源路径的合理选择；
但即便最优开源也不够用：BCE 的 Δmean=0.013 只能算"弱排序信号"，作为单一决策依据不足以驱动召回。这是本文从开源转向自训双塔的关键动因；
数据质量 > 模型容量：BGE-small 24M 完全无效（d≈−0.03），但同家族 326M 的 BGE-large 显著（d=+0.21），说明容量必要；同时清洗前数据呈现 d=−0.30 的反向信号，清洗到 0.1% 脏数据率后才看到正向 d；
千级样本足以让双塔学到强信号：候选集只有 29 个保险 SKU，搜索空间小，正样本密度高（50% 激活率），DSSM 仅需 5–9 个 epoch 就把 Recall@10 推到 0.99–1.00；
文本特征作用有限（消融实验）：把 BCE 768 维向量作为额外特征拼入双塔，Recall@10 反而从 1.00 降到 0.97。说明在小候选集 + ID 协同充足的场景下，文本只在冷启动 / 下游粗排 / LLM 重排阶段更有价值；
可解释性强：召回 Top-K 按险种聚簇（医疗类、家财类、宠物类各成一团），符合业务直觉，便于运营审核与冷启动接入。

6. 工程落地

我们将整个系统按"数据处理 / 特征 / 策略 / 业务流程"四模块严格解耦：

[数据处理] →(清洗宽表/流)→ [特征] →(向量库/特征 API)→ [策略] →(候选集)→ [业务流程]
                                                                       ↑
                                                                  埋点回流

每个模块的关键边界为：

模块	输入	输出	严禁做的事
数据处理	原始日志/库表	清洗宽表/流	不做向量化、不嵌策略
特征	数据宽表	向量库/特征 API	不做打分融合、不做业务过滤
策略	特征 API 结果	带得分候选集	不感知业务规则、不直接读库表
业务流程	用户请求	最终绑赠 SKU + 埋点	不计算向量、不内嵌召回逻辑

该设计支持以下精细化运营能力：

多版本特征并存：embedding 模型可灰度替换（BCE→BCE_v2），向量库做双写双读；
策略 AB 实验：召回路径、融合权重、Top-K 均可配置化，按用户/场景分桶下发；
冷启动友好：新保险 SKU 上架当天即可通过 BCE-embedding 编码灌库参与召回，无需等待 30 天行为数据；
降级兜底：策略层任意子路失败可回退到剩余路径，全部失败回退到原规则绑赠。

7. 局限性与未来工作

用户特征仅为派生属性：当前实验用 MD5 从 pin 派生 gender / city_tier 等画像，与真实画像分布不一致，会高估 ID 特征的判别力；后续接入真实用户画像后需重新评估各特征的边际贡献；
标签维度单一：当前线上无绑赠位的"曝光-点击"埋点回流，唯一可得的强信号是"用户经绑赠位最终下单购买保险"。这意味着：
- 正样本同时混合了"看到 + 点击 + 决策 + 支付"的所有漏斗环节，无法解耦 CTR / CVR；
- 负样本是"规则推荐过但未下单"的对照组，可能混入"用户根本没看到推荐位"的伪负样本；
- 后续若上线曝光埋点，可在本方法上叠加 ESMM 进行 CTR-CVR 双任务建模，预期可进一步提升精度。
保险品类粒度过粗：29 个保险 SKU 中，" 家财险"存在多个变体（自营 / 预约购 / 超市），未做归一化；归一化后预期 Cohen's d 可进一步提升；
未覆盖时序与图像信号：用户长期行为序列、保险 SKU 主图等多模态信号在 MVP 中暂未引入，将在后续版本扩展为完整四级漏斗（召回 → 粗排 → 精排 → LLM 重排）。

8. 结论

本文以赠险业务为载体，针对"小候选集、稀正样本、强语义"的推荐场景，沿"先开源后自训"两条路径系统研究：

开源路径的边界：系统评估 6 个主流中文 / 多模态 embedding 模型，发现绝大多数模型在区分激活与未激活样本时 Cohen's d < 0.1，最优的 BCE-embedding-base v1 也只到 d ≈ 0.39（raw/dedup 双口径），Δmean=0.013，不足以单独作为推荐决策信号；
自训路径的突破：用 1984 条真实业务数据（985 条激活正样本）训练一个轻量 DSSM 双塔（用户塔 11 特征 / 商品塔 6 特征 / DNN 128→64→32 + L2 归一），CPU 端 5–9 个 epoch、2 分钟内收敛到 Recall@5 = 0.9694、Recall@10 = 1.0000（ID-only），端到端 3 个真实业务 case 全部 Top-1 命中；
文本特征消融：把 §4 评出的最优 BCE embedding（768 维）作为额外子塔接入双塔，Recall@10 反而从 1.00 微降到 0.97。这印证了"实时意图（ID + 类目）已足以驱动赠险召回"——文本 embedding 更适合用在冷启动、粗排 / 精排、LLM 重排等阶段；
工程可落地：给出数据处理 / 特征 / 策略 / 业务流程四模块解耦架构，支持版本治理、AB 实验、冷启动与降级兜底。

研究表明：电商赠险这一垂直场景下，主流开源 embedding 远不能"开箱即用"，仅用千级真实业务样本自训一个轻量 ID 双塔，就能将召回精度推到工程可上线水平——这一发现既明确了开源路径的边界，也证明了小样本自训路径的可行性，更厘清了文本 embedding 的真正合适位置（冷启动 / 下游环节而非召回主链路），为后续扩展（叠加用户长期兴趣、人群属性、多模态视觉特征 → 完整四级漏斗）奠定了基础。

参考文献

双塔召回 / 负采样 / 流行度修正

[7] X. Yi, J. Yang, L. Hong, et al. Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations. RecSys 2019. [8] J. Yang, X. Yi, D. Cheng, et al. Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations. WWW 2020. [9] V. Karpukhin, B. Oguz, S. Min, et al. Dense Passage Retrieval for Open-Domain Question Answering. EMNLP 2020. [10] L. Xiong, C. Xiong, Y. Li, et al. Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval (ANCE). ICLR 2021.

对比学习 / Sentence Embedding

[11] T. Chen, S. Kornblith, M. Norouzi, et al. A Simple Framework for Contrastive Learning of Visual Representations (SimCLR). ICML 2020. [12] T. Gao, X. Yao, D. Chen. SimCSE: Simple Contrastive Learning of Sentence Embeddings. EMNLP 2021. [13] N. Reimers, I. Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP 2019. [14] N. Thakur, N. Reimers, A. Rücklé, et al. BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS 2021. [15] S. Hofstätter, S.-C. Lin, J.-H. Yang, et al. Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling. SIGIR 2021.

中文 / 多模态 Embedding 模型

[16] S. Xiao, Z. Liu, P. Zhang, et al. C-Pack: Packaged Resources To Advance General Chinese Embedding (BGE). arXiv:2309.07597, 2023. [17] BAAI. BGE: BAAI General Embedding. https://github.com/FlagOpen/FlagEmbedding [18] Youdao. BCE-Embedding (BCEmbedding). https://github.com/netease-youdao/BCEmbedding [19] Alibaba-NLP. GME: General Multimodal Embedding. https://huggingface.co/Alibaba-NLP/gme-Qwen2-VL-2B-Instruct, 2024. [20] Qwen Team. Qwen3-Embedding. https://huggingface.co/Qwen/Qwen3-Embedding-0.6B, 2024. [21] infgrad. Stella-base-zh-v3-1792d. https://huggingface.co/infgrad/stella-base-zh-v3-1792d

短文本相似度 / 效应量 / A/B 测试

[22] J. Cohen. Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum, 1988. [23] N. Cliff. Ordinal Methods for Behavioral Data Analysis. Lawrence Erlbaum, 1996. [24] G. M. Sullivan, R. Feinn. Using Effect Size—or Why the P Value Is Not Enough. Journal of Graduate Medical Education, 2012. [25] R. Kohavi, D. Tang, Y. Xu. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020.

绑赠 / 赠品 / 保险等垂直场景

[26] A. Salamzadeh, et al. Insurance Product Recommendation: A Survey. International Jou 61C2 rnal of Insurance, 2022. [27] H. Yang, et al. Coupon Recommendation in E-Commerce. WWW 2018. [28] J. Liu, et al. Gift Recommendation in E-Commerce: A Behavior-aware Approach. RecSys 2021. [29] A. Magnani, et al. Semantic Retrieval at Walmart. KDD 2022. [30] Y. Hou, et al. Towards Cold-Start Recommendation via Pre-trained Embeddings. SIGIR 2024.

附录 A：复现脚本一览

步骤	命令	产物
构造样本	`python data/build_from_assets.py`	`data/.json` / `data/.parquet`
训练召回	`python -m recall.train --device cpu --epochs 100`	`ckpt/recall_dssm.pt`
灌库	`python -m recall.inference --mode item_embedding`	`ckpt/item_embeddings.npy`
端到端 demo	`python scripts/demo_recall.py`	3 case Top-10 命中详情
6 模型相关性评估	`python scripts/relevance_gme.py --model {name} --out {dir}`	`output/relevance_*/summary.json`
raw vs dedup 对照	`python scripts/diag_dedup_vs_raw.py`	`output/dedup_vs_raw.json`
生成论文配图（图 2/3/4）	`python scripts/make_figures.py`	`doc/figures/fig_cohen_d.png` 等
生成双塔结构图（图 1）	`python scripts/plot_dssm_structure.py`	`doc/figures/fig_dssm_structure.png`

关于图 1 的可选 LaTeX 版本：若需用 PlotNeuralNet 生成 3D 风格的 TikZ 双塔结构图，可在 Overleaf 上引入 PlotNeuralNet 仓库，按 pycore.tikzeng 的 API 改写 scripts/plot_dssm_structure.py 的输出层即可。本文为了无外部 LaTeX 依赖、便于 CI 自动化，直接使用 matplotlib 版本。

附录 B：术语表

术语	含义
主品 (main_sku)	用户实际下单的商品（如手机、电视挂架、鱼油）
保险 SKU (mall_sku)	绑赠投放的保险产品
激活 (active)	用户从绑赠位点击进入保险详情页并成功下单购买（本文唯一可用的回流信号；本质是"看到→点击→决策→支付"的全链路终点，因当前无曝光/点击埋点而被合并为单一标签）
实时意图	由主品名称与类目派生的当前购买意图信号
Cohen's d	标准化效应量，衡量两组均值差异是否具备业务意义
Recall@K	Top-K 召回命中率，K 自动夹紧到候选集大小

Name		Name	Last commit message	Last commit date
ckpt		ckpt
common		common
data		data
doc		doc
prerank		prerank
rank		rank
recall		recall
rerank		rerank
scripts		scripts
.gitignore		.gitignore
README.md		README.md
config.yaml		config.yaml
requirements.txt		requirements.txt
train.md		train.md

Latest commit

History

Folders and files

Repository files navigation