A 股多频率端到端机器学习因子:直接从原始行情训练神经网络,输出每日选股打分
MFTG(Multi-Frequency Transformer-GRU)只使用原始行情:日线、5 分钟 K 线和 15 秒主动买卖流,不做手工特征工程。日内编码器把每天的 5 分钟 K 线压成一个向量,GRU 读取最近 60 天的日线(可再拼上日内向量),输出一个分数。训练目标是让每天的分数与未来 10 日收益的截面排序相关性最大。
本仓库包含数据构建、训练与云端运维脚本、全部实验的预测产物和实验记录。组合构建与回测在同级项目 ../Portfolio/ 中完成。
推荐方案 MFTG-Ens-Neu:四个中性化标签的成员(Daily-Neu、Daily-Neu-H256、Daily-Neu-CSI800、Full-Neu)逐日 z-score 后等权平均,再用 sty5 优化器构建全 A 多头组合。
第一候选 mftg_neu4_dmv6:把 Daily-Neu 换成 dDMV6(日线价格通道去掉当天股票池均值,标签改为收益除以过去 20 日波动,两组种子共 6 个合并),其余三个成员不变。
全 A 多头,相对全 A 可交易等权股票池,2022-07 至 2026-06(8 个半年),开盘价成交。c10 = 单边 10bp、换手惩罚 0.5;c20 = 单边 20bp、换手惩罚 1.0。样本外为 2026-07-01 至 09-10 的累计超额,这段数据没有参与过训练。
| 指标 | MFTG-Ens-Neu | mftg_neu4_dmv6 |
|---|---|---|
| 全 A RankIC(周频截面) | 0.123 | 0.126 |
| 剔除行业与五个风格后的 RankIC | 0.071 | 0.072 |
| c10 年化超额 / IR | 13.4% / 2.39 | 14.8% / 2.54 |
| c20 年化超额 / IR | 11.4% / 2.37 | 13.8% / 2.59 |
| c10 超额最大回撤 | −5.6% | −6.8% |
| 为负的半年数(c10) | 0 / 8 | 1 / 8(2026H1 −0.2%) |
| 样本外累计(c10 / c20) | +4.4% / +4.8% | +6.0% / +5.6% |
| 按开盘后 30 分钟 VWAP 成交(c10) | 13.3% | 14.4% |
- dmv6 暂不替换推荐方案:它的领先主要来自更早的半年(2022H2 一个半年就贡献了 c10 提升的大部分),最近的 2026H1 反而落后 2.8 个百分点;样本外只有约 50 个交易日,且已被用来筛选过多个候选。切换条件:用 2026 年 10–12 月的数据、不改任何参数,两档成本下都不低于推荐方案。
- 容量较小:1 亿资金约 9.9%(dmv6 11.6%),10 亿约 6.1%(dmv6 7.6%)。
- 信息主要在空头端:按打分分 10 组,最低组年化 −37.5%,最高组 +14.1%;理论多空 51.5%,多头组合吃不到空头端。
- 绝对收益(dmv6,c10):多头组合承担全部市场波动,年化 28.5%、波动 27.1%、夏普 1.00,最大回撤 −33.7%(同期等权股票池夏普 0.39)。
完整的方案、训练、回测和可信度说明见各轮实验记录 TRACKS.md。
数据来自本机 A 股数据湖,面板覆盖 2018-07-02 至 2026-09-10,共 1991 个交易日。
| 输入 | 内容 |
|---|---|
| 日线(10 通道) | 开、高、低、收相对前收盘的对数收益;对数成交额、对数自由流通换手率、对数流通市值(后三项按日做截面标准化);收盘涨停、跌停标记;是否交易 |
| 5 分钟 K 线(每天 48 根,5 通道) | 开、高、低、收相对前收盘的对数收益;该根成交量占全天比例 |
| 15 秒主动买卖流(2020 年起) | 聚合到 48 根 5 分钟,作为额外通道 |
可交易股票池(t 日收盘时):当天有成交、不是 ST 或退市整理股、上市满 120 个交易日,不含北交所;面板包含已退市股票,没有幸存者偏差。股票池平均约 4070 只。行业用申万一级,市值用对数流通市值。
- 日内编码器:每天 48 根 5 分钟 K 线 → 线性层 → 位置编码 → 2 层 Transformer → 注意力池化,得到一个日内向量。
- 时序编码器:GRU 读取最近 60 天的 [日线嵌入, 日内向量, 是否有日内数据]。只用日线的成员没有日内部分。
- 输出头:LayerNorm → 线性 → SiLU → Dropout → 线性,得到分数。
- 标签:t+1 日开盘买入、t+11 日开盘卖出的收益(y10);t+1 日开盘涨停或停牌时标签缺失。再做截面排序、正态逆变换、标准化;中性化标签再对申万一级行业和对数流通市值做回归取残差。
- 损失:分数与标签的负截面相关系数,每天一个截面(最多随机抽 2500 只)。
- 优化:AdamW,学习率 5e-4,权重衰减 1e-4,梯度裁剪 3,bf16 混合精度;最多 30 个 epoch,验证集 RankIC 连续 5 个 epoch 不创新高即停。
- 重训(refit):用训练集加验证集,以 round(最佳 epoch × 1.1) 个 epoch 重新训练,再预测测试期。
成员(规格名 mftg/…) |
输入 | 标签 | 其他 |
|---|---|---|---|
Full |
日线 + 5 分钟 K 线 + 订单流 | 普通 | 隐藏层 64 |
Full-Neu |
日线 + 5 分钟 K 线 + 订单流 | 中性化 | 隐藏层 128,A100 训练 |
Daily-Neu |
日线 | 中性化 | 隐藏层 128 |
Daily-Neu-H256 |
日线 | 中性化 | 隐藏层 256 |
Daily-Neu-CSI800 |
日线 | 中性化 | 隐藏层 128,只用沪深300 + 中证500 成分股训练,预测全 A |
Daily-Neu-Top1 |
日线 | 中性化 + 多头加权 1 | 隐藏层 128 |
_merge/dDMV6 |
日线(去市场化) | 风险调整 + 中性化 | 隐藏层 128,6 个种子合并 |
| 集成 | 构成 |
|---|---|
| MFTG-Ens-Neu(推荐) | Daily-Neu + Daily-Neu-H256 + Daily-Neu-CSI800 + Full-Neu,等权 |
mftg_neu4_dmv6(候选) |
_merge/dDMV6 + Daily-Neu-H256 + Daily-Neu-CSI800 + Full-Neu,等权 |
| MFTG-Ens-Full | Full ×2 + Daily-Neu + Daily-Neu-Top1 |
| MFTG-Ens | Full + Daily-Neu + Daily-Neu-Top1 ×2(最早的版本,已淘汰) |
早期记录和 results/、runs/ 里还在使用旧名:fA(Full)、fNH(Full-Neu)、dNH(Daily-Neu)、dNH256、dNH800、dNT1H(Daily-Neu-Top1)、NEU4(Ens-Neu)、OURS(Ens-Full)。
- 时点:信号在 t 日收盘后生成,t+1 日开盘成交。去市场化用当天的均值,风险调整用过去 20 日的波动,都不含未来信息。
- 买卖可行性:t+1 开盘涨停或停牌不能买,开盘跌停或停牌不能卖,强制继续持有。
- 滚动窗口:每半年重训一次,一个样本属于哪一段看它的标签结束日(t+11 日)而不是特征日,因此训练样本的标签不会进入验证期或测试期。验证集是测试期之前的一年,只用来选 epoch 数。
- 样本内评估期:2022H2 至 2026H1 共 8 个半年。
- 样本外:2026H2X(2026-07-01 至 09-10),模型只用到 2026-06-30 的标签。注意:实验期间这段数据已用于筛选多个候选,真正干净的检验要等 2026 年 10–12 月的数据。
- 费用:买卖各收一次单边费率(10bp 或 20bp),基准是当天可买股票等权,满仓不加杠杆。
- 噪声尺度:换种子的 sty5 年化约 ±0.3–0.6 个百分点,IR 约 ±0.05;优化器路径噪声约 ±0.5–1 个百分点。判定以组合层为准,IC 只用来初筛;样本内领先的方案还要通过换种子复核和样本外检验。
- 组合层:sty5 优化器每天调仓。线性规划最大化
打分·权重 − 换手惩罚·|权重变化|,约束为满仓、单票 ≤ 0.5%、行业偏离等权 ≤ 3%、规模 / 贝塔 / 波动暴露 ≤ ±0.05σ、流动性 / 动量暴露 ≤ ±0.1σ。
第三至第十一轮共试了 30 多个方向,逐项记录在 TRACKS.md。
| 结论 | 方向 |
|---|---|
| 有效 | 中性化标签;风格约束下的优化器(流动性约束是关键);去市场化输入与风险调整标签(只在替换 Daily-Neu 一个成员时有效) |
| IC 有提升但组合层无增益或样本外不通过 | 市场状态特征、新数据源(资金流、两融、龙虎榜、财务、估值)、头部池内损失、PatchTST |
| 无效 | 日内去偏移、多期限标签、近期样本加权、按月重训、风格中性化标签、截面注意力、相关图、周线分支、LSTM、RankGLU 输出头、SAM、自监督预训练、集成 IC 加权、种子分歧惩罚、决策导向训练、风险模型二次规划、跟踪误差约束 |
两条规律:
- 信号 IC 在 0.123–0.127 之间变化时,sty5 组合都停在 13% 左右,IC 的小幅提升不再转化为多头收益。
- 凡是样本外更好的候选,样本内最近的半年(2026H1)都更差,分不清是更适应近期还是偶然。
MFTG/
├── shared/ # 公共:路径常量与面板工具、基础面板构建、IC 评估、补算标签
│ └── tests/ # ST 名称记录的 PIT 假设检查
├── mftg/ # 数据准备、训练、集成评估
│ ├── build_mftg.py # 日线与 5 分钟 K 线
│ ├── build_flow.py # 15 秒主动买卖流
│ ├── build_styles.py / build_market.py / build_extra.py # 风格暴露、市场状态、扩展特征
│ ├── train_mftg.py # 训练(模型、损失、滚动窗口、选项)
│ ├── driver_mftg.py # Colab 驱动
│ ├── merge_runs.py # 多组种子合并为一个成员
│ ├── ens_eval.py # 离线集成评估(IC、前 10% 超额、池内 IC)
│ ├── pack.sh / upload_*.sh # 数据打包与上传
│ └── tests/ # 滚动窗口切分无泄露检查等
├── colab/ # 云端运维:会话启动、保活、监控、结果同步
├── manifests/ # build/、runs/ 产物的 sha256 清单
├── build/ # 数据产物(已 gitignore)
├── runs/mftg/ # 各变体的预测(npz 不入库,只留训练日志与参数)
├── TRACKS.md # 实验记录
└── pixi.toml / pixi.lock # 环境
7ACD
使用 pixi 管理环境(PyTorch、Polars、DuckDB、pytest 等)。
pixi install
pixi run pytest -q mftg/tests shared/tests # 测试读取本机数据湖,写入 build/shared 与 build/mftg。
pixi run build-base # 基础面板:价格、可交易标记、行业、市值、标签
pixi run build-mftg # 日线与 5 分钟 K 线
pixi run build-flow # 15 秒主动买卖流
pixi run build-styles # 风格暴露在 Colab 上通过 mftg/driver_mftg.py 完成。用到的数据先用 mftg/pack.sh 打包,再用 mftg/upload_*.sh 上传。单个成员的训练参数示例:
# Daily-Neu:日线,中性化标签
python mftg/train_mftg.py --name Daily-Neu --refit 1 --neutral 1 --no_intra 1 --hidden 128 --seeds 7,11,42 \
--blocks 2022H2,2023H1,2023H2,2024H1,2024H2,2025H1,2025H2,2026H1,2026H2X
# dDMV:去市场化输入 + 风险调整标签(换另一组种子 101,202,303 再训一次,用 merge_runs.py 合并)
python mftg/train_mftg.py --name dDMV --refit 1 --neutral 1 --no_intra 1 --hidden 128 --seeds 7,11,42 \
--vol_label 20 --demean 1 --blocks 2022H2,2023H1,2023H2,2024H1,2024H2,2025H1,2025H2,2026H1,2026H2Xcolab/sync.sh # 预测下载到 runs/mftg/<run>/<model>/
python mftg/merge_runs.py dDMV6 e2e/dDMV e2e/dDMV_s2 # 两组种子合并
python mftg/ens_eval.py NEU4=Daily-Neu+Daily-Neu-H256+Daily-Neu-CSI800+Full-Neu \
DMV6=_merge/dDMV6+Daily-Neu-H256+Daily-Neu-CSI800+Full-Neu # 集成的 IC、前 10% 超额、池内 IC组合构建与回测见 ../Portfolio/。会话名用 SES=<name>,临时文件在 /tmp/mftg_colab(可用 MFTG_SCRATCH 改)。
训练在 Colab 上长时间运行,需要保活:colab/start.sh 建会话,colab/keeper.sh 保持内核连接,colab/supervisor.sh 同步结果并在任务结束后停机,colab/monitor.sh 汇总状态并自动重提失败任务。也可以把保活交给一台低配 VPS(colab/vps_*.sh),结果直接写到 Google Drive,本机可以关机。
本项目代码采用 MIT License。