8000 GitHub - rookiewu417/MFTG: A股多频率端到端机器学习因子 · GitHub
[go: up one dir, main page]

Skip to content
rookiewu417Public

About

A股多频率端到端机器学习因子

Resources

Stars

2 stars

Watchers

0 watching

Forks

Repository files navigation

MFTG

A 股多频率端到端机器学习因子:直接从原始行情训练神经网络,输出每日选股打分

MFTG(Multi-Frequency Transformer-GRU)只使用原始行情:日线、5 分钟 K 线和 15 秒主动买卖流,不做手工特征工程。日内编码器把每天的 5 分钟 K 线压成一个向量,GRU 读取最近 60 天的日线(可再拼上日内向量),输出一个分数。训练目标是让每天的分数与未来 10 日收益的截面排序相关性最大。

本仓库包含数据构建、训练与云端运维脚本、全部实验的预测产物和实验记录。组合构建与回测在同级项目 ../Portfolio/ 中完成。


当前结果

推荐方案 MFTG-Ens-Neu:四个中性化标签的成员(Daily-Neu、Daily-Neu-H256、Daily-Neu-CSI800、Full-Neu)逐日 z-score 后等权平均,再用 sty5 优化器构建全 A 多头组合。

第一候选 mftg_neu4_dmv6:把 Daily-Neu 换成 dDMV6(日线价格通道去掉当天股票池均值,标签改为收益除以过去 20 日波动,两组种子共 6 个合并),其余三个成员不变。

全 A 多头,相对全 A 可交易等权股票池,2022-07 至 2026-06(8 个半年),开盘价成交。c10 = 单边 10bp、换手惩罚 0.5;c20 = 单边 20bp、换手惩罚 1.0。样本外为 2026-07-01 至 09-10 的累计超额,这段数据没有参与过训练。

指标 MFTG-Ens-Neu mftg_neu4_dmv6
全 A RankIC(周频截面) 0.123 0.126
剔除行业与五个风格后的 RankIC 0.071 0.072
c10 年化超额 / IR 13.4% / 2.39 14.8% / 2.54
c20 年化超额 / IR 11.4% / 2.37 13.8% / 2.59
c10 超额最大回撤 −5.6% −6.8%
为负的半年数(c10) 0 / 8 1 / 8(2026H1 −0.2%)
样本外累计(c10 / c20) +4.4% / +4.8% +6.0% / +5.6%
按开盘后 30 分钟 VWAP 成交(c10) 13.3% 14.4%
  • dmv6 暂不替换推荐方案:它的领先主要来自更早的半年(2022H2 一个半年就贡献了 c10 提升的大部分),最近的 2026H1 反而落后 2.8 个百分点;样本外只有约 50 个交易日,且已被用来筛选过多个候选。切换条件:用 2026 年 10–12 月的数据、不改任何参数,两档成本下都不低于推荐方案。
  • 容量较小:1 亿资金约 9.9%(dmv6 11.6%),10 亿约 6.1%(dmv6 7.6%)。
  • 信息主要在空头端:按打分分 10 组,最低组年化 −37.5%,最高组 +14.1%;理论多空 51.5%,多头组合吃不到空头端。
  • 绝对收益(dmv6,c10):多头组合承担全部市场波动,年化 28.5%、波动 27.1%、夏普 1.00,最大回撤 −33.7%(同期等权股票池夏普 0.39)。

完整的方案、训练、回测和可信度说明见各轮实验记录 TRACKS.md。


数据与股票池

数据来自本机 A 股数据湖,面板覆盖 2018-07-02 至 2026-09-10,共 1991 个交易日。

输入 内容
日线(10 通道) 开、高、低、收相对前收盘的对数收益;对数成交额、对数自由流通换手率、对数流通市值(后三项按日做截面标准化);收盘涨停、跌停标记;是否交易
5 分钟 K 线(每天 48 根,5 通道) 开、高、低、收相对前收盘的对数收益;该根成交量占全天比例
15 秒主动买卖流(2020 年起) 聚合到 48 根 5 分钟,作为额外通道

可交易股票池(t 日收盘时):当天有成交、不是 ST 或退市整理股、上市满 120 个交易日,不含北交所;面板包含已退市股票,没有幸存者偏差。股票池平均约 4070 只。行业用申万一级,市值用对数流通市值。


模型

  • 日内编码器:每天 48 根 5 分钟 K 线 → 线性层 → 位置编码 → 2 层 Transformer → 注意力池化,得到一个日内向量。
  • 时序编码器:GRU 读取最近 60 天的 [日线嵌入, 日内向量, 是否有日内数据]。只用日线的成员没有日内部分。
  • 输出头:LayerNorm → 线性 → SiLU → Dropout → 线性,得到分数。
  • 标签:t+1 日开盘买入、t+11 日开盘卖出的收益(y10);t+1 日开盘涨停或停牌时标签缺失。再做截面排序、正态逆变换、标准化;中性化标签再对申万一级行业和对数流通市值做回归取残差。
  • 损失:分数与标签的负截面相关系数,每天一个截面(最多随机抽 2500 只)。
  • 优化:AdamW,学习率 5e-4,权重衰减 1e-4,梯度裁剪 3,bf16 混合精度;最多 30 个 epoch,验证集 RankIC 连续 5 个 epoch 不创新高即停。
  • 重训(refit):用训练集加验证集,以 round(最佳 epoch × 1.1) 个 epoch 重新训练,再预测测试期。

成员与集成

成员(规格名 mftg/…) 输入 标签 其他
Full 日线 + 5 分钟 K 线 + 订单流 普通 隐藏层 64
Full-Neu 日线 + 5 分钟 K 线 + 订单流 中性化 隐藏层 128,A100 训练
Daily-Neu 日线 中性化 隐藏层 128
Daily-Neu-H256 日线 中性化 隐藏层 256
Daily-Neu-CSI800 日线 中性化 隐藏层 128,只用沪深300 + 中证500 成分股训练,预测全 A
Daily-Neu-Top1 日线 中性化 + 多头加权 1 隐藏层 128
_merge/dDMV6 日线(去市场化) 风险调整 + 中性化 隐藏层 128,6 个种子合并
集成 构成
MFTG-Ens-Neu(推荐) Daily-Neu + Daily-Neu-H256 + Daily-Neu-CSI800 + Full-Neu,等权
mftg_neu4_dmv6(候选) _merge/dDMV6 + Daily-Neu-H256 + Daily-Neu-CSI800 + Full-Neu,等权
MFTG-Ens-Full Full ×2 + Daily-Neu + Daily-Neu-Top1
MFTG-Ens Full + Daily-Neu + Daily-Neu-Top1 ×2(最早的版本,已淘汰)

早期记录和 results/、runs/ 里还在使用旧名:fA(Full)、fNH(Full-Neu)、dNH(Daily-Neu)、dNH256、dNH800、dNT1H(Daily-Neu-Top1)、NEU4(Ens-Neu)、OURS(Ens-Full)。


评估与防前视

  1. 时点:信号在 t 日收盘后生成,t+1 日开盘成交。去市场化用当天的均值,风险调整用过去 20 日的波动,都不含未来信息。
  2. 买卖可行性:t+1 开盘涨停或停牌不能买,开盘跌停或停牌不能卖,强制继续持有。
  3. 滚动窗口:每半年重训一次,一个样本属于哪一段看它的标签结束日(t+11 日)而不是特征日,因此训练样本的标签不会进入验证期或测试期。验证集是测试期之前的一年,只用来选 epoch 数。
  4. 样本内评估期:2022H2 至 2026H1 共 8 个半年。
  5. 样本外:2026H2X(2026-07-01 至 09-10),模型只用到 2026-06-30 的标签。注意:实验期间这段数据已用于筛选多个候选,真正干净的检验要等 2026 年 10–12 月的数据。
  6. 费用:买卖各收一次单边费率(10bp 或 20bp),基准是当天可买股票等权,满仓不加杠杆。
  7. 噪声尺度:换种子的 sty5 年化约 ±0.3–0.6 个百分点,IR 约 ±0.05;优化器路径噪声约 ±0.5–1 个百分点。判定以组合层为准,IC 只用来初筛;样本内领先的方案还要通过换种子复核和样本外检验。
  8. 组合层:sty5 优化器每天调仓。线性规划最大化 打分·权重 − 换手惩罚·|权重变化|,约束为满仓、单票 ≤ 0.5%、行业偏离等权 ≤ 3%、规模 / 贝塔 / 波动暴露 ≤ ±0.05σ、流动性 / 动量暴露 ≤ ±0.1σ。

实验概览

第三至第十一轮共试了 30 多个方向,逐项记录在 TRACKS.md。

结论 方向
有效 中性化标签;风格约束下的优化器(流动性约束是关键);去市场化输入与风险调整标签(只在替换 Daily-Neu 一个成员时有效)
IC 有提升但组合层无增益或样本外不通过 市场状态特征、新数据源(资金流、两融、龙虎榜、财务、估值)、头部池内损失、PatchTST
无效 日内去偏移、多期限标签、近期样本加权、按月重训、风格中性化标签、截面注意力、相关图、周线分支、LSTM、RankGLU 输出头、SAM、自监督预训练、集成 IC 加权、种子分歧惩罚、决策导向训练、风险模型二次规划、跟踪误差约束

两条规律:

  • 信号 IC 在 0.123–0.127 之间变化时,sty5 组合都停在 13% 左右,IC 的小幅提升不再转化为多头收益。
  • 凡是样本外更好的候选,样本内最近的半年(2026H1)都更差,分不清是更适应近期还是偶然。

目录结构

MFTG/
├── shared/                  # 公共:路径常量与面板工具、基础面板构建、IC 评估、补算标签
│   └── tests/               # ST 名称记录的 PIT 假设检查
├── mftg/                    # 数据准备、训练、集成评估
│   ├── build_mftg.py        # 日线与 5 分钟 K 线
│   ├── build_flow.py        # 15 秒主动买卖流
│   ├── build_styles.py / build_market.py / build_extra.py   # 风格暴露、市场状态、扩展特征
│   ├── train_mftg.py        # 训练(模型、损失、滚动窗口、选项)
│   ├── driver_mftg.py       # Colab 驱动
│   ├── merge_runs.py        # 多组种子合并为一个成员
│   ├── ens_eval.py          # 离线集成评估(IC、前 10% 超额、池内 IC)
│   ├── pack.sh / upload_*.sh   # 数据打包与上传
│   └── tests/               # 滚动窗口切分无泄露检查等
├── colab/                   # 云端运维:会话启动、保活、监控、结果同步
├── manifests/               # build/、runs/ 产物的 sha256 清单
├── build/                   # 数据产物(已 gitignore)
├── runs/mftg/               # 各变体的预测(npz 不入库,只留训练日志与参数)
├── TRACKS.md                # 实验记录
└── pixi.toml / pixi.lock    # 环境

7ACD

快速开始

使用 pixi 管理环境(PyTorch、Polars、DuckDB、pytest 等)。

pixi install
pixi run pytest -q mftg/tests shared/tests     # 测试

1. 数据准备

读取本机数据湖,写入 build/shared 与 build/mftg。

pixi run build-base      # 基础面板:价格、可交易标记、行业、市值、标签
pixi run build-mftg      # 日线与 5 分钟 K 线
pixi run build-flow      # 15 秒主动买卖流
pixi run build-styles    # 风格暴露

2. 训练

在 Colab 上通过 mftg/driver_mftg.py 完成。用到的数据先用 mftg/pack.sh 打包,再用 mftg/upload_*.sh 上传。单个成员的训练参数示例:

# Daily-Neu:日线,中性化标签
python mftg/train_mftg.py --name Daily-Neu --refit 1 --neutral 1 --no_intra 1 --hidden 128 --seeds 7,11,42 \
    --blocks 2022H2,2023H1,2023H2,2024H1,2024H2,2025H1,2025H2,2026H1,2026H2X

# dDMV:去市场化输入 + 风险调整标签(换另一组种子 101,202,303 再训一次,用 merge_runs.py 合并)
python mftg/train_mftg.py --name dDMV --refit 1 --neutral 1 --no_intra 1 --hidden 128 --seeds 7,11,42 \
    --vol_label 20 --demean 1 --blocks 2022H2,2023H1,2023H2,2024H1,2024H2,2025H1,2025H2,2026H1,2026H2X

3. 结果回收与评估

colab/sync.sh                                   # 预测下载到 runs/mftg/<run>/<model>/
python mftg/merge_runs.py dDMV6 e2e/dDMV e2e/dDMV_s2   # 两组种子合并
python mftg/ens_eval.py NEU4=Daily-Neu+Daily-Neu-H256+Daily-Neu-CSI800+Full-Neu \
    DMV6=_merge/dDMV6+Daily-Neu-H256+Daily-Neu-CSI800+Full-Neu    # 集成的 IC、前 10% 超额、池内 IC

组合构建与回测见 ../Portfolio/。会话名用 SES=<name>,临时文件在 /tmp/mftg_colab(可用 MFTG_SCRATCH 改)。

云端运维

训练在 Colab 上长时间运行,需要保活:colab/start.sh 建会话,colab/keeper.sh 保持内核连接,colab/supervisor.sh 同步结果并在任务结束后停机,colab/monitor.sh 汇总状态并自动重提失败任务。也可以把保活交给一台低配 VPS(colab/vps_*.sh),结果直接写到 Google Drive,本机可以关机。


许可证

本项目代码采用 MIT License。

About

A股多频率端到端机器学习因子

Resources

Stars

2 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages

0