川海智库

报告概述

本报告构建了一种名为T2RL的两阶段量化选股框架，将Transformer模型与强化学习算法有机结合。第一阶段通过融合Transformer和Actor-Critic的模型TFAC进行深度因子挖掘，从量价时序数据中提取具备投资信号的因子；第二阶段基于Transformer的Soft Actor-Critic模型TFSAC进行动态权重优化，实现从个股预测到投资组合构建的完整闭环。报告覆盖全A市场、沪深300和中证1000成分股，在不同调仓频率下验证了策略的有效性，旨在提升收益能力和风险控制水平。

报告的核心结论

T2RL框架在全A市场年化超额收益显著

在单日调仓下，T2RL组合相对万得全A等权年化超额收益率50.36%，相对因子多头组合年化超额31.06%。即使在5日调仓等低频下，仍能获得超额收益，证明了强化学习权重优化的有效性。

TFAC因子优于传统Transformer因子

TFAC因子RankIC为0.1119，多头组合年化收益率33.61%，均高于传统Transformer模型的0.0963和31.32%。分年度来看，TFAC因子在多数年份跑赢传统模型，说明加入Actor-Critic机制提升了因子选股能力。

沪深300组合超额收益稳定

T2RLHS300在单日调仓下年化收益率42.64%，相对沪深300超额30.87%。不同调仓频率下均能跑赢基准和因子多头等权组合，且大多数年份保持正超额。

中证1000组合收益弹性更高

T2RLZZ1000在单日调仓下年化收益率62.68%，相对中证1000超额48.19%。在因子短期失效时期，T2RL仍能跑赢基准，表现出更强的适应性。

报告回答的关键问题

深度强化学习如何提升量化选股效果？

报告构建的T2RL框架通过两阶段实现：第一阶段TFAC模型利用Transformer提取量价表征并引入方向准确奖励函数，使预测更注重符号正确性；第二阶段TFSAC模型在连续动作空间中学习权重分配，平衡收益与风险。实证表明，该框架在不同调仓频率和指数成分股内均显著优于传统等权或简单加权方法。

TFAC因子相比传统Transformer因子的优势是什么？

TFAC因子在RankIC（0.1119 vs 0.0963）、多头组合年化收益率（33.61% vs 31.32%）及信息比率（1.40 vs 1.29）等指标上均优于传统Transformer因子。分年度超额表现显示，在7个完整年份中有5年跑赢，尤其在2021年超额达到28.99%，证明了AC机制对因子挖掘的增强效果。

不同调仓频率对T2RL策略表现有何影响？

回测显示，调仓频率越高，年化收益率和超额收益越高。例如全A市场单日调仓年化64.67%，而5日调仓降至39.64%。但所有频率下均能跑赢基准和因子多头组合，其中2日调仓在2024年相对TFAC100超额58.71%，甚至优于单日。投资者可根据交易成本选择合适频率。

T2RL框架在指数成分股中的表现如何？

在沪深300成分股中，T2RLHS300单日调仓年化42.64%，相对沪深300超额30.87%；在中证1000中，T2RLZZ1000单日调仓年化62.68%，相对中证1000超额48.19%。分年度看，大多数年份均跑赢基准和因子多头组合，尤其在因子失效期仍能维持正超额。

报告中的代表性数据

0.1119

TFAC因子RankIC

2019年1月至2026年2月，全A市场内TFAC因子10日平均RankIC，高于传统Transformer的0.0963，表明因子预测能力更强。

50.36%

T2RL单日调仓年化超额收益率（相对万得全A等权）

2019年1月至2026年2月，全A市场单日调仓下，T2RL组合相对基准的年化超额收益，凸显强化学习优化效果。

30.87%

T2RLHS300单日调仓年化超额收益率（相对沪深300）

2019年1月至2026年2月，沪深300成分股内，T2RLHS300组合相对指数的年化超额收益，同样保持显著。

以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。

完整报告包含什么

  • 完整框架方法论：详细阐述Transformer模型结构、自注意力机制、多头注意力及前馈网络，强化学习的马尔可夫决策过程、价值函数与策略函数，以及DQN、DDQN、SAC等主流算法的原理与结构。
  • TFAC因子挖掘模型：构建融合Transformer与Actor-Critic的模型，包括奖励函数设计（方向准确奖励）、损失函数融合（RankIC损失与AC损失），以及时序特征列表（盘口、技术指标、Barra因子等）。
  • TFAC因子回测结果：提供全市场及沪深300、中证1000成分股内的IC序列、分组净值、分年度超额收益等详细图表，展示因子单调性与稳定性。
  • TFSAC组合优化模型：构建基于Transformer的SAC模型，包括状态重置、动作输出、交易成本计算、奖励函数（对数收益与方差）、软更新等完整流程，以及环境交互细节。
  • 不同调仓频率测试：系统对比单日、2日、3日、4日、5日调仓下T2RL组合的年化收益率、波动率、信息比率、最大回撤及超额收益，提供分年度表现数据。
  • 指数成分股组合测试：分别针对沪深300和中证1000成分股，展示TFAC因子表现及T2RLHS300、T2RLZZ1000组合的净值曲线、超额收益及分年度对比，验证框架在不同市场中的适用性。
  • 总结与展望：讨论当前模型局限，如交易成本简化、端到端联合训练不足、极端行情适应性等，并给出四个未来研究方向：更高效状态表征、行业关联信息、多时间尺度优化、多市场扩展。
  • 风险提示与分析师声明：强调策略基于历史数据回测，不预示未来表现，不构成投资建议，并附有分析师执业信息及投资评级说明。

本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。

相关报告