PRUDEX-Compass：全面系统地评估强化学习交易策略的工具

一 本文摘要

金融市场中，强化学习（FinRL）已成为训练代理进行盈利性投资决策的重要研究方向。然而，FinRL方法的评估通常只关注与利润有关的指标，忽略了许多关键的指标。本文工作引入了PRUDEX-Compass，它从6个方面（轴），即盈利能力、风险控制、通用性、多样性、可靠性和可解释性，共计17个指标对策略进行系统评估。

同时，本文提出了一个FinRL基线算法AlphaMix+，在PRUDEX-Compass的6方面指标上都优于市场平均水平。本文评估了AlphaMix+和其他7种FinRL方法在4个金融市场数据集上的表现，并将PRUDEX-Compass和4个数据集、8个FinRL方法的标准实现、一个投资组合管理环境和相关的可视化工具开源为一个工具，以便于设计和比较新的FinRL方法的性能表现。

二 背景介绍

量化交易是一种利用数学和统计模型来自动识别投资机会的交易方式。随着人工智能的发展，量化交易变得越来越流行。在各种机器学习方法中，深度强化学习（DRL）由于其在解决复杂的序列问题方面的卓越表现而受到学术界和金融业的越来越多的关注。DRL在各种量化交易任务中取得了显著的成功，包括学习金融交易信号、模仿专业交易者的行为、投资组合管理、订单执行和市场制造等方面。

然而，现有的FinRL方法仅关注与利润有关的指标，忽略了风险控制和可靠性等关键方面。金融从业者关心的不仅仅是盈利能力，还包括每单位利润需要承担多少风险以及当市场状态发生变化时，FinRL算法的表现如何。在初步实验中，现有的以盈利为目的的FinRL算法表现出了一些弱点，如可能导致灾难性的资本损失和较差的风险控制能力。此外，仅在回测中具有高盈利的FinRL方法很可能在实际部署中失败。因此，需要建立一种系统评估FinRL方法的基准。

三 本文贡献

本文工作引入了PRUDEX-Compass，它从6个方面（轴），即盈利能力、风险控制、通用性、多样性、可靠性和可解释性，共计17个指标对策略进行系统评估。同时本文提出了一个FinRL基线算法AlphaMix+，在PRUDEX-Compass的6方面指标上都优于市场平均水平。本文评估了AlphaMix+和其他7种FinRL方法在4个金融市场数据集上的表现，并将PRUDEX-Compass和4个数据集、8个FinRL方法的标准实现、一个投资组合管理环境和相关的可视化工具开源为一个工具，以便于设计和比较新的FinRL方法的性能表现。

四 本文工作

4.1 PRUDEX-Compass

PRUDEX-Compass是一个可视化工具，旨在为金融从业者提供直观的方式来了解并对比不同的FinRL方法。该工具由轴级别和测量级别两个中心元素组成，其中轴级别指定用于评估FinRL的不同轴线，而测量级别指定用于基准测试FinRL方法的度量。轴级别映射了FinRL方法在每个轴线上的相对强度，而测量级别提供了一种紧凑的方式，以可视化的方式评估哪些设置和评估指标被报告，以指出FinRL算法的评估程度有多全面。相对强度的计算方法是将原始实验结果的数值归一化为整数，得到每个算法相对市场平均策略的归一化分数。PRUDEX-Compass可视化界面如下：

下面解释一下不同轴的意义：
Profitability: 盈利能力。盈利能力关注于评估FinRL方法获得回报的能力，包括获得回报的稳定性和持久性。
Risk-Control: 风险控制。由于金融中利润与风险之间的权衡是众所周知的，风险控制是非常重要的。
Universality: 普适性。普适性试图评估FinRL在各种量化交易场景中实现满意表现（例如，优于市场平均水平）的能力。
Diversity: 多样性。在金融中，多样化是指将资本分配在降低任何一个特定资产或风险曝露的方式。正如经济学诺贝尔奖获得者马科维茨所说，多样性是投资中唯一的免费午餐，对增强盈利能力和风险控制起着不可或缺的作用。
Reliability: 可靠性。RL方法在性能上往往变化很大，并且对各种不同因素（例如随机种子和市场稳定性随时间变化非常敏感，这可能会导致严重的后果。该维度介绍了针对量化交易的可靠性评估技术。
Explainability: 可解释性。从心理学角度来看，如果用户不信任模型，他们将不会使用它。可解释性通常是指任何帮助模型用户或开发人员理解模型行为方式的技术。在FinRL中，它可以以告诉交易员哪个模型在什么市场条件下有效或为什么一个交易动作是错误的以及如何修复它的形式出现。（由于缺乏具有可靠可解释性设计的算法，PRUDEX-Compass中暂没有支持可解释性评估）。
下表展示了使用的17个指标。

4.2 AlphaMix+

AlphaMix+是一种基于集成学习的FinRL算法，目标是填补现有FinRL方法在系统评估下表现不佳的空白。本文认为现有的FinRL方法存在一些局限性，其中最主要的问题是投资决策由单一代理人做出，这存在高潜在风险。

在现实世界中，交易公司的成功依赖于有效的自下而上的分层工作流程，并由投资组合经理进行风险管理。为了模仿这种工作流程，本文提出了AlphaMix+，这是一种通用的FinRL框架，具有多样化风险感知混合专家。AlphaMix+通过多个专家进行数据分析和独立建模，然后由高级投资组合经理汇总他们的结果，管理风险并做出最终的投资决策。AlphaMix+可以与大多数强化学习算法结合使用，用于任何量化交易任务。本文选择了SAC强化学习算法作为AlphaMix+的默认算法来讲解。AlphaMix+整体框架如下图所示：

五 实验分析

5.1 数据集

本文从Yahoo Finance和Kaggle收集了超过15年的美国股票、中国股票、加密货币和外汇等真实世界的金融数据集。对于每个数据集过滤掉了存在缺失值的金融资产，采用滚动窗口分割过程。


本文生成了11个时间特征，这些特征包括开盘价、最高价、最低价、收盘价、调整后的收盘价等，以描述股市的变化趋势，并对特征使用z-score方法进行处理。z-score归一化是一种常见的数据处理方法，可以将不同的特征值进行标准化，使其具有可比性。

5.2 对比方法

本文使用了7种代表性的FinRL方法进行实验，包括3种经典的RL方法：A2C、PPO、SAC和4种基于RL的交易方法：EIIE、IMIT、SARL和DeepTrader，以及AlphaMix+。这些方法的描述如下：

• A2C是一种经典的RL算法，引入优势函数来增强策略梯度更新，减少方差。
• PPO是一种近端策略优化算法，通过简化的剪切项来限制当前策略和更新策略之间的差异。
• SAC是一种基于最大熵RL框架的离线演员-评论家方法，通过最大化奖励和策略熵的加权目标来鼓励对噪声和探索的鲁棒性。
• SARL提出了一种状态增强RL框架，利用价格移动预测作为附加状态，基于确定性策略梯度方法。
• DeepTrader（DT）是一种基于策略梯度的方法。为了解决风险回报平衡问题，它同时使用负最大回撤和价格上涨率作为奖励函数，通过资产评分单元在利润和风险之间平衡。
• EIIE是一种基于确定性策略梯度的RL框架，包含：1）相同独立评估器拓扑的集合；2）投资组合向量存储器；3）在线随机批量学习方案。
• IMIT使用一组逻辑描述符和投资者特定的奖励函数来模仿不同投资者的行为。

5.3 训练过程

本文实验在一台RTX 3090 GPU上使用5个固定的随机种子进行所有实验。在加密货币和外汇数据集上应用网格搜索来寻找AlphaMix+的超参数，并将同样的超参数应用于中国和美国股票数据集。在所有数据集上对AlphaMix+进行了10次训练。在中国股票、美国股票、外汇和加密货币数据集上进行训练和测试大约需要60分钟。对于其他FinRL方法，有两个条件：i）如果有作者官方或开源FinRL库的实现，我们将应用相同的超参数进行公平比较。这个条件适用于A2C、PPO、SAC、SARL和DeepTrader。如果没有公开可用的实现，本文重新实现算法，并尽力保持与原始论文的一致性。这适用于EIIE和IMIT。

AlphaMix+在4个金融市场的所有随机种子中都获得了最高的TR。对于TR和SR，AlphaMix+略微优于其他方法，有27%和35%的概率获得前2名的表现。对于Vol，SAC获得了总体最佳表现，而AlphaMix+则经历了更高的波动率。对于ENT，AlphaMix+在56%以上的概率下显著优于其他FinRL方法，排名第1，这证明了它训练多样化交易专家混合的能力。

图8中将整个测试期间的平均投资组合表示为热力图，展示FinRL方法的总体投资多样性，AlphaMix+实现了一个理想的多样化投资组合，并在一些看涨的股票上分配更多的权重。

本文介绍了对FinRL方法在极端市场条件下的评估，选择了中国股市、美国股市和加密货币市场中带有黑天鹅事件的极端市场期间进行评估。为了报告不同数值尺度的不同指标的结果，使用了归一化得分mscore。研究发现，在极端市场条件下，保守方法AlphaMix +的表现不如激进方法DeepTrader（DT）和SARL。分析在极端市场条件下的表现可以为FinRL方法的设计提供启示，例如加入对波动率的认识辅助任务和多目标RL等方法可以进一步提高其在极端市场条件下的表现。

六 总结展望

本文介绍了PRUDEX-Compass工具，它从6个方面对策略进行系统评估，包括盈利能力、风险控制、通用性、多样性、可靠性和可解释性，共计17个指标。同时，本文提出了一个FinRL基线算法AlphaMix+，在PRUDEX-Compass的6方面指标上都优于市场平均水平。本文还对AlphaMix+和其他7种FinRL方法在4个金融市场数据集上进行了评估，并将PRUDEX-Compass和相关工具开源，以便于设计和比较新的FinRL方法的性能表现。