成为新会员可进群获取本项目完整代码和数据资料

加入会员群

专题：从零样本到微调：Lag-Llama基础模型在金融时序预测中的实战探索

近期，人工智能领域的“基础模型”革命，从自然语言处理（如GPT系列）到计算机视觉（如SAM），展现出了强大的零样本与少样本学习能力，这为我们解决上述难题提供了全新的思路。然而，当我们将目光投向以噪声大、非平稳著称的金融时间序列时，这些“通才”模型是否依然能打？它们能否直接应用于股票收益率预测，并指导真实的交易决策？

带着这些疑问，我们团队在一个内部研发项目中，对专为时间序列预测设计的基础模型——Lag-Llama进行了深度测试。我们将Lag-Llama比喻为一个已经阅读过海量不同类型时间序列数据（如电力、交通、天气）的“实习生”，现在直接将其派往金融领域“上岗”（零样本预测），观察其表现。结果发现，这位“实习生”的初试成绩并不理想。随后，我们通过少量的金融数据对其进行“岗前培训”（微调），其预测能力和交易策略表现均得到了显著提升。

阅读原文获取完整代码数据及更多最新AI见解和行业洞察，可与900+行业人士交流成长；还提供人工答疑，拆解核心原理、代码逻辑与业务适配思路，帮大家既懂怎么做，也懂为什么这么做；遇代码运行问题，更能享24小时调试支持。

下图概括了本次从理论探索到实践验证的完整流程：

         数据获取 ────► 数据预处理 ────► 零样本预测 ────► 回测评估
              │                                             │
              └───────────── 发现效果不佳 ──────────────────┘
                                            │
                                            ▼
                                      ┌─────────────┐
                                      │ 模型微调迭代 │
                                      └─────────────┘
                                            │
                                            ▼
                              ┌───────────────┴───────────────┐
                              ▼                               ▼
                        微调后预测 ────► 回测评估 ────► 对比分析，验证微调有效性

本项目完整代码和数据资料

下载资料(17页)

1. 金融时序预测的新挑战与Lag-Llama模型的引入

近年来，基础模型在机器学习的多个领域引发了革命，尤其是在自然语言处理和计算机视觉领域，它们展现出了强大的零样本和小样本泛化能力。然而，在时间序列预测，特别是金融数据预测领域，这些模型的应用仍面临巨大挑战。金融数据固有的高噪声和非平稳特性，使得任何预测模型的泛化能力都备受考验。

Lag-Llama模型简介

为了解决时间序列的泛化难题，研究人员提出了一种名为Lag-Llama的基础模型，专门用于单变量概率时间序列预测。Lag-Llama采用解码器仅含变换器的架构，其核心创新在于引入滞后值作为协变量，从而有效地捕捉时间序列数据中的时间依赖性。

如下图所示，Lag-Llama通过处理过去多个时间步的滞后特征，学习输出下一个时间步取值的概率分布。

模型的输入是单变量时间序列在特定时间步的标记值。为了增强预测能力，模型还会结合多种协变量，包括一组预定义的滞后值、日期时间特征以及序列的统计摘要。这些输入经过多层掩码解码器投影后，传递给分布头，从而预测下一个时间步的分布参数。

Lag-Llama的强大之处在于其稳健的预训练方法。它利用了一个跨多个领域的大规模时间序列语料库进行预训练，从而捕捉了丰富的、通用的时序模式，这使得它具备了强大的零样本泛化能力。

模型背景

Lag-Llama 与金融时序

Lag-Llama是一种基于Transformer的时间序列预测模型，通过滞后特征捕捉时序依赖。本文将其应用于金融收益率预测，发现零样本效果不佳，但微调后显著提升，可用于构建交易策略。该模型预训练于多领域数据，但金融数据需微调适配。

接下来，我们将通过实际案例，检验Lag-Llama在预测科技巨头股票收益率方面的表现。我们将从零样本预测开始，然后通过微调进行优化，并最终通过回测来评估其在真实交易中的价值。

阅读原文获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。

2. 零样本预测实战

首先，我们在云端计算平台进行环境配置与模型部署。

# 定义一个函数，用于生成预测结果
def _obtain_forecasts(data, pred_len, n_samples=100):
    # 加载预训练权重
    checkpoint = torch.load("lag-llama.ckpt", map_location=torch.device("cuda:0"))
    model_params = checkpoint["hyper_parameters"]["model_kwargs"]
    # ...... (此处省略了构建预测器、生成预测的完整代码，该部分涉及模型加载与预测流程的细节)
    # 返回预测结果列表和实际时间序列列表
    return forecasts, actual_series


# 执行零样本预测
forecasts, actuals = _obtain_forecasts(backtest_data, forecast_horizon, sample_size)

最受欢迎的见解

  1. Python员工数据人力流失预测：ADASYN采样CatBoost算法、LASSO特征选择与动态不平衡处理及多模型对比研究
  2. R分布式滞后非线性模型DLNM分析某城市空气污染与健康数据：多维度可视化优化滞后效应解读
  3. Python古代文物成分分析与鉴别研究：灰色关联度、岭回归、K-means聚类、决策树分析
  4. Python TensorFlow OpenCV的卷积神经网络CNN人脸识别系统构建与应用实践
  5. Python用Transformer、SARIMAX、RNN、LSTM、Prophet时间序列预测对比分析用电量、零售销售、公共安全、交通事故数据
  6. MATLAB贝叶斯超参数优化LSTM预测设备寿命应用——以航空发动机退化数据为例
  7. Python谷歌商店Google Play APP评分预测：LASSO、多元线性回归、岭回归模型对比研究
  8. Python+AI提示词糖尿病预测模型融合构建：伯努利朴素贝叶斯、逻辑回归、决策树、随机森林、支持向量机SVM应用

从上图可以看出，零样本预测下，模型对实际收益率的拟合程度较为一般。若将其转换为累积收益（即损益），偏差则更为明显。

阅读原文获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。

3. 回测验证与微调优化

相关技术图片

DeepSeek、LangGraph和Python融合LSTM、RF、XGBoost、LR多模型预测NFLX股票涨跌|附完整代码数据

原文链接：https://tecdat.cn/?p=44060

探索观点

为了评估模型的真实交易价值，我们采用滚动窗口方法进行回测。在每个季度初，根据模型对下一季度收益率的预测来调整投资组合权重。具体规则为：若某资产预测累积收益为正，则买入；若为负，则卖空。最终将所有头寸的绝对值之和缩放至1。回测过程中考虑了交易佣金和卖空费用。

零样本策略的回测结果令人失望：

虽然该策略在部分下跌趋势中避免了损失，但在整体上涨趋势中却录得亏损。

这表明，直接应用预训练的Lag-Llama进行零样本金融预测，效果并不理想。因此，我们尝试对其进行微调，以适应金融数据的特性。


# 配置微调参数
finetune_estimator = LagLlamaEstimator(
    ckpt_path="lag-llama.ckpt",
    prediction_length=forecast_horizon,
    context_length=32,
    nonnegative_pred_samples=True,  # 确保预测样本非负（对于收益率预测不适用，此处仅为示例）
    aug_prob=0,                     # 关闭数据增强
    lr=5e-4,                        # 设置学习率
    input_size=model_params["input_size"],
    n_layer=model_params["n_layer"],
    n_embd_per_head=model_params["n_embd_per_head"],
    n_head=model_params["n_head"],
    time_feat=model_params["time_feat"],
    batch_size=64,
    num_parallel_samples=sample_size,
    trainer_kwargs={"max_epochs": 50},  # 训练50个周期
)
# ...... (此处省略了模型训练的完整代码，该部分涉及数据加载、训练循环等细节)

# 对剩余数据进行预测
test_dataset = _prepare_dataset(return_df.iloc[252*5:])
forecasts_ft, actuals_ft = _obtain_forecasts_finetuned(test_dataset, forecast_horizon, sample_size, predictor=fine_tuned_predictor)

微调后，预测结果与实际收益率的拟合度显著提升。

阅读原文获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。

再次进行回测，策略表现焕然一新：

通过简单的微调，Lag-Llama模型在金融数据上的预测能力得到了大幅提升，其生成的交易策略也展现了更优的收益风险特征。

4. 结论与展望

通过本次实战探索，我们得出以下结论：即使是专为时间序列设计的基础模型Lag-Llama，在金融预测这一高度复杂的任务上也难以通过零样本方式直接奏效。然而，通过少量的特定领域数据进行微调，模型的性能可以得到质的飞跃，其预测结果能够用于构建有效的交易策略。

当然，这仅仅是开始。未来的优化方向包括：更精细的超参数搜索、考虑波动率结构的分段建模、结合强化学习进行数据清洗和去噪、以及策略层面的优化和交叉验证等。这为我们打开了通往更智能、更鲁棒的量化交易系统的大门。

注：本文不构成任何投资建议。文中所提及的任何具体投资机会均仅作为教学材料。投资始终伴随金融风险，读者在做出任何投资决策前，应自行进行充分调研或咨询持牌财务顾问。

封面