时序预测模型的误差可以由架构、训练策略、输入长度或预测步长决定,但在这些因素之外,数据划分与评估协议往往直接决定数字是否具有解释价值。尤其是多个序列来自同一对象、同一设备或同一连续观测时,简单按样本随机划分,会让训练集和测试集拥有大量高度相关的信息。
真正需要在实验开始前回答的不是“使用哪一种模型”,而是“我们希望模型泛化到什么样的未来数据”。这一问题决定分组单位、可用历史信息和模型比较方式。
1. 样本独立性不是由样本数量决定的
考虑一个持续观测的对象,其序列为 $x_1, x_2, \ldots, x_T$。常见做法是用历史窗口预测未来目标:
纯文本:y_hat(t+h) = f_theta(x[t-L+1 : t])。
当窗口长度为 $L$,滑动步长为 $s$,相邻窗口可能共享绝大部分观测点。若先生成窗口,再对窗口进行随机划分,测试样本和训练样本就会包含高度重合的历史。
例如,长度为 100 的窗口以 10 个时间步移动,相邻样本有 90 个时间步相同。此时即使目标时刻没有完全重复,也不能把两个窗口当作相互独立的新对象。
先划分对象,再生成窗口
当部署目标是“预测尚未见过的对象”,应先按对象 ID 划分训练、验证、测试集合,再分别在每个集合内部生成窗口。若目标是“对已见对象进行未来预测”,则需要保持严格时间顺序,并增加训练和测试之间的间隔以控制边界信息共享。
这两种协议都合理,但回答的是不同问题,不应混用。在报告实验结果之前,应该直接写出评估目标及其对应的拆分单位。
2. 时间索引必须进入样本定义
多个观测之间的采样间隔可能不均匀。对于随访型任务,“连续三次观测”并不意味着它们具有相同的时间跨度。对于传感器任务,缺测、重采样和事件触发采集同样会改变序列的实际时间含义。
因此,一个样本应至少描述四个对象:输入起止时间、目标时间、对象 ID、观测是否有效。更完整的形式可以写作:
纯文本:D_i = {(X_i,t, Delta_t_i,t, y_i,t+h, mask_i,t)}。
这里 $\Delta t$ 表示时间差,$m$ 表示可用性掩码。即使模型最终不使用时间差作为显式输入,数据处理环节仍应该保留它,便于进行预测跨度分析与质量控制。
3. 预处理也属于训练流程
数据泄漏并不限于样本重复。全数据标准化、基于全量样本选择特征、在测试集上寻找最优阈值,都会让测试信息提前进入建模过程。
- 标准化参数只用训练集拟合,随后固定并应用到验证集、测试集。
- 模型选择、早停和阈值确定在验证集完成,测试集用于最终评估。
- 插值与缺失值填补必须考虑时点,不能无条件使用预测时刻之后的信息。
- 事件标签或未来目标的构造应与输入可见范围严格分离。
如果一个特征只有在真实部署的未来时刻才会获得,那么它不应出现在历史输入中。这比“特征是否和目标相关”更重要。
4. 误差汇总需要匹配部署对象
假设对象 $i$ 贡献 $n_i$ 个预测样本,样本级平均误差为:
纯文本:MAE_sample = sum_i sum_j abs(y_ij - yhat_ij) / sum_i n_i。
如果各对象的窗口数量差异很大,这个指标会给序列较长的对象更高权重。另一种口径是先在对象内部计算误差,再按对象等权平均:
纯文本:MAE_group = (1/N) sum_i [(1/n_i) sum_j abs(y_ij - yhat_ij)]。
二者并非谁一定更好:样本级指标关注所有预测事件,对象级指标关注典型对象的平均表现。对于包含重复测量的研究,推荐同时说明主指标的权重机制,并在需要构造置信区间时按独立对象而不是按高度重叠的窗口重采样。
5. 建立一份可复核的评估清单
在比较 Transformer、RNN 或卷积模型之前,先固定输入历史、预测间隔、分组规则、有效值掩码、预处理拟合范围以及模型选择规则。之后再开展架构与训练策略的比较,才能把误差差异对应到模型本身。
优秀的实验协议并不增加网络层数,却可以显著提高性能数字的可信度与可复现性。对时序预测而言,评估单位、时间边界和信息可见性应与模型结构处在同等重要的位置。