当单层足矣：稀疏自编码器揭开时序 Transformer 的冗余，深层堆叠正在失去技术后盾

核心判断是：稀疏自编码器对 PatchTST 的机械可解释性分析表明，在时间序列预测中，单层窄 Transformer 的激活模式已能捕捉长程依赖，其性能可与深层配置相当，叠加并非必要[3]。这不是线性模型全面替代 Transformer 的宣言，而是对“堆叠层数即能力”这一假定的实证质疑。该判断目前立足于单一模型与特定分析方法，强度受限，应被视作需要跨架构复现的信号，而非定论。

研究发现，在 PatchTST 架构下，深层网络中存在大量冗余激活，附加层并未引入信息处理层级的实质性增益。与之呼应的是，当 Transformer 将多变量简单嵌入不可区分的通道并施加注意力时，其性能和效率反而不如简单线性层，尤其难以捕捉可靠的多元相关性[3]。线性模型在模拟多变量关联方面展现出直接的优势，后者恰是许多时序预报任务的核心需求[3]。稀疏自编码器为此提供了机械层面的解释：低层模型已经完成核心依赖结构的捕捉，后续层级的算力投入没有转化为新的表征能力。

需要明确的边界在于，上述结论严重依赖 PatchTST 的单体分析，未在 DLinear、NLinear 等已被证明具备竞争力的线性基线上进行同条件全面对比[2]。长序列、强趋势和非平稳多周期混合数据下的泛化能力同样缺乏充分验证。反对立场之所以成立，正因为稀疏自编码器拆解的是 PatchTST 的冗余，不是 Transformer 解决多元时序问题的全部路径。iTransformer 给出了一个反向证据：通过将每个变量的整条时间序列独立嵌入为一个 token，扩展局部感受野，让注意力机制更有效地计算跨变量关联，其性能可优于线性模型[3]。这表明问题可能在于先前设计将多元信息压缩进不可区分的通道，而不是 Transformer 本身丧失了可用性。

当特定场景下更精简的方案能够达到同等效果时，深层堆叠的商业账本就出现了裂缝。线性模型在小规模、对可解释性和推理成本敏感的预报任务中能耗比突出，而堆叠 Transformer 若不能持续输出与计算开销匹配的性能增益，以 Token 计价的推理成本和 GPU 预留便缺少技术合理性。单位推理成本可能下降一到两个数量级，交付流程从深度调参退化为轻量回归，围绕复杂模型构建的算力溢价模型将在这些场景中面临结构性松动。

后续需要追踪的指标有三类：一是单层模型与线性模型在标准基准集上对比深层 Transformer 的精度-计算成本帕累托前沿，以确认跨架构的收益边界[2][3]；二是第三方对稀疏自编码器分析方法的独立复现，特别是稀疏模式在不同 Transformer 变体间的可移植性；三是企业侧是否出现因线性方案更可解释且成本更低而批量替换堆叠模型的案例，以及云厂商时序 API 服务是否发生价格下调。以下事实若出现，将迫使当前判断降级或收缩范围：若深层堆叠在大规模数据、高噪声和复杂多元依赖情境下展现出不可替代的泛化增益，且该增益无法通过更高效的浅层设计逼近，则“叠加非必要”就必须限缩于窄分布条件；若 iTransformer 等重设注意力范围的工作在系统对比中持续占优，改进方向就应转向注意力的针对性重构，而非弃用 Transformer。