矿井水害威胁安全生产；突水点涌水量短时剧增风险大。涌水量序列 非线性强、不确定性高、样本有限。Shi 等（2024）在 Scientific Reports 提出 LSTM-Transformer 预测模型。下文归纳其方法与结论。

场景与目标

  • 数据： 黑龙江宝泰隆矿 2012–2022 年共 245 组涌水量监测记录（原文）。
  • 目标： 滚动预测涌水量，服务水害预警与应急。
  • 难点： 小样本过拟合；需兼顾泛化与精度。

方法要点

1. 数据预处理

  • ADF 平稳性检验、EMA 趋势、Ljung-Box 白噪声检验；
  • 最大—最小归一化；
  • 对比 6:4、7:3 等训练/测试划分——文献报告 LSTM-Transformer 在 7:3 表现最佳。

2. LSTM-Transformer 架构

  • LSTM 捕获长期依赖；
  • Transformer（自注意力） 建模全局关联；
  • 全连接层输出下一时刻涌水量。

3. 超参优化

随机搜索 + 贝叶斯优化，配合 L2 正则与 Adam，缓解小样本过拟合。

4. 对比实验

与 CNN、LSTM、Transformer、CNN–LSTM 对比；文献报告 LSTM-Transformer 在 RMSE、MAE、R² 上整体最优（如相对 CNN，MAE/RMSE 约降 18.2%/21.3%，R² 约升 9.1%——以原文为准）。

工程启示

  • 小样本场景应系统试验数据划分比例。
  • LSTM 与 Transformer 融合可兼顾局部动态与全局模式。
  • 预测需接入水害预警指标链，而非孤立离线模型。
  • 作者指出数据集规模与多样性仍限制泛化，需持续扩充数据。

参考文献

Shi, J.; Wang, S.; Qu, P.; Shao, J. Time Series Prediction Model Using LSTM-Transformer Neural Network for Mine Water Inflow. Scientific Reports 2024, 14, 18284.