LSTM（Long Short-Term Memory，长短期记忆网络）是一种特殊的循环神经网络（RNN），专为解决传统RNN在处理长序列数据时的梯度消失/爆炸问题而设计。其核心在于通过门控机制和细胞状态来选择性保留或遗忘信息，从而有效捕捉长期依赖关系。

一、核心结构

LSTM单元由以下关键组件构成：

1. 细胞状态（Cell State）

   • 贯穿整个时间步的"信息传送带"，负责在时间维度传递核心记忆。
   • 通过门控机制动态更新，决定保留哪些历史信息、添加哪些新信息。

2. 遗忘门（Forget Gate）

   • 作用：决定从细胞状态中丢弃哪些旧信息。
   • 计算：通过Sigmoid函数输出0~1的值，0表示完全遗忘，1表示完全保留。
   • 公式：( f_t = \sigma(Wf \cdot [h{t-1}, x_t] + b_f) )

3. 输入门（Input Gate）

   • 作用：控制当前输入信息对细胞状态的更新。
   • 步骤：
     a. 候选值生成：用tanh函数生成候选新信息 ( \tilde{C}_t = \tanh(WC \cdot [h{t-1}, x_t] + b_C) )
     b. 更新权重：用Sigmoid函数决定候选值的保留比例 ( i_t = \sigma(Wi \cdot [h{t-1}, x_t] + b_i) )

4. 输出门（Output Gate）

   • 作用：基于细胞状态决定当前时间步的输出。
   • 公式：( o_t = \sigma(Wo \cdot [h{t-1}, x_t] + b_o) )，最终输出 ( h_t = o_t \cdot \tanh(C_t) )

二、工作机制

每个时间步的计算流程如下：

1. 遗忘旧信息

   • 细胞状态更新：( C_t = ft \odot C{t-1} )（(\odot)表示逐元素相乘）
   • 遗忘门过滤掉不相关的历史信息。

2. 添加新信息

   • 细胞状态更新：( C_t = C_t + i_t \odot \tilde{C}_t )
   • 输入门选择性地将候选值融入细胞状态。

3. 生成当前输出

   • 输出门控制细胞状态的暴露程度：( h_t = o_t \odot \tanh(C_t) )
   • 输出 ( h_t ) 作为当前时间步的隐状态，并传递到下一时间步。

三、核心优势

1. 门控机制：通过Sigmoid函数（控制信息量）和tanh函数（生成平滑变化值）的配合，精准调节信息流。
2. 梯度稳定：细胞状态的线性更新缓解了梯度消失问题，适合处理长序列（如文本、语音）。
3. 灵活记忆：可同时学习短期和长期依赖关系。

四、典型应用场景

• 机器翻译（如处理句子间的长距离语义）
• 时间序列预测（股票价格、气象数据）
• 语音识别与生成
• 文本生成（如生成连贯的段落）

LSTM通过结构化的门控设计，在保持RNN时序建模能力的同时，显著提升了模型对复杂序列模式的学习能力。