它的结构示意图如下所示

目录

引言

LSTM的预测效果图

LSTM机制

了解LSTM的结构

忘记门

输入门

输出门

LSTM的变体

只有忘记门的LSTM单元

独立循环(IndRNN)单元

双向RNN结构(LSTM)

运行代码

代码讲解

引言

LSTM（Long Short-Term Memory）是一种常用的循环神经网络（RNN）模型，用于处理序列数据，具有记忆长短期的能力。

如果上面的LSTM结构图你看着很难理解,但是其实LSTM的本质就是一个带有tanh激活函数的简单RNN，如下图所示。

独立循环(IndRNN)单元

独立循环单元是一种新型的循环神经网络结构单元结构，发布于2018年其效果和速度均优于LSTM的单元。

LSTM的变体

只有忘记门的LSTM单元

只有忘记门的JANET)单元也是LSTM单元的一个变种，发布于2018年。LSTM可以通过学习历史数据中的模式和规律，来预测未来的值。

LSTM作为多元预测机制和单元预测机制的优点是可以处理序列数据中的长期依赖关系，从而可以捕捉到数据中的复杂模式和规律。

import timeimport numpy as npimport pandas as pdimport torchimport torch.nn as nnfrom matplotlib import pyplot as pltfrom sklearn.preprocessing import MinMaxScalernp.random.seed(0)def calculate_mae(y_true, y_pred):    # 平均绝对误差    mae = np.mean(np.abs(y_true - y_pred))    return maetrue_data = pd.read_csv('ETTh1-Test.csv') # 填你自己的数据地址target = 'OT'# 这里加一些数据的预处理, 最后需要的格式是pd.seriestrue_data = np.array(true_data['OT'])# 定义窗口大小test_data_size = 32# 训练集和测试集的尺寸划分test_size = 0.15train_size = 0.85# 标准化处理scaler_train = MinMaxScaler(feature_range=(0, 1))scaler_test = MinMaxScaler(feature_range=(0, 1))train_data = true_data[:int(train_size * len(true_data))]test_data = true_data[-int(test_size * len(true_data)):]print("训练集尺寸:", len(train_data))print("测试集尺寸:", len(test_data))train_data_normalized = scaler_train.fit_transform(train_data.reshape(-1, 1))test_data_normalized = scaler_test.fit_transform(test_data.reshape(-1, 1))# 转化为深度学习模型需要的类型Tensortrain_data_normalized = torch.FloatTensor(train_data_normalized).view(-1)test_data_normalized = torch.FloatTensor(test_data_normalized).view(-1)def create_inout_sequences(input_data, tw, pre_len):    inout_seq = []    L = len(input_data)    for i in range(L - tw):        train_seq = input_data[i:i + tw]        if (i + tw + 4) > len(input_data):            break        train_label = input_data[i + tw:i + tw + pre_len]        inout_seq.append((train_seq, train_label))    return inout_seqpre_len = 4train_window = 16# 定义训练器的的输入train_inout_seq = create_inout_sequences(train_data_normalized, train_window, pre_len)class LSTM(nn.Module):    def __init__(self, input_dim=1, hidden_dim=350, output_dim=1):        super(LSTM, self).__init__()        self.hidden_dim = hidden_dim        self.lstm = nn.LSTM(input_dim, hidden_dim, batch_first=True)        self.fc = nn.Linear(hidden_dim, output_dim)    def forward(self, x):        x = x.unsqueeze(1)        h0_lstm = torch.zeros(1, self.hidden_dim).to(x.device)        c0_lstm = torch.zeros(1, self.hidden_dim).to(x.device)        out, _ = self.lstm(x, (h0_lstm, c0_lstm))        out = out[:, -1]        out = self.fc(out)        return outlstm_model = LSTM(input_dim=1, output_dim=pre_len, hidden_dim=train_window)loss_function = nn.MSELoss()optimizer = torch.optim.Adam(lstm_model.parameters(), lr=0.001)epochs = 10Train = True  # 训练还是预测if Train:    losss = []    lstm_model.train()  # 训练模式    start_time = time.time()  # 计算起始时间    for i in range(epochs):        for seq, labels in train_inout_seq:            lstm_model.train()            optimizer.zero_grad()            y_pred = lstm_model(seq)            single_loss = loss_function(y_pred, labels)            single_loss.backward()            optimizer.step()            print(f'epoch: {i:3} loss: {single_loss.item():10.8f}')            losss.append(single_loss.detach().numpy())    torch.save(lstm_model.state_dict(), 'save_model.pth')    print(f"模型已保存,用时:{(time.time() - start_time) / 60:.4f} min")    plt.plot(losss)    # 设置图表标题和坐标轴标签    plt.title('Training Error')    plt.xlabel('Epoch')    plt.ylabel('Error')    # 保存图表到本地    plt.savefig('training_error.png')else:    # 加载模型进行预测    lstm_model.load_state_dict(torch.load('save_model.pth'))    lstm_model.eval()  # 评估模式    results = []    reals = []    losss = []    test_inout_seq = create_inout_sequences(test_data_normalized, train_window, pre_len)    for seq, labels in train_inout_seq:        pred = lstm_model(seq)[0].item()        results.append(pred)        mae = calculate_mae(pred, labels.detach().numpy())  # MAE误差计算绝对值(预测值  - 真实值)        reals.append(labels.detach().numpy())        losss.append(mae)    print("模型预测结果：", results)    print("预测误差MAE:", losss)    plt.style.use('ggplot')    # 创建折线图    plt.plot(results, label='real', color='blue')  # 实际值    plt.plot(reals, label='forecast', color='red', linestyle='--')  # 预测值    # 增强视觉效果    plt.grid(True)    plt.title('real vs forecast')    plt.xlabel('time')    plt.ylabel('value')    plt.legend()    plt.savefig('test——results.png')

数据格式 

运行上述代码需要只需要一列数据即可,并且最后数据需要是一个pd.series类型,大家可以在读取进来文件后面加一些数据的处理操作。全连接的方式使用IndRNN单元，搭建更深的网络结构；

        将IndRNN单元配合ReLU等非饱和激活函数一起使用，会使模型表现出更好的鲁棒性

双向RNN结构(LSTM)

双向RNN又称Bi-RNN，是采用两个方向的RNN模型

RNN模型擅长的是对连续数据的处理，既然是连续的数据，那么模型不但可以学习它的正向特征，而且可以学习它的反向特征，这种将正向和反向结合的结构，会比单向的循环网络有更高的拟合度。

(需要注意的是大家的数据不要打乱时间顺序否则预测出来的结果可能不准) 

代码讲解

在上面的运行代码中,主要填写的是在下面填上你的数据目录,

true_data = pd.read_csv('')  # 填你自己的数据地址

这里是定义了test_data_size是指根据过去多少条数据来预测未来的预测值

test_size和train_size代表训练集和测试集的尺寸划分。汇合在一起的线表示向量的连接，分叉的线表示内容被复制，然后分发到不同的位置。

(文末有复制粘贴即可运行的代码)

LSTM的预测效果图

这里先给大家展示一下LSTM的预测效果图(这里的预测指的是预测未知的数据并不是在测试集或者验证集上的预测)，其中MAE误差为0.15,ME误差为-0.03。交通流量等多个领域的数据。

LSTM这种结构的原理是引入一个称为细胞状态的连接。

其误差损失图为,其为MAE的误差图

LSTM机制

LSTM（长短期记忆，Long Short-Term Memory）是一种用于处理序列数据的深度学习模型，属于循环神经网络（RNN）的一种变体,其使用一种类似于搭桥术结构的RNN单元。