长期短期记忆网络:它是什么以及它是如何工作的?

描述

  机器学习是一种强大的技术,它通过开发算法从其经验中学习和改进。算法是计算、访问和处理输入数据并预测结果的程序。机器学习模型旨在计算复杂的计算和学习模式,并在此基础上提供相关的输出。该模型适用于数字、二元、多变量、分类和相关数据集等普通数据集。

  然而,截至今天,由于理解输入数据的上下文的局限性,大多数机器学习模型都面临着预测时间序列数据的挑战。这就是递归神经网络,其中长短期记忆网络(LSTM)——一种人工神经网络。LSTM 可以识别数据序列中的模式,例如来自传感器、文本、基因组、手写和口语的数字时间序列数据。

  什么是 LSTM 网络?

  LSTM – 长期短期记忆网络,是一种特殊类型的RNN(递归神经网络)。RNN是一个神经网络,它将前一个状态的输出作为下一阶段的输入,这样它就可以记住前一个状态的数据。它将借助先前的数据精确预测最终输出。

  然而,RNN存在梯度消失问题,即信息在较长的序列中褪色,因此在较长时间内持久化数据时面临困难。此问题可以通过 LSTM 解决。LSTM已经表现出摆脱了长期依赖问题并消除了RNN的缺点。

  LSTM的重要性

  在这个现代时代,机器正在使用机器学习智能地执行任务。现在,每个行业都有大量的设备历史数据,这些数据必须以机器学习模型能够有效预测数据的方式使用。

  作为人类,我们总是非常规地选择一些重要的关键字,而忽略其他有助于我们理解任何句子或段落上下文的单词。例如,在阅读电影评论时,大脑只试图记住或专注于一些关键词,如“动感十足”、“令人叹为观止”、“无聊”和“惊人”。每次我们不必思考,记住并重新开始。LSTM的行为也类似。此外,LSTM 专为传统神经网络失败的顺序数据集而设计。LSTM 允许数据持久化。

  在每个行业中,当局都会根据过去的重要数据做出任何决定,这将提供更好的结果。与机器学习模型相同,与其他模型相比,LSTM 展示了准确的结果,因为它在整个模型学习过程中只记住相关数据。它可以轻松保留重要信息以进行预测。

  LSTM 如何工作?

  LSTM 使用一系列不同的逻辑门。借助这一点,它可以调节信息流并解决RNN中的消失梯度问题。梯度消失问题发生在训练机器学习模型的反向传播期间。梯度是可用于更新神经网络权重的值。在反向传播时,梯度将变得如此之小,以至于在更新权重方面可以忽略不计。

  这最终将停止学习该层,以便这些层不会学习。因此,RNN 会在更长的时间内忘记数据,因为 RNN 只有短期记忆。

  LSTM和RNN在控制流方面是相似的。两者都在传递和向前传播时处理信息。唯一的区别是每个单元格内的操作。LSTM的主要概念是在整个网络中传递相关信息。根据输入,它会将该数据添加到内存中,如果不需要数据,则忘记或删除数据,如果信息不相关,则忽略信息。这就是 LSTM 不仅将信息传递到下一个状态,而且还为以后的状态保留数据的方式。

  LSTM的工作分为三个部分,每个部分执行以下单独的功能:

  第一部分确定来自前一个时间戳的信息是相关的,然后记住它,如果它不相关,它可以被遗忘。这部分称为遗忘门。

  在第二部分中,单元格尝试从单元格的当前输入中学习新数据,这称为输入门。

  最后,在第三部分中,单元格将更新的信息从当前时间戳传递到下一个时间戳。这部分称为输出门。

  这就是 LSTM 在训练过程中有选择地忘记和记住信息的方式。

  LSTM的应用

  工业物联网:每个行业的深刻本质是始终如一地提高产品质量。在制造单位中,有许多设备、传感器和机器,每个设备、传感器和机器都有大量的数据。这些受到的关注非常少,这可能导致该行业陷入磨损情况。

  LSTM将在上述情况下发挥至关重要的作用。基于执行器、振动、温度、噪声、用电量等不同参数的历史数据,该模型可以提前预测机器的早期维护和异常检测。这将有助于制造单元进行及时维护。最终,它将提高效率并减少机器的停机时间。提高设备的利用率很有用。因此,生产产品的时间更少,数量更多。对于大型电力行业,它可以使用过去的电力供应数据预测特定州、城市或街道即将到来的电力需求。电力负荷预测将有助于减轻能源损失,并根据预测管理和传输电力。

  家庭自动化:在家庭自动化中,有两个最重要的事情:

  准确性

  处理和执行操作的速度

  在智能建筑中,HVAC供暖,通风和空调系统将有助于预测能源消耗以及室内空气温度,并根据外部天气进行控制。基于人类行为,设备应执行预定义的任务,其中可以通过逐个分析视频帧来识别人类活动。在这里,LSTM将根据早期行动精确预测下一步行动。

  任何与音频分析相关的应用程序,例如预测用于窃贼检测的玻璃破碎、语音识别和预测语音命令。这些具有基于时间序列的数据,其中每个信息都带有其频率和时间。

  在语音命令或语音识别中,了解 LSTM 的优势的实际上下文非常重要。

  汽车:每个行业都有关于各自市场的大量数据,借助这些数据,LSTM将分析即将到来的市场趋势并预测即将到来的产品需求。

  这将帮助汽车制造商根据需求预测管理其供应链和库存,并制定计划以加速需求并减少不必要的成本。它可以帮助组织根据市场需求发现新的机会。它还向零售客户推荐使用过去订单的相关产品,从而提供更好的用户体验并促进销售。LSTM 在预测时间序列数据方面令人满意。

  医疗保健:在医疗保健行业中,心跳、神经模式、血压和氧气水平对于严重入院的患者至关重要。如果这些参数中的任何一个发生变化,那么患者可能会死亡。这些参数应在早期阶段准确预测,这有助于相应地治疗患者。

  最重要的是,所有参数都具有LSTM优于其他模型的时间序列数据。它还可以使用健康报告提前诊断任何健康问题,例如检测癌症或任何重大疾病。在智能可穿戴设备的帮助下,它可以提前预测心脏病发作,并向相关人员发送其健康状况的信息。它会建议根据他们的健康状况咨询医生,并提醒他们定期检查。

  审核编辑:郭婷

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分