成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

LSTM詳解,你學會了嗎?

發布于 2025-7-3 00:38
瀏覽
0收藏

LSTM即long short term memory,是RNN神經網絡的改進版本。它與RNN的不同之處就在于,它引入了細胞狀態這樣一種概念,不同于RNN只考慮最近的狀態,LSTM的細胞狀態會決定哪些狀態留下來,哪些狀態被遺忘。這樣即使很久以前的狀態也會對下一步的預測作出影響,很大程度上的彌補了RNN的缺陷。

不同于RNN單一神經網絡層,LSTM有四個神經網絡層,如下圖所示:


LSTM詳解,你學會了嗎?-AI.x社區

首先先熟悉一下上圖中圖標的含義

LSTM詳解,你學會了嗎?-AI.x社區

在上面的圖例中,每一條黑線傳輸著一整個向量,從一個節點的輸出到其他節點的輸入。粉色的圈代表 pointwise 的操作,諸如向量的和,而黃色的矩陣就是學習到的神經網絡層。合在一起的線表示向量的連接,分開的線表示內容被復制,然后分發到不同的位置。

LSTM的細胞狀態指的就是運行在鏈上的狀態C

LSTM詳解,你學會了嗎?-AI.x社區

但細胞狀態C只能記錄信息的狀態,并不能對信息進行篩選或更新,此功能是通過一種叫門的結構來實現的,而門主要是通過一個 sigmoid 的神經層 和一個逐點相乘的操作來實現的。

LSTM詳解,你學會了嗎?-AI.x社區

sigmoid層輸出一個0-1之間的實數,此實數表示讓信息通過的權重。比如0是完全不通過,1是全部通過。

而LSTM正是通過三個這樣的門結構來實現信息的傳遞和篩檢。這三個門分別是輸入門、遺忘門和輸出門。

LSTM---遺忘門

在LSTM中,第一步是決定從細胞狀態中丟棄什么信息,這一步我們通過一個叫做遺忘門的層來完成。該層讀取ht-1和xt,輸出0-1之間的權重給細胞狀態Ct-1。其中ht-1是上一個細胞的輸出,xt是當前細胞的輸入。該遺忘門結構如下圖所示:

LSTM詳解,你學會了嗎?-AI.x社區

LSTM---輸入門

輸入門主要是對信息進行更新,該門包括兩個步驟:首先input gate layer的sigmoid層決定哪些內容需要進行更新,然后tanh層生成用來更新的內容。最后把這兩個狀態結合起來對細胞狀態進行更新。

LSTM詳解,你學會了嗎?-AI.x社區

接下來我們對細胞狀態進行更新,用舊的細胞狀態與ft相乘,確定哪些信息需要丟棄。然后加上it*Ct,對細胞狀態進行更新。

LSTM詳解,你學會了嗎?-AI.x社區

LSTM---輸出門

最終,我們需要確定輸出什么值。這個輸出將會基于我們的細胞狀態,但是也是一個過濾后的版本。首先,我們運行一個 sigmoid 層來確定細胞狀態的哪個部分將輸出出去。接著,我們把細胞狀態通過 tanh 進行處理(得到一個在 -1 到 1 之間的值)并將它和 sigmoid 門的輸出相乘,最終我們僅僅會輸出我們確定輸出的那部分。

LSTM詳解,你學會了嗎?-AI.x社區

其中遺忘門,輸入門和輸出門的權重W和b都是通過誤差反向傳播學習得到的,下一篇將會對權重的學習和更新進行詳細解釋。

本文轉載自????人工智能訓練營????,作者:人工智能訓練營

收藏
回復
舉報
回復
相關推薦
主站蜘蛛池模板: 黄色成人免费看 | 欧美精品久久久久 | 成年人免费网站 | 99成人| 成人h免费观看视频 | 国产在线观看一区二区三区 | 国产精品久久久久久久 | 中文字幕1区2区 | a在线免费观看 | 午夜精品久久久 | 午夜一级大片 | 日韩视频在线免费观看 | 国产传媒毛片精品视频第一次 | 黄网站免费在线看 | 午夜一区二区三区 | 久久精品一区 | 激情一区| 国产欧美在线视频 | 中文字幕精品一区久久久久 | 免费一级淫片aaa片毛片a级 | 美国a级毛片免费视频 | 在线视频a| 久久乐国产精品 | 欧美成人综合 | 国产在线视频网 | 国产九九精品视频 | 国产视频二区在线观看 | 蜜桃视频一区二区三区 | 欧美精品区 | 亚洲精品一区中文字幕 | 亚洲一区二区三区在线观看免费 | 99精品视频一区二区三区 | 在线视频 中文字幕 | 中文字幕在线一区二区三区 | 国产黄色大片 | 免费在线国产视频 | 免费欧美| 91天堂网 | 国产成人午夜电影网 | 日本二区在线观看 | 97精品一区二区 |