經(jīng)常性神經(jīng)網(wǎng)絡(luò)（RNNS）：綜合指南

經(jīng)常性的神經(jīng)網(wǎng)絡(luò)（RNN）是一種在蘋果Siri和Google的語音搜索等應(yīng)用程序中使用的強大類型人工神經(jīng)網(wǎng)絡(luò)（ANN）。它們通過內(nèi)部記憶保留過去輸入的獨特能力使它們非常適合諸如股票價格預(yù)測，文本生成，轉(zhuǎn)錄和機器翻譯等任務(wù)。與輸入和輸出是獨立的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同，RNN輸出取決於序列中的先前元素。此外，RNN在跨網(wǎng)絡(luò)層共享參數(shù)，從而在梯度下降期間優(yōu)化了重量和偏差調(diào)整。

上圖說明了基本的RNN。在股票價格預(yù)測方案中，使用[45、56、45、49、50，...]之類的數(shù)據(jù)，每個輸入（x0至XT）都包含了過去的值。例如，X0為45，X1為56，這些值有助於預(yù)測下一個序列元素。

RNN的功能

在RNN中，信息通過循環(huán)循環(huán)，使輸出成為當(dāng)前輸入和先前輸入的函數(shù)。

輸入層（x）處理初始輸入，將其傳遞到中間層（a），其中包含具有激活功能，權(quán)重和偏見的多個隱藏圖層。這些參數(shù)在隱藏的層上共享，創(chuàng)建一個單個循環(huán)圖層，而不是多個不同的層。 RNNS通過時間（BPTT）而不是傳統(tǒng)的反向傳播來計算梯度。由於共享參數(shù)，BPTT在每個時間步長匯總錯誤。

RNN的類型

與具有單個輸入和輸出的FeedForward網(wǎng)絡(luò)不同，RNN提供的輸入和輸出長度具有靈活性。這種適應(yīng)性使RNN可以處理各種任務(wù)，包括音樂生成，情感分析和機器翻譯。存在四種主要類型：

• 一對一：一個適合單個輸入/輸出問題的簡單神經(jīng)網(wǎng)絡(luò)。
• 一對多：處理單個輸入以生成多個輸出（例如，圖像字幕）。
• 多對一：需要多個輸入來預(yù)測單個輸出（例如，情感分類）。
• 多對多：處理多個輸入和輸出（例如，機器翻譯）。

推薦的機器學(xué)習(xí)課程

了解有關(guān)語言建模的RNN的更多信息

探索python深度學(xué)習(xí)的介紹

CNNS與RNNS

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是饋電網(wǎng)絡(luò)處理空間數(shù)據(jù)（如圖像），通常在計算機視覺中使用。簡單的神經(jīng)網(wǎng)絡(luò)與圖像像素依賴性抗?fàn)帲鳦NN則憑藉其卷積，恢復(fù)，匯總和完全連接的層在這一領(lǐng)域中表現(xiàn)出色。

關(guān)鍵差異：

• CNNS處理稀疏數(shù)據(jù)（圖像），而RNN管理時間序列和順序數(shù)據(jù)。
• CNN使用標(biāo)準(zhǔn)反向流動，RNN使用BPTT。
• CNN具有有限的輸入/輸出； RNN是靈活的。
• CNN是餵食的； RNN使用循環(huán)進行順序數(shù)據(jù)。
• CNN用於圖像/視頻處理；語音/文本分析的RNN。

RNN限制

簡單的RNN面臨與梯度有關(guān)的兩個主要挑戰(zhàn)：

1. 消失的梯度：梯度變得太小，阻礙參數(shù)更新和學(xué)習(xí)。
2. 爆炸梯度：梯度變得過大，導(dǎo)致模型不穩(wěn)定性和較長的訓(xùn)練時間。

解決方案包括減少隱藏層或使用LSTM和GRU等高級體系結(jié)構(gòu)。

高級RNN體系結(jié)構(gòu)

簡單的RNN遭受短期內(nèi)存限制。 LSTM和GRU通過在長時間內(nèi)保留信息來解決此問題。

• 長短期內(nèi)存（LSTM）：一種高級RNN，旨在減輕消失/爆炸梯度。它的四個相互作用層有助於長期記憶力保留，使其適合機器翻譯，語音合成等。

• 門控復(fù)發(fā)單元（GRU）：使用更新和重置門來管理信息流的更簡單的LSTM變化。與LSTM相比，其簡化的架構(gòu)通常會導(dǎo)致更快的培訓(xùn)。

萬事達(dá)卡股票價格預(yù)測使用LSTM＆GRU

本節(jié)詳細(xì)介紹了一個使用LSTM和GRU預(yù)測萬事達(dá)卡股價的項目。該代碼利用Pandas，Numpy，Matplotlib，Scikit-Learn和TensorFlow等庫。

（此處省略了原始輸入中的詳細(xì)代碼示例。

1. 數(shù)據(jù)分析：導(dǎo)入和清潔萬事達(dá)卡庫存數(shù)據(jù)集。
2. 數(shù)據(jù)預(yù)處理：將數(shù)據(jù)分為培訓(xùn)和測試集，使用MinMaxScaler進行擴展，然後重塑模型輸入。
3. LSTM模型：構(gòu)建和訓(xùn)練LSTM模型。
4. LSTM結(jié)果：使用RMSE評估LSTM模型的性能。
5. GRU模型：建立和培訓(xùn)具有類似體系結(jié)構(gòu)的GRU模型。
6. GRU結(jié)果：使用RMSE評估GRU模型的性能。
7. 結(jié)論：比較LSTM和GRU模型的性能。

結(jié)論

混合CNN-RNN網(wǎng)絡(luò)越來越多地用於需要空間和時間理解的任務(wù)。本教程提供了對LSTM和GRU等高級體系結(jié)構(gòu)提供的RNN，其局限性和解決方案的基本理解。該項目證明了LSTM和GRU在股票價格預(yù)測中的應(yīng)用，在此特定情況下強調(diào)了GRU的出色表現(xiàn)。完整的項目可在Datacamp Workspace上找到。

切記替換http://www.miracleart.cn/link/cc6a6632b380f3f6a1c54b1222cd96c2和http://www.miracleart.cn/link/8708107b2ff5de15d0244471ae041fdb假定圖像URL是正確且可訪問的。

以上是經(jīng)常性神經(jīng)網(wǎng)絡(luò)教程（RNN）的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！