在本指南中，我們將解釋線性迴歸及其工作原理，並逐步引導(dǎo)您完成整個(gè)過程。我們也將介紹特徵縮放和梯度下降，這是提高模型準(zhǔn)確度的關(guān)鍵技術(shù)。無論您是分析業(yè)務(wù)趨勢還是深入研究資料科學(xué)，本指南都是一個(gè)很好的起點(diǎn)。

---

目錄

• 簡介
• 理解監(jiān)督學(xué)習(xí)
• 什麼是線性迴歸？
• 簡單線性迴歸
• 多元線性迴歸
• 成本函數(shù)
• 特徵縮放
• 梯度下降
• 簡單線性迴歸的梯度下降
• 多元線性迴歸的梯度下降

---

介紹

線性迴歸是一種簡單而強(qiáng)大的工具，用於理解不同因素之間的關(guān)係並做出預(yù)測。例如，您可能想知道您的學(xué)習(xí)時(shí)間如何影響您的考試成績，一棟房子根據(jù)其大小和位置可以賣多少錢，或透過更多的廣告如何增加銷售額。線性迴歸使我們能夠檢查資料點(diǎn)（例如學(xué)習(xí)時(shí)間或廣告支出）並繪製一條最能預(yù)測結(jié)果的直線，例如測驗(yàn)分?jǐn)?shù)或銷售資料。這項(xiàng)技術(shù)在許多領(lǐng)域都很有價(jià)值，可以幫助我們根據(jù)數(shù)據(jù)做出明智的決策。

了解監(jiān)督學(xué)習(xí)

在深入研究線性迴歸之前，有必要了解監(jiān)督式學(xué)習(xí)，這是一種使用標(biāo)記資料來訓(xùn)練模型的機(jī)器學(xué)習(xí)方法。在監(jiān)督式學(xué)習(xí)中，我們?yōu)槟Ｐ吞峁┯?xùn)練範(fàn)例，其中包括特徵（輸入變數(shù)）及其對應(yīng)的標(biāo)籤（正確的輸出）。

監(jiān)督學(xué)習(xí)任務(wù)主要有兩種：

1. 迴歸：這可以從無限範(fàn)圍的可能輸出預(yù)測連續(xù)值。例如，根據(jù)各種特徵預(yù)測房價(jià)。
2. 分類：這與迴歸不同，它是從一組有限的可能類別中預(yù)測類別或類別。例如，確定電子郵件是否為垃圾郵件。

什麼是線性迴歸？

線性迴歸是統(tǒng)計(jì)和機(jī)器學(xué)習(xí)中使用的一種監(jiān)督學(xué)習(xí)方法，用於理解兩類變數(shù)之間的關(guān)係：自變數(shù)（我們認(rèn)為影響結(jié)果的因素）和因變數(shù)（我們想要預(yù)測的結(jié)果）。

目標(biāo)是使用線性方程式找到表示這種關(guān)係的最佳擬合線。透過分析標(biāo)記資料（具有已知結(jié)果的資料），線性迴歸可以幫助我們了解自變數(shù)的變化如何影響因變數(shù)。

術(shù)語

簡單線性迴歸

簡單線性迴歸檢查一個(gè)因變數(shù)和一個(gè)自變數(shù)之間的關(guān)係。它的目的是透過將直線擬合到資料點(diǎn)來對關(guān)係進(jìn)行建模，可以用以下方程式表示：

在此等式中：

• y_hat（或 f_wb(x)）:因變量，表示預(yù)測的結(jié)果。這是我們根據(jù)自變數(shù)的輸入來估計(jì)的值。
• b : 這是迴歸線的截距。它表示當(dāng)自變數(shù) x 為零時(shí)因變數(shù) y 的期望值。截距允許迴歸線垂直調(diào)整以更好地?cái)M合資料。
• w : 自變數(shù) x 的係數(shù)。此係數(shù)表示 x 變化一單位時(shí)因變數(shù) y_hat 的變化量。正 w 表示隨著 x 的增加，y_hat也會增加，而負(fù) w 表示反比關(guān)係。
• x : 自變量，充當(dāng)模型中的預(yù)測變數(shù)。此變數(shù)是用於估計(jì) y_hat 表示的結(jié)果的輸入。

多元線性迴歸

多元線性迴歸透過檢查一個(gè)因變數(shù)與兩個(gè)或多個(gè)自變數(shù)之間的關(guān)係擴(kuò)展了簡單線性迴歸的概念。這種方法使我們能夠建模更複雜的關(guān)係並了解多種因素如何影響結(jié)果。

地點(diǎn)：

• n : 特徵總數(shù)（自變數(shù)）

成本函數(shù)

成本函數(shù)，也稱為損失函數(shù)，量化模型產(chǎn)生的預(yù)期（真實(shí)）值和預(yù)測值之間的差異。它衡量模型在給定資料集上的表現(xiàn)。在簡單線性迴歸中，最常用的成本函數(shù)是均方誤差。

地點(diǎn)：

• m 是訓(xùn)練樣本的數(shù)量
• y_hat 是預(yù)測值
• y 是實(shí)際值或期望值

特徵縮放

特徵縮放是資料預(yù)處理中的關(guān)鍵步驟，特別是在使用依賴距離計(jì)算或梯度下降優(yōu)化的演算法時(shí)，例如線性迴歸、邏輯迴歸和支援向量機(jī)。特徵縮放的目的是標(biāo)準(zhǔn)化資料中自變數(shù)或特徵的範(fàn)圍，以確保它們對模型的學(xué)習(xí)過程做出同等的貢獻(xiàn)。

特徵縮放的常用技術(shù)

平均值歸一化

均值歸一化涉及調(diào)整特徵值，使其均值為零。

特點(diǎn)

• 資料範(fàn)圍約為 [?1,1] 或接近它。
• 對異常值敏感，這可能會扭曲平均值並影響標(biāo)準(zhǔn)化。

用例

• 線性迴歸：有助於提升訓(xùn)練過程中的收斂性。
• 基於梯度的演算法：當(dāng)資料以零為中心時(shí)，神經(jīng)網(wǎng)路和其他基於梯度的演算法通常收斂得更快。
• 沒有顯著異常值的資料集：對於具有相似範(fàn)圍且沒有極端異常值的資料集特別有效。

最小-最大縮放

最小-最大縮放是一種用於將特徵重新縮放到固定範(fàn)圍的技術(shù)，通常為 [0,1] 或 [?1,1]。

特點(diǎn)

• 固定範(fàn)圍：將資料縮放到特定範(fàn)圍，通常為[0,1]。
• 對異常值的敏感度：它可能會受到異常值的顯著影響，這可能會扭曲其他值的縮放。

用例

• 影像處理：常用於卷積神經(jīng)網(wǎng)路 (CNN) 等深度學(xué)習(xí)模型，其中像素值縮放為 [0,1]。
• 基於距離的演算法：對於依賴距離計(jì)算的演算法至關(guān)重要，例如k 最近鄰(KNN)、k 均值聚類和支援向量機(jī)(SVM)，以確保所有特徵的貢獻(xiàn)相等.
• 基於樹的模型：雖然與其他演算法相比，基於樹的模型（例如決策樹和隨機(jī)森林）不太重要，但它在特徵尺度差異很大的情況下仍然可以提供幫助。

Z 分?jǐn)?shù)標(biāo)準(zhǔn)化

Z 分?jǐn)?shù)標(biāo)準(zhǔn)化，也稱為標(biāo)準(zhǔn)縮放，將特徵轉(zhuǎn)換為平均值為零和標(biāo)準(zhǔn)差為 1。此技術(shù)對於假設(shè)常態(tài)分佈資料的演算法特別有用。

地點(diǎn)：

• sigma 是特徵的標(biāo)準(zhǔn)差。

特點(diǎn)

• 均值居中：將資料以零為中心。
• 單位變異數(shù)：確保標(biāo)準(zhǔn)差為一。
• 對異常值的穩(wěn)健性：與最小-最大縮放相比更穩(wěn)健，但對極端異常值仍然敏感。

用例

• 神經(jīng)網(wǎng)路：在訓(xùn)練過程中增強(qiáng)效能並加速收斂。
• 主成分分析 (PCA) 和 線性判別分析 (LDA)：這些技術(shù)需要確保所有功能同等貢獻(xiàn)。
• 高斯樸素貝葉斯：透過規(guī)範(fàn)化輸入特徵來提高分類性能。

穩(wěn)健的縮放

穩(wěn)健縮放是一種基於中位數(shù)和四分位數(shù)範(fàn)圍 (IQR) 縮放特徵的技術(shù)。此方法對於具有顯著異常值的資料集特別有用，因?yàn)樗鼫p少了這些異常值對縮放值的影響。

地點(diǎn)：

• IQR(x) 是特徵的四分位數(shù)範(fàn)圍，定義為訓(xùn)練集第 75 個(gè)百分位數(shù)和第 25 個(gè)百分位數(shù)之間的差異

特點(diǎn)

• 中位數(shù)居中：將資料圍繞中位數(shù)而不是平均值居中，使其更能適應(yīng)異常值。
• 四分位數(shù)範(fàn)圍(IQR) ：使用IQR 縮放數(shù)據(jù)，IQR 是訓(xùn)練資料的第75 個(gè)百分位數(shù)(Q3) 和第25 個(gè)百分位數(shù)(Q1) 之間的差值。這有助於保持發(fā)行版的穩(wěn)健性。

用例

• 有異常值的資料：在存在異常值的情況下有效。
• 金融：在可能包含極端價(jià)值的金融資料集中有用。
• 環(huán)境資料：非常適合測量結(jié)果差異很大的環(huán)境資料集。

梯度下降

梯度下降是一種強(qiáng)大的最佳化演算法，用於訓(xùn)練機(jī)器學(xué)習(xí)模型，包括線性迴歸。其主要目標(biāo)是最小化預(yù)期值和預(yù)測值之間的誤差。

最初，成本函數(shù)的斜率在起始（任意）點(diǎn)可能很陡。隨著演算法迭代和更新參數(shù)，斜率逐漸減小，引導(dǎo)模型趨向成本函數(shù)的最低點(diǎn)，稱為收斂點(diǎn)或局部最小值。在這個(gè)收斂點(diǎn)，成本函數(shù)達(dá)到最小值，表示模型預(yù)測盡可能接近實(shí)際值。一旦參數(shù)達(dá)到這一點(diǎn)，進(jìn)一步的更新會對預(yù)測產(chǎn)生最小的變化，這表明優(yōu)化過程已有效地識別了數(shù)據(jù)的最佳擬合參數(shù)。

流程涉及以下關(guān)鍵步驟：

1. 初始化：從模型參數(shù)的隨機(jī)值開始（例如，截距 b 和係數(shù) w）。
2. 計(jì)算梯度：計(jì)算成本函數(shù)相對於模型參數(shù)的梯度。這個(gè)梯度代表了成本函數(shù)的變化方向和速率。
3. 更新參數(shù) ：向梯度相反方向調(diào)整模型參數(shù)，以減少誤差。更新規(guī)則由下式給出：
4. 迭代：重複此過程，直到成本函數(shù)的變化最小或達(dá)到指定的迭代次數(shù)。

提示：繪製迭代（x 軸）與成本（y 軸）的關(guān)係圖。如果繪圖顯示出平滑的下降趨勢，則您的實(shí)作可能是正確的。

梯度下降的種類

批量梯度下降

• 優(yōu)點(diǎn)：由於它使用整個(gè)資料集，因此可以提供穩(wěn)定且準(zhǔn)確的梯度估計(jì)。它可以直接收斂到凸函數(shù)的全域最小值。
• 缺點(diǎn)：對於大型資料集來說可能非常慢，因?yàn)樗诿看蔚刑幚硭袠颖尽?
• 用例：通常用於資料集足夠小以適合記憶體的場景，例如表格資料的線性迴歸或邏輯回歸。

隨機(jī)梯度下降（SGD）

• 優(yōu)點(diǎn)：更新速度更快，因?yàn)樗淮翁幚硪粋€(gè)樣本，這可以導(dǎo)致更快的收斂。由於其固有的噪聲，它可以幫助擺脫局部極小值。
• 缺點(diǎn)：收斂性較不穩(wěn)定，可能會在最小值附近振盪，導(dǎo)致穩(wěn)定性較差。
• 用例：常用於線上學(xué)習(xí)場景、即時(shí)預(yù)測，或處理無法完整處理的大型資料集，例如在影像資料上訓(xùn)練神經(jīng)網(wǎng)路。

小批量梯度下降（MBD）

• 優(yōu)點(diǎn)：結(jié)合了批量梯度下降和隨機(jī)梯度下降的優(yōu)點(diǎn)。它比批量梯度下降收斂得更快，比 SGD 收斂更穩(wěn)定。它還可以利用向量化來實(shí)現(xiàn)高效計(jì)算。
• 缺點(diǎn)：選擇小批量的大小可能具有挑戰(zhàn)性，並且可能會影響收斂速度和穩(wěn)定性。
• 用例：經(jīng)常用於深度學(xué)習(xí)應(yīng)用程序，特別是在大型資料集上進(jìn)行訓(xùn)練時(shí)，例如卷積神經(jīng)網(wǎng)路（CNN）或自然語言處理模型中的影像分類任務(wù)。

簡單線性迴歸的梯度下降

簡單線性迴歸的梯度下降步驟

1. 初始化 從模型參數(shù)的初始值開始。這些值可以隨機(jī)選擇或設(shè)定為零。

1. 計(jì)算梯度 計(jì)算成本函數(shù)相對於模型參數(shù)的梯度。這個(gè)梯度代表了成本函數(shù)的變化方向和速率。

1. 更新參數(shù) 在梯度相反的方向上調(diào)整模型參數(shù)以減少誤差。更新規(guī)則由下式給出：

哪裡：

• J(w, b) 是成本函數(shù)，即上述所使用的均方誤差 (MSE)。
• Alpha 是學(xué)習(xí)率，介於 0 和 1 之間的小正數(shù)。它控制梯度下降到達(dá)收斂點(diǎn)或局部最小值所需的步長。

提示：從較小的學(xué)習(xí)率（例如 0.01）開始，然後逐漸增加。如果成本平穩(wěn)下降，那就是一個(gè)不錯(cuò)的價(jià)格。如果它波動(dòng)或發(fā)散，請降低學(xué)習(xí)率。學(xué)習(xí)率太大會導(dǎo)致梯度下降超調(diào)，永遠(yuǎn)達(dá)不到最小值，無法收斂。

1. 迭代：重複此過程，直到成本函數(shù)的變化最小或達(dá)到指定的迭代次數(shù)。

簡單線性迴歸的梯度下降的 Python 實(shí)現(xiàn)

簡單線性迴歸的梯度下降的 Python 實(shí)作

多元線性迴歸的梯度下降

多元線性迴歸的梯度下降步驟

1. 初始化 從每個(gè)參數(shù)的隨機(jī)值開始，包括每個(gè)特徵的截距 b 和權(quán)重 w。

1. 計(jì)算梯度 計(jì)算成本函數(shù)相對於模型參數(shù)的梯度。

向量形式

地點(diǎn)：

• x_subscript_j_superscript_i 是第 i 個(gè)訓(xùn)練範(fàn)例的第 j_ 個(gè)特徵
• x_superscript_T 是向量 x
的轉(zhuǎn)置

1. 更新參數(shù) 在梯度相反的方向上調(diào)整模型參數(shù)以減少誤差。更新規(guī)則由下式給出：

1. 迭代 重複此過程，直到成本函數(shù)的變化最小或達(dá)到指定的迭代次數(shù)。

簡單線性迴歸的梯度下降的 Python 實(shí)現(xiàn)

簡單線性迴歸的梯度下降的 Python 實(shí)作

---

結(jié)論

恭喜！ ！ ？在這篇文章中，我們探討了線性迴歸和多元線性迴歸的基礎(chǔ)知識，介紹了實(shí)現(xiàn)梯度下降的過程，並討論了用於優(yōu)化模型效能的特徵縮放等關(guān)鍵技術(shù)。透過了解如何初始化模型參數(shù)、計(jì)算梯度和迭代更新權(quán)重，您現(xiàn)在已經(jīng)準(zhǔn)備好實(shí)施線性迴歸演算法並提高其在現(xiàn)實(shí)資料集上的效能。

無論您是使用簡單的線性回歸還是處理多個(gè)特徵的複雜性，掌握梯度下降並掌握其核心原理都將顯著增強(qiáng)您開發(fā)準(zhǔn)確高效的機(jī)器學(xué)習(xí)模型的能力。不斷嘗試，精進(jìn)你的技能，擁抱學(xué)習(xí)過程－這和結(jié)果本身一樣重要！

請繼續(xù)關(guān)注更多關(guān)於機(jī)器學(xué)習(xí)技術(shù)和 Web 開發(fā)主題的見解。繼續(xù)探索並建立更聰明的模型，快樂學(xué)習(xí)！ ??

讓我們在 LinkedIn 上聯(lián)絡(luò)？

「本文最初發(fā)佈於 Medium，我在這裡分享了更多關(guān)於數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和程式設(shè)計(jì)的見解。歡迎查看並關(guān)注我以獲取更多內(nèi)容！」

請按讚、分享、追蹤？ .

請隨時(shí)在評論部分提出任何問題 - 我會及時(shí)、徹底地回覆您的詢問。熱烈歡迎您的疑問，我們將得到迅速、全面的答覆。 ??

以上是線性迴歸：從理論到實(shí)踐的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！