本文解釋了術(shù)語(yǔ)“頻率分析”頻率（TF-IDF）技術(shù)，這是一種自然語(yǔ)言處理（NLP）的關(guān)鍵工具，用於分析文本數(shù)據(jù)。 TF-IDF通過(guò)基於文檔中的頻率加權(quán)術(shù)語(yǔ)來(lái)超越基本單詞袋方法的局限性，並在文檔集合中稀有。這種增強(qiáng)的權(quán)重改善了文本分類，並提高了機(jī)器學(xué)習(xí)模型的分析能力。我們將演示如何從Python中從頭開始構(gòu)建TF-IDF模型並執(zhí)行數(shù)值計(jì)算。

目錄

• TF-IDF中的關(guān)鍵術(shù)語(yǔ)
• 解釋的術(shù)語(yǔ)頻率（TF）
• 文檔頻率（DF）解釋了
• 逆文件頻率（IDF）解釋了
• 了解TF-IDF
  • 數(shù)值TF-IDF計(jì)算
  • 步驟1：計(jì)算術(shù)語(yǔ)頻率（TF）
  • 步驟2：計(jì)算逆文檔頻率（IDF）
  • 步驟3：計(jì)算TF-IDF
• 使用內(nèi)置數(shù)據(jù)集實(shí)現(xiàn)Python
  • 步驟1：安裝必要的庫(kù)
  • 步驟2：導(dǎo)入庫(kù)
  • 步驟3：加載數(shù)據(jù)集
  • 步驟4：初始化TfidfVectorizer
  • 步驟5：安裝和轉(zhuǎn)換文檔
  • 步驟6：檢查TF-IDF矩陣
• 結(jié)論
• 常見(jiàn)問(wèn)題

TF-IDF中的關(guān)鍵術(shù)語(yǔ)

在繼續(xù)之前，讓我們定義關(guān)鍵術(shù)語(yǔ)：

• t ：術(shù)語(yǔ)（單詞）
• D ：文檔（一組單詞）
• N ：語(yǔ)料庫(kù)中的文檔總數(shù)
• 語(yǔ)料庫(kù)：整個(gè)文檔集合

解釋的術(shù)語(yǔ)頻率（TF）

術(shù)語(yǔ)頻率（TF）量化特定文檔中一個(gè)項(xiàng)出現(xiàn)的頻率。更高的TF表明該文檔中的重要性更大。公式是：

文檔頻率（DF）解釋了

文檔頻率（DF）測(cè)量包含特定術(shù)語(yǔ)的語(yǔ)料庫(kù)中的文檔數(shù)量。與TF不同，它計(jì)算出一個(gè)術(shù)語(yǔ)的存在，而不是其出現(xiàn)。公式是：

df（t）=包含術(shù)語(yǔ)t的文檔數(shù)量

逆文件頻率（IDF）解釋了

逆文檔頻率（IDF）評(píng)估單詞的信息性。雖然TF平等地對(duì)待所有術(shù)語(yǔ)，但I(xiàn)DF會(huì)減小常用單詞（例如停止單詞）和上級(jí)稀有術(shù)語(yǔ)。公式是：

其中n是文檔總數(shù)，而df（t）是包含術(shù)語(yǔ)t的文檔數(shù)量。

了解TF-IDF

TF-IDF結(jié)合了項(xiàng)頻率和反向文檔頻率，以確定文檔中相對(duì)於整個(gè)語(yǔ)料庫(kù)的術(shù)語(yǔ)意義。公式是：

數(shù)值TF-IDF計(jì)算

讓我們用示例文檔說(shuō)明數(shù)值TF-IDF計(jì)算：

文件：

1. “天空是藍(lán)色的。”
2. “今天的陽(yáng)光很燦爛。”
3. “天空中的陽(yáng)光很燦爛?！?/li>
4. “我們可以看到閃閃發(fā)光的陽(yáng)光，燦爛的陽(yáng)光。”

按照原始文本中概述的步驟，我們計(jì)算每個(gè)文檔中每個(gè)術(shù)語(yǔ)的TF，IDF，然後計(jì)算TF-IDF。 （此處省略了詳細(xì)的計(jì)算，但它們反映了原始示例。）

使用內(nèi)置數(shù)據(jù)集實(shí)現(xiàn)Python

本節(jié)將使用Scikit-Learn的TfidfVectorizer和20個(gè)新聞組數(shù)據(jù)集進(jìn)行了TF-IDF計(jì)算。

步驟1：安裝必要的庫(kù)

PIP安裝Scikit-Learn

步驟2：導(dǎo)入庫(kù)

導(dǎo)入大熊貓作為pd
來(lái)自sklearn.datasets import fetch_20newsgroups
來(lái)自sklearn.feature_extraction.text導(dǎo)入tfidfvectorizer

步驟3：加載數(shù)據(jù)集

newsgroups = fetch_20newsgroups（subset ='train'）

步驟4：初始化TfidfVectorizer

 vectorizer = tfidfvectorizer（stop_words ='英語(yǔ)'，max_features = 1000）

步驟5：安裝和轉(zhuǎn)換文檔

tfidf_matrix = vectorizer.fit_transform（newsgroups.data）

步驟6：檢查TF-IDF矩陣

df_tfidf = pd.dataframe（tfidf_matrix.toArray（），columns = vectorizer.get_feature_names_out（））
df_tfidf.head（） 

結(jié)論

使用20個(gè)新聞組數(shù)據(jù)集和TfidfVectorizer ，我們有效地將文本文檔轉(zhuǎn)換為TF-IDF矩陣。該矩陣表示每個(gè)術(shù)語(yǔ)的重要性，從而實(shí)現(xiàn)了各種NLP任務(wù)，例如文本分類和聚類。 Scikit-Learn的TfidfVectorizer顯著簡(jiǎn)化了這一過(guò)程。

常見(jiàn)問(wèn)題

常見(jiàn)問(wèn)題解答部分在很大程度上保持不變，解決了IDF的對(duì)數(shù)性質(zhì)，對(duì)大數(shù)據(jù)集的可擴(kuò)展性，TF-IDF的局限性（忽略單詞順序和上下文）以及常見(jiàn)的應(yīng)用程序（搜索引擎，文本分類，群集，群集，摘要）。

以上是將文本文檔轉(zhuǎn)換為帶有TFIDFECTORIZER的TF-IDF矩陣的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！