利用LLM的力量來(lái)增強(qiáng)網(wǎng)絡(luò)刮擦

網(wǎng)絡(luò)刮擦仍然是一種提取在線信息的關(guān)鍵技術(shù)，賦予開(kāi)發(fā)人員能夠收集跨不同領(lǐng)域的數(shù)據(jù)。大型語(yǔ)言模型（LLM）等大型語(yǔ)言模型（例如Chatgroq）顯著放大了網(wǎng)絡(luò)刮擦功能，從而提高了靈活性和準(zhǔn)確性。本文演示瞭如何與Web刮擦工具一起有效利用LLM，以從網(wǎng)頁(yè)獲得結(jié)構(gòu)化數(shù)據(jù)。

關(guān)鍵學(xué)習(xí)目標(biāo)：

• 將LLMS（例如Chatgroq）與Web刮擦工具集成在一起。
• 使用Playwright和LLM從網(wǎng)頁(yè)中提取結(jié)構(gòu)化數(shù)據(jù)。
• 為L(zhǎng)LM驅(qū)動(dòng)的Web刮擦配置環(huán)境。
• 處理並將Web內(nèi)容轉(zhuǎn)換為結(jié)構(gòu)化格式（例如，Markdown）。
• 自動(dòng)化和縮放網(wǎng)絡(luò)刮擦以進(jìn)行有效的數(shù)據(jù)提取。

目錄：

• 建立您的開(kāi)發(fā)環(huán)境
• 提取Web內(nèi)容作為Markdown
• 配置大型語(yǔ)言模型（LLM）
• 刮擦著陸頁(yè)
• 刮車清單
• 結(jié)論
• 常見(jiàn)問(wèn)題

設(shè)置您的開(kāi)發(fā)環(huán)境：

在開(kāi)始之前，請(qǐng)確保正確配置您的環(huán)境。安裝必要的庫(kù)：

 ！
！
！
！
！劇作家安裝鉻

此代碼段更新PIP，安裝用於瀏覽器自動(dòng)化的劇作家，HTML2Text用於HTML-TO-TO-MARKDOWN轉(zhuǎn)換，Langchain-Groq用於LLM集成，並為劇作家下載Chromium。

導(dǎo)入基本模塊：

導(dǎo)入所需的模塊：

導(dǎo)入
來(lái)自Pprint Import Pprint
從輸入導(dǎo)入列表，可選

導(dǎo)入html2Text
導(dǎo)入NEST_ASYNCIO
導(dǎo)入大熊貓作為pd
從Google.Colab導(dǎo)入U(xiǎn)serData
來(lái)自langchain_groq導(dǎo)入changroq
來(lái)自playwright.async_api導(dǎo)入async_playwright
來(lái)自Pydantic Import Basemodel，field
從TQDM導(dǎo)入TQDM

nest_asyncio.apply（）

獲取Web內(nèi)容作為Markdown：

最初的刮擦步驟涉及檢索Web內(nèi)容。劇作家有助於加載網(wǎng)頁(yè)並提取其HTML：

 USER_AGENT =“ Mozilla/5.0（Macintosh; Intel Mac OS X 10_15_7）AppleWebkit/537.36（Khtml，像Gecko）Chrome/128.0.0.0.0.0 Safari/537.36
playwright =等待async_playwright（）。start（）
瀏覽器=等待playwright.chromium.launch（）

context =等待瀏覽器.new_context（user_agent = user_agent）

page =等待context.new_page（）
等待page.goto（“ https://playwright.dev/”）
content =等待頁(yè)面.content（）

等待瀏覽器。close（）
等待playwright.stop（）
打?。▋?nèi)容） 

該代碼使用劇作家獲取網(wǎng)頁(yè)的HTML內(nèi)容。設(shè)置自定義用戶代理，瀏覽器導(dǎo)航到URL，並提取HTML。然後將瀏覽器關(guān)閉以免費(fèi)資源。

要簡(jiǎn)化處理，請(qǐng)使用HTML2Text將HTML轉(zhuǎn)換為Markdown：

 markdown_converter = html2text.html2text（）
markdown_converter.ignore_links = false
markdown_content = markdown_converter.handle（content）
打印（markdown_content） 

設(shè)置大型語(yǔ)言模型（LLMS）：

為結(jié)構(gòu)化數(shù)據(jù)提取配置LLM。我們將使用Chatgroq：

型號(hào)=“ Llama-3.1-70B反相”

llm = chatgroq（溫度= 0，model_name = model，api_key = userdata.get（“ groq_api_key”））

system_prompt =“”“”
您是專家文字提取器。您從網(wǎng)頁(yè)內(nèi)容中提取信息。
始終提取數(shù)據(jù)而無(wú)需更改數(shù)據(jù)和任何其他輸出。
”“”

def create_scrape_prompt（page_content：str） - > str：
    返回f“”
從下面的網(wǎng)頁(yè)中提取信息：

{page_content}

 <code>""".strip()</code>

這為Chatgroq設(shè)置了特定模型，系統(tǒng)提示指導(dǎo)LLM準(zhǔn)確提取信息。

（其餘部分，刮擦著陸頁(yè)，刮擦汽車清單，結(jié)論和常見(jiàn)問(wèn)題，遵循與上述部分相似的代碼解釋和圖像包容性的模式。由於長(zhǎng)度，我在這裡省略了它們。但是，我在這裡省略了它們。但是，結(jié)構(gòu)和樣式將與已經(jīng)提供的示例保持一致。

完整的代碼（包括省略的部分）將非常廣泛。這種響應(yīng)提供了對(duì)初始設(shè)置和第一個(gè)主要步驟的詳細(xì)說(shuō)明，以證明整體方法和樣式。如果您需要詳細(xì)闡述的特定部分，請(qǐng)告訴我。

以上是網(wǎng)絡(luò)用LLMS刮擦的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！