大肉大捧一进一出视频,国产99久久久久久免费看

首頁(yè)

科技週邊

人工智慧

網(wǎng)絡(luò)用LLMS刮擦

Jennifer Aniston

Mar 14, 2025 am 10:29 AM

利用LLM的力量來(lái)增強(qiáng)網(wǎng)絡(luò)刮擦

網(wǎng)絡(luò)刮擦仍然是一種提取在線(xiàn)信息的關(guān)鍵技術(shù)，賦予開(kāi)發(fā)人員能夠收集跨不同領(lǐng)域的數(shù)據(jù)。大型語(yǔ)言模型（LLM）等大型語(yǔ)言模型（例如Chatgroq）顯著放大了網(wǎng)絡(luò)刮擦功能，從而提高了靈活性和準(zhǔn)確性。本文演示瞭如何與Web刮擦工具一起有效利用LLM，以從網(wǎng)頁(yè)獲得結(jié)構(gòu)化數(shù)據(jù)。

網(wǎng)絡(luò)用LLMS刮擦

關(guān)鍵學(xué)習(xí)目標(biāo)：

將LLMS（例如Chatgroq）與Web刮擦工具集成在一起。
使用Playwright和LLM從網(wǎng)頁(yè)中提取結(jié)構(gòu)化數(shù)據(jù)。
為L(zhǎng)LM驅(qū)動(dòng)的Web刮擦配置環(huán)境。
處理並將Web內(nèi)容轉(zhuǎn)換為結(jié)構(gòu)化格式（例如，Markdown）。
自動(dòng)化和縮放網(wǎng)絡(luò)刮擦以進(jìn)行有效的數(shù)據(jù)提取。

目錄：

建立您的開(kāi)發(fā)環(huán)境
提取Web內(nèi)容作為Markdown
配置大型語(yǔ)言模型（LLM）
刮擦著陸頁(yè)
刮車(chē)清單
結(jié)論
常見(jiàn)問(wèn)題

設(shè)置您的開(kāi)發(fā)環(huán)境：

在開(kāi)始之前，請(qǐng)確保正確配置您的環(huán)境。安裝必要的庫(kù)：

 ！
！
！
！
！劇作家安裝鉻

此代碼段更新PIP，安裝用於瀏覽器自動(dòng)化的劇作家，HTML2Text用於HTML-TO-TO-MARKDOWN轉(zhuǎn)換，Langchain-Groq用於LLM集成，並為劇作家下載Chromium。

導(dǎo)入基本模塊：

導(dǎo)入所需的模塊：

導(dǎo)入
來(lái)自Pprint Import Pprint
從輸入導(dǎo)入列表，可選

導(dǎo)入html2Text
導(dǎo)入NEST_ASYNCIO
導(dǎo)入大熊貓作為pd
從Google.Colab導(dǎo)入U(xiǎn)serData
來(lái)自langchain_groq導(dǎo)入changroq
來(lái)自playwright.async_api導(dǎo)入async_playwright
來(lái)自Pydantic Import Basemodel，field
從TQDM導(dǎo)入TQDM

nest_asyncio.apply（）

獲取Web內(nèi)容作為Markdown：

最初的刮擦步驟涉及檢索Web內(nèi)容。劇作家有助於加載網(wǎng)頁(yè)並提取其HTML：

 USER_AGENT =“ Mozilla/5.0（Macintosh; Intel Mac OS X 10_15_7）AppleWebkit/537.36（Khtml，像Gecko）Chrome/128.0.0.0.0.0 Safari/537.36
playwright =等待async_playwright（）。start（）
瀏覽器=等待playwright.chromium.launch（）

context =等待瀏覽器.new_context（user_agent = user_agent）

page =等待context.new_page（）
等待page.goto（“ https://playwright.dev/”）
content =等待頁(yè)面.content（）

等待瀏覽器。close（）
等待playwright.stop（）
打印（內(nèi)容）

網(wǎng)絡(luò)用LLMS刮擦

該代碼使用劇作家獲取網(wǎng)頁(yè)的HTML內(nèi)容。設(shè)置自定義用戶(hù)代理，瀏覽器導(dǎo)航到URL，並提取HTML。然後將瀏覽器關(guān)閉以免費(fèi)資源。

要簡(jiǎn)化處理，請(qǐng)使用HTML2Text將HTML轉(zhuǎn)換為Markdown：

 markdown_converter = html2text.html2text（）
markdown_converter.ignore_links = false
markdown_content = markdown_converter.handle（content）
打?。╩arkdown_content）

網(wǎng)絡(luò)用LLMS刮擦

設(shè)置大型語(yǔ)言模型（LLMS）：

為結(jié)構(gòu)化數(shù)據(jù)提取配置LLM。我們將使用Chatgroq：

型號(hào)=“ Llama-3.1-70B反相”

llm = chatgroq（溫度= 0，model_name = model，api_key = userdata.get（“ groq_api_key”））

system_prompt =“”“”
您是專(zhuān)家文字提取器。您從網(wǎng)頁(yè)內(nèi)容中提取信息。
始終提取數(shù)據(jù)而無(wú)需更改數(shù)據(jù)和任何其他輸出。
”“”

def create_scrape_prompt（page_content：str） - > str：
    返回f“”
從下面的網(wǎng)頁(yè)中提取信息：

{page_content}