??? ? ????? ?? LLM? ?? ?????

? ????? ??? ??? ???? ? ??? ??? ?? ???? ??? ????? ???? ?? ? ? ??? ?????. Chatgroq? ?? ?? ?? ?? (LLM)? ??? ? ???? ??? ?? ???? ???? ???? ??????. ? ??? ? ???? ??? ?? LLM? ????? ???? ? ????? ??? ? ???? ?? ??? ?????.

?? ?? ?? :

• LLM (? : Chatgroq)? ? ???? ??? ??????.
• ???? LLM? ???? ? ????? ??? ? ???? ?????.
• LLM ?? ? ???? ??? ??????.
• ? ???? ??? ? ?? (? : Markdown)?? ???? ?????.
• ???? ??? ??? ?? ? ????? ????? ??????.

?? :

• ?? ?? ??
• ? ???? Markdown?? ?????
• ?? ?? ?? (LLM) ??
• ?? ???? ?????
• ??? ??? ?????
• ??
• ?? ?? ??

?? ?? ?? :

???? ?? ??? ???? ???? ??? ??????. ??? ????? ?? :

 ! PIP ?? -UQQQ PIP -Progress -Bar Off # ???? PIP
! PIP ?? -QQQ ??? == 1.46.0 -Progress -Bar Off # ???? ???
! pip install -qqq html2text == 2024.2.26 -Progress -bar off # html to Markdown ??
! PIP ?? -QQQ LANGCAIN-GROQ == 0.1.9-???? ? ?? # llm ??
! ???? ??? ?????

? ?? ? ??? PIP? ?????? ???? ??? ? ???? ???? HTML-to-Markdown ?? ? HTML2Text, LLM ?? ? Langchain-Groq ? ?? ? ??? ???????.

?? ?? ?? ?? :

??? ?? ?? ?? :

 ?? ?? re
Pprint import Pprint??
?? ?? ?? ???? ?? ??

html2text ?? ??
Nest_asyncio? ?????
??? PD? ?????
google.colab import userData??
langchain_groq?? chatgroq??
Playwright.async_api import async_playwright
Pydantic Import Basemodel, Field??
TQDM?? TQDM??

Nest_asyncio.apply ()

?? ???? ? ???? ?? ?? :

?? ???? ??? ? ???? ???? ????. ???? ? ???????? HTML? ?? ? ? ????.

 user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebkit/537.36 (Gecko? ?? KHTML) Chrome/128.0.0.0 Safari/537.36"
Playwright = Await async_playwright (). start ()
Browser = Await Playwright.chromium.launch ()

context = await browser.new_context (user_agent = user_agent)

page = await context.new_page ()
Await Page.goto ( "https://playwright.dev/")
content = await page.content ()

Browser.close ()? ?????.
???? ????? .Stop ()
?? (???) 

? ??? ???? ???? ? ???? HTML ???? ?????. ??? ?? ??? ????? ???? ????? URL? ???? HTML? ?????. ?? ?? ????? ?? ???? ????.

??? ?????? html2text? ???? HTML? Markdown?? ??????.

 Markdown_converter = html2text.html2text ()
Markdown_converter.ignore_links = false
Markdown_content = Markdown_converter.handle (???)
?? (Markdown_Content) 

? ?? ?? (LLM) ?? :

??? ? ??? ??? ?? LLM? ??????. ??? chatgroq? ??? ???? :

 model = "llama-3.1-70b versatile"

llm = chatgroq (?? = 0, model_name = model, api_key = userData.get ( "groq_api_key"))

system_prompt = "" "
??? ??? ??? ??????. ? ??? ????? ??? ?????.
???? ?? ?? ???? ??????.
"" "

def create_scrape_prompt (page_content : str) -> str :
    return f "" "
?? ? ????? ??? ??????.

{page_content}

 <code>""".strip()</code>

?? ?? ?? ?? ? ??? ??????? Chatgroq? LLM? ???? ??? ???? ?????.

(??? ??, ?? ???? ?? ??, ??? ??? ?? ??, ??? ?? ??, ?? ?? ??? ?? ??? ??? ?? ?? ? ??? ??? ?????. ??? ?? ???? ?? ???? ??????. ??? ??? ???? ?? ??? ??? ?????).

?? ? ??? ??? ?? ??? ??? ??????. ? ??? ?? ??? ? ?? ?? ??? ?? ??? ??? ???? ???? ?? ??? ???? ?????. ??? ?? ??? ???? ??????.

? ??? LLMS? ? ????? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!