該博客展示了使用LangGraph和Google Gemini構(gòu)建的研究原型代理。代理是“紙與聲音助手”，使用多模式方法總結(jié)了研究論文，從圖像中推斷信息以識(shí)別步驟和子步驟，然后產(chǎn)生對(duì)話摘要。這是一個(gè)簡(jiǎn)化的，說(shuō)明性的示例，類似于筆記本電腦的系統(tǒng)。

代理利用單個(gè)單向圖進(jìn)行逐步處理，采用條件節(jié)點(diǎn)連接來(lái)處理迭代任務(wù)。關(guān)鍵功能包括與Google Gemini的多模式對(duì)話以及通過(guò)Langgraph的簡(jiǎn)化代理創(chuàng)建過(guò)程。

目錄：

• 紙到聲音助理：代理AI中的地圖降低
• 從自動(dòng)化到協(xié)助：AI代理的不斷發(fā)展的作用
• 排除
• Python圖書(shū)館
• 紙到聲音助理：實(shí)施詳細(xì)信息
• Google Vision模型集成
• 步驟1：任務(wù)生成
• 步驟2：計(jì)劃解析
• 步驟3：文本到j(luò)son轉(zhuǎn)換
• 步驟4：逐步解決方案生成
• 步驟5：有條件循環(huán)
• 步驟6：文本到語(yǔ)音轉(zhuǎn)換
• 步驟7：圖形結(jié)構(gòu)
• 對(duì)話生成和音頻綜合
• 常見(jiàn)問(wèn)題

紙到聲音助理：代理AI中的地圖降低

該代理使用地圖范圍范式。大型任務(wù)分為子任務(wù)，分配給單個(gè)LLM（“求解器”），并同時(shí)處理，然后將結(jié)果組合在一起。

從自動(dòng)化到協(xié)助：AI代理的不斷發(fā)展的作用

生成AI的最新進(jìn)展使LLM代理人越來(lái)越受歡迎。雖然有些人將代理視為完整的自動(dòng)化工具，但該項(xiàng)目將其視為生產(chǎn)力助推器，從而有助于解決問(wèn)題和工作流程。示例包括Cursor Studio等AI驅(qū)動(dòng)的代碼編輯器。代理商在計(jì)劃，行動(dòng)和自適應(yīng)策略改進(jìn)方面有所改善。

排除：

• 省略了諸如Web搜索或自定義功能之類的高級(jí)功能。
• 沒(méi)有反向連接或路由。
• 沒(méi)有平行處理或有條件作業(yè)的分支。
• PDF和圖像/圖形解析功能尚未完全實(shí)現(xiàn)。
• 每個(gè)提示限制三張圖像。

Python圖書(shū)館：

• langchain-google-genai ：將Langchain與Google的生成AI模型聯(lián)系起來(lái)。
• python-dotenv ：加載環(huán)境變量。
• langgraph ：代理建設(shè)。
• pypdfium2 & pillow ：PDF到圖像轉(zhuǎn)換。
• pydub ：音頻分割。
• gradio_client ：訪問(wèn)擁抱的面部模型。

紙到聲音助理：實(shí)施詳細(xì)信息

實(shí)施涉及多個(gè)關(guān)鍵步驟：

Google Vision模型集成：

該代理使用Google Gemini的視覺(jué)功能（Gemini 1.5 Flash或Pro）來(lái)處理研究論文中的圖像。

（步驟1-7，包括代碼片段，將在此重新編寫(xiě)，并進(jìn)行較小的釋義和重組以維持流程，并避免逐字化的復(fù)制。核心功能和邏輯將保持不變，但是措辭將改變創(chuàng)意。這是一項(xiàng)重大的工作，并且需要大量的約束。由于我不能在此處提供完整的代碼。

對(duì)話生成和音頻綜合：

最后一步將生成的文本轉(zhuǎn)換為對(duì)話播客腳本，將角色分配給主機(jī)和來(lái)賓，然后使用擁抱的臉部文本對(duì)語(yǔ)音模型合成語(yǔ)音。然后將單個(gè)音頻段組合在一起以創(chuàng)建最終播客。

常見(jiàn)問(wèn)題：

（常見(jiàn)問(wèn)題解答還將以原始含義而改寫(xiě)為原始含義。）

結(jié)論：

該項(xiàng)目是功能演示，需要進(jìn)一步開(kāi)發(fā)生產(chǎn)使用。盡管它省略了資源優(yōu)化之類的方面，但它有效地說(shuō)明了多模式代理在研究論文摘要中的潛力。更多詳細(xì)信息可在Github上找到。

以上是紙與聲音助理：使用多模式方法的AI代理的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！