您好，開發(fā)社群！ ？

今天，我很高興向您介紹我的專案：EzioDevIo RAG（檢索增強(qiáng)生成）。該系統(tǒng)允許用戶上傳 PDF 文檔，根據(jù)其內(nèi)容提出問題，並接收由 OpenAI 的 GPT-3.5 Turbo 模型生成的即時答案。這對於導(dǎo)航大型文件或快速提取相關(guān)資訊特別有用。 ??

您可以在我的 GitHub 上找到完整的程式碼：EzioDevIo RAG 專案。讓我們深入研究該項目並分解每個步驟！

？深入了解 EzioDevIo RAG 專案 GitHub 儲存庫中的完整程式碼庫和設(shè)定說明！

專案概覽

你將學(xué)到什麼

1. 如何將 OpenAI 的語言模型與 PDF 文件檢索整合。
2. 如何使用 Streamlit 建立使用者友善的介面。
3. 如何使用 Docker 將應(yīng)用程式容器化以方便部署。 專案特色

• 上傳 PDF 並從中獲取資訊。
• 根據(jù)上傳的PDF內(nèi)容提問。
• OpenAI 的 gpt-3.5-turbo 模型產(chǎn)生的即時響應(yīng)。
• 使用 Docker 輕鬆部署以實現(xiàn)可擴(kuò)充性。

*這是我們專案目錄的最終結(jié)構(gòu)：*

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

第 1 步：設(shè)定項目

先決條件

確保您擁有以下內(nèi)容：

• Python 3.8：本地運(yùn)行應(yīng)用程式。
• OpenAI API 金鑰：您需要它來存取 OpenAI 的模型。在 OpenAI API 上註冊以取得您的金鑰。
• Docker：可選，但建議將應(yīng)用程式容器化以進(jìn)行部署。

第 2 步：複製儲存庫並設(shè)定虛擬環(huán)境

2.1。克隆儲存庫
首先從 GitHub 克隆專案儲存庫並導(dǎo)航到專案目錄。

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

2.2。設(shè)定虛擬環(huán)境
若要隔離專案依賴性，請建立並啟動虛擬環(huán)境。這有助於防止與其他項目的套件發(fā)生衝突。

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

2.3。安裝依賴項
安裝requirements.txt中列出的所需Python庫。其中包括用於語言模型的 OpenAI、用於 UI 的 Streamlit、用於 PDF 處理的 PyMuPDF 以及用於高效相似性搜尋的 FAISS。

pip install -r requirements.txt

2.4。設(shè)定您的 OpenAI API 金鑰
在專案根目錄下建立.env檔。該文件將安全地儲存您的 OpenAI API 金鑰。將以下行加入文件中，將 your_openai_api_key_here 替換為您的實際 API 金鑰：

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

？提示：確保將 .env 新增至您的 .gitignore 檔案中，以避免在將專案推送到公用儲存庫時暴露您的 API 金鑰。

第 3 步：了解專案結(jié)構(gòu)
以下是目錄結(jié)構(gòu)的快速概述，可協(xié)助您瀏覽程式碼：
以下是目錄結(jié)構(gòu)的快速概述，可協(xié)助您瀏覽程式碼：

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

每個檔案都有特定的功能：

• app.py：管理 Streamlit 介面，允許使用者上傳檔案和提問。
• document_loader.py：使用 PyMuPDF 處理 PDF 的載入和處理。
• retriever.py：使用 FAISS 索引文件文字並根據(jù)使用者查詢檢索相關(guān)部分。
• main.py：將所有內(nèi)容連結(jié)在一起，包括呼叫 OpenAI 的 API 來產(chǎn)生回應(yīng)。

第 4 步：建立核心程式碼
現(xiàn)在，讓我們深入了解該專案的主要組成部分。

4.1。載入文件 (document_loader.py)
document_loader.py 檔案負(fù)責(zé)從 PDF 中提取文字。在這裡，我們使用 PyMuPDF 庫來處理 PDF 中的每個頁面並儲存文字。

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

說明：函數(shù)讀取指定資料夾中的所有PDF文件，提取每個頁面的文本，並將文本添加到字典列表中。每個字典代表一個文檔及其文字和檔案名稱。

4.2。文件索引與檢索 (retriever.py)
FAISS（Facebook AI相似性搜尋）幫助我們執(zhí)行相似性搜尋。我們用它來建立文件嵌入的索引，這使我們能夠在使用者提出問題時檢索相關(guān)部分。

pip install -r requirements.txt

說明：

create_index：使用 OpenAIEmbeddings 將文件文字轉(zhuǎn)換為嵌入，並使用 FAISS 建立索引。
retrieve_documents：根據(jù)使用者查詢搜尋相關(guān)文件部分。

4.3。產(chǎn)生回應(yīng) (main.py)
此模組處理使用者查詢、檢索相關(guān)文件並使用 OpenAI 的語言模型產(chǎn)生答案。

OPENAI_API_KEY=your_openai_api_key_here

說明：

generate_response：使用檢索到的文件和使用者查詢的上下文建立提示，然後將其傳送到 OpenAI 的 API。然後將響應(yīng)作為答案返回。

第 5 步：建立 Streamlit 介面 (app.py)
Streamlit 提供了一個互動式前端，使用戶可以輕鬆上傳文件和提問。

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

說明：

• 此程式碼使用 Streamlit 建立一個簡單的 UI，允許使用者上傳 PDF 並輸入問題。
• 當(dāng)使用者點擊「取得答案」時，應(yīng)用程式會檢索相關(guān)文件並產(chǎn)生答案。

第 6 步：對應(yīng)用程式進(jìn)行 Docker 化
Docker 可讓您將應(yīng)用程式打包到容器中，從而輕鬆部署。

Dockerfile

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

說明：

我們使用多階段構(gòu)建來保持最終圖像的精簡。
為了安全起見，應(yīng)用程式以非 root 使用者身分執(zhí)行。

運(yùn)行 Docker 容器

1. 建置 Docker 映像：

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

1. 運(yùn)行容器：

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

第 7 步：使用 GitHub Actions 設(shè)定 CI/CD
為了做好生產(chǎn)準(zhǔn)備，請新增 CI/CD 管道來建置、測試和掃描 Docker 映像。您可以在儲存庫中找到此設(shè)定的 .github/workflows 檔案。

最後的想法
該專案將 OpenAI 的語言模型功能與文件檢索結(jié)合，創(chuàng)建一個功能性的互動式工具。如果您喜歡這個項目，請在 GitHub 儲存庫上加註星標(biāo)，並在開發(fā)社群上關(guān)注我。讓我們一起打造更多精彩的項目！ ？

？查看 GitHub 儲存庫？ EzioDevIo RAG 專案 GitHub 儲存庫！

以上是使用 OpenAI 和 Streamlit 建立文件檢索和問答系統(tǒng)的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！