git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

2.2。設(shè)置虛擬環(huán)境
要隔離項(xiàng)目依賴性，請創(chuàng)建并激活虛擬環(huán)境。這有助于防止與其他項(xiàng)目的包發(fā)生沖突。

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

2.3。安裝依賴項(xiàng)
安裝requirements.txt中列出的所需Python庫。其中包括用于語言模型的 OpenAI、用于 UI 的 Streamlit、用于 PDF 處理的 PyMuPDF 以及用于高效相似性搜索的 FAISS。

pip install -r requirements.txt

2.4。配置您的 OpenAI API 密鑰
在項(xiàng)目根目錄下創(chuàng)建.env文件。該文件將安全地存儲您的 OpenAI API 密鑰。將以下行添加到文件中，將 your_openai_api_key_here 替換為您的實(shí)際 API 密鑰：

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

？提示：確保將 .env 添加到您的 .gitignore 文件中，以避免在將項(xiàng)目推送到公共存儲庫時暴露您的 API 密鑰。

第 3 步：了解項(xiàng)目結(jié)構(gòu)
以下是目錄結(jié)構(gòu)的快速概述，可幫助您瀏覽代碼：
以下是目錄結(jié)構(gòu)的快速概述，可幫助您瀏覽代碼：

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

每個文件都有特定的作用：

• app.py：管理 Streamlit 界面，允許用戶上傳文件和提問。
• document_loader.py：使用 PyMuPDF 處理 PDF 的加載和處理。
• retriever.py：使用 FAISS 索引文檔文本并根據(jù)用戶查詢檢索相關(guān)部分。
• main.py：將所有內(nèi)容聯(lián)系在一起，包括調(diào)用 OpenAI 的 API 來生成響應(yīng)。

第 4 步：構(gòu)建核心代碼
現(xiàn)在，讓我們深入了解該項(xiàng)目的主要組成部分。

4.1。加載文檔 (document_loader.py)
document_loader.py 文件負(fù)責(zé)從 PDF 中提取文本。在這里，我們使用 PyMuPDF 庫來處理 PDF 中的每個頁面并存儲文本。

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

說明：該函數(shù)讀取指定文件夾中的所有PDF文件，提取每個頁面的文本，并將文本添加到字典列表中。每個字典代表一個文檔及其文本和文件名。

4.2。文檔索引和檢索 (retriever.py)
FAISS（Facebook AI相似性搜索）幫助我們執(zhí)行相似性搜索。我們用它來創(chuàng)建文檔嵌入的索引，這使我們能夠在用戶提出問題時檢索相關(guān)部分。

pip install -r requirements.txt

說明：

create_index：使用 OpenAIEmbeddings 將文檔文本轉(zhuǎn)換為嵌入，并使用 FAISS 創(chuàng)建索引。
retrieve_documents：根據(jù)用戶查詢搜索相關(guān)文檔部分。

4.3。生成響應(yīng) (main.py)
該模塊處理用戶查詢、檢索相關(guān)文檔并使用 OpenAI 的語言模型生成答案。

OPENAI_API_KEY=your_openai_api_key_here

說明：

generate_response：使用檢索到的文檔和用戶查詢的上下文創(chuàng)建提示，然后將其發(fā)送到 OpenAI 的 API。然后將響應(yīng)作為答案返回。

第 5 步：創(chuàng)建 Streamlit 界面 (app.py)
Streamlit 提供了一個交互式前端，使用戶可以輕松上傳文件和提問。

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

說明：

• 此代碼使用 Streamlit 創(chuàng)建一個簡單的 UI，允許用戶上傳 PDF 并輸入問題。
• 當(dāng)用戶點(diǎn)擊“獲取答案”時，應(yīng)用程序會檢索相關(guān)文檔并生成答案。

第 6 步：對應(yīng)用程序進(jìn)行 Docker 化
Docker 允許您將應(yīng)用程序打包到容器中，從而輕松部署。

Dockerfile

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

說明：

我們使用多階段構(gòu)建來保持最終圖像的精簡。
為了安全起見，應(yīng)用程序以非 root 用戶身份運(yùn)行。

運(yùn)行 Docker 容器

1. 構(gòu)建 Docker 鏡像：

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

1. 運(yùn)行容器：

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

第 7 步：使用 GitHub Actions 設(shè)置 CI/CD
為了做好生產(chǎn)準(zhǔn)備，請?zhí)砑?CI/CD 管道來構(gòu)建、測試和掃描 Docker 映像。您可以在存儲庫中找到此設(shè)置的 .github/workflows 文件。

最后的想法
該項(xiàng)目將 OpenAI 的語言模型功能與文檔檢索相結(jié)合，創(chuàng)建一個功能性的交互式工具。如果您喜歡這個項(xiàng)目，請在 GitHub 存儲庫上加注星標(biāo)，并在開發(fā)社區(qū)上關(guān)注我。讓我們一起打造更多精彩的項(xiàng)目！ ？

？查看 GitHub 存儲庫？ EzioDevIo RAG 項(xiàng)目 GitHub 存儲庫！

以上是使用 OpenAI 和 Streamlit 構(gòu)建文檔檢索和問答系統(tǒng)的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！