Chainlit: スケーラブルな會話型 AI フレームワーク

Chainlit は、堅牢でスケーラブルな會話型 AI アプリケーションを構(gòu)築するために設(shè)計されたオープンソースの非同期 Python フレームワークです。 柔軟な基盤を提供し、開発者が外部 API、カスタム ロジック、ローカル モデルをシームレスに統(tǒng)合できるようにします。

このチュートリアルでは、Chainlit 內(nèi)の 2 つの取得拡張生成 (RAG) 実裝を示します。

1. アップロードされたドキュメントで OpenAI アシスタントを活用します。
2. ローカル ドキュメント フォルダーで llama_index を使用します。

ローカルチェーンライトセットアップ

仮想環(huán)境

仮想環(huán)境を作成します:

mkdir chainlit && cd chainlit
python3 -m venv venv
source venv/bin/activate

依存関係をインストールする

必要なパッケージをインストールし、依存関係を保存します:

pip install chainlit
pip install llama_index  # For implementation #2
pip install openai
pip freeze > requirements.txt

Chainlit をテストします

Chainlit を開始します:

chainlit hello

http://www.miracleart.cn/link/2674cea93e3214abce13e072a2dc2ca5

アップサンの展開

Git の初期化

Git リポジトリを初期化します:

git init .

.gitignore ファイルを作成します:

<code>.env
database/**
data/**
storage/**
.chainlit
venv
__pycache__</code>

アップサンプロジェクトの作成

CLI を使用して Upsun プロジェクトを作成します (プロンプトに従います)。 Upsun はリモート リポジトリを自動的に構(gòu)成します。

構(gòu)成

Chainlit の Upsun 構(gòu)成の例:

applications:
  chainlit:
    source:
      root: "/"
    type: "python:3.11"
    mounts:
      "/database":
        source: "storage"
        source_path: "database"
      ".files":
        source: "storage"
        source_path: "files"
      "__pycache__":
        source: "storage"
        source_path: "pycache"
      ".chainlit":
        source: "storage"
        source_path: ".chainlit"
    web:
      commands:
        start: "chainlit run app.py --port $PORT --host 0.0.0.0"
      upstream:
        socket_family: tcp
      locations:
        "/":
          passthru: true
        "/public":
          passthru: true
    build:
      flavor: none
    hooks:
      build: |
        set -eux
        pip install -r requirements.txt
      deploy: |
        set -eux
      # post_deploy: |
routes:
  "https://{default}/":
    type: upstream
    upstream: "chainlit:http"
  "https://www.{default}":
    type: redirect
    to: "https://{default}/"

Upsun CLI を使用して OPENAI_API_KEY 環(huán)境変數(shù)を設(shè)定します。

upsun variable:create env:OPENAI_API_KEY --value=sk-proj[...]

展開

コミットとデプロイ:

git add .
git commit -m "First chainlit example"
upsun push

展開ステータスを確認します。 デプロイが成功すると、Chainlit がメイン環(huán)境で実行されていることが表示されます。

実裝 1: OpenAI アシスタントとアップロードされたファイル

この実裝では、OpenAI アシスタントを使用して、アップロードされたドキュメントを処理します。

作成アシスタント

OpenAI プラットフォーム上に新しい OpenAI アシスタントを作成します。システム命令を設(shè)定し、モデル (テキスト応答形式) を選択し、溫度を低く保ちます (例: 0.10)。 アシスタント ID (asst_[xxx]) をコピーし、環(huán)境変數(shù)として設(shè)定します:

upsun variable:create env:OPENAI_ASSISTANT_ID --value=asst_[...]

コンテンツのアップロード

ドキュメント (Markdown を推奨) をアシスタントにアップロードします。 OpenAI はベクター ストアを作成します。

アシスタントロジック (app.py)

app.py の內(nèi)容を提供されたコードに置き換えます。 重要な部分: @cl.on_chat_start は新しい OpenAI スレッドを作成し、@cl.on_message はユーザー メッセージをスレッドに送信し、応答をストリーミングします。

変更をコミットしてデプロイします。アシスタントをテストします。

実裝 2: OpenAI llama_index

この実裝では、ローカルのナレッジ管理に llama_index を使用し、応答の生成に OpenAI を使用します。

ブランチの作成

新しいブランチを作成します:

mkdir chainlit && cd chainlit
python3 -m venv venv
source venv/bin/activate

フォルダーの作成とマウント

data フォルダーと storage フォルダーを作成します。 Upsun 構(gòu)成にマウントを追加します。

app.py アップデート

提供された llama_index コードで app.py を更新します。 このコードはドキュメントをロードし、VectorStoreIndex を作成し、それを使用して OpenAI 経由でクエリに応答します。

新しい環(huán)境をデプロイし、data フォルダーをアップロードします。アプリケーションをテストします。

ボーナス: 認証

SQLite データベースを使用した認証を追加します。

データベースのセットアップ

database フォルダーを作成し、Upsun 構(gòu)成にマウントを追加します。データベース パスの環(huán)境変數(shù)を作成します:

pip install chainlit
pip install llama_index  # For implementation #2
pip install openai
pip freeze > requirements.txt

認証ロジック (app.py)

app.py を使用して認証ロジックを @cl.password_auth_callback に追加します。 これにより、ログイン フォームが追加されます。

ハッシュされたパスワードを生成するスクリプトを作成します。ユーザーをデータベースに追加します (ハッシュされたパスワードを使用)。認証をデプロイし、ログインをテストします。

結(jié)論

このチュートリアルでは、2 つの RAG 実裝と認証を使用して、Upsun に Chainlit アプリケーションをデプロイする方法を示しました。 柔軟なアーキテクチャにより、さまざまな適応と統(tǒng)合が可能になります。

以上がUpsun 上の RAG を使用した Chainlit AI インターフェイスの実験の詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。