檢測(cè)人工智慧產(chǎn)生的文本已成為一個(gè)熱門話題，研究人員和從業(yè)者對(duì)其可行性和倫理影響進(jìn)行了爭(zhēng)論。隨著模型變得越來越複雜，區(qū)分人類編寫的文本和人工智慧生成的文本既成為一項(xiàng)令人興奮的挑戰(zhàn)，也成為一項(xiàng)迫切的需求。

在這篇文章中，我們將探索如何利用 DSPy 的最佳化功能，使用包含 139 萬個(gè)文字樣本的迷人資料集來微調(diào) OpenAI 的 GPT-4o-mini 以完成此任務(wù)。最後，您將了解如何使用 DSPy 實(shí)作、評(píng)估和最佳化基本的 AI 文字偵測(cè)器，而無需手動(dòng)提示工程。

---

資料集載入

首先，讓我們載入資料集，其中包含標(biāo)記為人類編寫或人工智慧從各種人類和法學(xué)碩士來源產(chǎn)生的文字樣本。首先，請(qǐng)確保您已安裝 Python 3，以及 DSPy 和擁抱臉部資料集庫(kù)：

pip install dspy datasets

資料集大小約為 2GB，因此根據(jù)您的網(wǎng)路速度，此步驟可能需要幾分鐘。

以下是均勻載入和分割資料集以進(jìn)行訓(xùn)練和測(cè)試的程式碼：

from datasets import load_dataset

# Load the dataset
ds = load_dataset("artem9k/ai-text-detection-pile", split="train")

# For simplicity, we’ll do an even split of data for testing and training
NUM_EXAMPLES = 80  # Adjust this to experiment with dataset size
ds = ds.train_test_split(test_size=NUM_EXAMPLES, train_size=NUM_EXAMPLES)

提示：您可以調(diào)整 NUM_EXAMPLES 來試驗(yàn)更大的資料集或降低執(zhí)行最佳化時(shí)的成本。

---

模型設(shè)定

接下來，我們將使用 OpenAI 的 GPT-4o-mini 建立一個(gè)基本的 DSPy 預(yù)測(cè)器。 GPT-4o-mini 是 OpenAI GPT-4o 模型的輕量級(jí)版本，使其實(shí)驗(yàn)成本高效。 DSPy 透過使用簽章（定義結(jié)構(gòu)化輸入輸出映射）來簡(jiǎn)化此過程。

在執(zhí)行程式碼之前將「YOUR_API_KEY」替換為您的 OpenAI API 金鑰：

import dspy
from typing import Literal

# Initialize the OpenAI GPT-4o-mini model
lm = dspy.LM('openai/gpt-4o-mini', api_key="YOUR_API_KEY")
dspy.configure(lm=lm, experimental=True)

# Define the AI text detector signature
class DetectAiText(dspy.Signature):
    """Classify text as written by human or by AI."""
    text: str = dspy.InputField()
    source: Literal['ai', 'human'] = dspy.OutputField()

# Create a basic predictor
detector = dspy.Predict(DetectAiText)

請(qǐng)注意，我們?cè)谶@裡沒有進(jìn)行任何提示工程。相反，我們依賴 DSPy 來處理這個(gè)問題，以及自動(dòng)的輸入輸出關(guān)係。

您可以使用一些範(fàn)例輸入來測(cè)試「?jìng)蓽y(cè)器」：

print(detector(text="Hello world (this definitely wasn't written by AI)"))

預(yù)測(cè)將出現(xiàn)在輸出的「來源」欄位中。

---

評(píng)估探測(cè)器

現(xiàn)在我們有了一個(gè)基本的偵測(cè)器，讓我們使用 DSPy 的評(píng)估工具來評(píng)估其效能。為此，我們將定義一個(gè)簡(jiǎn)單的指標(biāo)來檢查模型是否正確預(yù)測(cè)文字的來源（人類或人工智慧）。

這是設(shè)定和運(yùn)行評(píng)估的程式碼：

from dspy.evaluate import Evaluate

# Define a simple evaluation metric
def validate_text_source(example: dspy.Example, pred, trace=None) -> int:
    return 1 if example.source.lower() == pred.source.lower() else 0

# Transform the dataset into DSPy-compatible "Example" objects
dspy_trainset = [
    dspy.Example(source=x['source'], text=x['text']).with_inputs('text') for x in ds['train']
]
dspy_devset = [
    dspy.Example(source=x['source'], text=x['text']).with_inputs('text') for x in ds['test']
]

# Evaluate the detector
evaluator = Evaluate(devset=dspy_devset, num_threads=12)  # Adjust threads based on your system
evaluator(detector, metric=validate_text_source)

在最初的測(cè)試中，我的準(zhǔn)確率達(dá)到了 76%–81%。請(qǐng)注意，由於資料集的隨機(jī)採(cǎi)樣，結(jié)果可能會(huì)有所不同。

---

使用 DSPy 進(jìn)行最佳化

DSPy 的真正強(qiáng)大之處在於它的最佳化能力。透過使用 MIPROv2 優(yōu)化器，我們可以提高檢測(cè)器的性能，而無需手動(dòng)調(diào)整提示。優(yōu)化器使用少量範(fàn)例、動(dòng)態(tài)模板和自我監(jiān)督技術(shù)自動(dòng)執(zhí)行此過程。

以下是設(shè)定和運(yùn)行最佳化器的方法：

pip install dspy datasets

注意：對(duì)於 80 個(gè)範(fàn)例的資料集，使用「light」預(yù)設(shè)運(yùn)行單次最佳化的成本通常低於 0.50 美元。

---

結(jié)果和迭代

運(yùn)行優(yōu)化後，我觀察到效能顯著提升。與基線的 76%–81% 相比，我的第一次運(yùn)行的準(zhǔn)確率達(dá)到了 91.25%。隨後的運(yùn)行範(fàn)圍在 81.2% 和 91.25% 之間，證明了以最小的努力實(shí)現(xiàn)了一致的改進(jìn)。

載入最佳化模型以供進(jìn)一步使用：

from datasets import load_dataset

# Load the dataset
ds = load_dataset("artem9k/ai-text-detection-pile", split="train")

# For simplicity, we’ll do an even split of data for testing and training
NUM_EXAMPLES = 80  # Adjust this to experiment with dataset size
ds = ds.train_test_split(test_size=NUM_EXAMPLES, train_size=NUM_EXAMPLES)

您可以透過以下方式進(jìn)一步迭代：

• 調(diào)整優(yōu)化器的自動(dòng)參數(shù)（輕、中、重），或自行設(shè)定超參數(shù)。
• 增加訓(xùn)練和評(píng)估的資料集大小。
• 使用更高級(jí)或更新的法學(xué)碩士進(jìn)行測(cè)試。

---

結(jié)論

只需幾個(gè)步驟，我們就示範(fàn)了 DSPy 如何簡(jiǎn)化現(xiàn)實(shí)用例的 LLM 最佳化。在沒有任何手動(dòng)提示工程的情況下，我們?cè)跈z測(cè)人工智慧生成的文字方面取得了顯著的進(jìn)展。雖然該模型並不完美，但 DSPy 的靈活性允許持續(xù)迭代，使其成為可擴(kuò)展 AI 開發(fā)的寶貴工具。

我強(qiáng)烈建議通讀 DSPy 的文檔並嘗試其他優(yōu)化器和 LLM 模式。

---

完整程式碼可在 GitHub 上取得。

有問題嗎？評(píng)論？讓我知道，我期待看到您使用 DSPy 建立的內(nèi)容！

你可以在 LinkedIn 上找到我 |技術(shù)長(zhǎng)兼合夥人@EES。

以上是優(yōu)化 OpenAI 的 GPT-mini 以使用 DSPy 檢測(cè) AI 產(chǎn)生的文本的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！