導入

AIの進歩により、科學的研究では大きな変革が見られました。さまざまなテクノロジーやセクターで毎年何百萬もの論文が掲載されています。しかし、この情報の海を正確で関連性のあるコンテンツを取得するためにナビゲートすることは、ヘラクレスのタスクです。この正確な問題に取り組むように設(shè)計された検索された生成（RAG）エージェントであるPaperQAを入力します。 Jakub Lala ′、Odhran O'Donoghue、Aleksandar Shtedritski、Sam Cox、Samuel G Rodriques、およびAndrew D Whiteによって研究および開発されています。

この革新的なツールは、フルテキストの科學論文から情報を取得し、そのデータを統(tǒng)合し、信頼できる引用で正確な回答を生成することにより、研究者を支援するように特別に設(shè)計されています。この記事では、PaperQAの利點、作業(yè)、実裝、および制限について説明します。

概要

• PaperQAは、研究者がフルテキストの科學論文から情報のナビゲートと抽出を支援するように設(shè)計された検索された生成（RAG）ツールです。
• 大規(guī)模な言語モデル（LLMS）とRAGテクニックを活用することにより、PaperQAは信頼できる引用を伴う正確でコンテキストが豊富な応答を提供します。
• PaperQAのエージェントRAGモデルは、情報を自律的に取得、処理、および合成し、複雑な科學的クエリに基づいて回答を最適化します。
• PaperQAは、人間の専門家と同等のパフォーマンスを発揮し、同様の精度を達成しながら、より速く、より効率的になります。
• その強みにもかかわらず、PaperQAは取得した論文の正確性に依存しており、曖昧なクエリまたは最新の數(shù)値データに苦労する可能性があります。
• PaperQAは、科學研究の自動化における重要な前進を表し、研究者が複雑な情報を取得および合成する方法を変革します。

目次

• 導入
• Paperqa：科學研究のための検索された生成エージェント
• エージェントラグとは何ですか？
• エージェントラグの分裂
• エージェントRAGモデルとしてのPaperQa
• Paperqa：作業(yè)とツール
• Paperqaの制限
• 結(jié)論
• よくある質(zhì)問

Paperqa：科學研究のための検索された生成エージェント

科學論文が指數(shù)関數(shù)的に増加し続けているため、研究者が拡大し続ける文學団體をふるいにかけることが難しくなっています。 2022年だけでも、500萬件以上の學術(shù)論文が発行され、現(xiàn)在利用可能な2億人以上の記事に追加されました。この大規(guī)模な研究により、多くの場合、重要な発見が見過ごされたり、何年もかかっていることが認められるようになります。キーワード検索やベクトルの類似性の埋め込みなどの従來の方法は、関連情報を取得するために可能なことの表面をスクラッチするだけです。これらの方法は、多くの場合、非常に手動で、遅く、監(jiān)視の余地を殘します。

PaperQAは、大規(guī)模な言語モデル（LLMS）の可能性を活用することにより、検索された生成（RAG）技術(shù)を組み合わせて、この問題に対する堅牢なソリューションを提供します。時代遅れの情報に幻覚または依存する可能性のある典型的なLLMとは異なり、PaperQAは情報検索に動的なアプローチを使用し、検索エンジンの強み、エビデンスの収集、およびインテリジェントな応答を組み合わせて、すべてエラーを最小限に抑え、効率を改善します。標準のRAGをモジュラーコンポーネントに分割することにより、PaperQAは特定の研究質(zhì)問に適応し、提供された回答が実際に最新のソースに根ざしていることを保証します。

また読む：マルチモーダルラグシステムの構(gòu)築に関する包括的なガイド

エージェントラグとは何ですか？

エージェントRAGモデルは、エージェントアプローチを統(tǒng)合するために設(shè)計されたタイプの検索充電生成（RAG）モデルを指します。この文脈では、「エージェント」は、モデルの自律的に行??動し、情報を取得、処理、生成する方法を決定する能力を意味します。これは、モデルが情報を取得および拡張するだけでなく、特定の目標に最適化するためにさまざまなタスクまたはサブタスクを積極的に管理するシステムを指します。

エージェントラグの分裂

1. 検索された生成（RAG） ：RAGモデルは、大規(guī)模な言語モデル（LLM）と検索メカニズムを組み合わせるように設(shè)計されています。これらのモデルは、內(nèi)部知識（事前に訓練されたデータ）を使用し、関連する外部文書または情報を動的に取得することにより、応答を生成します。これにより、最新またはドメイン固有の情報を必要とするクエリに応答するモデルの能力が向上します。
   • 検索：このモデルは、大規(guī)模なデータセット（科學論文のコーパスなど）から最も関連性の高いドキュメントを取得します。
   • 増強：生成プロセスは、検索ステップによって「増強」されます。検索システムは関連するデータを見つけます。これは、生成されたテキストの品質(zhì)、関連性、および事実上の正確性を改善するために使用されます?；镜膜恕⑼獠壳閳螭膝猊钎毪驈娀?、事前に訓練された知識を超えてクエリに答えることができるようにします。
   • 生成：取得したドキュメントとその事前に訓練された知識ベースの両方を活用することにより、一貫性のあるコンテキストに関連する回答またはテキストを生成します。
2. エージェント：何かが「エージェント」と呼ばれる場合、それはそれが自律的に意思決定を行い、行動を?qū)g行できることを意味します。 RAGモデルのコンテキストでは、エージェントRAGシステムには次の能力があります。
   • どのドキュメントまたはソースをクエリするかを自律的に決定します。
   • コンテキストまたはユーザークエリに基づいて、他のドキュメントよりも特定のドキュメントを優(yōu)先順位を付けます。
   • 複雑なクエリをサブQuerieに分解し、獨立して処理します。
   • 戦略的なアプローチを使用して、手元のタスクの目標を最もよく満たす情報を選択します。

また読む：検索拡張拡張拡張生成（RAG）| AIは人間の知識を満たしています

エージェントRAGモデルとしてのPaperQa

PaperQAは、科學論文を操作するために設(shè)計されたエージェントRAGモデルとして特別に設(shè)計されています。これは、次のようなタスクに特に最適化されていることを意味します。

• 特定の非常に関連性の高い學術(shù)論文または論文のセクションを取得します。
• 複數(shù)のドキュメントから情報を解析および合成することにより、詳細な科學的質(zhì)問に答える。
• 複雑な科學的質(zhì)問を管理しやすい部分に分解し、最良の検索と生成戦略を自律的に決定します。

PaperQAが科學論文を扱うのに理想的なのはなぜですか？

• 複雑な情報検索：科學論文には、多くの場合、密集した技術(shù)情報が含まれています。 Paperqa2は、紙の最も関連性の高いセクションまたは論文のグループを自律的に見つけることにより、この複雑さをナビゲートできます。
• マルチドキュメント合成：単一のソースに依存するのではなく、複數(shù)の論文を引き込み、洞察を組み合わせ、より包括的な答えを合成することができます。
• 専門化：PaperQa2は、科學的言語とコンテキスト用にトレーニングまたは最適化されている可能性が高く、この特定のドメインで優(yōu)れています。

要約すると、エージェントRAGモデルは、関連する情報を取得して応答を生成し、効率と関連性を確保するためにタスクを自律的に管理する洗練されたシステムです。 PaperQa2は、このモデルを科學論文の領(lǐng)域に適用し、學術(shù)的および研究目的で非常に効果的です。

また読む：検索された微調(diào)整を拡張してぼろを強化します

Paperqa：作業(yè)とツール

PaperQAシステムは次のとおりです。

入力クエリ

このプロセスは、ユーザーが入力する入力クエリから始まります。これは、科學論文に基づいた回答を必要とする質(zhì)問または検索トピックである可能性があります。

検索段階

• キーワードと年：入力クエリが処理され、キーワードまたは関連する年が抽出されます。
• クエリ利用可能なAPI ：システムは、おそらくArxiv、PubMed、またはその他のリポジトリなどのデータベースから、科學論文で利用可能なさまざまなAPIをクエリします。
• トップKの結(jié)果：TOP Kの結(jié)果は、論文の関連性とステータス（アクセス可能で、ピアレビューなど）に基づいて取得されます。
  

証拠段階を収集します

• 埋め込まれたチャンク：システムは、関連する論文を埋め込まれたチャンク、小さく、管理可能なテキストセグメントに分解します。
• MMRベクトル検索：最大限界関連性（MMR）手法を使用して、論文から最も関連性の高い証拠を取得します。
• 要約LLM ：言語モデル（LLM）は、チャンクから抽出された証拠を要約しています。
• LLM関連スコア：LLMは、要約された情報の関連性をスコアリングして、入力クエリとのアラインメントを評価します。
• トップMチャンク：トップMの最も関連性の高いチャンクは、さらに処理するために選択されます。

回答質(zhì)問段階

• 質(zhì)問とコンテキストライブラリ：入力クエリが分析され、システムは內(nèi)部コンテキストライブラリをチェックして、質(zhì)問に関連する事前知識または回答があるかどうかを確認します。
• LLMに尋ねます（この質(zhì)問について何か知っていますか？） ：システムは、クエリに直接答えるための以前の理解またはコンテキストがあるかどうかを?qū)い亭蓼埂?/li>
• 回答LLMは回答を提案します：LLMは、収集された証拠と質(zhì)問の文脈に基づいて回答を提案します。
• エージェントへの表示：提案された回答は、エージェントに表示されます（これは、最終検証のために人間のレビュアーまたは高レベルのLLMである可能性があります）。

応答の完了

• 回答が発行され、最終クエリの回答がユーザーに提供されると、プロセスが完了します。
• 答えが不十分な場合、プロセスはループバックし、LLMは証拠を収集したり、入力クエリを言い換えてより良い結(jié)果を取得したりします。

この全體的な構(gòu)造により、PaperQAは、科學論文の大規(guī)模なコレクションから情報を効果的に検索、取得、要約、および統(tǒng)合して、ユーザーのクエリに徹底的かつ関連する答えを提供できるようになります。重要な利點は、複雑な科學的內(nèi)容を分解し、インテリジェントな検索方法を適用し、証拠に基づいた回答を提供する能力です。

これらのツールは調(diào)和して機能し、PaperQAがさまざまなソースから複數(shù)の証拠を収集できるようになり、徹底的な証拠に基づいた答えが確実に生成されます。プロセス全體は、クエリの複雑さに基づいて戦略を動的に調(diào)整する中央LLMエージェントによって管理されます。

litqaデータセット

LitQAデータセットは、PaperQAのパフォーマンスを測定するために開発されました。このデータセットは、最近の科學文獻（2021年9月以降）から派生した50の複數(shù)選択質(zhì)問で構(gòu)成されています。この質(zhì)問は、生物醫(yī)學研究のさまざまなドメインに及び、PaperQAが情報を取得し、複數(shù)のドキュメントで合成することを要求しています。 Litqaは、典型的な多肢選択科學QAデータセットを超える?yún)椄瘠圣佶螗隶蕞`クを提供し、PaperQAがフルテキストの検索と統(tǒng)合に従事する必要があります。

Paperqaは専門家の人間と比較してどうですか？

LitqaでのPaperqaのパフォーマンスを評価する際に、このシステムは専門家の人間の研究者と非常に競爭力があることがわかりました。研究者とPaperQAに同じ質(zhì)問が與えられたとき、PaperQAは人間と同等に実行され、同様の精度率を示しました（69.5％対人間の66.8％）。さらに、PaperQAはより速く、より費用対効果が高く、人間の専門家の2.5時間と比較して2.4時間ですべての質(zhì)問に答えました。 Paperqaの顕著な強さの1つは、証拠が欠けているときに不確実性を認めるように較正され、誤った結(jié)論のリスクをさらに軽減するために、誤って応答するという低い率です。

PaperQA実裝

PaperQAシステムは、 Langchainエージェントフレームワーク上に構(gòu)築され、GPT-3.5およびGPT-4を含む複數(shù)のLLMを使用して、それぞれ異なるタスクに割り當てられています（例えば、要約および応答）。このシステムは、さまざまなデータベースから論文を引き出し、マップレデュースアプローチを使用して証拠を収集および要約し、完全な引用で學術(shù)的なトーンで最終的な回答を生成します。重要なことに、PaperQAのモジュラー設(shè)計により、質(zhì)問を言い換え、検索用語を調(diào)整し、手順を再試行し、正確性と関連性を確保することができます。

コマンドラインを介してPaperQaを使用する方法は？

ステップ1：必要なライブラリをインストールします
次のコマンドを?qū)g行して、Paper-QAをインストールします。

 PIPインストールPaper-Qa

ステップ2：リサーチフォルダーを設(shè)定します
フォルダーを作成し、研究論文を入れます。たとえば、 「注意はあなたが必要とするすべて」というタイトルの論文を追加しました。

ステップ3：フォルダーに移動します
次のコマンドを使用して、フォルダーに移動します。

 CDフォルダー名

ステップ4：質(zhì)問してください
次のコマンドを?qū)g行して、トピックについて尋ねます。

 PQAは「トランスとは何ですか？」と尋ねます。

結(jié)果：

出力のソースと引用

• CrossRef ：CrossRefは、學術(shù)論文にデジタルオブジェクト識別子（DOI）を提供する公式データベースです。ただし、必要な環(huán)境変數(shù)が設(shè)定されていなかったため、検索はCrossRefに正常に接続できなかったようです（CrossRef_Api_keyが欠落しています）。これは、CrossRefをこの検索のデータソースとして使用できないことを意味します。
• セマンティックスカラー：同様に、人気のあるアカデミック検索エンジンであるセマンティックスカラーを照會しようとしましたが、APIキーが欠落しているために接続に失敗しました（semantic_scholar_api_keyは設(shè)定されていません）。これによりタイムアウトが発生し、メタデータは取得されませんでした。
• システムは、紙の特定のページ（vaswani2023ページ2-3）を指して、読者がソース資料を検証またはさらに調(diào)査できるようにします。これは、學術(shù)的または研究環(huán)境で特に役立ちます。

Pythonを使用してアクセスします

ライブラリのインポート

OSをインポートします
dotenvインポートload_dotenvから
PaperQAインポート設(shè)定、Agent_Query、QueryRequestから

• OS：ファイルパスや環(huán)境変數(shù)を操作するなど、オペレーティングシステムと対話する機能を提供するモジュール。
• Dotenv：環(huán)境変數(shù)をA.ENVファイルから環(huán)境にロードするために使用されるモジュール。
• PaperQA：科學論文の照會を許可するPaperQAライブラリのモジュール。クエリを構(gòu)成および実行するために、設(shè)定、Agent_Query、QueryRequestなどのクラスと機能を提供します。

APIキーの読み込み

load_dotenv（）

• この関數(shù)は、通常、APIキー、ファイルパス、その他の構(gòu)成などの機密情報を保存するために使用される.ENVファイルから環(huán)境変數(shù)をロードします。
• load_dotenv（）を呼び出すと、スクリプトがアクセスできるように環(huán)境変數(shù)が利用できるようになります。

PaperQAシステムのクエリ

回答=待ち望んでいるagent_query（  
    queryRequest（    
            query = "トランスとは？"    
            設(shè)定=設(shè)定（溫度= 0.5、Paper_directory = "/home/badrinarayan/paper-qa"）、  
    ））
））

構(gòu)造化された明確な形式に分類されたコードの説明は次のとおりです。

コードの內(nèi)訳と説明

1。ライブラリのインポート

PIPインストールPaper-Qa<br> OSをインポートします<br>dotenvインポートload_dotenvから<br>PaperQAインポート設(shè)定、Agent_Query、QueryRequestから<br>

• OS ：ファイルパスや環(huán)境変數(shù)を操作するなど、オペレーティングシステムと対話する機能を提供するモジュール。
• Dotenv ：環(huán)境変數(shù)をA.ENVファイルから環(huán)境にロードするために使用されるモジュール。
• PaperQA ：科學論文の照會を許可するPaperQAライブラリのモジュール。クエリを構(gòu)成および実行するために、設(shè)定、Agent_Query、QueryRequestなどのクラスと機能を提供します。

2。環(huán)境変數(shù)の読み込み

load_dotenv（）

• この関數(shù)は、通常、APIキー、ファイルパス、その他の構(gòu)成などの機密情報を保存するために使用される.ENVファイルから環(huán)境変數(shù)をロードします。
• load_dotenv（）を呼び出すことにより、スクリプトで環(huán)境変數(shù)にアクセスできるようにします。

3。PaperQAシステムのクエリ

回答=待ち望んでいるagent_query（
    queryRequest（
        query = "トランスとは？"
        設(shè)定=設(shè)定（溫度= 0.5、Paper_directory = "/home/badrinarayan/paper-qa"）、
    ））
））

コードのこの部分は、エージェントと構(gòu)造化された要求を使用してPaperQAシステムを照會します。次の手順を?qū)g行します。

• Agent_Query（） ：これは、PaperQAシステムにクエリを送信するために使用される非同期関數(shù)です。
  • Async関數(shù)であるため、Awaitキーワードで呼び出されると予想されます。つまり、結(jié)果を待っている間、他のコードと同時に実行されます。
• QueryRequest ：これにより、クエリリクエストの構(gòu)造が定義されます。クエリと設(shè)定をパラメーターとして使用します。この場合：
  • クエリ：「トランスとは何ですか？」システムについて尋ねられている研究の質(zhì)問です。指定されたディレクトリの論文から描かれた回答が期待されます。
  • 設(shè)定：これは、クエリを構(gòu)成するための設(shè)定のインスタンスに渡されます。これには以下が含まれます。
    • 溫度：生成された答えの「創(chuàng)造性」を制御します。 0.5のような低い値により、応答がより決定的に（事実）になりますが、より高い値はより多様な答えを生成します。
    • Paper_Directory ：PaperQAが質(zhì)問する研究論文、この場合は「/home/badrinarayan/paper-qa」を探す必要があるディレクトリを指定します。

出力

質(zhì)問：トランスとは何ですか？<br><br>トランスはシーケンス用に設(shè)計されたニューラルネットワークアーキテクチャです<br> 完全に依存する機械翻訳などの伝達タスク<br> 注意メカニズム、再発と畳み込みの必要性を排除します。<br> エンコーダーとデコーダーの両方のエンコーダデコーダー構(gòu)造を備えています<br> 6つの同一のレイヤーのスタックで構(gòu)成されています。各エンコーダーレイヤーにはaが含まれます<br> マルチヘッドの自己関節(jié)メカニズムと位置的に完全に接続されています<br> 殘留接続とレイヤーを使用して、フィードフォワードネットワーク<br> 正規(guī)化。デコーダーには、マルチ用の追加のサブレイヤーが組み込まれています<br>エンコーダの出力に目を向け、マスキングを使用して自動を確保する<br>退行性発電（vaswani2023ページ2-3）。<br><br>トランスは並列化を改善し、比較したトレーニング時間を短縮します<br> 再発モデルに、翻訳で最先端の結(jié)果を達成します<br> タスク。 WMT 2014 English-to-Germanタスクで28.4のBLEUスコアを設(shè)定しました<br> 8で3。5日間トレーニングした後、英語からフランス語へのタスクについて41.8<br> GPU（vaswani2023ページ1-2）。モデルの効率はさらに強化されます<br> 異なるものから信號を関連付けるために必要な操作の數(shù)を減らす<br> 一定の位置に、維持するために多毛注意を活用します<br> 効果的な解像度（vaswani2023ページ2-2）。<br><br>翻訳に加えて、トランスは強力なことを?qū)g証しています<br> 英語の選挙區(qū)の解析、高いF1を達成するなどのタスクのパフォーマンス<br> 監(jiān)視された設(shè)定と半監(jiān)視設(shè)定の両方のスコア（vaswani2023ページ9-<br> 10）。<br><br>參照<br><br>1。（Vaswani2023ページ2-3）：Vaswani、Ashish、et al。 「注意だけです<br> "Arxiv、2023年8月2日、arxiv.org/abs/1706.03762v7。2024アクセス。<br><br> 2。（Vaswani2023ページ1-2）：Vaswani、Ashish、et al。 「注意だけです<br> "Arxiv、2023年8月2日、arxiv.org/abs/1706.03762v7。2024アクセス。<br><br> 3。（Vaswani2023ページ9-10）：Vaswani、Ashish、et al。 「注意だけです<br> "Arxiv、2023年8月2日、arxiv.org/abs/1706.03762v7。2024アクセス。<br><br> 4。（vaswani2023ページ2-2）：Vaswani、Ashish、et al。 「注意だけです<br> "Arxiv、2023年8月2日、arxiv.org/abs/1706.03762v7。2024アクセス。

出力のソースと引用

このシステムは、質(zhì)問に答えるために、アカデミックデータベースやリポジトリなどの外部データベースに依存しているようです。參考文獻に基づいて、この特定のシステムが次のようなソースを照會している可能性が高いです。

• arxiv.org ：特にコンピューターサイエンス、人工知能、機械學習分野に焦點を當てた研究論文の有名なオープンアクセスリポジトリ。 「Arxiv、2023年8月2日、arxiv.org/abs/1706.03762v7」への言及は、 Ashish Vaswani et al。 （2017）、変圧器モデルを?qū)毪筏蓼筏俊?/li>
• 質(zhì)問できる他の潛在的な情報源には、トピックに応じて、セマンティックスカラー、 Google Scholar 、 PubMedなどのアカデミックリポジトリが含まれます。ただし、この特定のタスクでは、引用された紙の性質(zhì)のために、システムは主にArxivに依存しているようです。
• システムは、紙の特定のページ（vaswani2023ページ2-3）を指して、読者がソース資料を検証またはさらに調(diào)査できるようにします。これは、學術(shù)的または研究環(huán)境で特に役立ちます。

Paperqaの制限

その強みにもかかわらず、Paperqaには制限がないわけではありません。第一に、既存の研究論文への依存は、情報源の情報が正確であると想定していることを意味します。誤った論文が取得された場合、Paperqaの答えに欠陥がある可能性があります。さらに、システムは、利用可能な文獻と一致しない曖昧または曖昧なクエリと格闘することができます。最後に、システムはフルテキストペーパーからの情報を効果的に合成しますが、最新の數(shù)値データを必要とするリアルタイムの計算やタスクをまだ処理することはできません。

結(jié)論

結(jié)論として、PaperQaは科學研究の自動化における前進を表しています。検索された世代をインテリジェントエージェントと統(tǒng)合することにより、PaperQAは研究プロセスを変換し、複雑な文獻から情報を見つけて統(tǒng)合するのに必要な時間を削減します?；卮黏騽拥膜苏{(diào)整し、フルテキストペーパーを取得し、反復する能力は、科學的な質(zhì)問を人間レベルの専門知識に1つのステップに近づけるという世界をもたらしますが、それはコストと時間のほんの一部です?？茖Wが猛烈な速度で進歩するにつれて、PaperQAのようなツールは、研究者が維持し、イノベーションの境界を押し続けることができるようにする上で極めて重要な役割を果たします。

また、AIエージェントの新しいコースをご覧ください：AIエージェントの紹介

よくある質(zhì)問

Ans。 PaperQAは、研究者がフルテキストの科學論文から関連情報をナビゲートおよび抽出し、信頼できる引用で回答を統(tǒng)合するのに役立つように設(shè)計された検索された生成（RAG）ツールです。

Ans。キーワード検索に依存する従來の検索ツールとは異なり、PaperQAは大規(guī)模な言語モデル（LLM）を使用して検索メカニズムを組み合わせて複數(shù)のドキュメントからデータを引き出し、より正確でコンテキストが豊富な応答を生成します。

Ans。エージェントRAGモデルにより、PaperQAは、エージェントアプローチを使用してクエリを分解し、タスクの管理、および応答を最適化することにより、情報を自律的に取得、処理、および生成できます。

Ans。 PaperQAは、人間の研究者とよく競合し、同様の精度率（約69.5％）を達成しながら、質(zhì)問により速く、より少ないエラーで答えます。

Ans。 PaperQAの制限には、故障したソースへの依存の可能性、あいまいなクエリの難しさ、リアルタイムの計算を?qū)g行したり、最新の數(shù)値データを処理できないことが含まれます。

以上がPaperqaとは何ですか、そしてそれは科學研究をどのように支援しますか？の詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。