国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

Jadual Kandungan
bagaimana llamaindex berfungsi
Tambahkan data peribadi ke LLM menggunakan llamaindex
memuatkan data dan buat indeks
RUN Query
Konteks Simpan dan Beban
Bina Wikitext untuk Ucapan dengan Llamaindex
laman web merangkak halaman wikipedia
, kami akan menggunakan modul llama_index.tts untuk mengakses API ElevenLabstts. Anda perlu menyediakan kunci API ElevenLabs untuk membolehkan ciri generasi audio. Anda boleh mendapatkan kunci API secara percuma di laman web ElevenLabs.
Rumah Peranti teknologi AI Llamaindex: Rangka Kerja Data untuk Aplikasi Berdasarkan Model Bahasa Besar (LLMS)

Llamaindex: Rangka Kerja Data untuk Aplikasi Berdasarkan Model Bahasa Besar (LLMS)

Mar 10, 2025 am 10:22 AM

llamaindex: rangka data yang memberi kuasa kepada model bahasa besar

Llamaindex adalah rangka kerja data aplikasi berdasarkan model bahasa besar (LLM). LLMS seperti GPT-4 Pra-Latih Sekumpulan besar set data awam untuk menyediakan keupayaan pemprosesan bahasa semulajadi yang kuat dari kotak. Walau bagaimanapun, utiliti mereka akan terhad tanpa akses kepada data peribadi anda sendiri.

Llamaindex membolehkan anda menelan data dari API, pangkalan data, PDF dan sumber lain melalui penyambung data yang fleksibel. Data -data ini diindeks ke dalam perwakilan perantaraan yang dioptimumkan untuk LLM. Llamaindex kemudian membenarkan pertanyaan bahasa dan perbualan semula jadi dengan data anda melalui enjin pertanyaan, antara muka sembang, dan ejen yang didorong oleh LLM. Ia membolehkan LLM anda mengakses dan mentafsir data peribadi secara berskala tanpa melatih semula model.

Sama ada anda seorang pemula mencari kaedah bahasa semulajadi yang mudah untuk menanyakan data, atau pengguna lanjutan yang memerlukan penyesuaian yang mendalam, Llamaindex mempunyai alat yang sepadan. API Lanjutan membolehkan anda memulakan dengan hanya lima kod elemen, manakala API peringkat rendah membolehkan anda mengawal sepenuhnya pengambilan data, pengindeksan, pengambilan dan banyak lagi.

bagaimana llamaindex berfungsi

Llamaindex menggunakan sistem generasi yang dipertingkatkan (RAG) yang menggabungkan model bahasa yang besar dengan asas pengetahuan peribadi. Ia biasanya terdiri daripada dua fasa: fasa pengindeksan dan fasa pertanyaan.

LlamaIndex: A Data Framework for the Large Language Models (LLMs) based applications

gambar adalah dari konsep canggih

Fasa indeks

Semasa fasa pengindeksan, Llamaindex akan mengindeks data peribadi dengan cekap ke dalam indeks vektor. Langkah ini membantu mewujudkan asas pengetahuan yang boleh dicari khusus untuk bidang anda. Anda boleh memasukkan dokumen teks, rekod pangkalan data, graf pengetahuan, dan jenis data lain.

Pada dasarnya, indeks menukarkan data ke dalam vektor angka atau embedding untuk menangkap makna semantiknya. Ia membolehkan carian cepat kesamaan di seluruh kandungan.

Peringkat pertanyaan

Di peringkat pertanyaan, saluran paip RAG mencari maklumat yang paling relevan berdasarkan pertanyaan pengguna. Maklumat ini kemudiannya diberikan kepada LLM dengan pertanyaan untuk membuat respons yang tepat.

Prosedur ini membolehkan LLM mengakses maklumat semasa dan terkini yang mungkin tidak dimasukkan dalam latihan awalnya.

Cabaran utama pada peringkat ini adalah untuk mengambil, mengatur, dan alasan tentang maklumat dari pelbagai pangkalan pengetahuan yang mungkin wujud.

Ketahui lebih lanjut mengenai RAG dalam sampel Kod Generasi Pinecone Retrieval kami.

Tetapan llamaindex

Sebelum kita menyelam ke dalam tutorial dan projek Llamaindex, kita perlu memasang pakej Python dan menubuhkan API.

kita hanya boleh memasang llamaindex menggunakan PIP.

<code>pip install llama-index</code>
Secara lalai, Llamaindex menggunakan model OpenAI GPT-3-3-Davinci-003. Untuk menggunakan model ini, anda mesti menetapkan OpenAI_API_KEY. Anda boleh membuat akaun percuma dan mendapatkan kunci API dengan log masuk ke token API baru OpenAI.

<code>pip install llama-index</code>

Juga, pastikan anda telah memasang pakej Openai.

<code>import os

os.environ["OPENAI_API_KEY"] = "INSERT OPENAI KEY"</code>

Tambahkan data peribadi ke LLM menggunakan llamaindex

Dalam bahagian ini, kita akan belajar bagaimana membuat pembaca resume menggunakan Llamaindex. Anda boleh memuat turun resume anda dengan melawat halaman profil LinkedIn, mengklik "Lebih", dan kemudian "Simpan sebagai PDF".

Sila ambil perhatian bahawa kami menggunakan Datalab untuk menjalankan kod Python. Anda boleh mengakses semua kod dan output yang relevan dalam llamaindex: Tambah data peribadi ke buku kerja LLM;

kita mesti memasang llama-index, openai dan pypdf sebelum menjalankan apa-apa. Kami memasang PYPDF supaya kami dapat membaca dan menukar fail PDF.

<code>pip install openai</code>

memuatkan data dan buat indeks

Kami mempunyai direktori yang dipanggil "Data Private" yang mengandungi hanya satu fail PDF. Kami akan membacanya menggunakan SimpleDirectoryReader dan kemudian menukarnya ke indeks menggunakan TreeIndex.

<code>%pip install llama-index openai pypdf</code>

RUN Query

Setelah data diindeks, anda boleh mula bertanya dengan menggunakan as_query_engine (). Fungsi ini membolehkan anda bertanya soalan mengenai maklumat khusus dalam dokumen dan mendapatkan respons yang sepadan dengan bantuan model OpenAI GPT-3 Text-Davinci-003.

NOTA: Anda boleh menyediakan API OpenAI di Datalab berikutan arahan untuk menggunakan GPT-3.5 dan GPT-4 melalui API OpenAI dalam tutorial Python.

Seperti yang dapat kita lihat, model LLM menjawab pertanyaan dengan tepat. Ia mencari indeks dan mendapati maklumat yang relevan.

<code>from llama_index import TreeIndex, SimpleDirectoryReader

resume = SimpleDirectoryReader("Private-Data").load_data()
new_index = TreeIndex.from_documents(resume)</code>
<code>query_engine = new_index.as_query_engine()
response = query_engine.query("When did Abid graduated?")
print(response)</code>

kita boleh meminta maklumat pensijilan lagi. Nampaknya Llamaindex telah memahami sepenuhnya calon -calon, yang mungkin memberi manfaat kepada syarikat -syarikat yang mencari bakat tertentu.

<code>Abid graduated in February 2014.</code>
<code>response = query_engine.query("What is the name of certification that Abid received?")
print(response)</code>

Konteks Simpan dan Beban

Mewujudkan indeks adalah proses yang memakan masa. Kita boleh mengelakkan mencipta indeks dengan menyimpan konteks. Secara lalai, arahan berikut akan menyimpan kedai indeks yang disimpan dalam direktori ./Storage.

<code>Data Scientist Professional</code>

LlamaIndex: A Data Framework for the Large Language Models (LLMs) based applications

Apabila kita selesai, kita dapat dengan cepat memuat konteks penyimpanan dan membuat indeks.

<code>new_index.storage_context.persist()</code>
Untuk mengesahkan bahawa ia berfungsi dengan betul, kami akan bertanya soalan enjin pertanyaan dalam resume. Nampaknya kami berjaya memuatkan konteksnya.

<code>from llama_index import StorageContext, load_index_from_storage

storage_context = StorageContext.from_defaults(persist_)
index = load_index_from_storage(storage_context)</code>
<code>query_engine = index.as_query_engine()
response = query_engine.query("What is Abid's job title?")
print(response)</code>
chatbot

Di samping Q & A, kita juga boleh membuat chatbots peribadi menggunakan Llamaindex. Kami hanya perlu menggunakan fungsi as_chat_engine () untuk memulakan indeks.

kami akan mengemukakan soalan mudah.

<code>Abid's job title is Technical Writer.</code>
<code>query_engine = index.as_chat_engine()
response = query_engine.chat("What is the job title of Abid in 2021?")
print(response)</code>
Dan tanpa menyediakan konteks tambahan, kami akan bertanya soalan susulan.

<code>Abid's job title in 2021 is Data Science Consultant.</code>
<code>response = query_engine.chat("What else did he do during that time?")
print(response)</code>
jelas bahawa enjin sembang berjalan dengan sempurna.

Selepas membina aplikasi bahasa, langkah seterusnya pada garis masa anda adalah membaca tentang kebaikan dan keburukan menggunakan model bahasa besar (LLM) di awan berbanding menjalankannya secara tempatan. Ini akan membantu anda menentukan pendekatan mana yang terbaik untuk keperluan anda.

Bina Wikitext untuk Ucapan dengan Llamaindex

Projek seterusnya kami melibatkan membangunkan aplikasi yang dapat menjawab soalan dari Wikipedia dan mengubahnya menjadi suara.

Sumber kod dan maklumat tambahan boleh didapati dalam buku kerja Datalab.

laman web merangkak halaman wikipedia

Pertama, kami akan merangkak data dari laman web Itali-Wikipedia dan simpannya sebagai fail Italy_text.txt dalam folder data.

<code>pip install llama-index</code>

LlamaIndex: A Data Framework for the Large Language Models (LLMs) based applications

Memuatkan data dan indeks bangunan

Seterusnya, kita perlu memasang pakej yang diperlukan. Pakej ElevenLabs membolehkan kami dengan mudah menukar teks ke ucapan menggunakan API.

<code>import os

os.environ["OPENAI_API_KEY"] = "INSERT OPENAI KEY"</code>
Dengan menggunakan SimpleDirectoryReader, kami akan memuatkan data dan menukar fail txt ke kedai vektor menggunakan VectorStoreIndex.

<code>pip install openai</code>
pertanyaan

Pelan kami adalah untuk bertanya soalan umum tentang negara dan mendapatkan respons dari LLM query_engine.

<code>%pip install llama-index openai pypdf</code>

LlamaIndex: A Data Framework for the Large Language Models (LLMs) based applications teks untuk suara

Selepas

, kami akan menggunakan modul llama_index.tts untuk mengakses API ElevenLabstts. Anda perlu menyediakan kunci API ElevenLabs untuk membolehkan ciri generasi audio. Anda boleh mendapatkan kunci API secara percuma di laman web ElevenLabs.

Kami menambah tindak balas kepada fungsi Generate_audio untuk menghasilkan ucapan semula jadi. Untuk mendengar audio, kami akan menggunakan fungsi audio ipython.display.
<code>from llama_index import TreeIndex, SimpleDirectoryReader

resume = SimpleDirectoryReader("Private-Data").load_data()
new_index = TreeIndex.from_documents(resume)</code>

<code>query_engine = new_index.as_query_engine()
response = query_engine.query("When did Abid graduated?")
print(response)</code>

Ini adalah contoh mudah. Anda boleh menggunakan pelbagai modul untuk membuat pembantu anda, seperti Siri, yang menjawab soalan anda dengan menafsirkan data peribadi anda. Untuk maklumat lanjut, lihat dokumentasi Llamaindex. LlamaIndex: A Data Framework for the Large Language Models (LLMs) based applications

Selain Llamaindex, Langchain juga membolehkan anda membina aplikasi berasaskan LLM. Di samping itu, anda boleh membaca Langchain yang bermula dengan aplikasi kejuruteraan data dan data untuk mempelajari gambaran keseluruhan tentang apa yang boleh anda lakukan dengan Langchain, termasuk isu -isu dan data kes penggunaan data yang diselesaikan oleh Langchain.

Llamaindex Gunakan Kes

Llamaindex menyediakan toolkit lengkap untuk membina aplikasi berasaskan bahasa. Paling penting, anda boleh menggunakan pelbagai pemuat data dan alat ejen di Hub Llama untuk membangunkan aplikasi yang kompleks dengan pelbagai keupayaan.

Anda boleh menggunakan satu atau lebih pemuat data plugin untuk menyambungkan sumber data tersuai ke LLM anda.

LlamaIndex: A Data Framework for the Large Language Models (LLMs) based applications

Loader Data dari Llama Hub

Anda juga boleh menggunakan alat ejen untuk mengintegrasikan alat dan API pihak ketiga.

LlamaIndex: A Data Framework for the Large Language Models (LLMs) based applications

alat agistrator dari llama hub

Singkatnya, anda boleh membina dengan llamaindex:

Q & A berasaskan dokumen

    chatbot
  • Agensi
  • data berstruktur
  • aplikasi web stack penuh
  • Tetapan peribadi
  • Untuk mengetahui lebih lanjut mengenai kes -kes penggunaan ini, lawati dokumentasi Llamaindex.
Kesimpulan

Llamaindex menyediakan toolkit yang kuat untuk membina sistem penjanaan semula pengambilan semula yang menggabungkan manfaat model bahasa yang besar dan pangkalan pengetahuan tersuai. Ia dapat mewujudkan kedai indeks data khusus domain dan menggunakannya semasa kesimpulan untuk menyediakan konteks yang relevan untuk LLM untuk menjana respons berkualiti tinggi.

Dalam tutorial ini, kami belajar tentang Llamaindex dan prinsip -prinsipnya. Di samping itu, kami membina projek pembaca resume dan teks-ke-ucapan menggunakan hanya beberapa baris kod Python. Mewujudkan aplikasi LLM dengan Llamaindex sangat mudah, dan ia menyediakan perpustakaan besar plugin, pemuat data dan ejen.

Untuk menjadi pemaju LLM pakar, langkah seterusnya adalah untuk mengambil kursus induk konsep model bahasa yang besar. Kursus ini akan memberi anda pemahaman yang komprehensif mengenai LLM, termasuk aplikasi mereka, kaedah latihan, pertimbangan etika dan penyelidikan terkini.

Atas ialah kandungan terperinci Llamaindex: Rangka Kerja Data untuk Aplikasi Berdasarkan Model Bahasa Besar (LLMS). Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Alternatif Notebooklm Top 7 Top Alternatif Notebooklm Top 7 Top Jun 17, 2025 pm 04:32 PM

NotebookLM Google adalah alat pengambilan nota AI pintar yang dikuasakan oleh Gemini 2.5, yang cemerlang dalam meringkaskan dokumen. Walau bagaimanapun, ia masih mempunyai batasan penggunaan alat, seperti topi sumber, pergantungan awan, dan ciri "Discover" baru -baru ini

Dari Adopsi ke Kelebihan: 10 Trend Membentuk LLMS Enterprise pada tahun 2025 Dari Adopsi ke Kelebihan: 10 Trend Membentuk LLMS Enterprise pada tahun 2025 Jun 20, 2025 am 11:13 AM

Berikut adalah sepuluh trend yang menarik yang membentuk semula landskap AI perusahaan. Komitmen kewangan untuk llmsorganizations secara signifikan meningkatkan pelaburan mereka di LLM, dengan 72% menjangkakan perbelanjaan mereka meningkat tahun ini. Pada masa ini, hampir 40% a

Pelabur AI terjebak dengan terhenti? 3 Laluan Strategik untuk Membeli, Membina, atau Berkongsi dengan Vendor AI Pelabur AI terjebak dengan terhenti? 3 Laluan Strategik untuk Membeli, Membina, atau Berkongsi dengan Vendor AI Jul 02, 2025 am 11:13 AM

Pelaburan adalah berkembang pesat, tetapi modal sahaja tidak mencukupi. Dengan penilaian yang semakin meningkat dan tersendiri pudar, pelabur dalam dana usaha yang berfokus pada AI mesti membuat keputusan utama: Beli, membina, atau rakan kongsi untuk mendapatkan kelebihan? Inilah cara menilai setiap pilihan dan PR

Pertumbuhan AI generatif yang tidak boleh dihalang (AI Outlook Bahagian 1) Pertumbuhan AI generatif yang tidak boleh dihalang (AI Outlook Bahagian 1) Jun 21, 2025 am 11:11 AM

Pendedahan: Syarikat saya, Tirias Research, telah berunding untuk IBM, NVIDIA, dan syarikat -syarikat lain yang disebutkan dalam artikel ini. Pemandu Growth Surge dalam penggunaan AI generatif lebih dramatik daripada unjuran yang paling optimis dapat diramalkan. Kemudian, a

Laporan Gallup Baru: Kesediaan Kebudayaan AI Menuntut Mindset Baru Laporan Gallup Baru: Kesediaan Kebudayaan AI Menuntut Mindset Baru Jun 19, 2025 am 11:16 AM

Jurang antara penggunaan yang meluas dan kesediaan emosi mendedahkan sesuatu yang penting tentang bagaimana manusia terlibat dengan pelbagai sahabat digital mereka. Kami memasuki fasa kewujudan bersama di mana algoritma menenun ke dalam harian kami

Permulaan ini membantu perniagaan muncul dalam ringkasan carian AI Permulaan ini membantu perniagaan muncul dalam ringkasan carian AI Jun 20, 2025 am 11:16 AM

Hari -hari itu bernombor, terima kasih kepada AI. Cari lalu lintas untuk perniagaan seperti tapak perjalanan kayak dan syarikat edtech Chegg menurun, sebahagiannya kerana 60% carian di laman web seperti Google tidak mengakibatkan pengguna mengklik sebarang pautan, menurut satu stud

AGI dan AI Superintelligence akan dengan ketara memukul penghalang asumsi siling manusia AGI dan AI Superintelligence akan dengan ketara memukul penghalang asumsi siling manusia Jul 04, 2025 am 11:10 AM

Mari kita bercakap mengenainya. Analisis terobosan AI yang inovatif ini adalah sebahagian daripada liputan lajur Forbes yang berterusan pada AI terkini, termasuk mengenal pasti dan menerangkan pelbagai kerumitan AI yang memberi kesan (lihat pautan di sini). Menuju ke Agi dan

Cisco mencatatkan perjalanan AI yang agentik di Cisco Live A.S. 2025 Cisco mencatatkan perjalanan AI yang agentik di Cisco Live A.S. 2025 Jun 19, 2025 am 11:10 AM

Mari kita lihat dengan lebih dekat apa yang saya dapati paling penting - dan bagaimana Cisco dapat membina usaha semasa untuk merealisasikan cita -citanya. (Nota: Cisco adalah pelanggan penasihat firma saya, Moor Insights & Strategy.) Berfokus pada AIS dan CU Agentik dan CU

See all articles