Meneroka Perpustakaan Jlama dengan Spring Boot dan Langchain
Jan 28, 2025 am 04:16 AM
Jlama , penyelesaian berasaskan Java untuk mengintegrasikan LLM ke dalam ekosistem Java. Jlama menawarkan fleksibiliti, boleh digunakan sebagai antara muka baris arahan (CLI) atau sebagai kebergantungan dalam projek anda (mis., Via ). Kami akan menunjukkan fungsinya dengan mengintegrasikannya dengan aplikasi pom.xml Spring Boot .
Prasyarat dan sorotan
Jlama memerlukan Java 20 atau lebih tinggi kerana penggunaan API vektor Java. Pengguna yang sedia ada boleh mengintegrasikannya dengan Jlama, memanfaatkan alat Langchain untuk interaksi LLM yang dipermudahkan.
Contoh Projek ini mempunyai dua titik akhir yang berinteraksi dengan LLM melalui petikan:
titik akhir jlama sahaja.
- Langchain dan Jlama menggabungkan titik akhir.
Jlama Endpoint
titik akhir ini secara langsung menggunakan jlama untuk menghasilkan respons berdasarkan arahan pengguna.
Model yang dikehendaki ditakrifkan. Jika tidak tersedia secara tempatan, ia dimuat turun secara automatik ke direktori yang ditentukan. Konteks segera dibuat, dan Jlama menjana respons.
@PostMapping("/jlama") // Endpoint for JLama chat functionality
public ResponseEntity<ChatPromptResponse> chatJlama(@RequestBody ChatPromptRequest request) {
PromptContext context;
if (abstractModel.promptSupport().isPresent()) {
context = abstractModel.promptSupport()
.get()
.builder()
.addSystemMessage("You are a helpful chatbot providing concise answers.")
.addUserMessage(request.prompt())
.build();
} else {
context = PromptContext.of(request.prompt());
}
System.out.println("Prompt: " + context.getPrompt() + "\n");
Generator.Response response = abstractModel
.generate(UUID.randomUUID(), context, 0.0f, 256, (s, f) -> {});
System.out.println(response.responseText);
return ResponseEntity.ok(new ChatPromptResponse(response.responseText));
}
Langchain dan Jlama Endpoint
// Defining the model and directory for downloading (if needed) from Hugging Face String model = "tjake/Llama-3.2-1B-Instruct-JQ4"; String workingDirectory = "./models"; // Downloading (if necessary) or retrieving the model locally File localModelPath = new Downloader(workingDirectory, model).huggingFaceModel(); // Loading the model ModelSupport.loadModel(localModelPath, DType.F32, DType.I8);
endpoint ini menggunakan langchain, mengurangkan kod yang diperlukan untuk interaksi jlama.
Langchain memudahkan pelaksanaan dengan menentukan model dan parameter secara langsung di dalam pembina.
@PostMapping("/langchain")
public ResponseEntity<Object> chatLangChain(@RequestBody ChatPromptRequest request) {
var model = JlamaChatModel.builder()
.modelName("meta-llama/Llama-3.2-1B")
.temperature(0.7f)
.build();
var promptResponse = model.generate(
SystemMessage.from("You are a helpful chatbot providing the shortest possible response."),
UserMessage.from(request.prompt()))
.content()
.text();
System.out.println("\n" + promptResponse + "\n");
return ResponseEntity.ok(promptResponse);
}
Pautan dan rujukan
Projek ini diilhamkan oleh persembahan Profesor Isidro di Soajava. [Pautan ke persembahan (ganti dengan pautan sebenar jika tersedia)]
Dokumentasi yang berguna:
jlama on github [pautan ke jlama gitHub (gantikan dengan pautan sebenar)]
- Langchain [pautan ke dokumentasi Langchain (ganti dengan pautan sebenar)]
Jlama dan Langchain menyediakan cara yang kuat untuk mengintegrasikan LLM ke dalam aplikasi Java. Artikel ini menunjukkan cara mengkonfigurasi dan menggunakan alat ini dengan Spring Boot untuk membuat titik akhir pemprosesan prompt teks yang cekap.
Adakah anda bekerja dengan LLMS dalam projek Java? Kongsi pengalaman dan pandangan anda dalam komen!
Atas ialah kandungan terperinci Meneroka Perpustakaan Jlama dengan Spring Boot dan Langchain. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undress AI Tool
Gambar buka pakaian secara percuma
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Clothoff.io
Penyingkiran pakaian AI
Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Teknik Pengaturcaraan Asynchronous di Java Moden
Jul 07, 2025 am 02:24 AM
Java menyokong pengaturcaraan asynchronous termasuk penggunaan aliran yang boleh diselesaikan, aliran responsif (seperti ProjectReactor), dan benang maya di Java19. 1.CompletableFuture meningkatkan kebolehbacaan dan penyelenggaraan kod melalui panggilan rantai, dan menyokong orkestrasi tugas dan pengendalian pengecualian; 2. ProjectReactor menyediakan jenis mono dan fluks untuk melaksanakan pengaturcaraan responsif, dengan mekanisme tekanan belakang dan pengendali yang kaya; 3. Thread maya mengurangkan kos konvensional, sesuai untuk tugas I/O-intensif, dan lebih ringan dan lebih mudah untuk berkembang daripada benang platform tradisional. Setiap kaedah mempunyai senario yang berkenaan, dan alat yang sesuai harus dipilih mengikut keperluan anda dan model campuran harus dielakkan untuk mengekalkan kesederhanaan
Amalan terbaik untuk menggunakan enum di java
Jul 07, 2025 am 02:35 AM
Di Java, enums sesuai untuk mewakili set tetap tetap. Amalan terbaik termasuk: 1. Gunakan enum untuk mewakili keadaan tetap atau pilihan untuk meningkatkan keselamatan jenis dan kebolehbacaan; 2. Tambah sifat dan kaedah untuk meningkatkan fleksibiliti, seperti menentukan bidang, pembina, kaedah penolong, dan lain -lain; 3. Gunakan enummap dan enumset untuk meningkatkan prestasi dan jenis keselamatan kerana mereka lebih cekap berdasarkan tatasusunan; 4. Elakkan penyalahgunaan enum, seperti nilai dinamik, perubahan kerap atau senario logik kompleks, yang harus digantikan dengan kaedah lain. Penggunaan enum yang betul boleh meningkatkan kualiti kod dan mengurangkan kesilapan, tetapi anda perlu memberi perhatian kepada sempadannya yang berkenaan.
Memahami Java Nio dan kelebihannya
Jul 08, 2025 am 02:55 AM
Javanio adalah IOAPI baru yang diperkenalkan oleh Java 1.4. 1) bertujuan untuk penampan dan saluran, 2) mengandungi komponen teras penampan, saluran dan pemilih, 3) menyokong mod tidak menyekat, dan 4) mengendalikan sambungan serentak lebih cekap daripada IO tradisional. Kelebihannya dicerminkan dalam: 1) IO yang tidak menyekat mengurangkan overhead thread, 2) Buffer meningkatkan kecekapan penghantaran data, 3) pemilih menyedari multiplexing, dan 4) memori pemetaan memori sehingga membaca dan menulis fail. Nota Apabila menggunakan: 1) Operasi flip/jelas penampan mudah dikelirukan, 2) Data yang tidak lengkap perlu diproses secara manual tanpa menyekat, 3) Pendaftaran pemilih mesti dibatalkan dalam masa, 4) NIO tidak sesuai untuk semua senario.
Bagaimanakah hashmap berfungsi secara dalaman di Java?
Jul 15, 2025 am 03:10 AM
HashMap melaksanakan penyimpanan pasangan nilai utama melalui jadual hash di Java, dan terasnya terletak di lokasi data yang cepat. 1. Mula -mula gunakan kaedah hashcode () kunci untuk menghasilkan nilai hash dan mengubahnya menjadi indeks array melalui operasi bit; 2 Objek yang berbeza boleh menghasilkan nilai hash yang sama, mengakibatkan konflik. Pada masa ini, nod dipasang dalam bentuk senarai yang dipautkan. Selepas JDK8, senarai yang dipautkan terlalu panjang (panjang lalai 8) dan ia akan ditukar kepada pokok merah dan hitam untuk meningkatkan kecekapan; 3. Apabila menggunakan kelas tersuai sebagai kunci, sama () dan kaedah hashcode () mesti ditulis semula; 4. HashMap secara dinamik mengembangkan kapasiti. Apabila bilangan elemen melebihi kapasiti dan multiplies oleh faktor beban (lalai 0.75), mengembangkan dan mengembalikan; 5. hashmap tidak selamat benang, dan concu harus digunakan dalam multithreaded
Penggunaan enum java dan amalan terbaik yang berkesan
Jul 07, 2025 am 02:43 AM
Penghitungan Java bukan sahaja mewakili pemalar, tetapi juga boleh merangkum tingkah laku, membawa data, dan melaksanakan antara muka. 1. Penghitungan adalah kelas yang digunakan untuk menentukan contoh tetap, seperti minggu dan negeri, yang lebih selamat daripada rentetan atau bilangan bulat; 2. Ia boleh membawa data dan kaedah, seperti nilai lulus melalui pembina dan menyediakan kaedah akses; 3. Ia boleh menggunakan suis untuk mengendalikan logik yang berbeza, dengan struktur yang jelas; 4. Ia boleh melaksanakan antara muka atau kaedah abstrak untuk membuat tingkah laku yang berbeza dari nilai penghitungan yang berbeza; 5. Beri perhatian untuk mengelakkan penyalahgunaan, perbandingan kod keras, pergantungan pada nilai ordinal, dan penamaan dan bersiri yang munasabah.
Apakah corak reka bentuk singleton di java?
Jul 09, 2025 am 01:32 AM
Corak reka bentuk singleton di Java memastikan bahawa kelas hanya mempunyai satu contoh dan menyediakan titik akses global melalui pembina swasta dan kaedah statik, yang sesuai untuk mengawal akses kepada sumber yang dikongsi. Kaedah pelaksanaan termasuk: 1. 2. Pemprosesan Safe Thread, memastikan bahawa hanya satu contoh yang dibuat dalam persekitaran berbilang threaded melalui kaedah penyegerakan atau penguncian cek berganda, dan mengurangkan kesan prestasi; 3. 4. Pelaksanaan penghitungan, menggunakan penghitungan Java untuk secara semulajadi menyokong serialisasi, keselamatan thread dan mencegah serangan reflektif, adalah kaedah ringkas dan boleh dipercayai. Kaedah pelaksanaan yang berbeza boleh dipilih mengikut keperluan khusus
Contoh pilihan Java
Jul 12, 2025 am 02:55 AM
Pilihan dapat jelas menyatakan niat dan mengurangkan bunyi kod untuk penghakiman null. 1. Pilihan.Ofnullable adalah cara biasa untuk menangani objek null. Sebagai contoh, apabila mengambil nilai dari peta, Orelse boleh digunakan untuk memberikan nilai lalai, supaya logik lebih jelas dan ringkas; 2. Gunakan panggilan rantaian peta untuk mencapai nilai bersarang untuk menghindari NPE dengan selamat, dan secara automatik menamatkan jika ada pautan adalah null dan mengembalikan nilai lalai; 3. Penapis boleh digunakan untuk penapisan bersyarat, dan operasi seterusnya akan terus dilakukan hanya jika syarat -syarat dipenuhi, jika tidak, ia akan melompat terus ke Orelse, yang sesuai untuk penghakiman perniagaan ringan; 4. Ia tidak disyorkan untuk menggunakan terlalu banyak pilihan, seperti jenis asas atau logik mudah, yang akan meningkatkan kerumitan, dan beberapa senario akan terus kembali ke NU.
Bagaimana untuk memperbaiki java.io.notserializableException?
Jul 12, 2025 am 03:07 AM
Penyelesaian teras untuk menghadapi java.io.notserializableException adalah untuk memastikan bahawa semua kelas yang perlu bersiri melaksanakan antara muka berseri dan periksa sokongan serialisasi objek bersarang. 1. Tambah implementsSerializable ke kelas utama; 2. Pastikan kelas medan tersuai yang sepadan di dalam kelas juga melaksanakan bersiri; 3. Gunakan sementara untuk menandakan medan yang tidak perlu bersiri; 4. Periksa jenis yang tidak berseri dalam koleksi atau objek bersarang; 5. Semak kelas mana yang tidak melaksanakan antara muka; 6. Pertimbangkan reka bentuk pengganti untuk kelas yang tidak dapat diubah suai, seperti menyimpan data utama atau menggunakan struktur pertengahan berseri; 7. Pertimbangkan untuk mengubah suai
