Model lokal, di mesin pilihan Anda.

Runtime lokal bawaan

Gunakan model yang didukung build terinstal. Penyiapan dan unduhan model mungkin memerlukan akses jaringan sebelum inferensi lokal dapat dimulai.

LM Studio

Jalankan server lokal, muat model yang kompatibel, dan konfigurasikan endpoint-nya di Codevalanche. Server harus tetap tersedia selama tugas berjalan.

Server kompatibel bergaya OpenAI

Konfigurasikan alamat server, model, dan kredensial yang diperlukan. Kompatibilitas API saja tidak menjamin semua alat atau kemampuan model.

Buka Model Lokal di Pengaturan untuk mengonfigurasi model yang didukung, atau konfigurasikan koneksi server lokal. Periksa model pilihan sebelum mengirim permintaan singkat di proyek contoh.

Model besar dapat melebihi memori yang tersedia atau terlalu lambat untuk tugas. Pilih model yang dapat ditangani mesin Anda; tidak ada persyaratan memori universal atau jaminan kecepatan.

Model yang berjalan di mesin Anda melakukan inferensi di sana. Unduhan model, alat terhubung, dan endpoint eksternal tetap dapat menggunakan jaringan. Alamat server di mesin lain mengirim permintaan ke mesin tersebut.

Memilih agen cloud berarti koneksi terpisah dan dapat mengirim konteks tugas ke penyedianya. Periksa model, endpoint, dan alat aktif sebelum menggunakan konten proyek yang sensitif.

Server tidak dapat dijangkau

Pastikan server berjalan serta alamat dan port yang dikonfigurasi cocok. Verifikasi akses dari mesin yang menjalankan Codevalanche.

Model tidak tersedia atau tidak kompatibel

Muat model yang diinginkan di server dan periksa nama terkonfigurasi serta kemampuan yang didukung.

Sumber daya tidak cukup

Coba model lebih kecil yang didukung atau kosongkan memori. Periksa kesalahan runtime sebelum mengulangi permintaan.