AI locală în Codevalanche

Un model local, pe calculatorul ales de tine.

Alege un mediu de execuție local acceptat sau un server compatibil pentru inferență. Dimensiunea modelului, memoria și hardware-ul determină dacă modelul este potrivit pentru sarcina ta.

Primii pași Starea versiunii pentru Windows

O sarcină nouă în Codevalanche, cu un brief scris în câmpul de mesaj, gata de trimis. — Sarcina de exemplu arată un model local selectat sub caseta de mesaj. Este un exemplu de configurare, nu un test de performanță.

Alege unde rulează inferența.

Mediu de execuție local integrat: Folosește un model acceptat de versiunea instalată. Configurarea și descărcarea modelului pot necesita acces la rețea înainte de a începe inferența locală.
LM Studio: Pornește serverul local, încarcă un model compatibil și configurează-i punctul final în Codevalanche. Serverul trebuie să rămână disponibil pe durata sarcinii.
Server compatibil cu formatul OpenAI: Configurează adresa serverului, modelul și orice acreditări necesare. Compatibilitatea API nu garantează singură toate capacitățile instrumentelor sau modelelor.

Începe cu o sarcină mică.

Deschide Local Models în Settings pentru a configura un model acceptat sau configurează conexiunea la serverul local. Verifică modelul selectat înainte de a trimite o cerere scurtă într-un proiect de exemplu.

Modelele mari pot depăși memoria disponibilă sau pot rula prea lent pentru sarcină. Alege un model pe care calculatorul tău îl poate susține; nu există o cerință universală de memorie sau o garanție de viteză.

Inferența locală are o limită.

Un model care rulează pe calculatorul tău efectuează inferența acolo. Descărcările de modele, instrumentele conectate și punctele finale externe pot folosi în continuare rețeaua. O adresă de server de pe alt calculator trimite cererile către acel calculator.

Alegerea unui agent din cloud reprezintă o conexiune separată și poate trimite contextul sarcinii furnizorului său. Verifică modelul, punctul final și instrumentele active înainte de a folosi conținut sensibil din proiect.

Securitate și limitele datelor

Dacă modelul local nu răspunde.

Server inaccesibil: Verifică dacă serverul rulează și dacă adresa și portul configurate corespund. Verifică accesul de pe calculatorul pe care rulează Codevalanche.
Model indisponibil sau incompatibil: Încarcă modelul dorit pe server și verifică numele configurat și capacitățile acceptate.
Resurse insuficiente: Încearcă un model acceptat mai mic sau eliberează memorie. Verifică eroarea mediului de execuție înainte de a repeta cererea.