Codevalanche'ta yerel AI

Seçtiğiniz makinede yerel bir model.

Çıkarım için desteklenen bir yerel çalışma ortamı veya uyumlu sunucu seçin. Model boyutu, bellek ve donanım, modelin görevinize uygunluğunu belirler.

Codevalanche'ta mesaj kutusuna yazılmış bir görev tarifiyle hazır bekleyen yeni bir görev.
Örnek görevde mesaj kutusunun altında yerel model seçili gösterilir. Bu bir yapılandırma örneğidir, performans ölçümü değildir.

Çıkarımın nerede çalışacağını seçin.

Yerleşik yerel çalışma ortamı
Yüklü derlemenin desteklediği modeli kullanın. Yerel çıkarım başlamadan önce model kurulumu ve indirmeleri ağ erişimi gerektirebilir.
LM Studio
Yerel sunucuyu başlatın, uyumlu modeli yükleyin ve uç noktasını Codevalanche'ta yapılandırın. Görev çalışırken sunucu erişilebilir kalmalıdır.
OpenAI tarzı uyumlu sunucu
Sunucu adresini, modeli ve gerekli kimlik bilgilerini yapılandırın. Yalnızca API uyumluluğu, her aracı veya model yeteneğini garanti etmez.

Küçük bir görevle başlayın.

Desteklenen modeli yapılandırmak için Ayarlar'da Yerel Modeller'i açın veya yerel sunucu bağlantısını yapılandırın. Örnek projede kısa bir istek göndermeden önce seçili modeli kontrol edin.

Büyük modeller kullanılabilir belleği aşabilir veya görev için çok yavaş çalışabilir. Makinenizin desteklediği modeli seçin; evrensel bellek gereksinimi veya hız garantisi yoktur.

Yerel çıkarımın bir sınırı vardır.

Kendi makinenizde çalışan model, çıkarımı orada yapar. Model indirmeleri, bağlı araçlar ve dış uç noktalar yine de ağı kullanabilir. Başka bir makinenin sunucu adresi, istekleri o makineye gönderir.

Bulut ajanı seçmek ayrı bir bağlantıdır ve görev bağlamını sağlayıcısına gönderebilir. Hassas proje içeriğini kullanmadan önce etkin modeli, uç noktayı ve araçları kontrol edin.

Güvenlik ve veri sınırları

Yerel model yanıt vermiyorsa.

Sunucuya erişilemiyor
Sunucunun çalıştığını ve yapılandırılmış adresle bağlantı noktasının eşleştiğini kontrol edin. Codevalanche çalıştıran makineden erişimi doğrulayın.
Model kullanılamıyor veya uyumsuz
İstediğiniz modeli sunucuya yükleyin, yapılandırılmış adını ve desteklenen yeteneklerini kontrol edin.
Kaynaklar yetersiz
Desteklenen daha küçük bir model deneyin veya bellek boşaltın. İsteği tekrarlamadan önce çalışma ortamının hatasını kontrol edin.