Codevalanche'ta yerel AI
Seçtiğiniz makinede yerel bir model.
Çıkarım için desteklenen bir yerel çalışma ortamı veya uyumlu sunucu seçin. Model boyutu, bellek ve donanım, modelin görevinize uygunluğunu belirler.

Çıkarımın nerede çalışacağını seçin.
- Yerleşik yerel çalışma ortamı
- Yüklü derlemenin desteklediği modeli kullanın. Yerel çıkarım başlamadan önce model kurulumu ve indirmeleri ağ erişimi gerektirebilir.
- LM Studio
- Yerel sunucuyu başlatın, uyumlu modeli yükleyin ve uç noktasını Codevalanche'ta yapılandırın. Görev çalışırken sunucu erişilebilir kalmalıdır.
- OpenAI tarzı uyumlu sunucu
- Sunucu adresini, modeli ve gerekli kimlik bilgilerini yapılandırın. Yalnızca API uyumluluğu, her aracı veya model yeteneğini garanti etmez.
Küçük bir görevle başlayın.
Desteklenen modeli yapılandırmak için Ayarlar'da Yerel Modeller'i açın veya yerel sunucu bağlantısını yapılandırın. Örnek projede kısa bir istek göndermeden önce seçili modeli kontrol edin.
Büyük modeller kullanılabilir belleği aşabilir veya görev için çok yavaş çalışabilir. Makinenizin desteklediği modeli seçin; evrensel bellek gereksinimi veya hız garantisi yoktur.
Yerel çıkarımın bir sınırı vardır.
Kendi makinenizde çalışan model, çıkarımı orada yapar. Model indirmeleri, bağlı araçlar ve dış uç noktalar yine de ağı kullanabilir. Başka bir makinenin sunucu adresi, istekleri o makineye gönderir.
Bulut ajanı seçmek ayrı bir bağlantıdır ve görev bağlamını sağlayıcısına gönderebilir. Hassas proje içeriğini kullanmadan önce etkin modeli, uç noktayı ve araçları kontrol edin.
Güvenlik ve veri sınırlarıYerel model yanıt vermiyorsa.
- Sunucuya erişilemiyor
- Sunucunun çalıştığını ve yapılandırılmış adresle bağlantı noktasının eşleştiğini kontrol edin. Codevalanche çalıştıran makineden erişimi doğrulayın.
- Model kullanılamıyor veya uyumsuz
- İstediğiniz modeli sunucuya yükleyin, yapılandırılmış adını ve desteklenen yeteneklerini kontrol edin.
- Kaynaklar yetersiz
- Desteklenen daha küçük bir model deneyin veya bellek boşaltın. İsteği tekrarlamadan önce çalışma ortamının hatasını kontrol edin.