Локальный ИИ в Codevalanche
Локальная модель на выбранном вами компьютере.
Выберите поддерживаемую локальную среду выполнения или совместимый сервер для вычислений. Размер модели, память и оборудование определяют её пригодность для задачи.

Выберите, где выполняется модель.
- Встроенная локальная среда выполнения
- Используйте модель, поддерживаемую установленной сборкой. Для настройки и загрузки модели может потребоваться сеть до начала локальных вычислений.
- LM Studio
- Запустите локальный сервер, загрузите совместимую модель и задайте её конечную точку в Codevalanche. Сервер должен оставаться доступным во время выполнения задачи.
- Совместимый сервер в стиле OpenAI
- Задайте адрес сервера, модель и необходимые учётные данные. Совместимость API сама по себе не гарантирует поддержку всех инструментов или возможностей модели.
Начните с небольшой задачи.
Откройте локальные модели в настройках для настройки поддерживаемой модели либо настройте подключение к локальному серверу. Перед коротким запросом в примере проекта проверьте выбранную модель.
Большие модели могут превышать доступную память или работать слишком медленно для задачи. Выберите модель по возможностям компьютера; универсальных требований к памяти и гарантии скорости нет.
У локальных вычислений есть границы.
Модель на вашем компьютере выполняет вычисления там же. Загрузка моделей, подключённые инструменты и внешние конечные точки всё ещё могут использовать сеть. Адрес сервера на другом компьютере направляет запросы на тот компьютер.
Выбор облачного агента создаёт отдельное подключение и может отправлять контекст задачи его провайдеру. Прежде чем использовать конфиденциальные данные проекта, проверьте активную модель, конечную точку и инструменты.
Безопасность и границы данныхЕсли локальная модель не отвечает.
- Сервер недоступен
- Убедитесь, что сервер работает, а заданные адрес и порт ему соответствуют. Проверьте доступ с компьютера, на котором работает Codevalanche.
- Модель недоступна или несовместима
- Загрузите нужную модель на сервере и проверьте её заданное имя и поддерживаемые возможности.
- Недостаточно ресурсов
- Попробуйте меньшую поддерживаемую модель или освободите память. Перед повтором запроса проверьте ошибку среды выполнения.