Локальный ИИ в Codevalanche

Локальная модель на выбранном вами компьютере.

Выберите поддерживаемую локальную среду выполнения или совместимый сервер для вычислений. Размер модели, память и оборудование определяют её пригодность для задачи.

Новая задача в Codevalanche с письменным брифом в поле сообщения, готовая к отправке.
В примере задачи локальная модель выбрана под полем сообщения. Это пример настройки, а не тест производительности.

Выберите, где выполняется модель.

Встроенная локальная среда выполнения
Используйте модель, поддерживаемую установленной сборкой. Для настройки и загрузки модели может потребоваться сеть до начала локальных вычислений.
LM Studio
Запустите локальный сервер, загрузите совместимую модель и задайте её конечную точку в Codevalanche. Сервер должен оставаться доступным во время выполнения задачи.
Совместимый сервер в стиле OpenAI
Задайте адрес сервера, модель и необходимые учётные данные. Совместимость API сама по себе не гарантирует поддержку всех инструментов или возможностей модели.

Начните с небольшой задачи.

Откройте локальные модели в настройках для настройки поддерживаемой модели либо настройте подключение к локальному серверу. Перед коротким запросом в примере проекта проверьте выбранную модель.

Большие модели могут превышать доступную память или работать слишком медленно для задачи. Выберите модель по возможностям компьютера; универсальных требований к памяти и гарантии скорости нет.

У локальных вычислений есть границы.

Модель на вашем компьютере выполняет вычисления там же. Загрузка моделей, подключённые инструменты и внешние конечные точки всё ещё могут использовать сеть. Адрес сервера на другом компьютере направляет запросы на тот компьютер.

Выбор облачного агента создаёт отдельное подключение и может отправлять контекст задачи его провайдеру. Прежде чем использовать конфиденциальные данные проекта, проверьте активную модель, конечную точку и инструменты.

Безопасность и границы данных

Если локальная модель не отвечает.

Сервер недоступен
Убедитесь, что сервер работает, а заданные адрес и порт ему соответствуют. Проверьте доступ с компьютера, на котором работает Codevalanche.
Модель недоступна или несовместима
Загрузите нужную модель на сервере и проверьте её заданное имя и поддерживаемые возможности.
Недостаточно ресурсов
Попробуйте меньшую поддерживаемую модель или освободите память. Перед повтором запроса проверьте ошибку среды выполнения.