Mô hình cục bộ, trên máy bạn chọn.

Môi trường chạy cục bộ tích hợp

Dùng mô hình được bản build đã cài hỗ trợ. Thiết lập và tải mô hình có thể cần mạng trước khi bắt đầu suy luận cục bộ.

LM Studio

Khởi động máy chủ cục bộ, nạp mô hình tương thích và cấu hình điểm cuối trong Codevalanche. Máy chủ phải luôn có thể truy cập khi tác vụ chạy.

Máy chủ tương thích kiểu OpenAI

Cấu hình địa chỉ máy chủ, mô hình và thông tin xác thực cần thiết. Chỉ tương thích API không bảo đảm mọi công cụ hay khả năng mô hình đều được hỗ trợ.

Mở Mô hình cục bộ trong Cài đặt để cấu hình mô hình được hỗ trợ, hoặc cấu hình kết nối máy chủ cục bộ. Kiểm tra mô hình đã chọn trước khi gửi yêu cầu ngắn trong dự án mẫu.

Mô hình lớn có thể vượt bộ nhớ sẵn có hoặc chạy quá chậm cho tác vụ. Chọn mô hình máy có thể hỗ trợ; không có yêu cầu bộ nhớ chung hay bảo đảm tốc độ.

Mô hình chạy trên máy của bạn thực hiện suy luận tại đó. Việc tải mô hình, công cụ đã kết nối và điểm cuối bên ngoài vẫn có thể dùng mạng. Địa chỉ máy chủ trên máy khác sẽ gửi yêu cầu đến máy đó.

Chọn tác nhân đám mây là một kết nối riêng và có thể gửi ngữ cảnh tác vụ đến nhà cung cấp. Kiểm tra mô hình, điểm cuối và công cụ đang dùng trước khi sử dụng nội dung dự án nhạy cảm.

Không thể truy cập máy chủ

Kiểm tra máy chủ đang chạy và địa chỉ, cổng cấu hình khớp với máy chủ. Xác minh khả năng truy cập từ máy đang chạy Codevalanche.

Mô hình không có sẵn hoặc không tương thích

Nạp mô hình mong muốn trên máy chủ và kiểm tra tên đã cấu hình cùng khả năng được hỗ trợ.

Không đủ tài nguyên

Thử mô hình nhỏ hơn được hỗ trợ hoặc giải phóng bộ nhớ. Kiểm tra lỗi môi trường chạy trước khi lặp lại yêu cầu.