Codevalanche 中的本機 AI
本機模型，在您選擇的電腦上執行。
選擇支援的本機執行環境或相容伺服器進行推論。模型大小、記憶體和硬體決定了該模型是否適合您的任務。
選擇推論執行的位置。
- 內建本機執行環境
- 使用已安裝版本支援的模型。在開始本機推論之前，模型設定和下載可能需要網路存取。
- LM Studio
- 啟動本機伺服器，載入相容模型，並在 Codevalanche 中設定其端點。任務執行期間，伺服器必須保持可用。
- 相容 OpenAI 格式 API 的伺服器
- 設定伺服器位址、模型和所需憑證。僅有 API 相容性並不保證能使用所有工具或模型能力。
從小任務開始。
在設定中開啟本機模型，設定支援的模型，或設定本機伺服器連線。在範例專案中傳送簡短要求之前，請檢查所選模型。
大型模型可能超出可用記憶體，或執行過慢而不適合任務。請選擇電腦能夠支援的模型；沒有通用的記憶體需求或速度保證。
本機推論也有邊界。
在您自己電腦上執行的模型會在該電腦上進行推論。模型下載、已連接的工具和外部端點仍可能使用網路。如果伺服器位址指向另一台電腦，要求就會傳送到那台電腦。
選擇雲端代理程式會建立獨立連線，並可能將任務脈絡傳送給其供應商。使用敏感專案內容前，請檢查目前模型、端點和工具。
安全與資料邊界本機模型沒有回應時。
- 無法連線至伺服器
- 檢查伺服器是否正在執行，以及設定的位址和連接埠是否與其一致。請從執行 Codevalanche 的電腦驗證存取。
- 模型無法使用或不相容
- 在伺服器中載入所需模型，並檢查其設定名稱和支援的能力。
- 資源不足
- 嘗試較小的支援模型，或釋放記憶體。重複要求前，請檢查執行環境的錯誤。