选择推理运行的位置。
- 内置本地运行时
- 使用已安装版本支持的模型。在开始本地推理之前，模型设置和下载可能需要网络访问。
- LM Studio
- 启动本地服务器，加载兼容模型，并在 Codevalanche 中配置其端点。任务运行期间，服务器必须保持可用。
- 兼容 OpenAI 风格 API 的服务器
- 配置服务器地址、模型和所需凭据。仅有 API 兼容性并不保证能使用所有工具或模型能力。
从小任务开始。
在设置中打开本地模型，配置受支持的模型，或配置本地服务器连接。在示例项目中发送简短请求之前，请检查所选模型。
大型模型可能超出可用内存，或运行过慢而不适合任务。请选择设备能够支持的模型；没有通用的内存要求或速度保证。
本地推理也有边界。
在您自己设备上运行的模型会在该设备上进行推理。模型下载、已连接的工具和外部端点仍可能使用网络。如果服务器地址指向另一台设备，请求就会发送到那台设备。
选择云端智能体会建立独立连接，并可能将任务上下文发送给其提供商。使用敏感项目内容前，请检查当前模型、端点和工具。
安全与数据边界本地模型没有响应时。
- 无法访问服务器
- 检查服务器是否正在运行，以及配置的地址和端口是否与其一致。请从运行 Codevalanche 的设备验证访问。
- 模型不可用或不兼容
- 在服务器中加载所需模型，并检查其配置名称和支持的能力。
- 资源不足
- 尝试更小的受支持模型，或释放内存。重复请求前，请检查运行时的错误。