Skip to main content

支持的 LLM Providers

goose 兼容很多 LLM Providers，你可以按自己的成本、模型偏好、部署方式和安全要求来选择。

模型选择

goose 很依赖 tool calling。优先选择在函数调用、长上下文和多轮任务里表现稳定的模型。

Berkeley Function-Calling Leaderboard 也可以作为选型参考。

可用 Providers​

Provider说明主要参数
Amazon Bedrock提供 Claude、Jurassic-2 等多种基础模型。AWS 环境变量需要提前配置，不能完全通过 goose configure 完成。凭证认证：AWS_PROFILE，或 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY、AWS_REGION

Bearer Token 认证：AWS_BEARER_TOKEN_BEDROCK 与 AWS_REGION、AWS_DEFAULT_REGION 或 AWS_PROFILE
Amazon SageMaker TGI通过 SageMaker endpoint 运行 Text Generation Inference 模型。AWS 凭证需要预先配置。SAGEMAKER_ENDPOINT_NAME，AWS_REGION（可选），AWS_PROFILE（可选）
Anthropic使用 Claude 等模型。ANTHROPIC_API_KEY，ANTHROPIC_HOST（可选）
Avian面向 DeepSeek、Kimi、GLM、MiniMax 等模型的低成本推理 API，兼容 OpenAI 风格接口。AVIAN_API_KEY，AVIAN_HOST（可选）
Azure OpenAI使用托管在 Azure 上的 OpenAI 模型，支持 API Key 和 Azure Credential Chain。AZURE_OPENAI_ENDPOINT，AZURE_OPENAI_DEPLOYMENT_NAME，AZURE_OPENAI_API_KEY（可选）
ChatGPT Codex接入面向代码生成与理解优化的 GPT-5 Codex 模型。需要 ChatGPT Plus / Pro 订阅。无需手工 API Key。CLI 和 Desktop 都通过浏览器 OAuth 完成认证。
Databricks数据与 AI 一体平台，可统一托管并调用模型。DATABRICKS_HOST，DATABRICKS_TOKEN
Docker Model Runner在 Docker Desktop 或 Docker CE 中运行本地模型，并通过 OpenAI 兼容接口接入。因为是本地模型，需要先拉模型。OPENAI_HOST，OPENAI_BASE_PATH
GeminiGoogle 的多模态模型。Gemini 3 支持可配置的 thinking level。GOOGLE_API_KEY，GEMINI3_THINKING_LEVEL（可选）
GCP Vertex AI通过 Google Cloud Vertex AI 使用 Gemini、Claude 等模型。认证需要提前按 Google Cloud 要求配置。GCP_PROJECT_ID，GCP_LOCATION，以及可选的重试参数：GCP_MAX_RATE_LIMIT_RETRIES、GCP_MAX_OVERLOADED_RETRIES、GCP_INITIAL_RETRY_INTERVAL_MS、GCP_BACKOFF_MULTIPLIER、GCP_MAX_RETRY_INTERVAL_MS
GitHub Copilot通过 GitHub Copilot 基础设施访问 OpenAI、Anthropic、Google 等模型。需要有 Copilot 权限的 GitHub 账号。无需手工 API Key。CLI 和 Desktop 都使用 device flow 认证。
Groq高性能推理硬件与模型服务。GROQ_API_KEY
LiteLLM多模型代理层，统一 API，支持 prompt caching 和多后端代理。LITELLM_HOST，LITELLM_BASE_PATH（可选），LITELLM_API_KEY（可选），LITELLM_CUSTOM_HEADERS（可选），LITELLM_TIMEOUT（可选）
LM Studio通过 LM Studio 提供的 OpenAI 兼容本地服务运行模型。先下载模型。通常无需额外参数，默认连接 localhost:1234
Mistral AI提供通用模型、代码模型（Codestral）和多模态模型（Pixtral）。MISTRAL_API_KEY
Ollama本地模型运行器，支持 Qwen、Llama、DeepSeek 等开源模型。先下载并启动模型。OLLAMA_HOST
OpenAI使用 GPT-4o、o 系列等模型，也可接入 OpenAI 兼容 endpoint。o1-mini 和 o1-preview 不支持，因为 goose 依赖 tool calling。OPENAI_API_KEY，OPENAI_HOST（可选），OPENAI_ORGANIZATION（可选），OPENAI_PROJECT（可选），OPENAI_CUSTOM_HEADERS（可选）
OpenRouter聚合多个模型供应商，便于统一调用与限流。OPENROUTER_API_KEY
OVHcloud AI通过 AI Endpoints 访问 Qwen、Llama、Mistral、DeepSeek 等开源模型。OVHCLOUD_API_KEY
Ramalama基于 OCI 容器运行时的本地模型运行器，可通过 goose 的 Ollama provider 兼容接入。先下载并运行模型。OLLAMA_HOST
Snowflake通过 Snowflake Cortex 使用最新模型，包括 Claude。需要 Snowflake 账号和 PAT。SNOWFLAKE_HOST，SNOWFLAKE_TOKEN
Tanzu AI Services通过 VMware Tanzu 平台统一访问企业管理的 LLM。模型从 endpoint 动态获取。TANZU_AI_API_KEY，TANZU_AI_ENDPOINT
Tetrate Agent Router Service统一 AI 网关，可接入 Claude、Gemini、GPT 和开源模型，支持 PKCE 流程。TETRATE_API_KEY，TETRATE_HOST（可选）
Venice AI提供以隐私为重点的开源模型访问能力，如 Llama、Mistral、Qwen。VENICE_API_KEY，VENICE_HOST（可选），VENICE_BASE_PATH（可选），VENICE_MODELS_PATH（可选）
xAI使用 xAI 的 Grok 系列模型。XAI_API_KEY，XAI_HOST（可选）
Claude Prompt Caching

通过 Anthropic、Databricks、OpenRouter、LiteLLM 使用 Claude 模型时，goose 会自动启用 Anthropic 的 prompt caching。这会在请求中加入 cache_control 标记，能降低长会话的成本。实现细节可参考 provider implementations。

CLI Providers​

goose 还支持一类特殊的“透传式” CLI providers。它们直接复用你已有的 CLI 工具和订阅，而不是单独按 token 付费。

Provider说明要求
Claude Code (claude-code)使用 Anthropic 的 Claude CLI 工具，并复用你的 Claude Code 订阅。上下文窗口可到 200K。已安装并登录 Claude CLI，且有有效 Claude Code 订阅
OpenAI Codex (codex)使用 OpenAI Codex CLI，并复用 ChatGPT Plus / Pro 订阅。已安装并登录 Codex CLI，且有有效 ChatGPT Plus / Pro 订阅
Cursor Agent (cursor-agent)使用 Cursor 的 CLI 工具，接入 GPT-5、Claude 4 等模型。已安装并登录 cursor-agent
Gemini CLI (gemini-cli)使用 Google Gemini CLI 工具，并复用 Google AI 订阅。已安装并登录 Gemini CLI
CLI Providers

CLI provider 的成本通常更可控，因为它们复用你现有订阅；但工作方式和 API provider 不同，本质上是执行 CLI 命令并接入工具原生能力。详细配置见 CLI Providers 指南。

ACP Providers​

goose 支持把 Agent Client Protocol (ACP) agent 当作 provider 使用。ACP provider 会把 goose 扩展透传给对应 agent，作为 MCP server 暴露出去。

Provider说明要求
Claude ACP (claude-acp)通过 ACP 使用 Claude Code，同时把 goose 扩展透传给 agent。npm install -g @zed-industries/claude-agent-acp，有效 Claude Code 订阅
Codex ACP (codex-acp)通过 ACP 使用 OpenAI Codex，并把 goose 扩展透传给 agent。npm install -g @zed-industries/codex-acp，有效 ChatGPT Plus / Pro 订阅
ACP Providers

详细接入方式见 ACP Providers 指南。

配置 Provider 和模型​

无论你选择哪一种 provider，都可以在 goose Desktop 的 Models 标签页里操作，或者在 CLI 里执行 goose configure。

首次配置

第一次打开 goose Desktop 时，你通常会看到这些入口：

  • Quick Setup with API Key - goose 会根据你的 API Key 自动识别并配置 Provider。
  • ChatGPT Subscription - 使用 ChatGPT Plus / Pro 订阅登录，访问 GPT-5 Codex 模型。
  • Agent Router by Tetrate - 通过自动配置快速接入多个 AI 模型。
  • OpenRouter - 通过单一 API 使用多个模型，按量付费。
  • Other Providers - 在设置里手动配置其它 Provider。
  1. 选择 Quick Setup with API Key
  2. 输入你的 API Key（例如 OpenAI、Anthropic 或 Google）
  3. goose 会自动识别并配置对应 Provider
  4. 配置完成后即可开始第一个会话

更新 Provider 和 API Key

  1. 点击左上角的 打开侧边栏
  2. 点击 Settings
  3. 进入 Models
  4. 点击 Configure providers
  5. 选择你的 Provider
  6. 填写 API Key 和其它必需参数，然后点击 Submit

切换当前模型

  1. 点击左上角的 打开侧边栏
  2. 点击 Settings
  3. 进入 Models
  4. 点击 Switch models
  5. 从已配置 Provider 中选择，或选择 Use other provider 新增 Provider
  6. 从列表中选模型，或者使用 Use custom model 直接输入模型名
  7. 点击 Select model
快速入口

你也可以点击应用底部当前模型名称，然后选择 Change Model。

重置 Provider 和模型配置

  1. 点击左上角的 打开侧边栏
  2. 点击 Settings
  3. 进入 Models
  4. 点击 Reset Provider and Model

使用自定义 OpenAI Endpoints​

内置 OpenAI provider 不只支持 OpenAI 官方 API（api.openai.com），也能接入任何兼容 OpenAI 协议的 endpoint，例如：

  • 通过 vLLM、KServe 暴露的自托管模型
  • 企业内部的 OpenAI 兼容 API 服务
  • 出于数据治理、安全审计或私有部署要求而搭建的代理层
  • 像 LiteLLM、Docker Model Runner 这样的统一网关或本地运行器
自定义 Provider 选项

如果你需要同时连接多个 OpenAI 兼容 endpoint，或者想给它们起更清晰的显示名，通常更适合继续往下看 配置自定义 Provider。

配置参数​

参数必填说明
OPENAI_API_KEY是用于认证的 API Key。某些本地服务虽然不校验，但很多代理层仍要求填写一个值
OPENAI_HOST否自定义 endpoint 地址；留空时默认走 api.openai.com
OPENAI_ORGANIZATION否用于 OpenAI 组织级使用追踪与治理
OPENAI_PROJECT否用于项目级资源管理与审计
OPENAI_CUSTOM_HEADERS否附加请求头。可通过环境变量、配置文件或 CLI 传入，格式如 HEADER_A=VALUE_A,HEADER_B=VALUE_B

配置示例​

如果你使用 vLLM 暴露 LLaMA、Mistral 等模型，可按这种方式接入：

OPENAI_HOST=https://your-vllm-endpoint.internal
OPENAI_API_KEY=your-internal-api-key

配置步骤​

  1. 点击左上角的 打开侧边栏
  2. 点击 Settings
  3. 进入 Models
  4. 点击 Configure providers
  5. 在 Provider 列表中选择 OpenAI
  6. 填入所需配置：
    • API Key（必填）
    • Host URL（自定义 endpoint 时填写）
    • Organization ID（需要组织级追踪时填写）
    • Project（需要项目级治理时填写）
  7. 点击 Submit
企业部署

在团队环境里，通常可以通过环境变量或共享配置文件预置这些参数，确保所有 session 都遵循同一套安全和治理要求。

配置自定义 Provider​

如果官方列表里没有你要接的服务，或者你想定制连接方式，可以创建自定义 Provider。创建完成后，它会像内置 Provider 一样出现在 provider 列表里。

典型收益：

  • 多 endpoint 管理：例如在 vLLM、企业代理和官方 OpenAI 之间快速切换
  • 预设模型列表：把常用模型名固化下来，减少手输
  • 可共享配置：JSON 文件可以放进仓库，方便团队复用
  • 自定义展示名：例如在界面里显示成 “Corporate API”
  • 隔离凭据：每个 provider 单独使用自己的 key

自定义 provider 目前要求底层 API 兼容 OpenAI、Anthropic 或 Ollama。你也可以附加自定义请求头，用于租户标识、额外 token 或内部认证字段。

添加自定义 Provider​

  1. 点击左上角的 打开侧边栏
  2. 点击 Settings
  3. 进入 Models
  4. 点击 Configure providers
  5. 点击窗口底部的 Add Custom Provider
  6. 逐项填写：
    • Provider Type
      • OpenAI Compatible（最常见）
      • Anthropic Compatible
      • Ollama Compatible
    • Display Name：显示给用户看的名称
    • API URL：服务的基础地址
    • Authentication
      • 默认通过自定义环境变量读取 API Key，并存入 keychain
      • 如果目标服务不要求授权（例如本地模型或内网服务），取消勾选 This provider requires an API key
    • Available Models：逗号分隔的模型列表
    • Streaming Support：是否支持流式返回
  7. 点击 Create Provider
自定义请求头

目前 goose Desktop 还不能直接填写 custom headers。需要的话，先创建 provider，再手动编辑配置文件补上。

更新自定义 Provider​

  1. 点击左上角的 打开侧边栏
  2. 点击 Settings
  3. 进入 Models
  4. 点击 Configure providers
  5. 在列表中点击你的自定义 provider
  6. 修改要更新的字段
  7. 点击 Update Provider

删除自定义 Provider​

  1. 点击左上角的 打开侧边栏
  2. 点击 Settings
  3. 进入 Models
  4. 点击 Configure providers
  5. 选择要删除的自定义 provider
  6. 点击 Delete Provider
  7. 确认删除 provider 及其关联的 API Key

免费开始使用 goose​

goose 本身是免费开源的，但不是所有 LLM Providers 都有免费额度。下面列出几个常见的免费起步方案。

限制

这些免费方案很适合先上手，但如果你要处理更复杂、更长上下文或更多工具调用任务，后续通常还是需要升级到更强的模型。

Groq​

Groq 提供了若干开源模型的免费高速推理能力。要在 goose 中使用 Groq，需要先到 Groq Console 获取 API Key。

Groq 当前常见可用模型包括：

  • moonshotai/kimi-k2-instruct-0905：MoE 架构，参数规模非常大，适合更强的 agentic reasoning 和工具使用
  • qwen/qwen3-32b：32.8B 参数，多语言和推理能力比较均衡
  • llama-3.3-70b-versatile：Meta 的 Llama 3.3 通用模型，适合覆盖较广的任务场景
  • llama-3.1-8b-instant：更偏向低延迟推理，适合快速响应

完整支持列表可参考 groq.json。

  1. 点击左上角的 打开侧边栏
  2. 点击 Settings
  3. 进入 Models
  4. 点击 Configure Providers
  5. 选择 Groq
  6. 点击 Configure，输入 API Key 并提交
  7. 选择想用的 Groq 模型

Google Gemini​

Google Gemini 提供免费额度。你需要先到 Google AI Studio 获取 API Key。

  1. 点击左上角的 打开侧边栏
  2. 点击 Settings
  3. 进入 Models
  4. 点击 Configure Providers
  5. 选择 Google Gemini
  6. 点击 Configure，输入 API Key 并提交

本地 LLMs​

goose 本身就是本地 AI agent。配合本地 LLM，你可以把数据保留在本机，完全离线工作，并保留对运行环境的完全控制。但相应地，前置准备也会更多一些。

不支持 tool calling 的模型能力有限

goose 高度依赖 tool calling。如果模型不支持 tool calling，它基本只能做聊天补全。这种情况下，你需要关闭所有 goose 扩展。

当前常见的本地 provider 路线包括：

  1. 安装 Ramalama

  2. 在终端中启动一个支持 tool calling 的 Ollama 模型，或者一个支持对应格式的 GGUF 模型

    --runtime-args="--jinja" 是 goose 的 Ollama provider 能正确配合 Ramalama 所必需的。

    示例：

    ramalama serve --runtime-args="--jinja" ollama://qwen2.5

  3. 在另一个终端里运行：

    goose configure

  4. 选择 Configure Providers

    ┌   goose-configure
    │
    ◆  What would you like to configure?
    │  ● Configure Providers (Change provider or update credentials)
    │  ○ Toggle Extensions
    │  ○ Add Extension
    └

  5. 选择 Ollama 作为 model provider，因为 Ramalama 的接口兼容 goose 的 Ollama provider

    ┌   goose-configure
    │
    ◇  What would you like to configure?
    │  Configure Providers
    │
    ◆  Which model provider should we use?
    │  ○ Anthropic
    │  ○ Databricks
    │  ○ Google Gemini
    │  ○ Groq
    │  ● Ollama (Local open source models)
    │  ○ OpenAI
    │  ○ OpenRouter
    └

  6. 输入模型运行地址

    Endpoint

    如果你不提供 host，Ollama provider 默认使用 localhost:11434。如果没有写 http:// 或 https://，goose 会自动补 http://。Ramalama 默认端口通常是 8080，因此常见值是 OLLAMA_HOST=http://0.0.0.0:8080。

    ┌   goose-configure
    │
    ◇  What would you like to configure?
    │  Configure Providers
    │
    ◇  Which model provider should we use?
    │  Ollama
    │
    ◆  Provider Ollama requires OLLAMA_HOST, please enter a value
    │  http://0.0.0.0:8080
    └

  7. 输入正在运行的模型名，例如 qwen2.5

    ┌   goose-configure
    │
    ◇  What would you like to configure?
    │  Configure Providers
    │
    ◇  Which model provider should we use?
    │  Ollama
    │
    ◇  Provider Ollama requires OLLAMA_HOST, please enter a value
    │  http://0.0.0.0:8080
    │
    ◇  Enter a model from that provider:
    │  qwen2.5
    │
    ◇  Welcome! You're all set to explore and utilize my capabilities. Let's get started on solving your problems together!
    │
    └  Configuration saved successfully
    Context Length

    如果 goose 开始忽略 .goosehints 或扩展调用异常，往往是上下文长度太小。Ramalama 可以通过 --ctx-size / -c 提高上下文窗口。

GitHub Copilot 认证​

GitHub Copilot 使用 device flow，不需要手工 API Key：

  1. 运行 配置 Provider 和模型 中的 goose configure
  2. 选择 GitHub Copilot
  3. 一个 8 位验证码会自动复制到剪贴板
  4. 浏览器会打开 GitHub 的设备激活页面
  5. 粘贴验证码完成授权
  6. 返回 goose 后，GitHub Copilot 就会在 CLI 和 Desktop 中都可用

Azure OpenAI Credential Chain​

goose 对 Azure OpenAI 支持两种认证方式：

  1. API Key Authentication：使用 AZURE_OPENAI_API_KEY
  2. Azure Credential Chain：自动使用 Azure CLI 登录态，不必显式提供 API Key

如果你要使用 Azure Credential Chain：

  • 先执行 az login
  • 确认当前账号对 Azure OpenAI 服务有足够权限
  • 在 goose configure 中选择 Azure OpenAI，并把 API Key 留空

对企业环境来说，这种方式通常更安全，也更容易统一管理。

多模型配置​

除了单模型方案，goose 还支持多模型配置，让不同模型承担不同角色：

  • Lead/Worker Model：前几轮用更强模型做规划，后续用更快或更便宜的模型做执行
  • Planning Mode：先用专门模型做任务拆解，再进入执行阶段

Gemini 3 Thinking Levels​

Gemini 3 模型支持不同的 thinking level，用来平衡延迟与推理深度：

  • Low（默认）：更快，推理更轻量
  • High：推理更深，但延迟更高
tip

开启 thinking 后，你可以查看模型推理过程。详见 Viewing Model Reasoning。

在 Desktop 中选择 Gemini 3 模型时，会自动出现 “Thinking Level” 下拉框。你选定后，该设置会跨会话保留。

优先级

thinking level 的优先级从高到低依次是：

  1. 模型配置中的 request_params.thinking_level（通过 GOOSE_PREDEFINED_MODELS）
  2. GEMINI3_THINKING_LEVEL 环境变量
  3. 默认值 low

查看模型推理过程​

有些模型会把内部推理或 reasoning 作为响应的一部分暴露出来。goose 会自动捕获这些内容，并在适当位置展示。

当前常见支持情况：

Provider / Model工作方式
DeepSeek-R1（通过 OpenAI、Ollama、OpenRouter、OVHcloud 等）从响应里的 reasoning_content 字段提取
Kimi（通过 Groq 或其它 OpenAI 兼容端点）从 reasoning_content 字段提取
Gemini CLI（开启 thinking 的 Gemini）从流式响应中的 thinking block 捕获
Claude（Anthropic，并开启 extended thinking）从 API 响应中的 thinking block 捕获

在 Desktop 中，reasoning 会出现在模型回答上方的可折叠区域，通常显示为 Show reasoning。

tip

查看 reasoning 有助于理解模型为什么给出某个答案，也适合用于调试异常行为或学习模型的拆题方式。但它通常比较冗长，只在需要时开启即可。

如果你在某个 Provider 上遇到问题，可以到 Discord 或 goose repo 继续反馈。