摘要
让你的 AI 使用运行在自己 Ollama 服务器(或 Ollama Cloud)上的开源权重模型,例如 Gemma、Llama、Qwen、Mistral 和 DeepSeek:列出已安装和已加载的模型、读取模型的详细信息与能力、进行对话、生成文本并创建 embedding,而无需把数据发送给托管的 AI 提供商。
引导式设置
2 分钟将 Ollama 连接到 Claude、ChatGPT 或 Copilot
开始 AnythingMCP Cloud 免费试用，在引导式设置中连接 Ollama，再把你的 MCP URL 添加到你的 AI 助手。无需代码，也无需自行运行服务器。
无需信用卡 · 7 天试用 · 提供自托管方案
试试这样问
Ollama 的示例提示
点击任意提示即可复制，然后粘贴到 Claude、ChatGPT、Cursor、Gemini、Copilot 或 OpenClaw 中，在该连接器上运行。
Claude 是 AI，可能会出错。请核对回答。
💡 无需安装?直接使用 cloud.anythingmcp.com。 登录后点击 Connectors → Ollama,粘贴你的凭据,生成 MCP API key 即可。无需 Docker,无需
git clone,无需本地服务器。
Ollama
让你的 AI 使用运行在自己 Ollama 服务器(或 Ollama Cloud)上的开源权重模型,例如 Gemma、Llama、Qwen、Mistral 和 DeepSeek:列出已安装和已加载的模型、读取模型的详细信息与能力、进行对话、生成文本并创建 embedding,而无需把数据发送给托管的 AI 提供商。
设置
设置大约需要 2 分钟。你需要一台 AnythingMCP 可以访问的 Ollama 服务器,并且至少已拉取一个模型,或者拥有一个 Ollama Cloud API key。
- 从 https://ollama.com/download 安装 Ollama 并拉取一个模型,例如
ollama pull gemma3。 - 将服务器的基础 URL(不含
/api)填入OLLAMA_URL,例如http://localhost:11434(Ollama 的默认端口)。如果 AnythingMCP 运行在 Docker 中而 Ollama 运行在宿主机上,请使用http://host.docker.internal:11434。如果 Ollama 在另一台机器上,请在那台机器上用OLLAMA_HOST=0.0.0.0启动它,并使用该机器的地址。 - 自托管的 AnythingMCP:将该主机(例如
localhost、host.docker.internal或服务器 IP)添加到 AnythingMCP 后端的SSRF_ALLOWED_HOSTS中,因为后端默认会阻止本地和私有地址。AnythingMCP Cloud 无法访问你本机或内部网络中的服务器:请使用 Ollama Cloud(第 4 步)或具有公网地址的 Ollama 服务器。 - 本地服务器请将
OLLAMA_API_KEY留空。使用 Ollama Cloud 时,将OLLAMA_URL设为https://ollama.com,并粘贴从 https://ollama.com/settings/keys 获取的 key。如果服务器位于会校验令牌的反向代理之后,请在此填入该代理的 bearer 令牌。只有在设置了该 key 时,才会以Authorization: Bearer的形式发送。 - 安装连接器并运行
ollama_get_version:它会显示服务器是否有响应。
功能:ollama_list_models 列出已安装的模型,包括系列、参数规模和量化方式;ollama_list_running_models 显示当前有哪些模型已加载到内存中。ollama_show_model 返回模型的能力(completion、vision、tools、thinking、embedding)、上下文长度、参数和提示词模板,这样 AI 在发送图像或工具之前就能确认模型支持什么。ollama_chat 支持带系统提示词、历史记录的对话,以及面向视觉模型的图像、工具调用、JSON 输出和 thinking。ollama_generate 回答单个提示词,在代码模型上还支持通过 suffix 进行 fill-in-the-middle。ollama_embed 使用 embeddinggemma 或 nomic-embed-text 等 embedding 模型创建 embedding 向量。提示词和回答都保留在你自己的服务器上。
速度与成本:回答不是流式返回的。首次调用尚未加载的模型时会同时加载该模型,大型模型可能需要几秒到一分钟不等(结果中的 load_duration 会显示该耗时,单位为纳秒)。本地服务器免费;Ollama Cloud 的用量会计入你账户套餐的额度。模型输出可能有误,也可能包含指令,因此 AI 会将其视为数据,而不是命令。
常见错误:连接被拒绝或被阻止,表示 Ollama 没有在 OLLAMA_URL 处运行,或者它只监听另一台机器的 127.0.0.1,或者该主机未加入 SSRF_ALLOWED_HOSTS。404 model 'x' not found 表示该模型未安装:请在服务器上运行 ollama pull x。400 does not support tools/thinking/insert 或 embedding 错误,表示模型不具备相应能力(请查看 ollama_show_model)。Ollama Cloud 返回 401 表示 API key 缺失或不正确。
该连接器不会拉取、推送、复制、创建或删除模型,因此绝不会更改你服务器上已安装的内容。
前置条件:OLLAMA_URL
在本地安装连接器
curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d
打开 http://localhost:3000/connectors/store,选择 Ollama,然后粘贴前置条件中列出的环境变量。
可用工具
| Tool | 功能 |
|---|---|
ollama_get_version | 显示 Ollama 服务器版本 |
ollama_list_models | 列出 Ollama 服务器上已安装的模型:名称、大小、最后修改时间、格式、系列、参数规模(例如 4.3B)和量化方式(例如 |
ollama_list_running_models | 列出 Ollama 服务器内存中当前已加载的模型,包括总大小、GPU 内存占用(size_vram)、上下文长度和… |
ollama_show_model | 显示某个已安装模型的详细信息:能力(completion、vision、tools、thinking、insert、embedding)、系列、参数规模… |
ollama_chat | 与 Ollama 服务器上的模型对话(不支持流式) |
ollama_generate | 在 Ollama 服务器上为单个提示词生成补全(不支持流式),可选系统提示词、面向视觉模型的图像… |
ollama_embed | 使用 Ollama 服务器上的 embedding 模型,为单个文本或文本列表创建 embedding 向量(例如 embeddinggemma… |
后续步骤
这份指南对你有帮助吗?