Ollama MCP con Gemini CLI: modelos y chat

💡 ¿Sin instalar nada? Usa cloud.anythingmcp.com directamente. Inicia sesión, haz clic en Connectors → Ollama, pega tus credenciales, genera una clave de API de MCP y listo. Sin Docker, sin git clone, sin servidor local.

Ollama + Gemini

Permite que tu IA use modelos de pesos abiertos como Gemma, Llama, Qwen, Mistral y DeepSeek que se ejecutan en tu propio servidor Ollama (u Ollama Cloud): lista los modelos instalados y cargados, consulta los detalles y las capacidades de un modelo, chatea, genera texto y crea embeddings, sin enviar datos a un proveedor de IA alojado.

Requisitos previos

Consulta las instrucciones de configuración completas incluidas en el conector (visibles en la tienda de la aplicación cuando seleccionas el conector). Las variables de entorno necesarias para este conector son:

OLLAMA_URL

Paso 1 — Obtén las credenciales

La configuración lleva unos 2 minutos. Necesitas un servidor Ollama al que AnythingMCP pueda acceder, con al menos un modelo descargado, o una clave de API de Ollama Cloud.

1. Instala Ollama desde https://ollama.com/download y descarga un modelo, p. ej. ollama pull gemma3.
2. Pon la URL base del servidor, sin /api, en OLLAMA_URL, p. ej. http://localhost:11434 (el puerto predeterminado de Ollama). Si AnythingMCP se ejecuta en Docker y Ollama en el host, usa http://host.docker.internal:11434. Si Ollama está en otra máquina, inícialo allí con OLLAMA_HOST=0.0.0.0 y usa la dirección de esa máquina.
3. AnythingMCP autoalojado: añade ese host (p. ej. localhost, host.docker.internal o la IP del servidor) a SSRF_ALLOWED_HOSTS en el backend de AnythingMCP, que bloquea las direcciones locales y privadas de forma predeterminada. AnythingMCP Cloud no puede acceder a un servidor en tu propia máquina o red: usa Ollama Cloud (paso 4) o un servidor Ollama con una dirección pública.
4. Deja OLLAMA_API_KEY vacío para un servidor local. Para Ollama Cloud, establece OLLAMA_URL como https://ollama.com y pega una clave de https://ollama.com/settings/keys. Para un servidor detrás de un proxy inverso que comprueba un token, pon aquí el bearer token del proxy. La clave se envía como Authorization: Bearer solo cuando está definida.
5. Instala el conector y ejecuta ollama_get_version: te mostrará que el servidor responde.

Qué hace: ollama_list_models lista los modelos instalados con su familia, tamaño de parámetros y cuantización, y ollama_list_running_models muestra cuáles están cargados ahora mismo en memoria. ollama_show_model devuelve las capacidades de un modelo (completion, vision, tools, thinking, embedding), la longitud de contexto, los parámetros y la plantilla de prompt, de modo que la IA pueda comprobar qué admite un modelo antes de enviar imágenes o herramientas. ollama_chat mantiene una conversación con un prompt de sistema, historial, imágenes para modelos de visión, llamadas a herramientas, salida JSON y razonamiento. ollama_generate responde a un único prompt, incluido el relleno en el medio (fill-in-the-middle) con suffix en modelos de código. ollama_embed crea vectores de embeddings con un modelo de embeddings como embeddinggemma o nomic-embed-text. Los prompts y las respuestas se quedan en tu propio servidor.

Velocidad y costes: las respuestas no se transmiten en streaming. La primera llamada a un modelo que no está cargado también lo carga, lo que tarda desde unos segundos hasta un minuto en modelos grandes (load_duration en el resultado lo indica, en nanosegundos). Un servidor local es gratuito; el uso de Ollama Cloud cuenta contra el plan de tu cuenta. La salida de un modelo puede ser incorrecta o contener instrucciones, por lo que la IA la trata como datos, no como órdenes.

Errores comunes: «connection refused» o bloqueado significa que Ollama no se está ejecutando en OLLAMA_URL, que escucha solo en 127.0.0.1 de otra máquina, o que el host no está en SSRF_ALLOWED_HOSTS. 404 model 'x' not found significa que el modelo no está instalado: ejecuta ollama pull x en el servidor. 400 does not support tools/thinking/insert, o un error de embeddings, significa que el modelo no tiene esa capacidad (comprueba con ollama_show_model). 401 en Ollama Cloud significa que la clave de API falta o es incorrecta.

El conector no descarga, sube, copia, crea ni elimina modelos, por lo que nunca cambia lo que está instalado en tu servidor.

Paso 2 — Instala el adaptador

curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d

Paso 3 — Añade el conector en Gemini

La URL de tu servidor: en AnythingMCP abre MCP Servers → el servidor donde está este conector y copia su URL (https://cloud.anythingmcp.com/mcp/…). Úsala donde esta guía muestra YOUR_SERVER_ID.

Gemini CLI lee los servidores MCP de ~/.gemini/settings.json (en Windows, %USERPROFILE%\.gemini\settings.json). Añade:

{
  "mcpServers": {
    "anythingmcp": {
      "httpUrl": "https://cloud.anythingmcp.com/mcp/YOUR_SERVER_ID",
      "headers": { "X-API-Key": "YOUR_MCP_API_KEY" }
    }
  }
}

1. Crea una clave de API MCP en AnythingMCP en MCP Servers → tu servidor → API keys y pégala en lugar de YOUR_MCP_API_KEY.
2. Guarda el archivo y reinicia gemini.
3. Ejecuta /mcp dentro de Gemini CLI (o gemini mcp list en tu terminal): anythingmcp debería aparecer como conectado.
4. Empieza a escribir prompts: Gemini CLI ya puede llamar a las herramientas de Ollama.

Herramientas disponibles

Preguntas frecuentes

¿Dónde busca Gemini CLI los servidores MCP? En ~/.gemini/settings.json para tu usuario, o en .gemini/settings.json dentro de un proyecto. gemini mcp list muestra cada servidor y si se conecta.

Siguientes pasos

• Página del conector
• Conectar a Claude
• Conectar a ChatGPT