Ollama MCP-Server: Modelle, Chat und Fähigkeiten

💡 Keine Installation? Nutze direkt cloud.anythingmcp.com. Melde dich an, klicke auf Connectors → Ollama, füge deine Zugangsdaten ein, erstelle einen MCP-API-Schlüssel — fertig. Kein Docker, kein git clone, kein lokaler Server.

Ollama

Lass deine KI offene Modelle wie Gemma, Llama, Qwen, Mistral und DeepSeek nutzen, die auf deinem eigenen Ollama-Server (oder Ollama Cloud) laufen: Installierte und geladene Modelle auflisten, Details und Fähigkeiten eines Modells auslesen, chatten, Text generieren und Embeddings erstellen, ohne Daten an einen gehosteten KI-Anbieter zu senden.

Einrichtung

Die Einrichtung dauert etwa 2 Minuten. Du brauchst einen Ollama-Server, den AnythingMCP erreichen kann und auf dem mindestens ein Modell geladen (gepullt) wurde, oder einen Ollama-Cloud-API-Schlüssel.

1. Installiere Ollama von https://ollama.com/download und ziehe ein Modell, z. B. ollama pull gemma3.
2. Trage die Basis-URL des Servers ohne /api in OLLAMA_URL ein, z. B. http://localhost:11434 (Standardport von Ollama). Läuft AnythingMCP in Docker und Ollama auf dem Host, verwende http://host.docker.internal:11434. Starte Ollama auf einem anderen Rechner dort mit OLLAMA_HOST=0.0.0.0 und verwende die Adresse dieses Rechners.
3. Self-hosted AnythingMCP: Füge diesen Host (z. B. localhost, host.docker.internal oder die IP des Servers) zu SSRF_ALLOWED_HOSTS im AnythingMCP-Backend hinzu, das lokale und private Adressen standardmäßig blockiert. AnythingMCP Cloud kann keinen Server auf deinem eigenen Rechner oder in deinem Netzwerk erreichen: Nutze Ollama Cloud (Schritt 4) oder einen Ollama-Server mit öffentlicher Adresse.
4. Lass OLLAMA_API_KEY bei einem lokalen Server leer. Setze für Ollama Cloud OLLAMA_URL auf https://ollama.com und füge einen Schlüssel von https://ollama.com/settings/keys ein. Bei einem Server hinter einem Reverse-Proxy, der ein Token prüft, trägst du hier das Bearer-Token des Proxys ein. Der Schlüssel wird nur dann als Authorization: Bearer gesendet, wenn er gesetzt ist.
5. Installiere den Connector und führe ollama_get_version aus: Das Tool zeigt, dass der Server antwortet.

Was er kann: ollama_list_models listet die installierten Modelle mit Familie, Parametergröße und Quantisierung auf, und ollama_list_running_models zeigt, welche gerade im Speicher geladen sind. ollama_show_model liefert die Fähigkeiten eines Modells (completion, vision, tools, thinking, embedding), die Kontextlänge, Parameter und das Prompt-Template, damit die KI prüfen kann, was ein Modell unterstützt, bevor sie Bilder oder Tools sendet. ollama_chat führt eine Unterhaltung mit System-Prompt, Verlauf, Bildern für Vision-Modelle, Tool-Calling, JSON-Ausgabe und Thinking. ollama_generate beantwortet einen einzelnen Prompt, bei Code-Modellen auch Fill-in-the-Middle mit suffix. ollama_embed erstellt Embedding-Vektoren mit einem Embedding-Modell wie embeddinggemma oder nomic-embed-text. Prompts und Antworten bleiben auf deinem eigenen Server.

Geschwindigkeit und Kosten: Antworten werden nicht gestreamt. Der erste Aufruf eines noch nicht geladenen Modells lädt es auch, was bei großen Modellen einige Sekunden bis eine Minute dauert (load_duration im Ergebnis zeigt es in Nanosekunden an). Ein lokaler Server ist kostenlos; die Nutzung von Ollama Cloud wird auf den Tarif deines Kontos angerechnet. Die Ausgabe eines Modells kann falsch sein oder Anweisungen enthalten, deshalb behandelt die KI sie als Daten, nicht als Befehle.

Häufige Fehler: „Connection refused" oder blockiert bedeutet, dass Ollama unter OLLAMA_URL nicht läuft, nur auf 127.0.0.1 eines anderen Rechners lauscht oder der Host in SSRF_ALLOWED_HOSTS fehlt. 404 model 'x' not found bedeutet, dass das Modell nicht installiert ist: Führe ollama pull x auf dem Server aus. 400 does not support tools/thinking/insert oder ein Embedding-Fehler bedeutet, dass dem Modell diese Fähigkeit fehlt (prüfe es mit ollama_show_model). 401 bei Ollama Cloud bedeutet, dass der API-Schlüssel fehlt oder falsch ist.

Der Connector kann Modelle weder pullen, pushen, kopieren, erstellen noch löschen, er verändert also nie, was auf deinem Server installiert ist.

Voraussetzungen: OLLAMA_URL

Den Connector lokal installieren

curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d

Öffne http://localhost:3000/connectors/store, wähle Ollama und füge die unter „Voraussetzungen" aufgeführten Umgebungsvariablen ein.

Verfügbare Tools

Nächste Schritte

• Mit Claude verbinden
• Mit ChatGPT verbinden