Ollama MCP mit ChatGPT verbinden

💡 Keine Installation? Nutze direkt cloud.anythingmcp.com. Melde dich an, klicke auf Connectors → Ollama, füge deine Zugangsdaten ein, erstelle einen MCP-API-Key — fertig. Kein Docker, kein git clone, kein lokaler Server.

Ollama + ChatGPT

Lass deine KI offene Modelle wie Gemma, Llama, Qwen, Mistral und DeepSeek nutzen, die auf deinem eigenen Ollama-Server (oder in Ollama Cloud) laufen: installierte und geladene Modelle auflisten, Details und Fähigkeiten eines Modells auslesen, chatten, Text generieren und Embeddings erstellen, ohne Daten an einen gehosteten KI-Anbieter zu senden.

Voraussetzungen

Die vollständige Einrichtungsanleitung ist im Connector enthalten (sichtbar im In-App-Store, wenn du den Connector auswählst). Die für diesen Connector erforderlichen Umgebungsvariablen sind:

OLLAMA_URL

Schritt 1 — Zugangsdaten besorgen

Die Einrichtung dauert etwa 2 Minuten. Du brauchst einen Ollama-Server, den AnythingMCP erreichen kann und auf dem mindestens ein Modell geladen (gepullt) ist, oder einen Ollama-Cloud-API-Key.

1. Installiere Ollama von https://ollama.com/download und pulle ein Modell, z. B. ollama pull gemma3.
2. Trage die Basis-URL des Servers ohne /api in OLLAMA_URL ein, z. B. http://localhost:11434 (der Standardport von Ollama). Wenn AnythingMCP in Docker läuft und Ollama auf dem Host, verwende http://host.docker.internal:11434. Für Ollama auf einem anderen Rechner startest du es dort mit OLLAMA_HOST=0.0.0.0 und verwendest die Adresse dieses Rechners.
3. Self-hosted AnythingMCP: Füge diesen Host (z. B. localhost, host.docker.internal oder die IP des Servers) zu SSRF_ALLOWED_HOSTS im AnythingMCP-Backend hinzu, das lokale und private Adressen standardmäßig blockiert. AnythingMCP Cloud kann keinen Server auf deinem eigenen Rechner oder in deinem eigenen Netzwerk erreichen: Nutze Ollama Cloud (Schritt 4) oder einen Ollama-Server mit öffentlicher Adresse.
4. Lass OLLAMA_API_KEY für einen lokalen Server leer. Für Ollama Cloud setzt du OLLAMA_URL auf https://ollama.com und fügst einen Key von https://ollama.com/settings/keys ein. Bei einem Server hinter einem Reverse-Proxy, der ein Token prüft, trägst du hier das Bearer-Token des Proxys ein. Der Key wird nur dann als Authorization: Bearer gesendet, wenn er gesetzt ist.
5. Installiere den Connector und führe ollama_get_version aus: Das zeigt, dass der Server antwortet.

Was er kann: ollama_list_models listet die installierten Modelle mit Familie, Parametergröße und Quantisierung auf, und ollama_list_running_models zeigt, welche davon gerade im Arbeitsspeicher geladen sind. ollama_show_model liefert die Fähigkeiten eines Modells (completion, vision, tools, thinking, embedding), Kontextlänge, Parameter und Prompt-Template, sodass die KI prüfen kann, was ein Modell unterstützt, bevor sie Bilder oder Tools sendet. ollama_chat führt eine Unterhaltung mit System-Prompt, Verlauf, Bildern für Vision-Modelle, Tool-Calling, JSON-Ausgabe und Thinking. ollama_generate beantwortet einen einzelnen Prompt, einschließlich Fill-in-the-Middle mit suffix bei Code-Modellen. ollama_embed erstellt Embedding-Vektoren mit einem Embedding-Modell wie embeddinggemma oder nomic-embed-text. Prompts und Antworten bleiben auf deinem eigenen Server.

Geschwindigkeit und Kosten: Antworten werden nicht gestreamt. Der erste Aufruf eines Modells, das nicht geladen ist, lädt es auch, was bei großen Modellen von einigen Sekunden bis zu einer Minute dauert (load_duration im Ergebnis zeigt das in Nanosekunden an). Ein lokaler Server ist kostenlos; die Nutzung von Ollama Cloud wird auf den Tarif deines Kontos angerechnet. Die Ausgabe eines Modells kann falsch sein oder Anweisungen enthalten, deshalb behandelt die KI sie als Daten, nicht als Befehle.

Häufige Fehler: „Connection refused" oder blockiert bedeutet, dass Ollama unter OLLAMA_URL nicht läuft, nur auf 127.0.0.1 eines anderen Rechners lauscht oder der Host in SSRF_ALLOWED_HOSTS fehlt. 404 model 'x' not found bedeutet, dass das Modell nicht installiert ist: Führe ollama pull x auf dem Server aus. 400 does not support tools/thinking/insert oder ein Embedding-Fehler bedeutet, dass dem Modell diese Fähigkeit fehlt (prüfe ollama_show_model). 401 bei Ollama Cloud bedeutet, dass der API-Key fehlt oder falsch ist.

Der Connector pullt, pusht, kopiert, erstellt oder löscht keine Modelle und ändert daher nie, was auf deinem Server installiert ist.

Schritt 2 — Adapter installieren

curl -fsSL https://raw.githubusercontent.com/HelpCode-ai/anythingmcp/main/docker-compose.quickstart.yml -o docker-compose.yml
printf 'JWT_SECRET=%s\nENCRYPTION_KEY=%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose up -d

Schritt 3 — Connector in ChatGPT hinzufügen

Deine Server-URL: Öffne in AnythingMCP MCP Servers → den Server, auf dem dieser Connector liegt, und kopiere seine URL (https://cloud.anythingmcp.com/mcp/…). Verwende sie überall dort, wo diese Anleitung YOUR_SERVER_ID zeigt.

ChatGPT fügt MCP-Server als Plugins auf der Seite Plugins hinzu, im Web und in kostenpflichtigen Tarifen. Der Developer Mode ist nicht mehr nötig. In einem Business-Workspace können nur Admins und Owner einen hinzufügen; in Enterprise und Edu kann ein Admin die Berechtigung Create plugins with MCPs erteilen.

1. Gehe zu chatgpt.com/plugins, klicke auf Add und dann auf Add custom MCP server.
2. Gib einen Namen ein, z. B. Name: Ollama.
3. Gib unter Connection die Server URL https://cloud.anythingmcp.com/mcp/YOUR_SERVER_ID ein und lasse Authentication auf OAuth.
4. Wähle I understand and want to continue und dann Create as a plugin. Wenn ChatGPT dich dazu auffordert, melde dich bei AnythingMCP an und erlaube den Zugriff.
5. Installiere das neue Plugin aus deinen persönlichen Plugins, tippe dann in einem Chat @ und wähle es aus.

Verfügbare Tools

FAQ

Funktioniert der kostenlose ChatGPT-Tarif mit benutzerdefinierten MCP-Servern? OpenAI dokumentiert benutzerdefinierte MCP-Server nur für kostenpflichtige Tarife; der Free-Tarif steht nicht auf der Liste.

Nächste Schritte

• Connector-Landingpage
• Mit Claude verbinden