Kurzanleitung

Diese Kurzanleitung erklärt, wie man Ollama verwendet, um LLM-Funktionen für Liz bereitzustellen. Sie können nach der ursprünglichen Installation die Anbieter wechseln, indem Sie sich auf Anleitungen für Administratoren beziehen.

Voraussetzungen

Die aktuelle Version des KI-Assistenten erfordert die folgenden Komponenten:

Stellen Sie sicher, dass Sie die Rechte haben, CRD (cluster_admin) im Host-Cluster bereitzustellen.

Technische Anforderungen

Hier ist eine Tabelle der unterstützten KI-Komponenten und deren Anforderungen.

Sie müssen nur die Anforderungen für die spezifischen Komponenten erfüllen, die Sie ausführen möchten. Die Anforderungen variieren je nach dem spezifischen großen Sprachmodell (LLM), das Sie bereitstellen möchten.
LLM-Modell Anforderungen GPU-Anforderung

gpt-oss:20b

Ollama installiert

NVIDIA RTX A5000, NVIDIA RTX 4090 oder ähnlich (mindestens 24 GB VRAM)

gpt-oss:120b

Ollama installiert

NVIDIA A100 oder ähnlich (mindestens 80 GB VRAM)

Gemini

Google Workplace-Konto

Nicht zutreffend

ChatGPT

OpenAI-Konto

Nicht zutreffend

AWS Bedrock

AWS-Konto

Nicht zutreffend

OpenAI-ähnlicher Anbieter

Azure-Konto, Evroc Think, …​

Nicht zutreffend

Die Liste der getesteten Modelle ist in der Modelle Dokumentation verfügbar.

Wenn Sie Ihr eigenes Ollama ausführen, stellen Sie bitte sicher, dass Sie mindestens gpt-oss:20b für das lokale Modell haben. Konsultieren Sie Ollama-Dokumentation, um zu erfahren, wie Sie Modelle abrufen können.

Installieren Sie Liz: The Rancher AI Assistant

Die Installation von Liz ist ein zweistufiger Prozess:

  • Setzen Sie den Agenten und das MCP über das bereitgestellte Helm-Chart ein.

  • Setzen Sie die Rancher UI-Erweiterung ein.

Installieren Sie den Agenten und das MCP im lokalen Cluster

  1. Erstellen Sie eine values.yaml-Dateieinstellung (für Ollama):

    ollamaLlmModel: "gpt-oss:20b"
ollamaUrl: "http://ollama:11434"
activeLlm: "ollama"

    Sie können diese Einstellungen und Anbieter später in den „globalen Einstellungen → KI-Assistent-Tabs“ von Rancher ändern.

  2. Installieren Sie das rancher-ai-agent Chart

    helm install rancher-ai-agent \
  --namespace cattle-ai-agent-system \
  --create-namespace \
  -f values.yaml oci://registry.suse.com/rancher/charts/rancher-ai-agent

Installieren Sie die UI-Erweiterung

Öffnen Sie die Rancher Manager UI und navigieren Sie zur Seite 'Erweiterungen'.

  1. Klicken Sie im Rancher Manager auf Erweiterung in der Menüleiste.

    Erweiterungsschaltfläche in der Menüleiste

  2. Verwenden Sie das Drei-Punkte-Menü in der oberen rechten Ecke und wählen Sie 'Rancher-Repositories hinzufügen' aus.

    Menü zur Verwaltung von Rancher-Repositories

  3. Wählen Sie 'Offizielles Rancher-Erweiterungs-Repository hinzufügen', um das Repository hinzuzufügen.

    Offizielles Rancher-Repository hinzufügen

  4. Klicken Sie auf 'Hinzufügen'.

  5. Suchen Sie die Karte des KI-Assistenten und klicken Sie auf 'Installieren'.

  6. Wählen Sie eine Version aus (oder verwenden Sie standardmäßig die neueste) und klicken Sie auf 'Installieren'.

    Wählen Sie eine Version aus oder verwenden Sie die neueste.

  7. Sobald die Erweiterung installiert ist, klicken Sie auf die Schaltfläche 'Neu laden', die oben auf der Seite erscheint.