Plattform-Modelle
Der Modellkatalog: Modelle für alle Organisationen hinzufügen, bepreisen, bearbeiten und außer Betrieb nehmen.
Auf dieser Seite
Die Seite Modellkatalog im Bereich Plattform der Einstellungen zeigt alle Modelle der Plattform. Organisationen können aus den eingeschalteten und auswählbaren Modellen wählen. Nur Plattform-Administratoren können die Seite öffnen; allen anderen zeigt AITEZA, dass nur Super-Admins den Modellkatalog verwalten können.
Welche dieser Modelle eine Organisation anbietet, entscheiden anschließend ihre Organisations-Admins (siehe Modelle der Organisation).
Katalog
Der Tab Katalog listet alle Modelle des Katalogs auf; der Tab-Titel zeigt ihre Anzahl. Jede Zeile zeigt das Symbol und den Anzeigenamen des Modells, darunter seinen Namen in LiteLLM (dem Modell-Gateway, über das AITEZA die KI-Anbieter erreicht), sowie Verfügbarkeit und Zustand:
| Text | Bedeutung |
|---|---|
| In … Organisationen verfügbar | Wie viele Organisationen das Modell anbieten. Erscheint nur bei Modellen, die eingeschaltet und auswählbar sind. |
| Standard | Der Plattform-Standard: vorausgewählt für neue Datenräume und in Organisationen ohne eigene Modellauswahl. |
| Nicht auswählbar | Personen können das Modell nicht wählen. Nur interne Funktionen nutzen es. |
| Aus | Niemand kann das Modell nutzen. |
| Stillgelegt → … | Das Modell wurde stillgelegt und durch das Modell nach dem Pfeil ersetzt. |
| Fehlt in LiteLLM | LiteLLM stellt das Modell nicht mehr bereit. Anfragen daran schlagen fehl, bis LiteLLM es wieder bereitstellt oder Sie es stilllegen. |
Am Ende jeder Zeile stehen Bearbeiten und Stilllegen. Auf kleinen Bildschirmen finden Sie diese Aktionen im Menü der Zeile. Stillgelegte Modelle lassen sich nur noch bearbeiten.
Neue Katalogmodelle erscheinen sofort in jeder Organisation ohne eigene Modellauswahl. Organisationen, die eine eigene Auswahl gespeichert haben, müssen ein neues Modell selbst einschalten.
Ein Modell hinzufügen
Der Tab In LiteLLM gefunden listet die Chat-Modelle auf, die LiteLLM bereitstellt und die noch nicht im Katalog sind. Jede Zeile zeigt den Namen des Modells in LiteLLM und was LiteLLM darüber meldet, zum Beispiel Bilder, Tools, Reasoning und die Größe des Kontexts.
Steht dort „Keine neuen Modelle in LiteLLM“, obwohl Sie Modelle erwartet haben, ist LiteLLM möglicherweise nicht erreichbar oder nicht eingerichtet.
Ein Modell zum Katalog hinzufügen
- 1
Wählen Sie im Tab In LiteLLM gefunden neben dem Modell Hinzufügen. Der Bereich Modell hinzufügen öffnet sich, das LiteLLM-Modell ist bereits eingetragen.
- 2
Prüfen Sie die vorgeschlagene ID. Datenräume, Relays und Workflows verweisen auf diese ID, deshalb lässt sie sich später nicht ändern. Verwenden Sie Buchstaben, Ziffern, Punkte, Bindestriche und Unterstriche, höchstens 100 Zeichen.
- 3
Geben Sie Anzeigename und Beschreibung ein und wählen Sie ein Symbol.
- 4
Prüfen Sie die Fähigkeiten: Versteht Bilder (aus den Angaben von LiteLLM übernommen), Liest Dokumente in der VLM-Pipeline und Agentische Suche in Datenräumen. Bei Modellen mit Reasoning wählen Sie außerdem den Reasoning-Aufwand.
- 5
Geben Sie unter Hosting an, wo das Modell läuft: Selbst gehostet: maximaler Schutz, In der EU gehostet, kein Training oder Externe API. Diese Angabe sehen Nutzer:innen bei der Modellauswahl.
- 6
Legen Sie unter Verfügbarkeit fest, ob das Modell Eingeschaltet, Auswählbar und Plattform-Standard ist.
- 7
Wählen Sie Verbindung testen. AITEZA sendet eine kurze Anfrage an das Modell und zeigt zum Beispiel „Funktioniert · 840 ms“ oder „Fehlgeschlagen:“ mit dem Grund.
- 8
Wählen Sie Zum Katalog hinzufügen.
Unter Erweiterte Einstellungen finden Sie weitere Optionen: Textabschnitte pro Antwort (Textabschnitte aus Datenräumen, die mit jeder Frage gesendet werden), Temperatur in Chats, Temperatur mit Datenräumen, Nur diese Tools und Gesperrte Tools. Lassen Sie sie leer, gelten die Standardwerte des Modells.
Ist LiteLLM für Ihre Installation nicht eingerichtet, weist AITEZA darauf hin, dass sich Modelle erst danach hinzufügen lassen.
Preise und Auto
Den Preis je 1 Mio. Tokens, den Nutzer:innen bei der Modellauswahl sehen, liefert LiteLLM (Eingabe- und Ausgabekosten je Token). Auto entscheidet anhand dieser Preise, der Fähigkeiten und des Reasoning-Aufwands, welches Modell eine Nachricht beantwortet: Einfache Anfragen gehen an das günstigste Modell, anspruchsvolle an das Modell mit dem höchsten Reasoning-Aufwand. Hinterlegen Sie in LiteLLM für alle Modelle Preise, sonst kann Auto sie nur nach Reasoning-Aufwand vergleichen.
Ein Modell bearbeiten
Mit Bearbeiten ändern Sie Anzeigename, Beschreibung, Symbol, Fähigkeiten, Verfügbarkeit und erweiterte Einstellungen. Vor dem Speichern können Sie die geänderten Einstellungen mit Verbindung testen prüfen. LiteLLM-Modell und ID lassen sich nicht ändern. Um ein anderes LiteLLM-Modell zu verwenden, fügen Sie es als neues Modell hinzu und legen Sie das alte still.
Schalten Sie Eingeschaltet aus, kann niemand das Modell mehr nutzen, aber Datenräume und Workflows behalten es. Um sie auf ein anderes Modell umzustellen, legen Sie das Modell stattdessen still.
Ein Modell stilllegen
Legen Sie ein Modell still, wenn es nicht mehr verwendet werden soll, etwa weil der Anbieter es einstellt.
Ein Modell stilllegen
- 1
Wählen Sie in der Zeile des Modells Stilllegen.
- 2
Wählen Sie unter Ersetzen durch das Modell, das an seine Stelle tritt. Angeboten werden nur Modelle, die eingeschaltet und auswählbar sind.
- 3
Wählen Sie Modell stilllegen.
Der Ersatz tritt dann in jeder Organisation an die Stelle des alten Modells:
- in den Modelllisten und als Standardmodell von Datenräumen,
- in externen Freigaben (Relays),
- in Workflows,
- in den Modellauswahlen der Organisationen und in Gruppenausnahmen,
- im persönlichen Standardmodell von Personen.
Das stillgelegte Modell wird ausgeschaltet und als Stillgelegt → … mit dem Namen seines Ersatzes angezeigt. Schalten Sie es unter Bearbeiten wieder ein, ist es wieder nutzbar; Stellen, die auf den Ersatz umgestellt wurden, bleiben beim Ersatz.
Ist kein anderes Modell eingeschaltet und auswählbar, weist der Dialog darauf hin, und das Modell kann nicht stillgelegt werden.
Transkription
Im Tab Transkription wählen Sie das Speech-to-Text-Modell, mit dem Audiodateien in Datenräumen transkribiert werden (siehe Audiodateien und Transkripte).
- Automatisch verwendet das erste Speech-to-Text-Modell, das AITEZA in LiteLLM findet, angezeigt als Derzeit …. Modelle, die in LiteLLM unter
model_infomitmode: audio_transcriptiongekennzeichnet sind, kommen zuerst. - Wählen Sie ein aufgeführtes Modell, um es für alle neuen Aufnahmen zu verwenden. Die Auswahl gilt für die gesamte Plattform.
- Legt die Backend-Konfiguration das Modell fest, zeigt der Tab es nur an; es lässt sich dann nur in der Konfiguration ändern.
- Ist die Audiotranskription in der Backend-Konfiguration ausgeschaltet, weist der Tab darauf hin. Eine hier getroffene Auswahl gilt, sobald sie eingeschaltet ist.
Wo das Modell es unterstützt, fragt AITEZA automatisch die Sprechererkennung an. Bereits transkribierte Aufnahmen behalten ihr Transkript, bis sie neu transkribiert werden.
Modelle, die das System verwendet
Manche Modelle nutzen auch interne Funktionen von AITEZA, zum Beispiel für die Verarbeitung von Dokumenten. Ein solches Modell lässt sich hier weder ausschalten noch stilllegen. Die Meldung nennt die Einstellung in der Systemkonfiguration, die auf das Modell verweist. Ändern Sie zuerst diese Einstellung; ein Ersatz hilft in diesem Fall nicht.
