Modele platformy
Katalog modeli: dodawanie, wycena, edycja i wycofywanie modeli dla wszystkich organizacji.
Na tej stronie
Strona Katalog modeli w sekcji Platforma w Ustawieniach pokazuje modele dostępne na platformie. Organizacje wybierają spośród tych, które są włączone i dostępne do wyboru. Stronę mogą otworzyć tylko administratorzy platformy; pozostałym AITEZA wyświetla informację, że katalogiem modeli mogą zarządzać tylko superadministratorzy.
O tym, które z tych modeli oferuje dana organizacja, decydują następnie jej administratorzy (zobacz Modele organizacji).
Katalog
Karta Katalog wymienia wszystkie modele w katalogu; tytuł karty pokazuje ich liczbę. Każdy wiersz pokazuje ikonę i nazwę wyświetlaną modelu, pod nią nazwę modelu w LiteLLM (bramce modeli, przez którą AITEZA łączy się z dostawcami AI), a także dostępność i stan:
| Tekst | Znaczenie |
|---|---|
| Dostępny w … organizacjach | W ilu organizacjach model jest oferowany. Wyświetlane tylko dla modeli, które są włączone i dostępne do wyboru. |
| Domyślny | Model domyślny platformy: wybrany z góry dla nowych przestrzeni danych i w organizacjach bez własnego zestawu modeli. |
| Niedostępny do wyboru | Osoby nie mogą wybrać modelu. Używają go tylko funkcje wewnętrzne. |
| Wyłączony | Nikt nie może korzystać z modelu. |
| Wycofany → … | Model został wycofany i zastąpiony modelem podanym po strzałce. |
| Brak w LiteLLM | LiteLLM nie udostępnia już tego modelu. Zapytania do niego kończą się błędem, dopóki LiteLLM znów go nie udostępni albo dopóki go nie wycofasz. |
Na końcu każdego wiersza znajdziesz Edytuj i Wycofaj. Na małych ekranach te działania są w menu wiersza. Wycofane modele można już tylko edytować.
Nowe modele z katalogu pojawiają się od razu w każdej organizacji bez własnego zestawu modeli. Organizacje, które zapisały własny wybór, muszą samodzielnie włączyć nowy model.
Dodawanie modelu
Karta Znalezione w LiteLLM wymienia modele czatu udostępniane przez LiteLLM, których nie ma jeszcze w katalogu. Każdy wiersz pokazuje nazwę modelu w LiteLLM oraz informacje, które przekazuje LiteLLM, np. Obrazy, Narzędzia, Rozumowanie i rozmiar kontekstu.
Jeśli karta pokazuje „Brak nowych modeli w LiteLLM”, choć spodziewasz się tam modeli, LiteLLM może być nieosiągalny lub nieskonfigurowany.
Dodawanie modelu do katalogu
- 1
Na karcie Znalezione w LiteLLM wybierz Dodaj obok modelu. Otworzy się panel Dodaj model z wypełnionym polem Model LiteLLM.
- 2
Sprawdź zaproponowane ID. Przestrzenie danych, Relaye i przepływy pracy odwołują się do tego ID, dlatego później nie można go zmienić. Używaj liter, cyfr, kropek, łączników i podkreśleń, maksymalnie 100 znaków.
- 3
Wypełnij pola Nazwa wyświetlana i Opis, a w polu Ikona wybierz ikonę.
- 4
Sprawdź Możliwości: Rozumie obrazy (uzupełniane na podstawie danych z LiteLLM), Czyta dokumenty w potoku VLM i Wyszukiwanie agentowe w przestrzeniach danych. W przypadku modeli obsługujących rozumowanie wybierz też Poziom rozumowania.
- 5
W polu Hosting podaj, gdzie działa model: Hostowany samodzielnie: maksymalna ochrona, Hostowany w UE, bez trenowania lub Zewnętrzne API. Użytkownicy widzą tę informację przy wyborze modelu.
- 6
W sekcji Dostępność zdecyduj, czy model jest Włączony, Dostępny do wyboru i czy jest Domyślny dla platformy.
- 7
Wybierz Testuj połączenie. AITEZA wysyła do modelu krótkie zapytanie i pokazuje np. „Działa · 840 ms” albo „Niepowodzenie:” wraz z przyczyną.
- 8
Wybierz Dodaj do katalogu.
Ustawienia zaawansowane zawierają dodatkowe opcje: Fragmenty na odpowiedź (fragmenty tekstu z przestrzeni danych wysyłane z każdym pytaniem), Temperatura w czatach, Temperatura w przestrzeniach danych, Tylko te narzędzia i Zablokowane narzędzia. Pozostaw je puste, aby używać ustawień domyślnych modelu.
Jeśli LiteLLM nie jest skonfigurowany w Twojej instalacji, AITEZA poinformuje, że modele można dodawać dopiero po jego skonfigurowaniu.
Ceny i Auto
Cenę za 1 mln tokenów, którą użytkownicy widzą przy wyborze modelu, dostarcza LiteLLM (koszt wejścia i wyjścia za token). Auto na podstawie tych cen, możliwości i poziomu rozumowania decyduje, który model odpowie na wiadomość: proste zapytania trafiają do najtańszego modelu, wymagające do modelu z najwyższym poziomem rozumowania. Ustaw ceny w LiteLLM dla wszystkich modeli, w przeciwnym razie Auto może porównywać je tylko według poziomu rozumowania.
Edytowanie modelu
Wybierz Edytuj, aby zmienić nazwę wyświetlaną, opis, ikonę, możliwości, dostępność i ustawienia zaawansowane. Przed wybraniem Zapisz możesz sprawdzić zmienione ustawienia za pomocą Testuj połączenie. Modelu LiteLLM ani ID nie można zmienić. Aby użyć innego modelu LiteLLM, dodaj go jako nowy model i wycofaj stary.
Jeśli wyłączysz Włączony, nikt nie będzie mógł korzystać z modelu, ale przestrzenie danych i przepływy pracy go zachowają. Aby przenieść je na inny model, wycofaj model.
Wycofywanie modelu
Wycofaj model, gdy nie powinien być już używany, np. dlatego że dostawca go wycofuje.
Wycofywanie modelu
- 1
W wierszu modelu wybierz Wycofaj.
- 2
W polu Zastąp modelem wybierz model, który zajmie jego miejsce. Dostępne są tylko modele włączone i dostępne do wyboru.
- 3
Wybierz Wycofaj model.
Zastępczy model zajmuje wtedy miejsce starego w każdej organizacji:
- na listach modeli i jako model domyślny przestrzeni danych,
- w udostępnieniach zewnętrznych (Relayach),
- w przepływach pracy,
- w zestawach modeli organizacji i w wyjątkach dla grup,
- w osobistym modelu domyślnym poszczególnych osób.
Wycofany model zostaje wyłączony i jest wyświetlany jako Wycofany → … z nazwą zastępstwa. Jeśli włączysz go ponownie w Edytuj, wróci do użytku; miejsca przeniesione na zastępstwo pozostają przy zastępstwie.
Jeśli żaden inny model nie jest włączony i dostępny do wyboru, okno o tym informuje i modelu nie można wycofać.
Transkrypcja
Zakładka Transkrypcja służy do wyboru modelu zamiany mowy na tekst, który transkrybuje pliki audio w pokojach danych (zobacz Pliki audio i transkrypcje).
- Automatycznie używa pierwszego modelu zamiany mowy na tekst znalezionego przez AITEZA w LiteLLM, pokazanego jako Obecnie …. Modele oznaczone w LiteLLM w
model_infojakomode: audio_transcriptionmają pierwszeństwo. - Wybierz model z listy, aby używać go do wszystkich nowych nagrań. Wybór obowiązuje na całej platformie.
- Jeśli model jest ustawiony w konfiguracji backendu, zakładka tylko go pokazuje; można go wtedy zmienić wyłącznie w konfiguracji.
- Jeśli transkrypcja audio jest wyłączona w konfiguracji backendu, zakładka o tym informuje. Wybór dokonany tutaj zacznie obowiązywać po jej włączeniu.
Jeśli model to obsługuje, AITEZA automatycznie prosi o rozpoznanie mówców. Nagrania już przetranskrybowane zachowują swoją transkrypcję do czasu ponownej transkrypcji.
Modele używane przez system
Niektórych modeli używają także wewnętrzne funkcje AITEZA, np. do przetwarzania dokumentów. Takiego modelu nie można tu wyłączyć ani wycofać. Komunikat podaje ustawienie w konfiguracji systemu, które odwołuje się do modelu. Najpierw zmień to ustawienie; wybór zastępstwa w tym przypadku nie pomoże.
