Jak oszacować koszt chatbota na podstawie liczby użytkowników, zapytań i tokenów

Decyzja

Zacznij od modelu użytkowania przed szukaniem ceny miesięcznej. Aktywni użytkownicy, sesje, wiadomości, długość wejścia i długość wyjścia zmieniają obciążenie pracą. Włączanie odzyskanych fragmentów i historii konwersacji do danych wejściowych; widoczne pytanie jest rzadko całym pytaniem.

Przykład roboczy

Przykładowe założenia: 200 aktywnych użytkowników, 3 sesje miesięcznie i 4 prośby modelowe na sesję tworzą 2.400 wniosków. Na 1500 tokenów wejściowych i 300 tokenów wyjściowych na każde życzenie, suma wynosi 3,6 miliona wejść i 720,000 tokenów wyjściowych. Są to ilości hipotetyczne, a nie zmierzone natężenie ruchu lub wycena dostawcy. Do każdej kategorii stosować oddzielnie weryfikowane stawki dla dostawców.

Alternatywy warte ważenia

Mniejszy kontekst, krótsza odpowiedź lub prostszy model mogą zmniejszyć wydatki, ale ocenić wpływ na rzeczywiste zadanie. Caching pomaga tylko we wnioskach o ponowne użycie zgodnie z odpowiednimi zasadami prywatności i świeżości. Normalny interfejs wyszukiwania może unikać kosztów wytwarzania, jeżeli użytkownicy potrzebują tylko dokumentu.

Gdzie plan się psuje

Nie ignoruj powtórzeń, indeksowania dokumentów, wywołań narzędzi, przechowywania, monitorowania i wsparcia. Zasiłek na przekupstwo potrzebuje punktu egzekucyjnego, a nie tylko cennego zdania na stronie. Śledź niezwykle długie prośby oddzielnie, ponieważ średnie mogą ukryć przypadki, które dominują wydatków.

Zbuduj kopertę obciążenia pracą, nie tylko średnią

Rozszerzenie ilustracyjnych obliczeń o zwykłe, ciężkie i wyjątkowe sesje. Krótkie pytanie polityczne może wymagać jednego pobrania i jednej odpowiedzi, podczas gdy porównanie dokumentów może wymagać kilku wniosków dotyczących modeli i znacznie dłuższego kontekstu. Przelicz te prośby wyraźnie. Na przykład, jeżeli jedna czwarta z pierwotnych 2.400 wniosków wykorzystuje dwa razy więcej zakładanych danych wejściowych, to suma danych wejściowych wynosi 4,5 miliona tokenów przed ponownymi próbami. Całkowita wartość wyjściowa pozostaje na poziomie 720 000 tylko wtedy, gdy długość wyjściowa i liczba żądań nie ulegną zmianie. Te założenia pozostają założeniami planowania.

Należy oddzielić stosowanie modelu od indeksowania, przechowywania, ekstrakcji, integracji i wsparcia ludzkiego. Dokument, czy przetwarzanie zamiennego pliku ponownie wykorzystuje istniejącą pracę lub odbudowuje kolekcję. Porównaj notowania dostawców przy użyciu tego samego obciążenia pracą i waluty, z zapisaną datą dla stawek. Należy unikać umieszczania aktualnej ceny w długoletnich szacunkach, nie określając, w jaki sposób zostanie ona odświeżona. Nawet w przypadku zmiany cen usługodawcy, przydatny może pozostać jasny zestaw danych dotyczących ilości.

Zdecyduj, co się dzieje na granicy wydatków

Próg ostrzegawczy i twardy limit mają różne cele. Ostrzeżenie daje właścicielowi czas na zbadanie nietypowego użytkowania. Ciężka granica zapobiega dodatkowej pracy, więc produkt musi wyjaśnić przerwanie i zapewnić użyteczną trasę, taką jak wyszukiwanie dokumentów lub późniejsze ponowne próby. Zdecyduj, czy limit należy do osoby fizycznej, konta klienta lub całej usługi. Równoczesne wnioski wymagają wspólnego punktu egzekwowania prawa; każda z tych kontroli może zatwierdzić pracę w ramach tego samego pozostałego dodatku.

Przed uruchomieniem testować wybuch żądań, powtarzające się błędy i niezwykle długi dokument przy użyciu fikcyjnego wejścia. Sprawdź, czy limit zatrzymuje nową kosztowną pracę, zachowując już akceptowane rekordy biznesowe. Rekordowe ilości, opóźnienia i bezpieczne błędy, a nie niepotrzebne treści rozmowy. Przypisz właścicielowi, który może zbadać kolce i zatwierdzić poprawiony zasiłek. Przegląd zarówno jakości zadania, jak i wykorzystania po zmianie; niższy rachunek nie jest sukcesem, jeśli użytkownicy muszą powtórzyć każde pytanie.

Przed zleceniem pracy

Jaki jest najgorszy wiarygodny schemat użytkowania? Gdzie obowiązuje limit wydatków? Który test jakości chroni przed tanią, ale nieprzydatną odpowiedzią? Należy uwzględnić te założenia w oszacowaniu integracji AI i skorygować je z rzeczywistym wykorzystaniem.