Ile naprawdę kosztuje gadatliwy czatbot. Rozkładamy „złodzieja tokenów” na czynniki pierwsze

Capgemini policzyło, że firmowa rozrzutność w korzystaniu z czatów AI może kosztować „setki tysięcy złotych rocznie”. Nie policzyło jednak, jak do tej liczby doszło — ani dla jakiej firmy, ani przy jakim modelu rozliczenia. To problem, bo mechanika, którą opisują, jest prawdziwa i realnie mało kto ją rozumie. Szkoda, że opakowano ją w liczbę, której nie da się zweryfikować.

Spróbujmy więc policzyć samodzielnie — i sprawdzić, kogo ten problem w ogóle dotyczy.

Kto w ogóle płaci za tokeny

To pierwsze pytanie, które komunikat pomija, a które decyduje, czy tekst ma cokolwiek wspólnego z Twoją firmą. Jeśli pracownicy korzystają z ChatGPT Plus, Claude Pro czy podobnego abonamentu za stałą miesięczną opłatą, „ekonomia tokenów” jest dla nich zjawiskiem niewidzialnym — płacisz ryczałt, niezależnie od tego, ile ktoś wklei do okna czatu. Problem, o którym mówi Capgemini, dotyczy realnie dwóch sytuacji: firm korzystających z API (rozliczenie per token, typowe przy integracjach z własnymi systemami, botami obsługi klienta, automatyzacjami) oraz kont enterprise z limitami zużycia. Jeśli Twoja firma płaci stałą subskrypcję za miejsca dla pracowników, „puchnący kontekst” nie drenuje budżetu — najwyżej frustruje pracownika, gdy model gubi wątek po długiej rozmowie.

To rozróżnienie nie jest szczegółem technicznym. To jest pytanie, czy w ogóle powinieneś czytać dalej.

Ile to naprawdę kosztuje — policzmy

Dla firm rozliczanych per token spróbujmy przełożyć ostrzeżenie Capgemini na liczby. Typowy model językowy klasy biznesowej kosztuje rzędu kilku–kilkunastu dolarów za milion tokenów wejściowych i kilkukrotnie więcej za tokeny wyjściowe — dokładne stawki różnią się między dostawcami i modelami, więc każdy, kto liczy realny budżet, powinien sprawdzić aktualny cennik swojego dostawcy, nie ten artykuł.

Ale rząd wielkości pokazuje coś ważnego: ośmiogodzinna sesja w jednym oknie czatu, gdzie model przy każdej kolejnej wiadomości musi „przeczytać” całą dotychczasową historię, to konwersacja licząca dziesiątki, a czasem setki tysięcy tokenów wejściowych zanim dzień się skończy — nie dlatego, że pracownik napisał aż tyle, tylko dlatego, że model za każdym razem przeżuwa od nowa wszystko, co było wcześniej. To mechanika kwadratowa: dziesiąte pytanie w sesji kosztuje więcej niż suma pierwszych dziewięciu, bo dociąga za sobą całą resztę.

Przy stawkach rzędu pojedynczych dolarów za milion tokenów pojedyncza rozdęta sesja to koszt liczony w groszach do pojedynczych złotych. Żeby dobić do „setek tysięcy złotych rocznie”, trzeba by mieć w firmie dziesiątki albo setki osób non-stop prowadzących takie maratony w narzędziach rozliczanych per token — czyli scenariusz, który dotyczy raczej dużych wdrożeń korporacyjnych z automatyzacjami działającymi w tle, niż pojedynczego pracownika wklejającego długi dokument do czatu.

Innymi słowy: mechanizm jest prawdziwy, kierunek ostrzeżenia ma sens, ale skala podana przez Capgemini pasuje do zupełnie innej kategorii firm niż ta, do której komunikat się zwraca.

Gdzie ten problem faktycznie boli

Prawdziwym kosztem „puchnącego kontekstu” rzadko jest sama cena tokenów — częściej jest to spadek jakości odpowiedzi. Model, który musi przetrawić wielogodzinną historię rozmowy, faktycznie zaczyna gubić wątek, mylić kontekst, powtarzać się. To zjawisko dobrze udokumentowane technicznie — nie trzeba wierzyć na słowo Capgemini, wystarczy porównać jakość dziesiątej odpowiedzi w długiej sesji z pierwszą. Koszt nie jest tu finansowy w sensie faktury, tylko w sensie czasu pracownika, który musi poprawiać albo dopytywać, bo dostał gorszą odpowiedź niż mógłby dostać w świeżym oknie.

Drugi realny koszt — i tu akurat komunikat trafia dobrze — to tokeny wyjściowe. Jeśli prosisz o drobną poprawkę w dokumencie, a dostajesz cały plik przepisany od nowa z wstępem i podsumowaniem, płacisz za coś, czego nie potrzebowałeś, i tracisz czas na wyłowienie zmiany z szumu. To akurat nie wymaga skomplikowanych wyliczeń, żeby uznać za marnotrawstwo — wystarczy zdrowy rozsądek.

Co z tego wynika dla właściciela firmy

Jeśli Twoja firma korzysta z czatów AI przez zwykłe abonamenty pracownicze — problem opisany przez Capgemini praktycznie Cię nie dotyczy finansowo, choć nawyk otwierania nowej sesji do nowego zadania i tak poprawi jakość odpowiedzi.

Jeśli firma korzysta z API albo planuje integracje (boty, automatyzacje, własne narzędzia oparte na modelach językowych) — to jest moment, żeby zapytać dostawcę wdrożenia wprost: jak rozliczany jest kontekst, czy jest mechanizm przycinania historii rozmowy, i ile kosztowała najdłuższa sesja w zeszłym miesiącu. To pytanie, na które komunikat prasowy nigdy nie odpowie, bo nie jest w jego interesie, żebyś je zadał przed podpisaniem umowy, tylko po.

Rozrzutność przy korzystaniu z AI istnieje. Tylko nie każda firma płaci za nią w ten sam sposób — i zanim ktoś zacznie liczyć setki tysięcy złotych strat, warto sprawdzić, czy w ogóle jest w grupie, która płaci per token.