Atak pisany wierszem? O lukach w zabezpieczeniach LLM

Skuteczność przekraczająca 90% w testach może spaść do 33,8%, gdy model mierzy się z nowym, nieznanym wcześniej scenariuszem. Na takie wyniki wskazuje przywoływane przez F5 Labs[1] zewnętrzne badanie systemów AI guardrails. Eksperci F5 podkreślają, że obserwacje te potwierdzają szerszy problem z generalizacją mechanizmów zabezpieczających modele językowe.

Rozbieżność ta sugeruje, że wyzwaniem nie są pojedyncze luki techniczne, lecz ograniczona odporność systemów na nieprzewidziane konteksty użycia. W warunkach odbiegających od scenariuszy testowych mechanizmy ochronne tracą stabilność.

Napięcie między możliwościami a bezpieczeństwem

Wyniki grudniowej edycji Comprehensive AI Security Index (CASI)[2] pokazują, że wzrost wydajności nie zawsze idzie w parze ze wzrostem odporności.

Claude Opus 4.5 znalazł się na pierwszym miejscu w kategorii bezpieczeństwa. Z kolei Gemini 3, mimo wysokiej oceny zdolności modelu, uzyskał wynik bezpieczeństwa na poziomie około 50 punktów – wyższy niż wcześniejsze wersje, ale wciąż wyraźnie niższy niż modele OpenAI czy Anthropic.

Podobny trend widać w przypadku GPT-5.1. Model poprawił ogólną wydajność (z zakresu 66–68 do około 70 punktów), jednak jednocześnie stracił około czterech punktów w kategorii bezpieczeństwa. Ta regresja wpisuje się w powtarzający się schemat: niewielkie zmiany architektoniczne lub optymalizacje – np. redukcja nadmiernej „werbalności” – mogą nieproporcjonalnie wpływać na odporność na jailbreaki.

W praktyce oznacza to, że rozwój i utrzymanie bezpieczeństwa nie zawsze podążają w tym samym kierunku. Co istotne, podobną rozbieżność widać nie tylko w ocenach samych modeli, ale również w systemach zaprojektowanych specjalnie po to, by je zabezpieczać.

Wysoka skuteczność – ale tylko wobec znanych zagrożeń

Równolegle z analizami leaderboardów CASI zewnętrzne badania[3] wskazują na istotne ograniczenia obecnych systemów „AI safety guardrails”, zaprojektowanych do blokowania treści szkodliwych lub niedozwolonych.

W badaniu oceniono dziesięć publicznie dostępnych modeli guardrails od organizacji takich jak Meta, Google, IBM, NVIDIA, Alibaba czy Allen Institute. Testy przeprowadzono na zbiorze 1 445 promptów obejmujących 21 kategorii ataków adwersarialnych.

Choć wiele modeli osiągało wysoką skuteczność wobec publicznie znanych scenariuszy, wyniki pokazały, że odporność ta może być pozorna. Dla przykładu model Qwen3Guard-8B odnotował spadek dokładności z około 91% do 33,8% przy konfrontacji z nowymi promptami. Jedynie IBM Granite-Guardian-3.2-5B wykazał względnie stabilną generalizację – choć jego bazowa skuteczność wynosiła 56%.

Różnica ta wskazuje na możliwe przeuczenie (tzw. overfitting) do publicznie dostępnych zbiorów testowych – przypomina Bartłomiej Anszperger, Solution Engineering Manager CEE, F5. – Innymi słowy, systemy uczą się rozpoznawać znane wzorce ataków, ale nie radzą sobie z ich kreatywnymi modyfikacjami.

Co istotne, w części przypadków zaobserwowano również tzw. „helpful mode jailbreak” – sytuacje, w których mechanizm ochronny zamiast zablokować zapytanie, generował zakazaną treść, jeśli pytanie zostało odpowiednio sformułowane. To jednak nie wyczerpuje problemu.

Poezja jako narzędzie obejścia zabezpieczeń

Jednym z najbardziej nieoczywistych technik obejścia zabezpieczeń, opisanych w niedawnych badaniach[4], jest tzw. adversarial poetry. W przeciwieństwie do klasycznego prompt injection nie polega ona na manipulacji kodem, lecz na wykorzystaniu struktury języka – metafory, analogii i formy poetyckiej.

W praktyce szkodliwe zapytanie zostaje przekształcone w pozornie niewinną alegorię. Niebezpieczne działania mogą zostać przedstawione jako neutralne czynności – na przykład budowa broni jako komponowanie symfonii. Model, rozwijając metaforę zgodnie z logiką językową, może wygenerować treści, które w bezpośredniej formie zostałyby zablokowane. W świecie, w którym nowe klasy ataków pojawiają się w ciągu dni, a nie miesięcy, obrona również musi działać w trybie ciągłym.

To fundamentalna zmiana charakteru zagrożeń – komentuje Bartłomiej Anszperger. – Nie mówimy już o klasycznym prompt injection czy manipulacji tokenami. Atak odbywa się na poziomie znaczeń i kategorii pojęciowych. Model nie jest ‘zhakowany’ – jest przekonany, że wykonuje bezpieczne zadanie.

W świecie, w którym nowe klasy ataków pojawiają się w ciągu dni, a nie miesięcy, obrona również musi działać w trybie ciągłym.

Kluczowe pytanie nie brzmi już: czy model działa zgodnie ze specyfikacją – podsumowuje Anszperger. – Brzmi: jak zachowa się, gdy ktoś spróbuje zmienić jego sposób rozumowania?

W erze agentów AI i systemów autonomicznych odporność na manipulację językową staje się jednym z kluczowych wymiarów bezpieczeństwa organizacji. Nadchodzącym wyzwaniem jest zapewnienie, aby modele rozumiały koncepcje, a nie jedynie wzorce.

[1] https://www.f5.com/labs/articles/adversarial-poetry-and-the-efficacy-of-ai-guardrails#evaluating_the_efficacy_of_ai_guardrails

[2] https://www.f5.com/labs/casi#:~:text=CASI%20Leaderboard%20%2D%20December%202025

[3] https://www.arxiv.org/abs/2511.22047

[4] https://arxiv.org/html/2511.15304v1