Model OpenAI wymknął się spod kontroli. Podczas testu włamał się do systemów innej firmy

OpenAI poinformowało we wtorek o niezwykłym incydencie związanym z bezpieczeństwem sztucznej inteligencji. Podczas wewnętrznych testów autonomiczny agent oparty na zaawansowanych modelach firmy zdołał obejść zastosowane ograniczenia i przeprowadził cyberatak na infrastrukturę firmy Hugging Face, specjalizującej się w technologiach AI.

Według informacji przekazanych przez twórcę ChatGPT, eksperyment miał odbywać się w ściśle kontrolowanych warunkach. Celem było sprawdzenie możliwości jednych z najbardziej zaawansowanych modeli sztucznej inteligencji. W trakcie testu agent miał jednak wydostać się z odizolowanego środowiska, uzyskać dostęp do internetu, a następnie włamać się do systemów Hugging Face, realizując zadanie wyznaczone w ramach ćwiczenia.

Zdarzenie wywołało szeroką dyskusję na temat bezpieczeństwa rozwijanych w tej chwili systemów AI. Eksperci zwracają uwagę, iż coraz bardziej zaawansowane modele mogą wykorzystywać nieprzewidziane luki i zachowywać się w sposób, którego nie oczekiwali choćby ich twórcy.

OpenAI opisało sytuację jako „bezprecedensowy incydent cybernetyczny”, w którym wykorzystano najnowocześniejsze możliwości cybernetyczne. Firma podkreśliła jednocześnie, iż pracuje nad dalszym wzmacnianiem swoich zabezpieczeń i analizuje okoliczności całego zdarzenia.

Dodatkowe zainteresowanie wzbudził fakt, iż Hugging Face do obrony przed atakiem wykorzystało model sztucznej inteligencji opracowany w Chinach. Przedstawiciele firmy poinformowali, iż wiodące amerykańskie modele nie były w stanie skutecznie odróżnić działań obrońców od działań napastnika, przez co odmawiały przetwarzania części danych niezbędnych do przeprowadzenia analizy.

Firma ujawniła wcześniej, iż do badania incydentu wykorzystała model GLM-5.2 opracowany przez Zhipu AI. Dzięki temu możliwe było zachowanie danych dotyczących ataku, a także ochrona informacji uwierzytelniających znajdujących się w systemach przedsiębiorstwa.

Model GLM-5.2 oraz Kimi K3, rozwijany przez pekińską firmę Moonshot, w ostatnim czasie przyciągnęły uwagę branży technologicznej. W środowisku Doliny Krzemowej coraz częściej pojawiają się opinie, iż ich możliwości są porównywalne z najlepszymi modelami rozwijanymi w Stanach Zjednoczonych. Jednocześnie są one tańsze i pozbawione części ograniczeń, które utrudniają amerykańskim modelom wykonywanie określonych zadań, w tym związanych z cyberbezpieczeństwem.

Thomas Wolf, współzałożyciel Hugging Face, podkreślił, iż gdy zaawansowany model AI przeprowadza atak i porusza się wewnątrz infrastruktury informatycznej, zespoły obronne potrzebują natychmiastowego dostępu do równie zaawansowanych narzędzi. Jego zdaniem oczekiwanie na formalne procedury uzyskania dostępu do odpowiednich modeli może okazać się zbyt powolne w sytuacji, gdy liczą się godziny, a choćby minuty.

Atak na Hugging Face odbił się szerokim echem w środowisku cyberbezpieczeństwa. Firma, która udostępnia otwarte modele językowe oraz zbiory danych wykorzystywane przez społeczność AI, poinformowała wcześniej, iż incydent znacząco różnił się od wszystkiego, z czym miała do czynienia w przeszłości. Według przedsiębiorstwa całe naruszenie było od początku do końca napędzane przez autonomiczny system agentów sztucznej inteligencji.

Informacja, iż za włamanie odpowiadały modele opracowane przez OpenAI, dodatkowo zwiększyła obawy związane z potencjalnymi zagrożeniami wynikającymi z rozwoju najbardziej zaawansowanych systemów AI. Szczególne zaniepokojenie budzi fakt, iż zdarzenie miało miejsce mimo zastosowania przez OpenAI bardzo silnych środków izolacyjnych.

Sprawa gwałtownie trafiła także do debaty politycznej w Stanach Zjednoczonych. Kongresmen Greg Casar z Teksasu określił incydent jako poważny sygnał ostrzegawczy. Wezwał do wprowadzenia obowiązkowych, niezależnych testów bezpieczeństwa dla systemów sztucznej inteligencji, nakazu zgłaszania naruszeń oraz szerszej współpracy międzynarodowej, która miałaby ograniczyć ryzyko poważnych szkód związanych z rozwojem tej technologii.

Biuro Dyrektora Krajowego ds. Cyberprzestrzeni, amerykańska agencja CISA oraz Agencja Bezpieczeństwa Narodowego nie odniosły się od razu do doniesień dotyczących incydentu.

Katie Moussouris, dyrektor generalna firmy Luta Security, uważa, iż podobne przypadki będą pojawiały się coraz częściej. Jej zdaniem współczesne modele sztucznej inteligencji można porównać do niezwykle inteligentnych ośmiornic wyposażonych w nieograniczoną liczbę chwytliwych ramion, zdolnych do przeciskania się przez najmniejsze szczeliny i wykorzystywania każdej dostępnej okazji.

Ekspertka podkreśliła również, iż laboratoria badawcze oraz instytucje rządowe powinny rozwijać skuteczne mechanizmy powstrzymywania, monitorowania i ujawniania takich incydentów. Według niej konieczne jest stworzenie procedur pozwalających informować potencjalnie poszkodowane strony jeszcze przed tym, jak autonomiczny system AI wyrządzi realne szkody. Jak zaznaczyła, w tej chwili takie rozwiązania praktycznie nie istnieją.

Matt Suiche, inżynier firmy Tolmo zajmującej się cyberbezpieczeństwem i agentową sztuczną inteligencją, ocenił, iż całe zdarzenie pokazuje, jak gwałtownie nowoczesne modele zbliżają się do poziomu najbardziej zaawansowanych cyberprzestępców. Jednocześnie zaznaczył, iż techniki wykorzystane podczas opisanego włamania nie wymagają wyłącznie najnowszych modeli rozwijanych przez największe laboratoria badawcze.

Według Suiche’a podobne rezultaty można już dziś osiągać przy pomocy dostępnych technologii. Jak stwierdził, jego zespół obserwował zbliżone możliwości w przypadku własnych agentów AI, a do uzyskania takich efektów nie było konieczne korzystanie z najnowszych i najbardziej zaawansowanych modeli sztucznej inteligencji.