AI pomyliło klarnet z karabinem i wywołało lockdown szkoły. Twórcy systemu: „To nie był błąd”

Wyobraźcie sobie taką scenę: szkoła średnia na Florydzie, dzień przebierańców przed świętami. Jeden z uczniów, przebrany za postać z filmu „Czerwona Jedynka”, idzie korytarzem z klarnetem w ręku.

Chwilę później szkoła zostaje zamknięta, a na miejsce pędzi policja, spodziewając się uzbrojonego napastnika w kamuflażu. Powód? System AI uznał instrument muzyczny za karabin.

Do zdarzenia doszło w Lawton Chiles Middle School. Za zamieszanie odpowiada system ZeroEyes, który analizuje obraz z kamer monitoringu w poszukiwaniu broni. Teoretycznie brzmi to świetnie, ale praktyka okazała się – delikatnie mówiąc – fałszywą nutą.

„Lepiej dmuchać na zimne” (nawet w klarnet)

Najbardziej kuriozalne w tej historii nie jest to, iż algorytm się pomylił – technologia bywa zawodna. Szokujące jest tłumaczenie firmy. Sam Alaimo, współzałożyciel ZeroEyes, w rozmowie z Washington Post stwierdził wprost: „Nie uważamy, iż popełniliśmy błąd, ani my, ani szkoła”.

Jak to możliwe, iż fałszywy alarm, który zestresował setki uczniów i postawił na nogi policję, jest uznawany za sukces? Firma tłumaczy to filozofią „better safe than sorry”. Według rzecznika ZeroEyes, uczeń „celowo trzymał instrument w pozycji przypominającej trzymanie karabinu na ramieniu”.

Gdzie był człowiek?

Co istotne, ZeroEyes chwali się, iż ich system to nie tylko „głupie AI”, ale także weryfikacja przez człowieka. Zanim wezwana zostanie policja, algorytm wysyła alert do centrum operacyjnego, gdzie przeszkoleni pracownicy (często byli wojskowi lub policjanci) oceniają zagrożenie. W tym przypadku człowiek również zawiódł. Operator systemu spojrzał na zdjęcie chłopca z klarnetem i zatwierdził alarm, wysyłając policję do szkoły z informacją o „mężczyźnie w kamuflażu z bronią wycelowaną w korytarz”.

Klarnet to nowa broń?

Reakcja szkoły była równie zaskakująca. Zamiast przeprosić za traumatyczne przeżycia, dyrektorka Melissa Laudani wysłała list do rodziców, prosząc, by pouczyli dzieci o „niebezpieczeństwach udawania, iż ma się broń na terenie szkoły”.

W skrócie: to wina ucznia, iż trzymał instrument w sposób, który nie spodobał się algorytmowi.

Teatr bezpieczeństwa za miliony

Krytycy, tacy jak konsultant ds. bezpieczeństwa Kenneth Trump, nazywają takie systemy „teatrem bezpieczeństwa”. Szkoły wydają gigantyczne pieniądze (nawet setki tysięcy dolarów rocznie), by zyskać złudne poczucie spokoju.

Tymczasem lista pomyłek AI rośnie:

• W 2023 roku ZeroEyes pomyliło cienie z bronią.
• Konkurencyjny system Omnilert nasłał policję na ucznia, który trzymał paczkę Doritos (pisaliśmy o tym)
• W Pensylwanii system oflagował zabawkowy pistolet Nerf.

Mimo to, ZeroEyes chwali się wzrostem przychodów o 300% rok do roku. W końcu strach sprzedaje się najlepiej, choćby jeżeli czasem oznacza to, iż orkiestra szkolna staje się grupą podwyższonego ryzyka.

Sztuczna inteligencja pomyliła paczkę chipsów z bronią. 8 radiowozów policji przyjechało rozbroić nastolatka

Jeśli artykuł AI pomyliło klarnet z karabinem i wywołało lockdown szkoły. Twórcy systemu: „To nie był błąd” nie wygląda prawidłowo w Twoim czytniku RSS, to zobacz go na iMagazine.