Sztuczna inteligencja: sojusznik czy adwersarz

Wyobraźmy sobie samochód (pół)autonomiczny, do którego zbioru danych treningowych ma dostęp nieuprawniony podmiot trzeci. Podmienia on obrazy, które zawierają stosowne etykiety, w taki sposób, że algorytm uczy się, że drzewo to samochód, a pieszy to drzewo. Skutki takiego treningu, gdyby nie zadziałały odpowiednie „zabezpieczenia”, byłyby opłakane. Oczywiście prawdopodobieństwo, że coś takiego się wydarzy, jest znikome, ale nigdy nie jest zerowe. Podobną technikę można zastosować w innych rozwiązaniach, które mogą być gorzej zabezpieczone.