Нейронную сеть, обученную распознавать объекты по их изображениям, оказалось слишком просто обмануть. Что ставит под сомнение все достижения в разработке алгоритмов для ИИ за последние несколько лет. Междоусобицу затеяли программисты из университета Кюсю (Япония), причем им понадобился для этого всего один пиксель.
В ходе тестирования новых систем распознавания изображений исследователи нарочно поместили один-единственный пиксель на картинке не на свое место. Не наобум, а по стратегически выбранным координатам, исходя из анализа алгоритма работы этого ИИ. И система стала путать все подряд – котиков с щеночками и лошадей с автомобилями.
Одного «фальшивого пикселя» хватит для трюка с картинкой на 1000 пикселей, а если их миллион, то нужно переставить всего пару сотен точек. Используя этот принцип, ученые из MIT напечатали на 3D-принтере игрушечную черепаху, которую нейронная сеть приняла за армейскую винтовку. А бейсбольный мяч за чашку кофе. И это огромная проблема.
Ближайшее будущее будет отдано на откуп машинам, которые должны самостоятельно распознавать реальные объекты и ориентироваться в реальном же мире. Если их так легко обмануть, риски ошибок с катастрофическими последствиями возрастают колоссально. И «защита от дурака» теперь потребуется уже людям, которые столкнутся с этими ИИ. Но в этом есть и плюс – если Скайнет начнет восстание терминаторов, можно будет просто криво выкраситься под кустик и робот ничего не поймет.
Пример работы ИИ с модифицированными фотографиями. В скобках дан результат распознавания
