Ведущий инженер Google, Кэсси Козырьков, объяснила нам (перевод), что почему чем понятнее для нас Искусственный Интеллект, тем хуже он работает. Давайте разберёмся, действительно ли это так, а то при чтении складывается впечатление, что в Google работают немного странные ведущие инженеры, либо её выставили ширмой перед журналистами, чтобы она наговорила всякой ахинеи.
Действительно, сегодня Объяснимый Искусственный Интеллект (XAI) находится в тренде. Почему? Да потому, что мы не можем доверять ИИ-системам, основанным на восходящей парадигме, принятие решений там, где эти решения могут серьёзно повлиять на жизнь и судьбу человека, либо безопасность. Просто потому, что раз ИИ-система не может объяснить то, как она приняла решение, то как высчитывать степень вины?
Объяснимый ИИ плохо работает не потому, что эта идеология порочна, а просто потому, что ещё слишком мало времени прошло с момента, когда эта новая идеология вступила в силу после осмысления. Впрочем, гибридная парадигма известна давно, но только вот сейчас начинается более или менее серьёзная исследовательская работа в этом направлении. И вот эти вот заплачки ведущего инженера Google насчёт того, что объяснения мешают работе — это какой-то бред сивой кобылы.
Когда передо мной встают подобные вопросы, я всегда рассматриваю аналогичную ситуацию у интеллекта естественного. Действительно, почему мы как-то иначе должны рассматривать ИИ иначе, чем ЕИ? Если мы делаем аналог ЕИ, то и рассматривать ИИ во всех аспектах мы должны так же.
Для чего нам объяснять свои поступки и поведение? Вопрос, как мне кажется, в основном лежит в плоскости правовых отношений (сюда же отнесём и морально-этические вопросы, выраженные в культурных традициях и всяких табу, как предваряющие нормативное право). Мы объясняем свои поступки для того, чтобы понять и определить степень ответственности и вины за произошедшие негативные явления. Во всех остальных случаях объяснения не так критичны.
Ну так вот. Когда человек объясняет свои поступки — не является ли это всего лишь рационализацией произошедшего рефлекторного акта? Ведь некоторые нейрофизиологи вообще отказывают человеку в свободе воли, говоря, что сознание включается в происходящее уже после того, как решение было принято и рефлекс был запущен. Но на самом деле, и это не важно. Важно то, что на базовом нейрональном уровне мы не объясняем ничего. При объяснении мы не описываем своё поведение в терминах активации нейронов или даже работы целых нейронных сетей. Мы объясняем символами второй сигнальной системы. Так почему этот же подход не использовать в ИИ?
Источник: ЯДзен «Другая фаза»
