китайская комната серля
4/10/25 21:03![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
"Китайская комната" - довольно интересный пример аргумента, который в довольно широких кругах ценится за то, что считается неверным. Большая часть философов и исследователей искусственного интеллекта, которых я уважаю, относятся к "китайской комнате" как к почти очевидному софизму, путанице в терминах, которая не доказывает ничего про гипотетические ограничения искусственного интеллекта (как считал Серль), но полезна тем, что предельно ясно формулирует определенную "ловушку" в мышлении. То и дело про какой-то другой аргумент читаешь "на самом деле это всего лишь вид аргумента китайской комнаты, и вот почему". Я тоже так считал, и тем не менее из уважения к покойному решил пойти и прочитать статью в Стэнфордской философской энциклопедии про китайскую комнату: https://plato.stanford.edu/entries/chinese-room/
Эта статья очень хорошо написана, и я рад, что ее прочитал, и советую всем, кто хочет приобрести несколько менее поверхностные знания о "китайской комнате". В частности, меня обрадовал тот факт, что очевидное с моей точки зрения возражение Серлю (так называемый "системный ответ": что понимание китайского существует и спрятано в сложности всей системы, объединяющей листки и выполняющего программу агента, и что это не более удивительно, чем то, что обычное понимание китайского спрятано в сложности всей системы нейронов мозга) было очевидно не только мне, но и самому Серлю, и что у него был какой-никакой ответ на него, еще даже в первоначальной статье 1980 года. Этот ответ - что человек может гипотетически запомнить всю программу, выйти из комнаты на улицу (не выходи из комнаты -- не совершай ошибку--), неся ее в голове, и все равно у него не будет никакого понимания - не то чтобы меня переубеждает, но заставил подумать. В статье в энциклопедии это описано подробно и исключительно ясно, если вам это интересно, еще раз повторю рекомендацию прочитать. В целом у меня сохранилось отношение к К.К. как к примеру определенного вида софизма, но с более трезвой оценкой того, что если присмотреться внимательнее, то там "все сложно" (как обычно бывает в философии сознания/мышления) и есть небезынтересные аргументы с обеих сторон.
Другая важная сторона вопроса о китайской комнате - это почему это вообще важно. Предположим, у компьютера, общающегося с вами по-китайски, нет "понимания" китайского языка; почему это вас должно беспокоить, если он нормально общается? Почему это вообще не бессмысленный вопрос? Он был таковым, по-видимому, для Тьюринга - ведь знаменитый тест Тьюринга для проверки искусственного интеллекта как раз основан на том, что мы сравниваем ответы компьютера и человека, общаясь с обоими как с "черными ящиками" - как с агентом внутри китайской комнаты, посредством листков через окошки - специально отказываясь строить теории о том, что там у них внутри, "понимание" или нет. Для Серля его аргумент был следующим шагом после теста Тьюринга, шагом, демонстрирующим недостаточность теста Тьюринга. Компьютер, с точки зрения Серля, может только манипулировать символами, а у человека есть "семантика", настоящее понимание, и китайская комната демонстрирует эту разницу так, что это очевидно нашей интуиции. Но эта разница, для Серля, не заключалась только в схоластическом заявлении "нет настоящего понимания!", у нее есть реальные последствия. То, что человек внутри китайской комнаты не понимает китайский, имеет последствия в реальном мире. Он может, с помощью листков, ответить на любые вопросы по-китайски, но если показать ему гамбургер и спросить, как это будет по-китайски, он не сможет ответить (а человек с "пониманием" китайского сможет!). В этом для Серля была существенная разница. Настоящая семантика рано или поздно сыграет свою роль, она неизбежным образом богаче и вернее, чем чистый синтаксис, чем чистая - пустая - манипуляция символами.
Серль дожил до компьютеров, умеющих без проблем отвечать на китайском (или любом другом языке), но я не знаю, писал ли он под конец жизни что-то об LLMах и их связи с китайской комнатой. Можно представить себе Серля (допустим для простоты, что он знает китайский язык), общающегося с ChatGPT на китайском, но потом заявляющего, что он все равно не знает, как будет "гамбургер" по-китайски - ведь он понимает только текст, символы, если ему написать "гамбургер" на другом языке, то это слишком сильная подсказка. Но потом OpenAI выпускает новую версию ChatGPT, которая умеет понимать картинки, и если показать камере лаптопа гамбургер, то ChatGPT легко напишет - на китайском, если угодно, - что это такое. Как это случилось, ведь настоящая семантика и все такое? "Настоящая семантика", которая у человека возникает в голове при виде зрительного образа гамбургера, перешла в символы - набор пикселей компьютерной картинки, нейронную сетку, переводящую картинки в слова, а слова ChatGPT знает и умеет отвечать. Серль может отступить на этом фронте и сказать "все равно нет понимания, машина не может осязать гамбургер или ощущать его вкус". Но добавляя в будущем новые сенсоры, мы научим нейронные сети вести себя так, будто они все это понимают, и это возвращает нас к вопросу о том, где тут фундаментальная разница с тем, как мозг обрабатывает зрительные, осязательные итд. символы, и не является ли эта "настоящая семантика" фантомом, самообманом?