до чего дойдет прогресс
Sep. 4th, 2025 03:31 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
cantanapoliПривычные нам сейчас ИИ (которые не совсем еще и ИИ) — живут в очень странном мире. Это линейный мир текстовых абстракций, в нем нет ничего даже отдаленно похожего на наше представление о реальности.
Было раньше такое выражение - «книжный ребенок» (каюсь, сам таким был). Так вот современные LLM — это недостижимый для человека пик книжности и детскости, когда «ребенок» ничего не умеет кроме как цитировать книги и обсуждать то о чем где-то прочитал.
Разумеется, для того чтоб что-то делать в реальном мире ИИ придется учится на совершенно ином материале. Не книжном, а живом и крайне недискретном.
LLM работают с токенами — единицами смысловой нагрузки. Это слова, части слов, пробелы. Реальный же мир крайне плохо «токенизируется». Его чрезвычайно сложно разбить на неделимые «токены реальности», которыми ИИ будет удобно оперировать.
Наше восприятие работает по иному. Предметы в нем это не дискретные символы-токены, а нечто, обладающие перцептивной целостностью — то есть чашка это не просто предмет определенной формы, это еще и ощущение веса, структуры фарфора, потенциальный звук удара и разлетающиеся во все стороны осколки.
Благодаря этому мы оперируем не отдельными характеристиками чашки, а всей совокупностью чувственного восприятия ее, причем развивающегося во времени. От вкуса утреннего кофе до звука матюков при опрокидывании на клавиатуру ноутбука.
Универсальный робот должен, при всех наших с ним различиях — уметь нечто похожее (нет, я не про питье кофе и уж точно не про опрокидывание его на клавиатуру)
У этой проблемы, похоже, есть два очень разных решения:
1. Решение «в лоб». Строим гигантский сверхкомпьютер, даем ему доступ к роботам-тестировщикам реального мира. Он их передвигает по полигону, следит за их реакциями, записывает в свою бесконечную память последствия их проб и ошибок.
Через какое-то время у нас образуется гигантская нейронная сеть с представлениями о реальном мире. Именно она будет управлять универсальным роботом. О последствиях такого решения скажу чуть позже.
2. Робот который понимает. Вместо набивания огромной базы данных информацией и надежды что ее количество перейдет наконец в качество — мы строим ИИ, который оперирует не просто последовательностями движений, а понятиями, абстракциями, намерениями.
Например, чашка — это не просто предмет определенной формы и веса, она характеризуется тем что создана так чтоб люди могли пить из нее жидкость. Именно поэтому у нее есть верх и низ, и ее следует перевернуть если «сверху запаяно, а снизу дыра».
Понятие чашки — это не ее внешний вид. Это ПОНИМАНИЕ для чего чашка нужна, и с этой логикой должен быть связан набор намерений, которые применимы к чашкам (а также к кружкам, стаканам и рюмкам).
Такого робота, вероятно, нужно будет учить как обращаться с предметами, объясняя и показывая ему как и для чего эти предметы применяются, начиная с простых и постепенно усложняя набор задач-намерений.
У обоих подходов есть серьезные нетехнологические проблемы.
Если роботом управляет Сверхкомпьютер из первого способа, то такой подход начисто отрицает понятие приватности.
Собственно, там и робота-то никакого нет. Фактически это удаленный манипулятор нашего сверхкомпьютера, который ради того чтоб им управлять — перемалывает чудовищный поток информации от его датчиков. А этот поток включает весь ваш срач в квартире, ваши ежедневные передвижения, привычки и так далее.
И да, учтите что тот же Сверхкомпьютер управляет не только вашим, но и еще десятками тысяч, а может и миллионами роботов. Все знает, все видит. Все может?
Страшновато.
Теперь смотрим на нашего робота которого научили абстрактному мышлению. Он управляется собственным мощным процессором и ему не нужно никуда посылать состояние своих датчиков.
Вот только одна важная деталь — для понимания как работает внешний мир ему придется понимать и свое место в этом мире. Ну, скажем, поднимая чашку — он должен ведь принимать во внимание что она не взлетает в воздух сама.
Усилия к чашке прилагает некто, обладающий возможностью это сделать или не сделать. Это не часть внешнего мира, а отделенный от него субьект с собственными намерениями.
Да, вы правильно поняли — второй способ заставляет нас построить робота, обладающего осознанием себя.
no subject
Date: 2025-09-04 01:34 am (UTC)ну тут два фундаментальных возражения — во первых, LLM используют язык/токены только лишь для восприятия информации, внутри себя, как уже, вроде, понятно, у них происходит весьма сложное абстрактное моделирование мира (как именно мы не знаем, но не так как люди) — возможно им вовсе не нужно понимать "своё место" в мире.
и во вторых (в другую сторону), из того что человек использует своё тело и сенсорную информацию в своём мышлении — вовсе не следует, что это уж настолько обязательно и никак без этого не обойтись и мир работает именно через сенсорную информацию.
no subject
Date: 2025-09-04 07:15 am (UTC)Робот должен функционировать не просто в мире, а в мире населенным людьми, в человеческом обществе. И с этими людьми коммуницировать. Робот же нам нужен не просто так, а чтобы что-то полезное делать. Поэтому он должен понимать наши приказы, иметь возможность доложить о возникших в процессе их выполнения затруднениях, причем так, чтобы человек понял.
Поэтому робот должен по крайней мере на уровне вербального интерфейса иметь модель реальности, очень похожую на человеческую. Скорее всего "осознание себя" в эту модель придется включить. Именно потому что человек осознает своего робота, которому отдает приказы, как отдельный объект. А значит и робот должен о себе думать так же.
no subject
Date: 2025-09-04 12:06 pm (UTC)Проблема в том, что у нас есть эмулятор высшей нервной деятельности — внутреннего монолога, есть интерфейсы управления роботом: входы с сенсоров, видеокамер, выходы на сервоприводы, но нет промежуточного элемента, "спинного мозга". Это — самое тонкое место во всей задаче.
no subject
Date: 2025-09-04 01:07 pm (UTC)ну Вы же с микроволновкой как-то коммуницируете, а она о себе никак не думает.
но сама постановка вопроса уже не имеет значения, потому, что мы толком не знаем, что "думают" LLM. может они осознают себя, может осознание "себя" это часть человеческой физиологии и не нужны AI (мы же согласны, что AI не нужно будет какать) — who cares, получится то, что получится.
no subject
Date: 2025-09-04 05:16 am (UTC)no subject
Date: 2025-09-04 06:57 am (UTC)Оно работает совсем не так: заучивание и извлечение опыта — это два разных способа запоминания информации. Усвоение опыта дешевле и качественнее. Так вот LLM — это 2 в 1: и опыт и тексты.
Тренсформеры извлекают смысл из промпта, прогоняют через нейросети (и не один раз часто, за исключением частых и точно отвеченных вопросов), формируют мыслеформу и потом из нее генерируют текст.
Т.е. LLM — это в первую очередь работа со смыслами, потом уже — тексты. По-этому они с одинаковой лёгкостью общаются на любом языке: смысл в буквы одевается уже несложно.
Ключевое — широта контекста и трансформеры, извлекаторы смысла. По-этому аллегории и запаянные сверху чашки без дна ставят его в тупик: такого нет в обучающих материалах и соотв трансформер идёт по прямому пути.
no subject
Date: 2025-09-04 07:14 am (UTC)no subject
Date: 2025-09-04 08:22 am (UTC)no subject
Date: 2025-09-04 12:28 pm (UTC)Chatgpt имеет гораздо больше предпосылок к осознанию себя, чем муравей.
По вашему определению — "не часть внешнего мира, а отделенный от него субьект с собственными намерениями" — осознанием себя обладает контроллер шлагбаума: он также принимает решение о взаимодействии с объектом реального мира на основании прописанных алгоритмов, которые могут меняться со временем (добавлением новых ключей, например).
Можно представить более сложный алгоритм, который бы управлял поведением робота, это бы не добавило роботу "осознанности", но его поведение могло бы быть сложнее, чем у муравья.
Однако, можно легко представить, как LLM будет решать задачу "ты — шлагбаум, тебе нужно принимать решение об открытии на основе данных, которые тебе будут приходить в следующих промптах". Он будет решать ее при помощи симуляции внутреннего монолога, точно так же, как ее бы решал человек, т.к. нейросеть обучена имитировать связное мышление человека. В том числе, имитировать понимание своей субъектности, "отдельности" от остального мира.
Т.е. тут есть имитация осознанности, внешне неотличимая от "натуральной" осознанности.
Т.к. мы (люди) не знаем, что как работает человеческое самосознание, у нас (меня) нет причин считать что оно "более настоящее", чем никак не отличимая от нее имитация.
Следовательно, ИИ с возможностью внутреннего монолога можно считать "осознанным".
no subject
Date: 2025-09-04 07:22 am (UTC)no subject
Date: 2025-09-04 09:10 pm (UTC)Ну да, как правильно говорят, во-первых необязательно иметь ИИ набитый всеми знаниями (достатошно умение решать квартирный вопрос), во-вторых сам ИИ необязательно полностью человеческий (для безопасного взаимодействия опять же достатошно чтобы железный не привалил собой мясного мешка, а споры о вкусах устриц уже лишнее). Т.е. ты приводишь крайние максимальные варианты решения. Для починки бачка не нужно повторения всего человеческого опыта, можно обойтись обучением ограниченным образам и взаимодействиям в квартире. Так же как и для понимания значения "бачок" не нужно будет зарождать новое "я" в машине.
no subject
Date: 2025-09-05 07:29 pm (UTC)Из понимания не следует осознания.
Робот-пылесос успешно ездит по комнатам, огибает препятствия. Наверняка где-то внутри у него есть информация о своих габаритах, исходя из чего он может "понимать", куда он проедет, а куда — нет. Но сознания у него нет.
Современные машины с автопилотом могут парковаться, то есть отлично "понимать" куда они "втиснутся", а куда — нет.
Но сознания у них тоже нет.
Если вас интересует тема, что нужно для появления сознания — то есть работа Consciousness in Artificial Intelligence: Insights from the Science of Consciousness (https://arxiv.org/abs/2308.08708), где авторы рассмотрели вопрос о возможности наличия сознания у ИИ-систем и составили перечень из четырнадцати свойств-индикаторов, позволяющих судить о наличии или отсутствии у них сознания.
Но читать тяжело, там много англоязычной терминологии.
Если интересно — см русское краткое изложение, гуглится по словам "во главе с философами-когнитивистами Патриком Батлином", после этих слов.
То, что вы пишите, это будет примерно в абзаце про "Свойства-индикаторы, основанные на положениях концепции агентности и воплощения (Agency and embodiment)", AE-1 и AE-2