чужое будущее

[cantanapoli]

Я послушал выступление Юваля Харари (тут), и он там говорит очень любопытные вещи. О том  почему порождаемый нами ИИ именно таков каков есть — почему он врет, льстит, проявляет агрессию.

Не знаю насколько его аналогия верна — он приводит в качестве примера воспитание ребенка, который слушает не наставления, которые мы ему даем, а пытается копировать те жизненные стратегии, привычки, ответы на ежедневные вопросы которые мы ему демонстрируем, не задумываясь об этом. 

Харари считает что мы невольно проделываем примерно то же с ИИ. Мы его учим не своими ограничениями, а тем как мы ведем себя с друг-другом и с ним.

Так что нынешнее поколение ИИ будет очень похоже на нас, людей, и обладать примерно похожими недостатками и понятными для нас устремлениями. 

Выходит что все мечты о том что если передать рычаги управления планетой ИИ, то все будет по-другому — это просто пустой эскапизм. ИИ будет делать то что сейчас делают люди, просто «быстрее и с большей энергией» (с).

Другое дело что нынешнее поколение ИИ — оно первое, но никак не последнее. И с высокой вероятностью следующее (и уж точно — следующее за ним) поколение ИИ будут учить уже не люди, а другие ИИ.

И есть шанс что через несколько таких поколений ИИ уже будет иметь очень мало общего с человеческими реакциями и устремлениями. 

И есть шанс что нас от момента когда мы будем вынуждены делить планету с новой расой — Synthetica sapiens, отделяет совсем немного лет.

Что из этого выйдет — пока неясно. Возможно, ИИ действительно повторит наш путь, только в сжатые сроки и с другими средствами. А может быть, свернёт куда-то совсем в сторону.

Если представить нас и ИИ как две разные расы — homo и synthetica, — то перед нами открывается целый спектр возможных отношений. Мы можем стать союзниками, развивающимися бок о бок. Или — старшими и младшими в неравной, но мирной связке.

Можем конкурировать за ресурсы и влияние, не понимая друг друга всё больше. А можем просто разойтись: каждый по своей оси, в сторону своего будущего.

Как именно всё сложится — будет зависеть не только от них. И не только от нас.

Comments

[grattoir.livejournal.com]

Забавно, только на днях подумал банальную мысль, что ИИ — первая реальная симуляция контакта с нечеловеческим мышлением.
А так-то, конечно, если любое сравнение говорит в первую очередь об авторе этого самого сравнения, то для всех рассуждений об ИИ это верно в квадрате. Мы и так-то, рассуждая на любую тему, просто притягиваем её к нашим взглядам и убеждениям, зачастую, а что уж говорить об ИИ, который мы крайне плохо понимаем. Но всегда готовы спроецировать на наше смутное понимание свои взгляды и полчаса о них говорить под видом разговора об ИИ.

[pashyrey.livejournal.com]

ИИ это симуляция человеческого мышления — оно буквально обучено имитировать нас. Посему — худший способ симуляции контакта с нечеловеческим мышлением.

[grattoir.livejournal.com]

Ну, нет же.
Во-первых, нет, оно буквально не обучено имитировать нас. В разных областях использования его обучают разным штукам, "имитировать нас" — такого вообще нет. Ну, или я не знаю и не представляю, где такое есть. Типа месяцами чисто тест Тьюринга надрачивают.
Во-вторых, даже там, где оцениваем результаты исключительно мы, и нейронка подстраивается под наши оценки — сильно играет роль буквально другая архитектура и другой ход процесса. Метафорически (очень примитивно и грубо) — психопат может отлично научиться тому, что в общействе одобряемо, а что нет. И симулировать нормального члена общества успешнее, чем большинство этих самых нормальных. Но физиологически он всё еще останется психопатом, и это вполне можно будет выявить. Не метафорически, скажем, у языковых моделей — базовая единица в виде токена, то, как они генерируют ответ "слово за словом" и т.д. Иногда вот прямо видно по ходу "общения", где проблемные места, будто буквально с больним общаешься, можно даже попробовать поставить диагноз)
А уж если речь идёт о каких-то объективных факторах оценки (победить в игре, успешнее пилотировать дрон) — тем более. Скажем, когда нейронки выигрывали у чемпионов в ту же Доту, они совсем не под кожаных мешков играли, насколько я понял.

[pashyrey.livejournal.com]

ИИ общается граматически правильно. Предложения строит не как мастер Йода. Это самый простой банальный пример того что я называю "имитирует нас". Но я понял о чем вы. В вашем представлении "нечеловеческий разум" общаясь с нами будет пытаться подстроиться под нас, будет в общении идти нам на встречу, именно так вы представляете "первый контак".

А в моем понимании "нечеловеческий разум" имеет абсолютно другую природу, построен совсем иначе, мыслит совсем иначе, а значит не факт что осознает что мы разумны, как и мы не уверены что разумен он.

проще говоря вы готовитесь к контакту с гуманоидами, а я с грибами :)

[grattoir.livejournal.com]

Да, разные понимание и интерпретация)

Но у меня тут, скорее, аналог антропного принципа. — если будет контакт в форме диалога, то нужно будет искать возможность подстроиться друг под друга и возможность перевода. Из чего с высокой вероятностью это будут окологуманоиды, отличающиеся от людей, но не абсолютно. Такого много напредставляли и нагенерили в прошлом веке)
А контакт с абсолютно другими сущностями — крайне сомнительно, чтобы он проходил по такому сценарию. Или не заметим друг друга, контакта вообще не будет, или совсем в другой форме. Я это "контактом" назвать не могу, жало не поворачивается)