чужое будущее

[cantanapoli]

Я послушал выступление Юваля Харари (тут), и он там говорит очень любопытные вещи. О том  почему порождаемый нами ИИ именно таков каков есть — почему он врет, льстит, проявляет агрессию.

Не знаю насколько его аналогия верна — он приводит в качестве примера воспитание ребенка, который слушает не наставления, которые мы ему даем, а пытается копировать те жизненные стратегии, привычки, ответы на ежедневные вопросы которые мы ему демонстрируем, не задумываясь об этом. 

Харари считает что мы невольно проделываем примерно то же с ИИ. Мы его учим не своими ограничениями, а тем как мы ведем себя с друг-другом и с ним.

Так что нынешнее поколение ИИ будет очень похоже на нас, людей, и обладать примерно похожими недостатками и понятными для нас устремлениями. 

Выходит что все мечты о том что если передать рычаги управления планетой ИИ, то все будет по-другому — это просто пустой эскапизм. ИИ будет делать то что сейчас делают люди, просто «быстрее и с большей энергией» (с).

Другое дело что нынешнее поколение ИИ — оно первое, но никак не последнее. И с высокой вероятностью следующее (и уж точно — следующее за ним) поколение ИИ будут учить уже не люди, а другие ИИ.

И есть шанс что через несколько таких поколений ИИ уже будет иметь очень мало общего с человеческими реакциями и устремлениями. 

И есть шанс что нас от момента когда мы будем вынуждены делить планету с новой расой — Synthetica sapiens, отделяет совсем немного лет.

Что из этого выйдет — пока неясно. Возможно, ИИ действительно повторит наш путь, только в сжатые сроки и с другими средствами. А может быть, свернёт куда-то совсем в сторону.

Если представить нас и ИИ как две разные расы — homo и synthetica, — то перед нами открывается целый спектр возможных отношений. Мы можем стать союзниками, развивающимися бок о бок. Или — старшими и младшими в неравной, но мирной связке.

Можем конкурировать за ресурсы и влияние, не понимая друг друга всё больше. А можем просто разойтись: каждый по своей оси, в сторону своего будущего.

Как именно всё сложится — будет зависеть не только от них. И не только от нас.

Comments

[augusta-m.livejournal.com]

жуть

[irre.livejournal.com]

на сегодняшний день ИИ — это данные, на которых тренировали LLМ плюс набор фильтров и этических принципов (читай — ограничений), написанных разработчиками. Если очень хочется, то можно создать хоть кодекс пирата Карибского моря, и ИИ будет себя вести соответственно, натренированный на Aye, Aye, Captain материалах.
Что будет завтра, никто толком не знает — может, Терминатор, может, ушедший в астрал от убожества "этих двуногих" ИИ, ну а пока ИИ — просто очень крутой, но все же tool.

[fivetimesdead.livejournal.com]

"Так что нынешнее поколение ИИ будет очень похоже на нас, людей, и обладать примерно похожими недостатками и понятными для нас устремлениями. "

Похоже что проблема в том, что выступающий слишком далёк от темы. На данном этапе ЛЛМ, которые люди уже обозвали ИИ — никаким интеллектом пока что не обладает. И поэтому все аналогии конечно красивые, но идут полностью мимо. Поведение ЛЛМ полностью зависит от того, на чём её тренировали. Не больше и не меньше.

[m61.livejournal.com]

Знаете, это древнее опасение: машина стала умнее человека и подмяла его под себя… Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и всё такое… И проработала эта машина ровно четыре минуты. Её выключили, зацементировали все входы и выходы, отвели от неё энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой — хотите верьте, хотите нет. (с)

[grattoir.livejournal.com]

Забавно, только на днях подумал банальную мысль, что ИИ — первая реальная симуляция контакта с нечеловеческим мышлением.
А так-то, конечно, если любое сравнение говорит в первую очередь об авторе этого самого сравнения, то для всех рассуждений об ИИ это верно в квадрате. Мы и так-то, рассуждая на любую тему, просто притягиваем её к нашим взглядам и убеждениям, зачастую, а что уж говорить об ИИ, который мы крайне плохо понимаем. Но всегда готовы спроецировать на наше смутное понимание свои взгляды и полчаса о них говорить под видом разговора об ИИ.

[playerjoe.livejournal.com]

Харари, конечно, веселый болтун-посидельник, я вообще люблю читать его историчечкие байки. Но про ИИ он несёт полную ахинею, типичную для гуманитариев

[dimorlus5.livejournal.com]

Вот вообще не интересно что этот записной левак и манипулятор говорит. Он не разбирается примерно ни в чем, включая историю (то есть ее-то он, может быть и знает, но перевирает в угоду своим концепциям)..

[sakurovskiy.livejournal.com]

Эээ. вот удивлен вами. Во-первых, начать следует с того что пока что никакого ИИ у нас нет. Есть генеративные языковые модели, которые натренированы генерировать в ответ на входные данные релевантный ответ. Такие модели у нас есть давно, прорыв случился из-за того что благодаря развитию чипов и повышению производительности, мы теперь можем такие модели обучать на бОльших массивах данных и получать бОлее лучший результат.

[sin vicious (from livejournal.com)]

Смотри как это работает в нейронках (всех): у тебя есть функция ошибки (loss function), а процесс обучения — это минимизация ошибки. По-этому получаемый результат будет суперпозицией многовекторной в многомерном пространстве векторов с учетом всех ошибок всех материалов.
Функцию ошибки задаёт учитель, по-этому качество материала для нейронок чрезвычайно важно.
Например спроси о "деле Бейлиса" у ЧатЖПТ и потом скажи "это отвратительно", а потом (вот это уже сложновато) — поставь себя на место такого яркого антисемита и посмотри его глазами на рассуждения ИИ.

Я с этим столкнулся первый раз в 2018 когда формировал нейронку, распознающую спам в потоке сообщений: она распознавала то, что я считаю спамом.

[iluzia.livejournal.com]

ИИ создан помогать человеку, а не существовать вместо человека. Роботы конечно скоро будут в каждой семье и это прекрасно. И еще у ИИ нет эмоций, очеловечивать его не стоит, невозможно.

[gegmopo4.livejournal.com]

Следующие поколения людей будет учить ИИ. Не напрямую, но если большая часть написанного, а позже и сказанного, будет сгенерировано LLM, то люди невольно станут писать и говорить как LLM.

[auslanderr.livejournal.com]

Юваль связан с ВЭФ. Если нужно объяснять что такое ВЭФ, то не нужно объяснять что такое ВЭФ. И планету мы делить не будет. Ни вижу ни одной причины почему более развитый вид будет терпеть наше присутствие на планете