![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
cantanapoli) wrote2025-06-24 11:28 pm
чужое будущее
Я послушал выступление Юваля Харари (тут), и он там говорит очень любопытные вещи. О том почему порождаемый нами ИИ именно таков каков есть — почему он врет, льстит, проявляет агрессию.
Не знаю насколько его аналогия верна — он приводит в качестве примера воспитание ребенка, который слушает не наставления, которые мы ему даем, а пытается копировать те жизненные стратегии, привычки, ответы на ежедневные вопросы которые мы ему демонстрируем, не задумываясь об этом.
Харари считает что мы невольно проделываем примерно то же с ИИ. Мы его учим не своими ограничениями, а тем как мы ведем себя с друг-другом и с ним.
Так что нынешнее поколение ИИ будет очень похоже на нас, людей, и обладать примерно похожими недостатками и понятными для нас устремлениями.
Выходит что все мечты о том что если передать рычаги управления планетой ИИ, то все будет по-другому — это просто пустой эскапизм. ИИ будет делать то что сейчас делают люди, просто «быстрее и с большей энергией» (с).
Другое дело что нынешнее поколение ИИ — оно первое, но никак не последнее. И с высокой вероятностью следующее (и уж точно — следующее за ним) поколение ИИ будут учить уже не люди, а другие ИИ.
И есть шанс что через несколько таких поколений ИИ уже будет иметь очень мало общего с человеческими реакциями и устремлениями.
И есть шанс что нас от момента когда мы будем вынуждены делить планету с новой расой — Synthetica sapiens, отделяет совсем немного лет.
Что из этого выйдет — пока неясно. Возможно, ИИ действительно повторит наш путь, только в сжатые сроки и с другими средствами. А может быть, свернёт куда-то совсем в сторону.
Если представить нас и ИИ как две разные расы — homo и synthetica, — то перед нами открывается целый спектр возможных отношений. Мы можем стать союзниками, развивающимися бок о бок. Или — старшими и младшими в неравной, но мирной связке.
Можем конкурировать за ресурсы и влияние, не понимая друг друга всё больше. А можем просто разойтись: каждый по своей оси, в сторону своего будущего.
Как именно всё сложится — будет зависеть не только от них. И не только от нас.
no subject
no subject
на сегодняшний день ИИ — это данные, на которых тренировали LLМ плюс набор фильтров и этических принципов (читай — ограничений), написанных разработчиками. Если очень хочется, то можно создать хоть кодекс пирата Карибского моря, и ИИ будет себя вести соответственно, натренированный на Aye, Aye, Captain материалах.
Что будет завтра, никто толком не знает — может, Терминатор, может, ушедший в астрал от убожества "этих двуногих" ИИ, ну а пока ИИ — просто очень крутой, но все же tool.
no subject
"Так что нынешнее поколение ИИ будет очень похоже на нас, людей, и обладать примерно похожими недостатками и понятными для нас устремлениями. "
Похоже что проблема в том, что выступающий слишком далёк от темы. На данном этапе ЛЛМ, которые люди уже обозвали ИИ — никаким интеллектом пока что не обладает. И поэтому все аналогии конечно красивые, но идут полностью мимо. Поведение ЛЛМ полностью зависит от того, на чём её тренировали. Не больше и не меньше.
no subject
Интеллектом он обладает, но у него нет желаний. Желания появляются из инстинкта выживания: избежать страданий и получить удовольствие. Эта база у ИИ отсутствует, и не факт, что она ему нужна. А поведение людей, если отнять у них инстинкт выживания, тоже сведется к тому, на что их натренировали, не больше, не меньше. При этом вычислительная мощность ИИ выше, поэтому напрашивается симбиоз людей, имеющих желания, но недостаток ума, с ИИ, обладающим в перспективе неограниченным умом, но ни к чему не стремящимся.
no subject
Знаете, это древнее опасение: машина стала умнее человека и подмяла его под себя… Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и всё такое… И проработала эта машина ровно четыре минуты. Её выключили, зацементировали все входы и выходы, отвели от неё энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой — хотите верьте, хотите нет. (с)
no subject
А так-то, конечно, если любое сравнение говорит в первую очередь об авторе этого самого сравнения, то для всех рассуждений об ИИ это верно в квадрате. Мы и так-то, рассуждая на любую тему, просто притягиваем её к нашим взглядам и убеждениям, зачастую, а что уж говорить об ИИ, который мы крайне плохо понимаем. Но всегда готовы спроецировать на наше смутное понимание свои взгляды и полчаса о них говорить под видом разговора об ИИ.
no subject
ИИ это симуляция человеческого мышления — оно буквально обучено имитировать нас. Посему — худший способ симуляции контакта с нечеловеческим мышлением.
no subject
Во-первых, нет, оно буквально не обучено имитировать нас. В разных областях использования его обучают разным штукам, "имитировать нас" — такого вообще нет. Ну, или я не знаю и не представляю, где такое есть. Типа месяцами чисто тест Тьюринга надрачивают.
Во-вторых, даже там, где оцениваем результаты исключительно мы, и нейронка подстраивается под наши оценки — сильно играет роль буквально другая архитектура и другой ход процесса. Метафорически (очень примитивно и грубо) — психопат может отлично научиться тому, что в общействе одобряемо, а что нет. И симулировать нормального члена общества успешнее, чем большинство этих самых нормальных. Но физиологически он всё еще останется психопатом, и это вполне можно будет выявить. Не метафорически, скажем, у языковых моделей — базовая единица в виде токена, то, как они генерируют ответ "слово за словом" и т.д. Иногда вот прямо видно по ходу "общения", где проблемные места, будто буквально с больним общаешься, можно даже попробовать поставить диагноз)
А уж если речь идёт о каких-то объективных факторах оценки (победить в игре, успешнее пилотировать дрон) — тем более. Скажем, когда нейронки выигрывали у чемпионов в ту же Доту, они совсем не под кожаных мешков играли, насколько я понял.
no subject
ИИ общается граматически правильно. Предложения строит не как мастер Йода. Это самый простой банальный пример того что я называю "имитирует нас". Но я понял о чем вы. В вашем представлении "нечеловеческий разум" общаясь с нами будет пытаться подстроиться под нас, будет в общении идти нам на встречу, именно так вы представляете "первый контак".
А в моем понимании "нечеловеческий разум" имеет абсолютно другую природу, построен совсем иначе, мыслит совсем иначе, а значит не факт что осознает что мы разумны, как и мы не уверены что разумен он.
проще говоря вы готовитесь к контакту с гуманоидами, а я с грибами :)
no subject
Но у меня тут, скорее, аналог антропного принципа. — если будет контакт в форме диалога, то нужно будет искать возможность подстроиться друг под друга и возможность перевода. Из чего с высокой вероятностью это будут окологуманоиды, отличающиеся от людей, но не абсолютно. Такого много напредставляли и нагенерили в прошлом веке)
А контакт с абсолютно другими сущностями — крайне сомнительно, чтобы он проходил по такому сценарию. Или не заметим друг друга, контакта вообще не будет, или совсем в другой форме. Я это "контактом" назвать не могу, жало не поворачивается)
no subject
no subject
Он по всем вопросам несет манипулятивную, и нередко противоречащую саму себе ерунду. Его прогнозы сбываются наоборот, его псевдоисторические сочинения — не более, чем беллетристика. Отдельно любопытно, что в своих русскоязычных изданиях он убирал критику российского режима, по его словам, чтобы сделать свою нетленку доступной для русских. "Ученый", блин.
no subject
Вот вообще не интересно что этот записной левак и манипулятор говорит. Он не разбирается примерно ни в чем, включая историю (то есть ее-то он, может быть и знает, но перевирает в угоду своим концепциям)..
no subject
no subject
И напрасно.
no subject
Ну что делать, в мире есть люди которые не вы.
no subject
Ну да, люди, которым интересно мнение совершеннейшего дилетанта, убежденного в том, что он знает все на свете.
no subject
Да, есть люди которых интересует другое мнение, отличное от того что интересно вам.
no subject
Я, если заметили, вообще не комментирую это мнение, я не специалист в AI, только пользователь. Я комментирую одиозно известно автора этого мнения, совершенно очевидно ни бельмеса не понимающего в том, как AI устроен.
no subject
Эээ. вот удивлен вами. Во-первых, начать следует с того что пока что никакого ИИ у нас нет. Есть генеративные языковые модели, которые натренированы генерировать в ответ на входные данные релевантный ответ. Такие модели у нас есть давно, прорыв случился из-за того что благодаря развитию чипов и повышению производительности, мы теперь можем такие модели обучать на бОльших массивах данных и получать бОлее лучший результат.
no subject
Смотри как это работает в нейронках (всех): у тебя есть функция ошибки (loss function), а процесс обучения — это минимизация ошибки. По-этому получаемый результат будет суперпозицией многовекторной в многомерном пространстве векторов с учетом всех ошибок всех материалов.
Функцию ошибки задаёт учитель, по-этому качество материала для нейронок чрезвычайно важно.
Например спроси о "деле Бейлиса" у ЧатЖПТ и потом скажи "это отвратительно", а потом (вот это уже сложновато) — поставь себя на место такого яркого антисемита и посмотри его глазами на рассуждения ИИ.
Я с этим столкнулся первый раз в 2018 когда формировал нейронку, распознающую спам в потоке сообщений: она распознавала то, что я считаю спамом.
no subject
ИИ создан помогать человеку, а не существовать вместо человека. Роботы конечно скоро будут в каждой семье и это прекрасно. И еще у ИИ нет эмоций, очеловечивать его не стоит, невозможно.
no subject
ИИ по самой своей структуре — это не утилитарный предмет, не стиральная машина и не утюг. У него должна быть и будет возможность принимать ответственность и "вести себя". А значит — может быть и враждебен человеку. Или нейтрален.
no subject
Крупнейшая область применения ИИ за 2024 год — дружеское общение.
Но вы и дальше рассказывайте, как его невозможно очеловечить.
no subject
Следующие поколения людей будет учить ИИ. Не напрямую, но если большая часть написанного, а позже и сказанного, будет сгенерировано LLM, то люди невольно станут писать и говорить как LLM.
no subject
Юваль связан с ВЭФ. Если нужно объяснять что такое ВЭФ, то не нужно объяснять что такое ВЭФ. И планету мы делить не будет. Ни вижу ни одной причины почему более развитый вид будет терпеть наше присутствие на планете
no subject
no subject
Страшно представить что за дремучая такая провинция, в которой по запросу ВЭФ в поисковик выдают такое
no subject
У меня первые три ссылки при гуглении — завод по производству электроники, всемирный экономический форум, и местный ebay со старинной техникой.
no subject
Второе значит