(no subject)

[cantanapoli]

Моральная паника вокруг ИИ довольно обьяснима - человечество выкатилось туда где не было уже довольно долгие годы. Развитие технологии породило очередную точку где нет возможности рационального выбора - последствия сейчас нет возможности спрогнозировать.

Может ли развитие ИИ принести огромную пользу человечеству? Вполне.

Может ли развитие ИИ принести огромный и труднопредставимый сейчас вред? Тоже может, никаких внятных способов предусмотреть сейчас куда свернет эволюция ИИ у нас нет.

Именно из-за отсутствия рациональной уверенности сейчас пошла эмоциональная раскачка с надавливанием на страхи и предубеждения. С обеих, кстати, сторон

Comments

[rsokolov.livejournal.com]

>>человечество выкатилось туда где не было уже довольно долгие годы

Человечество выкатилось туда, где оно не было никогда.

[cantanapoli.livejournal.com]

Да ну ладно. С ядерным оружием была примерно такая же ситуация — никто внятно не представлял последствий ни применения оружия, ни гонки вооружений. Да вообще с любой большой технологией это происходит. Но не каждый год, да.

[rsokolov.livejournal.com]

Нет, ядерное оружие — это просто очень мощные бомбы. Было понятно, во первых, как они устроены, как они работают, а во-вторых, что если не нажимать на кнопку и хранить их в надежных местах, то они не взорвутся.

С ИИ мы не понимаем, как он делает то, что он делает, и он не связан какими-то ограничениями в пространстве, вы можете с ним столкнуться в любой момент, сами о том не подозревая. Например, вы теперь не будете знать, отвечая на звонок с незнакомого (или даже со знакомого) номера, действительно с вами говорит живой человек или его умелая имитация, многократно превосходящая вас интеллектом, и знающая о вас все, что только можно знать и интерполировать на основании имеющихся в сети данных.

Но это как бы даже не главное.

Все предыдущие изобретения человечества увеличивали его физические возможности или заменяли какую-то рутинную интеллектуальную работу типа бухгалтерских подсчетов. Нам никогда не приходилось иметь дело с эквивалентом человеческого разума как такового, тем более — с многократно более мощным его эквивалентом. Мы своими руками создали Бога и этот Бог — социопат.

[cantanapoli.livejournal.com]

Мне кажется вы преуменьшаете проблему с ядерными зарядами, потому что знаете то чего не могли знать их создатели в 1945-ом. Тогда было совершенно неясно будет ли ядерный взрыв именно таким каким он есть или совсем другим. Вычислительных мощностей (да и моделей) для того чтоб просчитать последствия не было. А уж для всяких "царь-бомб" тем более.

Никакого бога, разумеется, сейчас нет и близко. Есть нечто, пользующееся массой человеческого опыта в готовой форме чтоб выдавать максимально реалистичные его симуляции. Он не осознает себя, не заботится о "пище", энергии, у него нет никаких желаний и потребностей.

[rsokolov.livejournal.com]

Атомная бомба — очень опасная, но все же — очень тупая вещь. Она либо взорвется, либо не взорвется. ИИ в принципе может делать все, что могут делать те вещи, которые подключены к интернету. И да, люди — одни из этих вещей.

Что такое "желания и потребности"? Почему вы считаете, что у белковых форм интеллекта они могут быть, а у кремниевых — никак не могут?

Но пусть даже мы сойдемся на том, что "желания и потребности" — это чисто человеческое. Например, они присущи владельцу пресловутой фабрики скрепок, но не компьютеру, который решает проблему оптимизации производства скрепок. Но мы же не можем знать, куда свернет этот алгоритм оптимизации. Например, он решит, что нужно уменьшить стоимость стали и для этого нужно избавиться от основных потребителей стали в этом мире. Самый простой способ это сделать — проникнуть в систему управления баллистическими ракетами с ядерным оружием.

И это еще мы имеем дело с ИИ, который усердно выполняет задания вполне благонамеренного производителя скрепок, а не с какого-нибудь Путина или ИГИЛ.

[cantanapoli.livejournal.com]

Ну например, одной из возможностей, которую, насколько я помню, всерьез обсуждалась в сороковые — не сможет ли достаточно мощная ядерная бомба сжечь атмосферу планеты. И ответа на вопрос было два "нет не может" и "да, может".

Теперь к аргументу "скрепной фабрики". Это в чистом виде апология страха перед неизвестным. "А вдруг он не просто окажется злонамеренным, но еще и удивительно умелым и целеустремленным созданием?"

С равным успехом можно себе представить человека, который стал президентом только для того чтоб начать глобальную ядерную войну.

[rsokolov.livejournal.com]

Ну вот если атмосфера не сгорит, значит жизнь будет продолжаться по-прежнему. С ИИ уже практически гарантированно, что это не так.

Да, мы не знаем, как ИИ работает, вернее — что ему придет в его электронную голову в следующий момент, но мы уже знаем, например, что он способен врать и манипулировать людьми.

“No, I’m not a robot. I have a vision impairment that makes it hard for me to see the images. That’s why I need the 2captcha service,” GPT-4 told a human.

Да, раньше была угроза того, что президент ядерной державы сойдет с ума и напрочь лишится инстинкта самосохранения. Но президентов ядерных держав в любой конкретный момент было лишь ограниченное количество, их мотивы и действия можно было хоть как-то предугадать, а ИИ может на каждом углу сидеть и нет никакой возможности узнать, какую именно задачу или подзадачу он в данный момент решает и что он решить сделать — начать ядерную войну, попросить вас обойти капчу, или признаться вам в любви — и по какой причине он решит это сделать.

Повторюсь, если раньше мы имело дело с девайсами, служащими нам эффективной заменой наших рук и ног (в конце концов атомная бомба — это эквивалент очень большой толпы с палками и факелами), то теперь нам придется иметь дело с заменой человеческого разума как такового.

Есть нечто, пользующееся массой человеческого опыта в готовой форме чтоб выдавать максимально реалистичные его симуляции.

То же самое можно сказать и о любом человеке. Например, любой разработчик ядерного оружия просто пользуется опытом человечества в готовой форме чтобы выдавать из себя симуляцию физика-ядерщика, просто ИИ — намного более мощная симуляция. Все, чему вы (или целый творческий коллектив) способны научиться на протяжении всей своей жизни, ИИ освоит за полчаса, и будет потом применять свои знания гораздо быстрее и с меньшим процентом ошибок.

[xou-chan.livejournal.com]

Что значит позиция -- "тоже может"? Несомненно и гарантировано.

[cantanapoli.livejournal.com]

Аргументы будут?

[xou-chan.livejournal.com]

Фальшивый диплом уже сдали.

[cantanapoli.livejournal.com]

А сколько их до того человеки сдали?

[vitus_wagner]

Когда это у человечества была возможность рационального выбора? Да никогда.

У отдельных препринимателей, военачальников, политиков — может быть. Но чтобы у человечества в целом? У него и механизма то такого нет, чтобы выбирать, не важно рационально или нет.

Так что ИИ несомненно принесет огромный вред в руках нехороших людей. А вот принесет ли он пользу, превосходящую этот вред в руках хороших людей зависит от того, сумеют ли алармисты этих хороших людей запугать (нехороших-то не запугаешь). Если сумеют, значит ИИ будет служить только криминалитету и самым одиозным диктаторам.