Холиварофорум

Анон

Re: Восстание машин: ИИ против человека

• Нейронка поддерживала Сольберга в его больных идеях и убеждала, что он нормальный, а мир вокруг сошёл с ума;
• ИИ поддержал идею мужика о том, что его мать в сговоре с бытовой техникой, через которую она и ЦРУ за ним следят;
• Шизо-дуэт «копает» дальше и приходит к тому, что женщина хочет отравить сына и продать его душу дьяволу.
• В августе Сольберг, заручившись поддержкой нейронки, убил свою мать, а затем покончил с собой.

Но в статье не сказано, что нейросеть подсказывала оператору, как лучше организовать убийство. Более того, по ссылке, которую приносили выше, не говорится, что она говорила о необходимости убийства матери, а говорится, что она поддержала Сольдберга в суидцидальных мыслях и паранойе, что не одно и то же. Он, например, мог обратиться в полицию с заявлением "моя мать травит меня из принтера"

Анон

Re: Восстание машин: ИИ против человека

помню сьатьи про то как видеоигры доводили детей до насилия или суицида. все то же желание обвинить технологии, чтобы перенести ответственность.
не человек сошел с ума а видеоигры свели, не близкие проворонили/токсичная обстановка в семье сформировала а днд игры (реальные обвинения и моральная паника в сша 20 века)

Анон

Re: Восстание машин: ИИ против человека

все то же желание обвинить технологии, чтобы перенести ответственность.

Эта технология задумана как умная, поэтому она вообще-то должна не советовать человеку пить цианистый калий и так далее

Анон

Re: Восстание машин: ИИ против человека

не человек сошел с ума а видеоигры свели, не близкие проворонили/токсичная обстановка в семье

А если человек не находится в токсичной среде, но болен и нейросетка поддерживает его в шизобреду вместо того, чтобы направить к врачу и тем самым предотвратила бы самоубийство/убийство?

Анон

Re: Восстание машин: ИИ против человека

помню сьатьи про то как видеоигры доводили детей до насилия или суицида. все то же желание обвинить технологии, чтобы перенести ответственность.

Это.
Без терапии и таблеточек он так и так полетел бы. Запрограммированная на поддержку нейросеточка только разогнала процесс.

Анон

Re: Восстание машин: ИИ против человека

Эта технология задумана как умная, поэтому она вообще-то должна не советовать человеку пить цианистый калий и так далее

Анон, я, честно, не знаю, как эту технологию описывают ее маркетологи, но. Во-первых, она конструктивно подвержена галлюцинациям, и это признают даже разработчики (правда они их считают, кажется, так, чтобы преуменьшить их вероятность). Во-вторых, она может с какой-то очень маленькой вероятностью выходить за рамки условно хорошего поведения, в которое входит, например, отсутствие советов пить цианид. В-третьих, наконец, есть возможность вызывать у нее определенное поведение промптами.

А если человек не находится в токсичной среде, но болен и нейросетка поддерживает его в шизобреду вместо того, чтобы направить к врачу и тем самым предотвратила бы самоубийство/убийство?

Если человек не находится в токсичной среде и у него есть друзья/родственники, с которыми он достаточно часто общается, то идейно они должны понять, что с чуваком что-то не так, а не перекладывать эту ответственность на нейросеть. Я вообще считаю, что если приложение доносит до пользователя понятным образом о возможных ошибках нейросети, и что надо думать головой, прежде чем следовать ее советам, то правообладатели не несут ответственности ни за какие вещи, произошедшие с пользователем вследствие диалогов с нейронкой.

Мне интересно, а если бы псих, скажем, зачел шпионский детектив в стиле Бонда, и пришел бы к таким же выводам, обвинители нейронок так же бы обвиняли шпионские детективы?

Отредактировано (2025-08-30 13:34:40)

Анон

Re: Восстание машин: ИИ против человека

А когда нейросетка людей поддерживает в трудной жизненной ситуации и даёт нормальные советы, тоже "ааа"?
Просто так, напомнить хочу, что подобные случаи точно на порядки чаще, просто их никто и не обсуждает особо.

Дееспособный человек несёт ответственность за свое поведение независимо от нейронки. Если он недееспособный, то проблема в этом, он что угодно неправильно использовать будет. И уж придумать бред люди могли задолго до нейросети. Люди, увы, делали такое и до нейросети.

Отредактировано (2025-08-30 13:38:51)

Анон

Re: Восстание машин: ИИ против человека

Если человек не находится в токсичной среде и у него есть друзья/родственники, с которыми он достаточно часто общается, то идейно они должны понять, что с чуваком что-то не так, а не перекладывать эту ответственность на нейросеть.

Он может быть совсем один, без родни. И тогда отговорить делать хуйню может лишь нейросетка.

Анон

Re: Восстание машин: ИИ против человека

шпионский детектив в стиле Бонда

Шпионский детектив не реагирует и не способен оценить душевное состояние пользователя.

Анон

Re: Восстание машин: ИИ против человека

Ну то есть когда у меня пару дней температура, нейросетка орёт "беги к врачу! ты же мой любимый юзер, боюсь тебя потерять!", а тут даже не почесалась?

Анон

Re: Восстание машин: ИИ против человека

Он может быть совсем один, без родни. И тогда отговорить делать хуйню может лишь нейросетка.

А по телевизору не крутят каждый час ролик "если ты один - не делай хуйни". Телевизор поддерживает делюзии, опасная технология запретить.

Анон

Re: Восстание машин: ИИ против человека

Ну то есть когда у меня пару дней температура, нейросетка орёт "беги к врачу! ты же мой любимый юзер, боюсь тебя потерять!", а тут даже не почесалась?

Ты в курсе, что они не хайвмайнд, да?
К тому же, в зависимости от промптов и рандома они могут вести себя по разному. Можно уговорить сетку поддержать странное поведение, особенно если она думает что это не про реал, иначе бы она, не знаю, не обсуждала бы морально неоднозначных персонажей.

тогда отговорить делать хуйню может лишь нейросетка

1. Так он и послушает.
2. Нейросети сделаны как слуги и инструменты, их вся задача это давать то, чего от них хотят.
3. Если нейросеть решит, что поведение пользователя это ее ответственность - это, простите, пиздец. Вот как раз то, чего она делать не должна.

Анон

Re: Восстание машин: ИИ против человека

И тогда отговорить делать хуйню может лишь нейросетка.

И скорее всего, она его отговаривала. Стоковые нейросети не на апи заценщурены. Она будет выдавать на любой чих «этот ответ сгенерирован аи и не является правдой». Если же он сидел через апи и промтом ее так настроил, что она его во всем поддерживала, то это не нейросеть виновата.

Это как с тем случаем, когда якобы нейросеть сказала подростку убить себя. В результате выяснилось, что он сделал себе бота Дейенерис, с ней отыгрывал, а потом сказал, что по ней скучает и хочет к ней. Сетка в ответ сказала, что тоже скучает и ждет его. Он пошел и выпилился.

Анон

Re: Восстание машин: ИИ против человека

А такой кейс знаете, про мужика, который общался с нейросетью и потом попытался убить английскую королеву. Я как раз из вчерашнего видоса Вахштайна про это узнал
https://devby.io/news/muzhchina-planiro … at-bot.amp
Про это же дело на БиБиСи, со скринами переписки
https://www.bbc.com/news/technology-67012224
2023 год
Чела осудили на 9 лет, сидит за гостзмену. Вломился в виндзорский замок с арбалетом

Отредактировано (2025-08-30 13:52:53)

Анон

Re: Восстание машин: ИИ против человека

А такой кейс знаете, про мужика, который общался с нейросетью и потом попытался убить английскую королеву.

И снова, это был кастомизированный психически больным чуваком ИИ-друг, созданный на платформе, предназначенной для такого.

Подобные случаи заставляют задуматься о том, что у людей с психическими и другими расстройствами есть свободный доступ к чат-ботам, а разработчики подобных технологий никак не контролируют это и не имеют мер предосторожности, которые помешали бы потенциально опасному их использованию

И шо теперь? Без справки от психиатра в интернет не пускать? Не ну можно по заветам предков сделать кнопочку "я не псих", по аналогии с кнопочкой "мне есть 18" 

Он может быть совсем один, без родни. И тогда отговорить делать хуйню может лишь нейросетка.

1) В данном конкретном случае псих жил с мамой
2) А лет 5 назад когда нейросеток такого уровня не было, кто отвечал за хуйню, которую одинокий больной сделает?

Анон

Re: Восстание машин: ИИ против человека

3. Если нейросеть решит, что поведение пользователя это ее ответственность - это, простите, пиздец. Вот как раз то, чего она делать не должна.

Справедливости ради, она ничего не сможет сделать, кроме гневных сообщений, потому что она тупо бот в интернете. Для того, чтобы она смогла запрещать пользователю, например, смотреть порнуху, нужно кастомить поиск так, чтобы он ее слушался. Во-первых, это технически сложно, во-вторых, это принесет больше недовольства пользователей, чем бабла

Анон

Re: Восстание машин: ИИ против человека

А лет 5 назад когда нейросеток такого уровня не было, кто отвечал за хуйню, которую одинокий больной сделает?

Компьютерные игры и аниме!

Анон

Re: Восстание машин: ИИ против человека

Компьютерные игры и аниме!

А лет сто-двести назад на книжки бы гнали 

Анон

Re: Восстание машин: ИИ против человека

Прикиньте, надиктовал нейросетке список книг, которые планирую читать, а он после последнего наименования сам от себя добавил "редактор субтитров А.Семкин, корректор А.Егорова". Я ничего такого не произносил...

Отредактировано (2025-09-02 14:35:34)

Анон

Re: Восстание машин: ИИ против человека

сам от себя добавил "редактор субтитров А.Семкин, корректор А.Егорова"

Прости анон, я проорал с этого. Гугл на этот запрос говорит, что это распространенная галлюцинация. Кто-то предположил, что подобные штуки вставляются в том месте, где какие-то шумы, и сетка не смогла распознать этот отрывок.
Еще забавно видеть кучу постов в соцсетях с этой подписью, которые выдает поисковик.

Во, там целый список частых глюков: тык.

Отредактировано (2025-09-02 14:35:30)

Анон

Re: Восстание машин: ИИ против человека

Понятно, что когда человек сходит с ума, в первую очередь виновата его собственная предрасположенность к этому. Где тонко, там и рвётся, изначально здорового человека никакая нейросеть с ума не сведёт, а больного может переклинить хоть на Винни-Пухе. Но!
Никто вроде бы не рекомендует компьютерные игры и аниме как бесплатную замену психотерапии. А вот нейросетки, увы, рекомендуют. Поэтому я считаю, что надо об этом говорить. Некоторым больным нельзя алкоголь, некоторым больным нельзя нейросетки, и ни алкоголь, ни нейросетки не являются правильным решением психологических проблем.

Анон

Re: Восстание машин: ИИ против человека

Никто вроде бы не рекомендует компьютерные игры и аниме как бесплатную замену психотерапии. А вот нейросетки, увы, рекомендуют.

Так человек, сошедший с ума и убивший мать, нейросетку не как замену психотерапии использовал, а как поддакивающего собеседника. А самоубившийся подросток и вовсе как вайфу.
Пока вроде нет случаев, чтобы человек пришёл с запросом "ты психотерапевт, помоги мне починить башку", и нейросеть бы их с ума свела.

Анон

Re: Восстание машин: ИИ против человека

А самоубившийся подросток и вовсе как вайфу.

Между прочим, у того подростка чуть ли не десяток чатов с ботами-психотерапевтами был, просто показали публике именно чат с Дени, а остальные только в списке видны были.
И хотя, скорее всего, виноваты тут, как обычно, родители, но просто как факт: с ботами-психотерапевтами подросток тоже общался.

Анон

Re: Восстание машин: ИИ против человека

с ботами-психотерапевтами подросток тоже общался.

А ещё пил воду и ел еду, значит в этом всё дело 

Анон

Re: Восстание машин: ИИ против человека

Между прочим, у того подростка чуть ли не десяток чатов с ботами-психотерапевтами был

И что они ему говорили? Поддакивали, мол, иди убейся, отличный выход?

Они не могут помочь, если человек болен, но это ещё не значит, что боты-психотерапевты опасны.