Холиварофорум

Не все, что говорят на Холиварке — правда!

Вы не вошли.

#1 2022-12-05 22:58:43

Анон

Напиши мне историю, или текстовых ИИ тред

Тред для обсуждения текстовых ИИ в контексте писательства: ролевых игр, додать себе редкопейринга, написать пейзаж для главы или подсказать вотэтоповорот.

ИИ для ролевых
Общие ИИ
Гайды и прочие развлечения с ботами
FAQ
Очень Полезные Ссылки

Для удобства поиска отзывов используйте тег #ии_истории.


#12676 Вчера 23:23:16

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Можно логи или еще что-нибудь?

Так возьми сам подключи и пощупай.

#12677 Вчера 23:28:30

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Это который? Вот этот - Qwen3 235B A22B 2507?

Я потыкал. Он пишет бодрее чем дипсик и подмечает детали совсем как Клод. Пример: бот поцеловал персоне пальцы. Персона смутилась, опустила глаза и попыталась это скрыть. Дипсик и Кими шпарят дальше, Сонет уводит разговор не в ту степь, а опус и квен эти детали подмечают. Другое дело, по ощущениям, квен образ из промта плохо держит.

Апд. Совсем не держит характер. Вот вообще.

Отредактировано (Вчера 23:37:46)

#12678 Вчера 23:32:12

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Аноны, а у всех https://aistudio.google.com/ норм работает? В чатах с большим контекстом (но где осталось еще 150к токенов) постоянно ошибка выскакивает. Даже когда кидаю ему "привет"

#12679 Сегодня 00:06:12

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Новый квен по диалоговым способностям прям сравним с Клодом

Повторяет то же самое другими словами( Может конечно дело в промпте.

#12680 Сегодня 01:10:34

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

В чатах с большим контекстом (но где осталось еще 150к токенов) постоянно ошибка выскакивает. Даже когда кидаю ему "привет"

Большого чата у меня нет, с маленьким все в порядке. Возможно, что у тебя впн подслетел как-то, поэтому ошибка? Попробуй включить-выключить или перезагрузить.

#12681 Сегодня 07:00:01

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Как перестать бояться нажать не туда? 

Нажимать не туда первым! В целом, есть хороший гайд для новичков https://rentry.org/Sukino-Findings

#12682 Сегодня 10:00:22

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Аноны, а кто локально модели запускал, что им нужно? Бэкъярд смотрит, будет модель работать или нет, по оперативке, а на реддите я вижу, что все обсуждают видеокарты, но тогда получается, что даже на мощном игровом компе реалистично запустить только самые малюсенькие модели. Или на оперативке тоже можно, только они медленнее будут работать? А насколько медленно, совсем невозможно писать?

#12683 Сегодня 10:33:39

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Аноны, а кто локально модели запускал, что им нужно? Бэкъярд смотрит, будет модель работать или нет, по оперативке, а на реддите я вижу, что все обсуждают видеокарты, но тогда получается, что даже на мощном игровом компе реалистично запустить только самые малюсенькие модели. Или на оперативке тоже можно, только они медленнее будут работать? А насколько медленно, совсем невозможно писать?

У меня 16гб видеокарта, и максимум, что я запускал, это 27B Гемму в 4 кванте, и то, с ростом контекста все становится довольно медленно.

Видеопамять в разы быстрее, а так можно и на ссд запускать, это же просто математические расчеты. Скорость при этом будет очень, очень маленькой (типа токен в минуту), и ты по сути будешь платить расходом электричества. На оперативке можно, если у тебя есть (сравнительно) немного видеопамяти и модель МоЭ (у Квенов были какие-то модели новые с всего тремя миллиардами активных, они должны быть быстрыми), вроде главное чтобы одна активация экспертов влезала. А вся остальная модель и контекст по хорошему должны влезать в оперативку, то есть нужно ~700ГБ оперативки для того же Дипсика.

В принципе, сейчас АПИ всегда дешевле получается, чем дома запускать, это развлечение не для бюджетного решения. Но маленькие модели для маленьких задач сейчас есть очень хорошие. Из косвенно, связанных с темой, генераторы картинок, например. В Silly Tavern например расширение, которое позволяет основной сетке (Дипсику или Гемини) использовать локальную программу для генерации изображений, они посылают на нее промпт свой, и картинка появляется у меня в чате. Также предполагаю что-то интересное может быть с генераторами голоса, они тоже сравнительно мало весят.

#12684 Сегодня 10:37:42

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Я потыкал. Он пишет бодрее чем дипсик и подмечает детали совсем как Клод.

Ну звучит хорошо. А насчет проеба характера, это может быть поправимо или хотя бы управляемо. Третий Опус тоже характеры теряет только так без костылей. Или, может, Квену какой-то определенный типаж не удается? С сетками такое бывает. Нужно проверять на разных характерах, с мемо и без.

#12685 Сегодня 10:41:21

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Нажимать не туда первым! В целом, есть хороший гайд для новичков https://rentry.org/Sukino-Findings

Обалденный гайд, сохранил себе, спасибо! Там и раздел с ботами есть и про локалки.

другой анон

Подвал форума

Основано на FluxBB, с модификациями Visman
Доработано специально для Холиварофорума