[B]PygmalionAI тред №XXX[/B]
Перекатываемся с CharacterAI в PygmalionAI, делимся промптами, используем Colab, пытаемся освоиться, желаем удачи проекту, наблюдаем, как медленно умирает CAI, а также как они пытаются оправдать цензуру.
https://huggingface.co/PygmalionAI

[B]Что такое PygmalionAI?[/B]
[B]PygmalionAI[/B] - федеративная нейросеть с открытым исходным кодом и она специально заточена под чатботы, которую сделали выходцы из 4ch (/vt) - (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI. Сама же нейросеть дотренирована датасетом, которую делают из дампа с чатами в CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и нейросеть в CharacterAI может быть более умной, но цензура делает её глупее и безынициативной, а также удаляет наиболее креативные и эмоциональные сообщения.
Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной.
Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти.
Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI.
Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb

[B]GUI для PygmalionAI:[/B]
Text generation web UI - попытка сделать что-то похожее на интерфейс для Stable Diffusion от AUTOMATIC1111, только для генерации текста. Поддерживает режим загрузки с 8-битной точностью, можно создать в текстовом файле свой пресет настроек, также возможно запустить в схожем с CharacterAI интерфейсе. В Колабе выбираем Pygmalion 6B-original.
https://github.com/oobabooga/text-generation-webui
Colab:
https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Создание персонажей для PygmalionAI: https://oobabooga.github.io/character-creator.html
Также автор данного интерфейса рекомендует использовать данную версию PygmalionAI: https://huggingface.co/PygmalionAI/pygmalion-6b/tree/b8344bb4eb76a437797ad3b19420a13922aaabe1

TavernAI - фронтэнд над PygmalionAi, который взаимодействует с API KoboldAI. Форматирует тексты в чате, используя свой стиль, при этом полностью поддерживает PygmalionAI. Использует более другой от PygmalionAI и KoboldAI форматирование разметки чатов и персонажей в файле. С версией 1.2 позволяет нативно конвертировать дампы чатов с Character AI, однако из-за того, что все истории общения с персонажами хранятся в одном файле, а не в разных, TavernAI будет воспринимать только последний чат с ботом в CAI. При этом позволяет редактировать текст, что схоже с KoboldAI, когда такой функции нет у интерфейсов на основе Gradio.
https://github.com/TavernAI/TavernAI

KoboldAI - самый известный интерфейс, который пришёл со времён AI Dungeon. Не поддерживает в полной мере форматирование текста, как в PygmalionAI, однако его API использует PygmalionAI. У KoboldAI более другой формат, который сохраняет персонажей и чат в один файл, нежели у PygmalionAI и TavernAI. В Колабе выбираем PygmalionAI. При сохранении, необходимо сохранять в расширении "*.json".
https://github.com/KoboldAI/KoboldAI-Client
Colab KoboldAI GPU: https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb
Colab KoboldAI TPU (мест может нехватать так, что лучше использовать GPU): https://colab.research.google.com/github/KoboldAI/KoboldAI-Client/blob/main/colab/TPU.ipynb

[B]Советы:[/B]
Рекомендуется использовать в качестве имени своего персонажа - You. Потому, что в тексте PygmalionAI идет смещение в сторону второго лица.
Параметр "Temperature" отвечает за креативность. В случае низкого параметра, получается повторяемость. В случае высокого параметра, получается бредовость и несвязанность предложений. Рекомендуется ставить от 0.5 до 0.8.
"Repetition penalty" или же штраф за повторяемость - параметр, которая наказывает за повторяемость слов. При моделях 6B и выше, если выставить значение больше 1.2, то это может сломать модель. Рекомендуется ставить от 1.05 до 1.18.
Сэмплинг "Top-p" - отвечает за выбрасывание ненужного текста. При низких значениях, текст может стать повторяющимся и предсказуемым. Чтобы отключить эффект, нужно поставить значение к 1. Можно оставить на предустановленных 0.9, как в Pygmalion.
Сэмплинг "Top-k" - используется для очищения малого количества токенов низкой вероятности. Имеет высокую разрешительную способность. Чтобы отключить его, нужно выставить значение к 0. Можно повысить значение до 10, чтобы повысить креативность текста.
Сэмплинг "Typical p" или же "Typical" - Имеет сильное воздействие на выходе. Для того, чтобы отключить его, нужно выставить значение к 1. Изменить значение можно до 0.8, если вы желаете повысить креативность текста.
Для прописывания диалогов в PygmalionAI используется такой формат, при этом имена указываются напрямую:
Your_Waifu: Действие. Прямая речь.
You: Действие. Прямая речь.
<START> - используется, как конец диалога.

[B]Творчество треда:[/B]
Пошаговый гайд по накатыванию text-generation-webui: https://paste.ee/p/Gys0B
Пошаговый гайд по накатыванию кобольда и таверны: https://paste.ee/p/nGOBa
Скрипт для Аски: https://paste.ee/p/TB6dQ
Скрипт для Юки: https://paste.ee/p/iqlnD

[B]Полезные ссылки:[/B]
Поделиться собственным промптом персонажа: https://catbox.moe
Промпты персонажей: https://rentry.org/pygbotprompts
FAQ от разработчиков: https://rentry.org/pygmalion-ai
Сайт с промптами персонажей: https://botprompts.net/
Помочь разработчикам:
* https://github.com/PygmalionAI
* https://matrix.to/#/#waifu-ai-collaboration-hub:halogen.city?via=halogen.city
Отправить свой дамп из CharacterAI на датасет: https://dump.nopanda.io/
Скрипт, который позволяет скачать чаты с персонажами: https://github.com/0x000011b/characterai-dumper
Скрипт, который позволяет конвертировать историю чатов с формата CharacterAI на формат PygmalionAI: https://files.catbox.moe/jv54ev.py - Необходимо перетащить файл на скрипт. При этом скрипт сделает несколько чатов и скопирует описание персонажа, а точнее его "Long Description" с Character AI на формат PygmalionAI. То, что с "chatsave" - это сами чаты, а то что без него - это сам персонаж.

[B]При отправке промпта, необходимо указывать в каком интерфейсе он может использоваться. (PygmalionAI, TavernAI, KoboldAI)[/B]