1. Поставили петухон отсюда: https://www.python.org/ftp/python/3.11.1/python-3.11.1-amd64.exe
2. Поставили git отсюда: https://github.com/git-for-windows/git/releases/download/v2.39.1.windows.1/Git-2.39.1-64-bit.exe
3. Открыли https://github.com/oobabooga/text-generation-webui
4. Скопировали что написано в разделе Installation
5. Открыли терминал/powershell/cmd
6. cd C:\Users\<Имя пользователя>\Desktop (чтобы папка была на рабочем столе, а не в System32)
7. CTRL+V того, что скопировали на шаге 4, Enter, ждём
8. После того, как закончилось:
python download-model.py PygmalionAI/pygmalion-2.7b
python download-model.py KoboldAI/OPT-2.7B-Erebus

Или же можно поискать иные модели тут: https://huggingface.co/KoboldAI
И тут: https://huggingface.co/PygmalionAI

9. Запускаем:
conda activate textgen
python server.py --cai-chat

Гайд примерный, пошагово работоспособность не проверял, но примерно так должно быть.