Как создать нейросеть для общения?

Перед стартом стоит пройтись по пунктам:

• определить задачу: болталка для себя, бот поддержки или персонаж с характером;
• взять готовую открытую модель вместо обучения с нуля, скачиваются они бесплатно;
• проверить железо: до 8 гигабайт видеопамяти берите модели на 7-8 миллиардов параметров в сжатом виде;
• собрать полсотни примеров диалогов в нужном тоне, они пригодятся и для промпта, и для дообучения;
• убедиться, что промпта не хватает, и только потом думать про LoRA;
• решить, где бот будет жить: сайт, мессенджер или консоль.

Никакой магии, порядок такой:

1. Забудьте про обучение с нуля. У вас нет двух тысяч видеокарт, а без них разговорная модель не выйдет.
2. Ставьте Ollama или LM Studio, качайте готовую модель на 7-8 миллиардов параметров. Она уже умеет говорить, её учили за вас.
3. Пишите системный промпт: кто ваш бот, как отвечает, что не обсуждает, длина реплик. Здесь делается процентов девяносто результата.
4. Не хватило характера — собирайте свои диалоги, штук пятьсот, и делайте LoRA. Это дообучение, но дешёвое, 1650 такое переварит за ночь.
5. Прикручивайте к телеграму или к простой веб-морде и смотрите, как оно ломается на живых людях.

Первая версия будет тупой. Все первые версии тупые, включая те, за которые берут по двадцать долларов в месяц.