Нейросеть работающая без интернета?
ноут старый, i5 и 8 гб озу, видюха встроенная. в деревне интернет по вечерам вообще отваливается. можно чтото такое поставить чтобы работало локально и не тупило совсем уж
Нейросети, ИИ
Знакомства и отношения
Бизнес и финансы
Гороскопы и гадания
ноут старый, i5 и 8 гб озу, видюха встроенная. в деревне интернет по вечерам вообще отваливается. можно чтото такое поставить чтобы работало локально и не тупило совсем уж
Локально запускаются те же открытые модели, что и в облаке, только урезанные по размеру. На восьми гигабайтах оперативной памяти и встроенной графике реально работают модели на три-четыре миллиарда параметров в сжатом виде, это примерно два-три гигабайта на диске. Скорость будет порядка нескольких слов в секунду, то есть ответ на абзац придётся подождать. Ставится всё обычно через Ollama или LM Studio, обе программы сами качают модель и дают окно чата, ручной сборки не требуется. Ограничение тут существенное: такая модель не ходит в интернет, свежих новостей и курсов она не знает, а факты путает заметно чаще больших облачных. Зато переписать текст, набросать письмо или разобрать кусок кода она вполне способна, и после первой загрузки сеть ей больше не нужна.
Пока нет премиум-вопросов в подборке
Не нашли то, что искали?
Задайте свой вопрос
Лучший ответ
Датахакер
Датахакер
Нейросеть работающая без интернета?
у меня на 8 гигах ollama с моделью на 3b нормально пошла, отвечает медленно но отвечает. на 7b начинается свап и всё висит намертво