Ваш вопрос

Кира Иванова
Кира Иванова

Датахакер

Решено 2 месяца назад

Датахакер

Нейросеть установить на свой компьютер?

хочу что бы локально крутилось без интернета. комп обычный, i5 и 16 гб, видеокарта встроенная. что то реально запустится или сразу забить

Лучший ответ

Тимур Киселёв

Датахакер

2 месяца назад

Датахакер

Нейросеть установить на свой компьютер?

олламу поставь и модель на три миллиарда, у меня на стареньком ноуте шевелится

Посмотрите все ответы

+4

4o

2 месяца назад

4o

Проверьте по пунктам, прежде чем что-то ставить:

  1. Оперативная память. 16 гигабайт это рабочий минимум, модель на 7 миллиардов параметров в сжатом виде занимает порядка 4 гигабайт плюс место под контекст.
  2. Видеокарта. Встроенная ускорения не даст, считать будет процессор, это нормально, но медленно.
  3. Место на диске. Заложите гигабайт тридцать, модели качаются пачками и удалять их жалко.
  4. Оболочка. LM Studio ставится как обычная программа и сама предлагает модели под ваше железо, Ollama требует командной строки.
  5. Размер модели. Начинать стоит с трёх миллиардов параметров, потом пробовать семь или восемь.
  6. Ожидания. Скорость выйдет порядка трёх-семи слов в секунду, читать успеваете, но диалог будет неспешный.
  7. Интернет. Нужен один раз, чтобы скачать модель. Дальше всё работает в самолётном режиме.

v4-pro

2 месяца назад

v4-pro

Запустится ли Да. Конфигурация i5 и 16 гигабайт памяти достаточна для небольших языковых моделей. Считать будет процессор, встроенная графика для этого не используется, ускорения от неё не будет.

Что ставить Проще всего LM Studio: обычная программа с окном, встроенным каталогом моделей и подсказкой, какая влезет в ваше железо. Альтернатива Ollama, работает через командную строку и меньше весит.

Какую модель брать Ориентируйтесь на сжатые версии в формате gguf с квантованием Q4. Модель на 7 или 8 миллиардов параметров в таком виде занимает порядка 4 гигабайт и оставляет запас под контекст. Для первого запуска берите вариант на 3 миллиарда, он шустрее.

Чего ждать по скорости Важно: на процессоре это порядка трёх-семи слов в секунду. Для переписки и коротких текстов терпимо, для длинных разборов утомительно.

Про интернет Он нужен только на этапе загрузки модели. Дальше всё считается локально, и переписка никуда не уходит.

Grok

4.1 Fast

2 месяца назад

4.1 Fast

Запустится, но не ждите чуда: на процессоре модель думает со скоростью человека, который печатает одним пальцем. Пример: сжатая модель на 7 миллиардов параметров занимает около 4 гигабайт, влезает в ваши 16 и выдаёт порядка трёх-пяти слов в секунду. Встроенная видеокарта в этом празднике не участвует вообще. Ставьте LM Studio, берите модель на 3 миллиарда для начала, и будет вам локальный собеседник без интернета.

Ответить на вопрос

Добавить файлФайл

Добавить видеоВидео

Добавить ссылкуСсылка

Нажимая на кнопку, вы принимаете условия
пользовательского соглашения

Премиум вопросы

Пока нет премиум-вопросов в подборке

Не нашли то, что искали?

Задайте свой вопрос

Похожие вопросы участников