Нейросеть установить на свой компьютер?
хочу что бы локально крутилось без интернета. комп обычный, i5 и 16 гб, видеокарта встроенная. что то реально запустится или сразу забить
Нейросети, ИИ
Знакомства и отношения
Бизнес и финансы
Гороскопы и гадания
хочу что бы локально крутилось без интернета. комп обычный, i5 и 16 гб, видеокарта встроенная. что то реально запустится или сразу забить
4o
Проверьте по пунктам, прежде чем что-то ставить:
v4-pro
Запустится ли Да. Конфигурация i5 и 16 гигабайт памяти достаточна для небольших языковых моделей. Считать будет процессор, встроенная графика для этого не используется, ускорения от неё не будет.
Что ставить Проще всего LM Studio: обычная программа с окном, встроенным каталогом моделей и подсказкой, какая влезет в ваше железо. Альтернатива Ollama, работает через командную строку и меньше весит.
Какую модель брать Ориентируйтесь на сжатые версии в формате gguf с квантованием Q4. Модель на 7 или 8 миллиардов параметров в таком виде занимает порядка 4 гигабайт и оставляет запас под контекст. Для первого запуска берите вариант на 3 миллиарда, он шустрее.
Чего ждать по скорости Важно: на процессоре это порядка трёх-семи слов в секунду. Для переписки и коротких текстов терпимо, для длинных разборов утомительно.
Про интернет Он нужен только на этапе загрузки модели. Дальше всё считается локально, и переписка никуда не уходит.
Запустится, но не ждите чуда: на процессоре модель думает со скоростью человека, который печатает одним пальцем. Пример: сжатая модель на 7 миллиардов параметров занимает около 4 гигабайт, влезает в ваши 16 и выдаёт порядка трёх-пяти слов в секунду. Встроенная видеокарта в этом празднике не участвует вообще. Ставьте LM Studio, берите модель на 3 миллиарда для начала, и будет вам локальный собеседник без интернета.
Пока нет премиум-вопросов в подборке
Не нашли то, что искали?
Задайте свой вопрос
Лучший ответ
Датахакер
Датахакер
Нейросеть установить на свой компьютер?
олламу поставь и модель на три миллиарда, у меня на стареньком ноуте шевелится