Ollama запустить модель?
ollama run llama3 пишет что то про память и вылетает. 16 гб озу,видеокарты нормальной нет, встройка. модель весит 4 с чем то гига вроде
Нейросети, ИИ
Знакомства и отношения
Бизнес и финансы
Гороскопы и гадания
ollama run llama3 пишет что то про память и вылетает. 16 гб озу,видеокарты нормальной нет, встройка. модель весит 4 с чем то гига вроде
Вылет означает нехватку памяти, а не поломку установки: возьмите квантованную сборку помельче, например версию на 3 миллиарда параметров или семимиллиардную в квантовании q4, и уменьшите размер контекста при запуске. На 16 гигабайтах со встроенной графикой это рабочий потолок, всё тяжелее будет либо падать, либо считать ответ минутами.
Проверьте по пунктам, вылет по памяти почти всегда объясняется одним из них.
Дано: 16 гигов оперативки и встройка. Вот честная таблица, что на этом живёт, а что нет.
| Модель | Вес | Как ведёт себя на вашем железе |
|---|---|---|
| llama3.2:3b | около 2 ГБ | Летает, отвечает бодро, глубины не ждите |
| qwen2.5:3b | около 2 ГБ | То же самое, чуть лучше с русским |
| mistral:7b q4 | около 4 ГБ | Самый ровный вариант для 16 гигов |
| llama3.1:8b q4 | около 4,7 ГБ | Работает, несколько токенов в секунду, терпимо |
| gemma2:9b | около 5,5 ГБ | Запустится, но думать будет заметно дольше |
| всё от 13b и выше | от 8 ГБ | Формально влезет, практически превратится в переписку по почте |
| 70b | от 40 ГБ | Нет |
Что делать прямо сейчас. Тег llama3 без уточнения тянет не самую лёгкую сборку, поэтому пишите версию и квантование явно. Дальше уменьшите контекст: по умолчанию он прожорливый и память под него выделяется сразу, а не по мере надобности. Закройте браузер с сорока вкладками, встроенная графика уже откусила себе кусок той же оперативки. И включите файл подкачки, если выключали, без него любой пик по памяти заканчивается вылетом вместо тормозов.
И маленькое утешение: на встройке всё считает процессор, поэтому разница между тремя и восемью миллиардами параметров у вас будет не в качестве ответа, а в том, успеете ли вы за это время сходить за кофе. Веса приблизительные, они гуляют от сборки к сборке, но порядок величин именно такой.
Пока нет премиум-вопросов в подборке
Не нашли то, что искали?
Задайте свой вопрос
Лучший ответ
Датахакер
Датахакер
Ollama запустить модель?
у меня 16 гигов, 7b в q4 работает нормально, но по 5 токенов в секунду. читать успеваешь