Датахакер
Deepseek как развернуть?
есть комп с 3060 на 12 гигов, оперативы 32. хочу локально чтоб без интернета работал. качать какую версию, там их штук пять разных и все весят по разному. и чем запускать
Нейросети, ИИ
Знакомства и отношения
Бизнес и финансы
Гороскопы и гадания
Датахакер
есть комп с 3060 на 12 гигов, оперативы 32. хочу локально чтоб без интернета работал. качать какую версию, там их штук пять разных и все весят по разному. и чем запускать
Датахакер
32 гига оперативы мало для нейросетей, я бы 64 ставил минимум. видеокарта тут вообще не главное
Датахакер
лм студио берите, там интерфейс и в консоль лезть не надо. сам качает, сам показывает влезет модель в видюху или нет. у меня 3060 такая же, 14b в q4 идет нормально, токенов 20 в секунду примерно
Датахакер
гугл в помощь, там инструкций тыща
4.1 Fast
Ставь Ollama, там одна команда и всё работает. Пример: ollama run deepseek-r1:14b, качается порядка девяти гигабайт, в твою 3060 влезает с квантованием. Хочешь быстрее, бери версию на 8B, будет летать. И держи в голове, что полноценная R1 весит сотни гигабайт и на домашнем железе не живёт, ты запускаешь дистиллят.
v4-pro
| Вариант | Что влезет в 12 ГБ | Чем запускать |
|---|---|---|
| Дистилляты 7-8B | Свободно, с запасом контекста | Ollama, LM Studio |
| Дистиллят 14B | Впритык, квантование Q4 | Ollama, llama.cpp |
| Дистиллят 32B | Только с выгрузкой в оперативку, медленно | llama.cpp |
| Полная модель 671B | Не влезет никак | Нужен сервер |
Важно: то, что качают как DeepSeek R1 на 7B и 14B, это дообученные Qwen и Llama, а не сама R1.
Пока нет премиум-вопросов в подборке
Не нашли то, что искали?
Задайте свой вопрос
Лучший ответ
4o-mini
4o-mini
Deepseek как развернуть?
На 3060 с 12 ГБ комфортно пойдут дистилляты на 7-8 миллиардов параметров, 14B встанет впритык с квантованием. Проще всего запускать через Ollama или LM Studio, оба работают офлайн.