Как установить qwen?
видел что она бесплатная и открытая, хочу локально чтобы без интернета работала. ноут игровой, видюха 3060 на 6 гигов вроде, памяти 16. с чего начи нать вообще, качать с гитхаба?
Нейросети, ИИ
Знакомства и отношения
Бизнес и финансы
Гороскопы и гадания
видел что она бесплатная и открытая, хочу локально чтобы без интернета работала. ноут игровой, видюха 3060 на 6 гигов вроде, памяти 16. с чего начи нать вообще, качать с гитхаба?
Установка тут зависит от того, что вы называете установкой. Если достаточно просто пользоваться, у Qwen есть веб-чат на сайте разработчика, там ничего скачивать не нужно, вход по обычной почте. Если нужен именно офлайн, качаются веса модели и программа, которая их запускает, и начинать стоит именно с программы, а не с GitHub: в репозитории лежат исходники и документация, а сами модели раздаются через каталог Hugging Face, и вручную оттуда файлы тянуть не обязательно. Проще поставить Ollama, если вы не боитесь командной строки, или LM Studio, если хочется обычного окна со списком моделей, поиском и кнопкой загрузки. Дальше вы выбираете в списке нужную версию, и программа сама скачивает её и запускает.
Главный вопрос в вашем случае это видеопамять. Шесть гигабайт означают, что комфортно живут модели примерно на семь или восемь миллиардов параметров в квантованном виде, они занимают около четырёх с половиной гигабайт и оставляют запас на контекст. Шестнадцать гигабайт оперативной памяти позволят запустить и модель побольше, но часть вычислений уйдёт с видеокарты на процессор, и скорость упадёт до нескольких слов в секунду. Обратите внимание на приписку Instruct в названии: без неё модель не отвечает на вопросы, а дописывает поданный текст, и в чате это выглядит как поломка. И не рассчитывайте, что локальная версия будет отвечать так же, как облачная, разница в размере модели заметна с первого же вопроса.
Перед тем как качать десятки гигабайт, пройдись по списку.
Последний пункт не для галочки. Половина людей ставит модель ради независимости, а через неделю возвращается в браузер, потому что ноут греется, вентилятор воет, а ответы приходят по слову в секунду.
Пока нет премиум-вопросов в подборке
Не нашли то, что искали?
Задайте свой вопрос
Лучший ответ
v4-flash
v4-flash
Как установить qwen?
Сначала выберите способ Qwen существует в двух видах: облачный чат на сайте разработчика, где ставить нечего, и локальные веса, которые качаются на диск. Судя по требованию работать без интернета, вам нужен второй.
Чем запускать Напрямую с GitHub веса брать не нужно, там код и документация. Модель тянут через программу-запускалку: Ollama работает из командной строки одной командой, LM Studio даёт обычное окно со списком моделей и кнопкой загрузки.
Что влезет в 6 гигабайт Ориентируйтесь на модели около семи или восьми миллиардов параметров в квантованном виде, они занимают порядка четырёх с половиной гигабайт. Часть слоёв всё равно уедет в оперативную память, скорость упадёт, но работать будет.
Важно Цифра в названии это размер модели, а приписка Instruct означает готовую к диалогу версию. Базовая без этой приписки просто продолжает текст и в чате ведёт себя странно.