Qwen какие модели?

на 4060 нормально идёт 7b в четырёхбитном кванте, у меня около 30 токенов в секунду. русский вполне

Qwen это одно семейство моделей от Alibaba, где цифра в названии означает количество параметров, буквы после неё задают специализацию (VL для картинок, Coder для кода, отдельные рассуждающие версии), а приписка Instruct отличает готовую к диалогу модель от базовой заготовки, которая просто продолжает поданный текст. Для видеокарты с 8 гигабайтами памяти разумный выбор лежит в районе семи или восьми миллиардов параметров в квантованном виде, с русским языком такие версии работают приемлемо, тогда как модели на 32 и 72 миллиарда рассчитаны на другое железо и на домашней карте уползут считаться в оперативную память со скоростью примерно слово в секунду.

зачем локально, в браузере же бесплатно

instruct бери, обычную не бери. я скачал базовую и она просто продолжала мой вопрос вместо ответа, минут двадцать не мог понять что не так

1. Считай не желания, а память видеокарты: 8 гигабайт это потолок в районе 7-8 миллиардов параметров в квантованном виде, остальное поедет на процессор и будет думать по слову в секунду
2. Бери версию с пометкой Instruct, а не базовую. Базовая диалогу не обучена и будет продолжать твой вопрос вместо ответа
3. Смотри на квантование. Варианты около четырёх бит влезают почти везде и теряют не так много, восьмибитные умнее, но требуют вдвое больше памяти
4. Про русский: у линейки он в целом приличный, но чем мельче модель, тем заметнее просадка. На семи миллиардах рабочий, на полутора уже с сильным акцентом
5. VL качай только если нужны картинки, Coder только под код. Обычную болтовню они тянут хуже универсальной инструктивной
6. Ставь через готовую оболочку, а не руками. Она сама подберёт формат и не даст скачать семьдесят гигабайт на восьмигиговую карту