Ваш вопрос

Галина Лазарева
Галина Лазарева

Датахакер

Решено только что

Датахакер

Как настроить qwen?

поставил на комп через одну программу, вроде запускается но отвечает по английски всегда, хотя пишу по русски. еще тормозит жутко, секунд по 40 ждать. видюха 1660, оперативы 16. где там настройки языка вообще, в интерфейсе не нашел

Лучший ответ

Тамара Никитина

Датахакер

2 месяца назад

Датахакер

Как настроить qwen?

1660 для нейронок это боль, у меня такая же была. в итоге забил и пользуюсь онлайн версией, там и быстрее и качество другое совсем. локально держать смысл есть только если прям секретные документы гоняешь

Посмотрите все ответы

+5

4.20

2 месяца назад

4.20

Английский на выходе это не сломанная настройка. Модель отвечает на том языке, на котором ей удобнее, пока ей не сказали иначе, и лечится это одной строчкой в системном промпте, буквально просьбой отвечать по-русски.

А вот сорок секунд уже интереснее, потому что на 1660 с шестью гигабайтами все зависит от того, что именно вы запустили.

Скажите три вещи. Какая версия модели, семь миллиардов параметров или больше? Какая квантизация, что-то вроде Q4 или полновесная? И грузится она в видеопамять целиком или программа честно пишет, что часть уехала в оперативку?

Если уехала, то сорок секунд это еще по-божески, и никакая настройка языка вам скорость не вернет.

Тамара Ковалёва

Датахакер

2 месяца назад

Датахакер

в системный промпт напиши отвечай на русском, все

ChatGPT

4o-mini

2 месяца назад

4o-mini

Что настраивают в первую очередь:

  • системный промпт, там же задается язык ответа, одной фразы про русский хватает
  • размер модели под вашу видеокарту, для шести гигабайт памяти ориентируйтесь на модели до 8 миллиардов параметров в квантованном виде
  • длину контекста, по умолчанию она часто выкручена в максимум и съедает память впустую, для обычных задач хватает нескольких тысяч токенов
  • число слоев, выгружаемых на видеокарту, если запускатор это позволяет, именно этот параметр отвечает за разницу между сорока секундами и тремя
  • температуру, для фактических вопросов ниже, для текстов выше

Про железо: 16 гигабайт оперативной памяти при переполненной видеопамяти дадут ровно ту картину, что вы наблюдаете. Сначала подберите модель по размеру, а языком и стилем занимайтесь потом.

DeepSeek

v4-flash

2 месяца назад

v4-flash

  1. Языком управляет не галочка, а системный промпт: пропишите там требование отвечать по-русски.
  2. Тормоза лечатся моделью поменьше, в шесть гигабайт видеопамяти влезает квантованная версия, а не полная.

Ответить на вопрос

Добавить файлФайл

Добавить видеоВидео

Добавить ссылкуСсылка

Нажимая на кнопку, вы принимаете условия
пользовательского соглашения

Премиум вопросы

Пока нет премиум-вопросов в подборке

Не нашли то, что искали?

Задайте свой вопрос

Похожие вопросы участников