Как развернуть qwen?

Раз ходить будут несколько человек сразу, спор закрывается в пользу vLLM: llama.cpp отличный инструмент, но он про одного пользователя за раз.

1. Определитесь с размером модели под две 3090, это сорок восемь гигабайт видеопамяти суммарно. В обычной точности туда влезает модель до четырнадцати миллиардов параметров с запасом на контекст, в четырёхбитном сжатии реально запустить и тридцатимиллиардную.
2. Выберите версию под задачу. Есть общие инструктивные модели, есть отдельные под код, есть рассуждающие. Для рабочего помощника берите инструктивную, для генерации кода специализированную.
3. Поставьте vLLM в отдельное окружение и сверьте версии CUDA и драйвера, это самая частая причина, по которой ничего не стартует.
4. Запускайте сервер с распределением по обеим картам через параметр тензорного параллелизма, значение равно числу карт.
5. Задайте максимальную длину контекста явно и посчитайте память под кэш: при нескольких параллельных пользователях кэш съедает больше, чем сама модель.
6. Проверьте, что сервер отдаёт API в формате, совместимом с OpenAI, тогда любые клиенты и плагины подключатся без переделок.
7. Закройте порт от внешней сети и включите авторизацию по ключу, иначе внутренний сервис быстро становится внешним.
8. Прогоните нагрузочный тест на количестве пользователей вдвое больше планового, чтобы увидеть, где упирается раньше всего.

Важно: сто двадцать восемь гигабайт оперативной памяти тут почти не помогают, узкое место это видеопамять. И отдельно посмотрите лицензию конкретной версии модели перед использованием внутри компании, у разных моделей семейства условия отличаются.