Компьютер для локальной нейросети?

у меня 3060 на 12 гигов, семёрки летают, тринадцатимиллиардная уже пыхтит но работает. оперативы 32 и хватает за глаза

а зачем локально то. в браузере всё то же самое и бесплатно

Смотреть надо на объём видеопамяти, всё остальное вторично. Модель грузится в неё целиком, и если не влезла, часть уходит в оперативную память, а скорость падает в разы. На восьми гигабайтах живут модели примерно до 7 миллиардов параметров в квантованном виде, этого хватает для переписки и коротких текстов. Важно: 64 гигабайта оперативной памяти при слабой карте вас не спасут, они лишь позволят запустить модель медленно.

Ориентироваться надо на объём видеопамяти, и по этому признаку вариант за 47500 годится только как вход в тему.

Причина первая: языковая модель целиком загружается в память видеокарты, её объём и задаёт потолок. Восемь гигабайт означают модели около 7 миллиардов параметров в сжатом виде, то есть переписка, короткие тексты, простые правки.

Причина вторая: оперативная память подключается тогда, когда в карту не влезло, и это не выручка, а аварийный режим. Скорость проседает до нескольких слов в секунду, иногда до одного.

Причина третья: процессор в этой задаче почти не участвует, он готовит данные и передаёт их карте. Шесть ядер закроют вопрос с запасом.

Если в планах модели покрупнее, разумнее переплатить именно за карту на 12 или 16 гигабайт, а память добрать потом, она дешевеет и меняется за пять минут.