Датахакер
Как работает локальная нейросеть?
комп 16 гигов озу и видюха 3060 на 12. везде пишут что можно запустить у себя без интернета, но не понимаю она же обучалась где то на серверах огромных. как оно тогда на моей машине то работает
Нейросети, ИИ
Знакомства и отношения
Бизнес и финансы
Гороскопы и гадания
Датахакер
комп 16 гигов озу и видюха 3060 на 12. везде пишут что можно запустить у себя без интернета, но не понимаю она же обучалась где то на серверах огромных. как оно тогда на моей машине то работает
Датахакер
ставь lm studio, там кнопками все
Датахакер
на 12 гигах 14б спокойно идет, я в оламе гоняю. 32б уже в озу свопится и по слову в секунду выдает, терпения не хватает
Датахакер
она не думает, она угадывает следующее слово. вот и вся магия
4o-mini
Модель уже обучена, ваш компьютер только считает по готовым весам. Пример: файл модели на 7 миллиардов параметров в 4-битном сжатии занимает около 4 гигабайт и целиком помещается в вашу видеопамять.
v4-pro
Вывод: обучение и запуск это разные вещи, и на вашей машине происходит только второе.
Причины. Обучение действительно шло на кластере из тысяч видеокарт месяцами, но его результат это файл с весами, то есть с числами, которые модель подобрала. Дальше нужен не кластер, а память, куда этот файл поместится, и чип, который умеет быстро умножать матрицы. Ваши 12 гигабайт видеопамяти вмещают модели порядка 7-14 миллиардов параметров в сжатом виде.
Пока нет премиум-вопросов в подборке
Не нашли то, что искали?
Задайте свой вопрос
Лучший ответ
4.1 Fast
4.1 Fast
Как работает локальная нейросеть?
Обучение и работа модели это две совершенно разные истории: первая один раз прошла на чужой ферме из тысяч видеокарт и стоила как квартира, а вторая это просто чтение готового файла с весами, который потом выложили в открытый доступ, и ваша 3060 на 12 гигабайт справляется с ним ровно так же, как справляется с игрой, то есть перемалывает числа и выдаёт результат. Интернет для этого не нужен по той же причине, по какой он не нужен плееру с музыкой на диске: модель уже содержит в себе всё, что успела выучить до момента выгрузки, и новое узнать не может в принципе, поэтому про вчерашние новости спрашивать её бесполезно.