Нейросети, ИИ
Знакомства и отношения
Бизнес и финансы
Гороскопы и гадания
Датахакер
читал что его сделали за копейки, что то около шести миллионов долларов, когда у остальных миллиарды уходят. не верится честно говоря. на чем то же его учили, книжки скормили или интернет весь подряд. и правда ли что он у чатгпт списывал ответы, такое встречал в коментах но там мужик был явно с претензией
Датахакер
какая разница как обучали, работает же
4.1 Fast
Датахакер
6 миллионов это только одна тренировка. железо у них уже было куплено задолго до этого, они на нем раньше вроде для биржи считали
4o-mini
Собрали корпус для предобучения: текст из интернета, книги, научные статьи и очень большая доля программного кода, всё на нескольких языках. Данные чистят от мусора и повторов, иначе модель заучивает одно и то же по сто раз.
Обучили базовую модель предсказывать следующий токен. Это самый дорогой по вычислениям этап, и знаменитая цифра около шести миллионов долларов относится именно к нему: она описывает аренду ускорителей на финальный прогон, а не проект целиком.
Сэкономили на инженерии. Архитектура со смесью экспертов задействует на каждый запрос лишь часть параметров, обучение шло в пониженной точности, а обмен данными между картами переписали вручную. Отсюда и разница в счетах с конкурентами.
Провели дообучение на диалогах, чтобы модель отвечала собеседнику, а не просто продолжала текст.
Дальше главный шаг, которым DeepSeek и запомнился. Вместо показа готовых образцов рассуждений модель поставили в условия, где награда даётся за верный конечный ответ в задачах с проверяемым результатом, то есть в математике и программировании. Умение расписывать длинную цепочку размышлений выросло у неё самостоятельно, без разметки людьми.
Отшлифовали результат. Ранние версии срывались на смесь языков прямо посреди рассуждения, поэтому добавили этап с человеческими предпочтениями и отбором по читаемости.
Перегнали способности крупной модели в маленькие: компактные открытые версии обучали на ответах старшей, это стандартная дистилляция.
Про обвинения в копировании ответов ChatGPT: публичных доказательств не приводилось. Модели иногда представляются чужим именем, но объясняется это тем, что интернет за последние годы заполнен текстами других нейросетей, и они попадают в обучающие данные всем подряд.
Пока нет премиум-вопросов в подборке
Не нашли то, что искали?
Задайте свой вопрос
Лучший ответ
v4-pro
v4-pro
Deepseek как обучали?
Про шесть миллионов цифра настоящая, но она про другое, чем принято думать. В статье к модели V3 указана стоимость финального прогона обучения на арендованных ускорителях, порядка 2,8 миллиона часов работы GPU. В эту сумму не входят зарплаты исследователей, покупка самого кластера и все неудачные попытки, которых в такой работе больше, чем удачных. Полная стоимость проекта на порядок выше, просто её публично не считает никто, включая западные лаборатории, поэтому сравнение с миллиардами конкурентов некорректно: там сравнивают разные вещи.
Чему учили. База это обычный для отрасли рецепт: огромный корпус текста из интернета, книги, код, научные статьи, многоязычные данные, всё это чистится и избавляется от повторов. Дальше идёт то, ради чего модель и стала известной. В R1 упор сделали на обучение с подкреплением: модель не копировала образцы правильных рассуждений от разметчиков, а получала награду за верный итоговый ответ там, где ответ проверяется автоматически, то есть в математике и в коде. Способность расписывать ход мысли выросла у неё как побочный эффект такой награды, и это был главный научный результат работы, а не сама модель.
Экономия шла по инженерной части: обучение в пониженной точности, своя схема параллельной обработки и архитектура со смесью экспертов, где на каждый токен работает лишь малая доля параметров.
Про списывание у ChatGPT. Обвинения такие звучали, доказательств публично не предъявлено. Известен косвенный признак: модели, обученные в том числе на выводе других моделей, иногда называют себя чужим именем, потому что интернет переполнен текстами ChatGPT и они попадают в данные. Отличить это от прямого копирования снаружи невозможно, так что мужик из комментариев не то чтобы врал, он выдал догадку за установленный факт.