У вересні 2025 року журнал Nature опублікував статтю про DeepSeek-R1. Автори показали, що здатність мовної моделі міркувати можна розвинути навчанням з підкріпленням, без розмічених людьми прикладів міркування.
Великі мовні моделі довго вчили міркувати на прикладах: люди розписували розв’язання задач крок за кроком, а модель відтворювала цю манеру. Це дорого й обмежує модель людським способом мислення.
Китайська компанія DeepSeek запропонувала інший шлях і описала його в статті, яку опублікував журнал Nature (том 645, сторінки 633-638, номер від 17 вересня 2025 року). Модель навчали з підкріпленням: винагорода залежала лише від того, чи збігається остаточна відповідь з еталонною, а сам хід міркування ніяк не обмежували.
За словами авторів, у такому режимі в моделі самі виникли самоперевірка, рефлексія і зміна стратегії. Найкраще це працює для задач із відповіддю, яку можна перевірити: математика, програмування, олімпіадні завдання. Здобуті патерни міркування можна передавати меншим моделям. Автори прямо пишуть про обмеження: у ширших завданнях, як-от письмо чи відкриті запитання, результати слабші.
Наслідок стосується методу, а не однієї компанії: перевірюваність відповіді стала ключем до навчання міркуванню, тож прогрес швидший там, де правильність можна перевірити автоматично.
Надішли постійне посилання на цей факт.