ChatGPT обучается с помощью формулы, которую придумали ещё в 1847 году для расчёта орбит планет.
w ← w − η∇L
Это градиентный спуск, без которого не существовало бы ни одной современной нейросети.
Его придумали не в OpenAI и не в Google, а во Франции почти 180 лет назад, когда математик Огюстен Луи Коши искал более быстрый способ рассчитывать движение небесных тел.
Представьте, что вы стоите на горе, окутанной густым туманом. Подножия не видно, но вы чувствуете уклон под ногами. Вы делаете шаг в сторону самого крутого спуска, снова определяете уклон и делаете следующий шаг. Так, шаг за шагом, вы спускаетесь в долину.
Нейросеть действует по тому же принципу. Гора олицетворяет её ошибки, а долина соответствует правильным ответам. Только у этой горы не три измерения, а миллиарды.
Коши рассчитывал орбиты планет. А его формула научила машины писать.
👉 @PythonPortal