Книга представляет собой лаконичное и в то же время исчерпывающее руководство по построению языковых моделей. Рассматриваются математические основы машинного обучения, векторные представления и работа нейронных сетей. Изложены принципы моделирования языка: от мешков слов и эмбеддингов до рекуррентных сетей и архитектуры трансформеров. Приводятся полные реализации описанных моделей и методов на Python с использованием фреймворка PyTorch, включая примеры в виде Jupyter-блокнотов. Описаны методы обучения, тонкой настройки и оптимизации больших языковых моделей: LoRA, инженерия промптов, оценка качества, а также вопросы авторского права и этики. В заключительной главе даны направления для дальнейшего изучения: смесь экспертов, сжатие моделей, выравнивание на основе предпочтений, мультимодальные модели.
Kniga predstavlyaet soboy lakonichnoe i v to zhe vremya ischerpyvayushchee rukovodstvo po postroeniyu yazykovykh modeley. Rassmatrivayutsya matematicheskie osnovy mashinnogo obucheniya, vektornye predstavleniya i rabota neyronnykh setey. Izlozheny printsipy modelirovaniya yazyka: ot meshkov slov i embeddingov do rekurrentnykh setey i arkhitektury transformerov. Privodyatsya polnye realizatsii opisannykh modeley i metodov na Python s ispolzovaniem freymvorka PyTorch, vklyuchaya primery v vide Jupyter-bloknotov. Opisany metody obucheniya, tonkoy nastroyki i optimizatsii bolshikh yazykovykh modeley: LoRA, inzheneriya promptov, otsenka kachestva, a takzhe voprosy avtorskogo prava i etiki. V zaklyuchitelnoy glave dany napravleniya dlya dalneyshego izucheniya: smes ekspertov, szhatie modeley, vyravnivanie na osnove predpochteniy, multimodalnye modeli.