Основополагающая книга о практическом применении больших языковых моделей класса трансформеров (generative pretrained transformer, GPT). Рассказано, как устроены трансформеры на уровне архитектуры и какое место они занимают среди разнообразных нейронных сетей. В книге исследованы самовнимание, тонкая настройка моделей, логический вывод (инференс), обучение с подкреплением, адаптация трансформеров к работе в реальных условиях. Для практической отработки материала предлагаются готовые ноутбуки Jupyter. Основные акценты в примерах сделаны на извлечении данных и, в частности, на технологии RAG (генерация с дополненной выборкой), оптимизации производительности трансформеров, специализации трансформеров с подготовкой предметно-ориентированных языковых моделей, а также на расширении и эффективном использовании контекстного окна.
Osnovopolagayushchaya kniga o prakticheskom primenenii bolshikh yazykovykh modeley klassa transformerov (generative pretrained transformer, GPT). Rasskazano, kak ustroeny transformery na urovne arkhitektury i kakoe mesto oni zanimayut sredi raznoobraznykh neyronnykh setey. V knige issledovany samovnimanie, tonkaya nastroyka modeley, logicheskiy vyvod (inferens), obuchenie s podkrepleniem, adaptatsiya transformerov k rabote v realnykh usloviyakh. Dlya prakticheskoy otrabotki materiala predlagayutsya gotovye noutbuki Jupyter. Osnovnye aktsenty v primerakh sdelany na izvlechenii dannykh i, v chastnosti, na tekhnologii RAG (generatsiya s dopolnennoy vyborkoy), optimizatsii proizvoditelnosti transformerov, spetsializatsii transformerov s podgotovkoy predmetno-orientirovannykh yazykovykh modeley, a takzhe na rasshirenii i effektivnom ispolzovanii kontekstnogo okna.
