Упавшее задание оставляет в хранилище обрывок файла, и отчет считает часть данных дважды. Схема таблицы меняется без предупреждения, таблицы распадаются на тысячи мелких файлов, а данные приходится копировать для каждой команды. Это практическое руководство показывает, как Delta Lake решает такие проблемы надежности. Книга пригодится инженерам данных, специалистам data science и аналитикам, которые строят озера-хранилища и конвейеры данных в промышленных масштабах.Авторы сопровождают Delta Lake и внедряют его в компаниях. Поэтому, помимо команд, они объясняют, почему формат устроен именно так. Вы узнаете, как ACID-транзакции и журнал транзакций делают озеро данных надежным, как совместить пакетную и потоковую обработку и как работать с Delta Lake с Apache Spark и без него.
Upavshee zadanie ostavlyaet v khranilishche obryvok fayla, i otchet schitaet chast dannykh dvazhdy. Skhema tablitsy menyaetsya bez preduprezhdeniya, tablitsy raspadayutsya na tysyachi melkikh faylov, a dannye prikhoditsya kopirovat dlya kazhdoy komandy. Eto prakticheskoe rukovodstvo pokazyvaet, kak Delta Lake reshaet takie problemy nadezhnosti. Kniga prigoditsya inzheneram dannykh, spetsialistam data science i analitikam, kotorye stroyat ozera-khranilishcha i konveyery dannykh v promyshlennykh masshtabakh.Avtory soprovozhdayut Delta Lake i vnedryayut ego v kompaniyakh. Poetomu, pomimo komand, oni obyasnyayut, pochemu format ustroen imenno tak. Vy uznaete, kak ACID-tranzaktsii i zhurnal tranzaktsiy delayut ozero dannykh nadezhnym, kak sovmestit paketnuyu i potokovuyu obrabotku i kak rabotat s Delta Lake s Apache Spark i bez nego.