Конвейеры обработки данных управляют потоком данных с момента их первоначального сбора до консолидации, очистки, анализа, визуализации и многого другого. Эта книга научит вас создавать и сопровождать эффективные конвейеры обработки данных с использованием платформы Apache Airflow.Те, кто мало знаком с Airflow, получат базовое представление о принципах работы этой платформы в I части книги. Далее обсуждаются такие темы, как создание собственных компонентов, тестирование, передовые практики и развертывание, - эти главы можно читать в произвольном порядке в зависимости от конкретных потребностей читателя.Издание предназначено для специалистов по DevOps, обработке и хранению данных, машинному обучению, а также системных администраторов с навыками программирования на Python.
Konveyery obrabotki dannykh upravlyayut potokom dannykh s momenta ikh pervonachalnogo sbora do konsolidatsii, ochistki, analiza, vizualizatsii i mnogogo drugogo. Eta kniga nauchit vas sozdavat i soprovozhdat effektivnye konveyery obrabotki dannykh s ispolzovaniem platformy Apache Airflow.Te, kto malo znakom s Airflow, poluchat bazovoe predstavlenie o printsipakh raboty etoy platformy v I chasti knigi. Dalee obsuzhdayutsya takie temy, kak sozdanie sobstvennykh komponentov, testirovanie, peredovye praktiki i razvertyvanie, - eti glavy mozhno chitat v proizvolnom poryadke v zavisimosti ot konkretnykh potrebnostey chitatelya.Izdanie prednaznacheno dlya spetsialistov po DevOps, obrabotke i khraneniyu dannykh, mashinnomu obucheniyu, a takzhe sistemnykh administratorov s navykami programmirovaniya na Python.
