Основы преобразования данных в облаке с помощью BigQuery и Dataflow

Исходные данные редко готовы к анализу, часто требуя обширной очистки, структурирования и обогащения, чтобы иметь реальную ценность. Понимание того, как использовать облачные инструменты преобразования данных, является одним из важнейших навыков современных специалистов по обработке данных. В этом текстовом курсе вы узнаете, как получать, преобразовывать и загружать данные с помощью мощных облачных служб хранения и обработки данных. Вы перейдете от работы с неорганизованными наборами данных к разработке чистых, автоматизированных рабочих процессов. Вы узнаете: основные понятия ETL (Extract, Transform, Load) и современные модели ELT; концепции облачного хранилища данных с использованием BigQuery для эффективного преобразования на основе SQL; как разрабатывать и выполнять конвейеры обработки данных в Cloud Dataflow; методы очистки данные для обработки отсутствующих значений, Внедрение базовых методов управления данными и контроля за ними для обеспечения надежности каналов передачи данных. Курс начинается с основных терминов и основ архитектуры облачного хранилища данных, а затем пошагово описывает сценарии преобразования данных с использованием SQL и инструментов организации конвейера. Этот вводный курс предназначен для начинающих аналитиков данных, администраторов баз данных и новичков, интересующихся облачным анализом, не требуя предыдущего опыта работы в облаке. Начните читать сегодня, чтобы раскрыть потенциал обработки данных в облачном масштабе.