Explore as questões disponíveis e prepare-se para seus estudos!
Sobre a ingestão e o processamento de dados, faça a associação correta entre os dois formatos a seguir.
1. Processamento em lote (batch)
2. Processamento em fluxo (stream)
( ) são processados incrementalmente ao longo do tempo, permitindo a análise em tempo real e uma redução significativa da latência.
( ) têm entradas de tamanho finito conhecido.
( ) operam em conjuntos de dados ilimitados.
( ) é mais adequado para tarefas que envolvem a carga e transformação de grandes volumes de dados de uma vez, como a criação de índices de busca, visualizações materializadas e métricas agregadas.
Assinale a opção que indica a associação correta, na ordem
apresentada.
Uma equipe de cientistas de dados está desenvolvendo um pipeline de ETL (Extract, Transform, Load) para processar grandes volumes de dados diariamente. Para isso, eles decidiram utilizar o Apache Airflow para orquestrar e monitorar o fluxo de trabalho, garantindo a execução das tarefas na ordem correta e com tolerância a falhas.
No Apache Airflow, os DAGs (Directed Acyclic Graphs) são a estrutura principal usada para definir os workflows. Dentro de uma DAG, as tarefas são organizadas e executadas de acordo com suas dependências.
Assinale a alternativa que melhor descreve o funcionamento de um DAG no Apache Airflow.