Questões

Uma equipe de cientistas de dados está desenvolvendo um pipeline de ETL (Extract, Transform, Load) para processar grandes volumes de dados diariamente. Para isso, eles decidiram utilizar o Apache Airflow para orquestrar e monitorar o fluxo de trabalho, garantindo a execução das tarefas na ordem correta e com tolerância a falhas.

No Apache Airflow, os DAGs (Directed Acyclic Graphs) são a estrutura principal usada para definir os workflows. Dentro de uma DAG, as tarefas são organizadas e executadas de acordo com suas dependências.

Assinale a alternativa que melhor descreve o funcionamento de um DAG no Apache Airflow.

Sobre a ingestão e o processamento de dados, faça a associação correta entre os dois formatos a seguir.

1.         Processamento em lote (batch)

2.         Processamento em fluxo (stream) 

( ) são processados incrementalmente ao longo do tempo, permitindo a análise em tempo real e uma redução significativa da latência.

( ) têm entradas de tamanho finito conhecido.

( ) operam em conjuntos de dados ilimitados.

( ) é mais adequado para tarefas que envolvem a carga e transformação de grandes volumes de dados de uma vez, como a criação de índices de busca, visualizações materializadas e métricas agregadas.

Assinale a opção que indica a associação correta, na ordem apresentada.