Uma fintech desenvolveu um pipeline ponta a ponta (end-to-end) de machine learning para detecção de fraudes em transações financeiras.
O pipeline inclui as seguintes etapas:
(1) ingestão de dados em tempo real via streaming; (2) feature engineering com agregações temporais (médias móveis de 7 e 30 dias); (3) predição usando um modelo de gradient boosting; (4) deployment em arquitetura de microsserviços.
Após três meses em produção, o time de MLOps observou degradação gradual no F1-score de 0.89 para 0.72, enquanto o monitoramento revelou que as distribuições das features agregadas apresentavam mudanças estatisticamente significativas (p < 0.01 no teste de Kolmogorov-Smirnov), embora as features brutas individuais permanecessem estáveis.
Considerando as melhores práticas de pipelines de ML em produção e estratégias de deployment, a equipe deve:

Question

Uma fintech desenvolveu um pipeline ponta a ponta (end-to-end) de machine learning para detecção de fraudes em transações financeiras.

O pipeline inclui as seguintes etapas:

(1) ingestão de dados em tempo real via streaming; (2) feature engineering com agregações temporais (médias móveis de 7 e 30 dias); (3) predição usando um modelo de gradient boosting; (4) deployment em arquitetura de microsserviços.

Após três meses em produção, o time de MLOps observou degradação gradual no F1-score de 0.89 para 0.72, enquanto o monitoramento revelou que as distribuições das features agregadas apresentavam mudanças estatisticamente significativas (p < 0.01 no teste de Kolmogorov-Smirnov), embora as features brutas individuais permanecessem estáveis.

Considerando as melhores práticas de pipelines de ML em produção e estratégias de deployment, a equipe deve:

FGV · Accepted Answer

adotar estratégia de deployment blue-green para testar um novo modelo treinado com dados recentes em paralelo com o modelo atual, direcionando gradualmente o tráfego para o novo modelo enquanto monitora métricas de desempenho e features drift;

FGV · Answer

descartar as features agregadas temporais do pipeline, pois são a causa do data drift observado, e retreinar o modelo usando apenas as features brutas individuais que permaneceram estáveis;

FGV · Answer

implementar apenas alertas de monitoramento mais sensíveis para detectar drift precocemente, mantendo o pipeline atual inalterado, pois o F1-score de 0.72 ainda é considerado aceitável para aplicações de detecção de fraudes em produção;

FGV · Answer

implementar um sistema de retreinamento automático com janela deslizante que periodicamente atualiza o modelo com dados recentes, mantendo as features agregadas mas recalculando-as sobre períodos mais curtos para reduzir latência conceitual;

FGV · Answer

aumentar a complexidade do modelo substituindo gradient boosting por deep learning com redes neurais recorrentes, pois modelos mais complexos são mais robustos a drift e podem capturar padrões temporais automaticamente sem feature engineering.

Uma fintech desenvolveu um pipeline ponta a ponta (end-to-end) de machine learning para detecção de fraudes em transaçõe...

Questões relacionadas para praticar

Uma fintech desenvolveu um pipeline ponta a ponta (end-to-end) de machine learning para detecção de fraudes em transaçõe...

Questões relacionadas para praticar