O foco da palestra será nos desafios e aprendizados ao se construir e colocar em produção um sistema Spark, lidando com um problema real de Big Data. Serão abordadas questões de código; o uso ou abuso de features do Spark; criação de testes e jobs ricos em estatísticas; uso de Kafka e S3; e os principais problemas encontrados ao estressar um framework ainda em fase de maturação.
By Allan Oliveira