Episódio 024: Engenharia de Dados… e põe dados nisso!
Nesse episódio conversamos com o Ricardo Paiva, engenheiro de dados que trabalha com com dados que acumulam mais rápido que aviões supersônicos! Venha entender o que faz um engenheiro de dados, o que difere essa profissão de um cientista de dados e quando uma otimização de alguns porcentos pode gerar um lucro imenso quando se lida com milhões de dados por segundo!
Agradecimento especial aos nossos Parceiros
Esse episódio não seria possível sem o apoio especial dos nossos parças do Data Bootcamp, o maior bootcamp de Data Science do Brasil! Aprenda a organizar, extrair e interpretar os dados da sua empresa com as tecnologias mais avançadas usadas no mercado. Confira as datas dos próximos cursos no calendário.
Os padrinhos desse episódio
Esse episódio não teve padrinhos. Se você quiser apadrinhar episódios do Pizza manda um e-mail pra gente.
Tópicos abordados neste episódio
- Quem é e o que faz o nosso convidado?
- Quais são os principais problemas de trabalhar com um volume de dados gigantesco?
- O que faz um time de engenharia de dados?
- Como se organizam os times de engenharia em um ambiente de muitos dados?
- O que diferencia um Engenheiro de Dados e um Cientista de Dados?
- O que uma pessoa precisa estudar para trabalhar com engenharia de dados?
Escute agora
Pessoas nesse episódio
Apoie o pizza:
Nós também temos uma campanha de financiamento recorrente para ajudar a pagar a edição dos episódios. Se você gosta do nosso trabalho considere doar.
Links
Coisas que mencionamos durante esse episódio:
- #PerguntaProPizza
- Telegram do Pizza
- Python Brasil
- Conferência Web.br
- Blog do Rladies
- Paco Nathan - Passado e Futuro da AI
- Engenharia de Dados
- Curso Online de Big Data do Ricardo
- Big Data
- Criteo
- Pipeline
- Ingestão de Dados
- HDFS
- Hbase
- E-commerce
- Excel
- SQL
- Cluster
- Hadoop
- Big Data
- Data Lake
- JSON
- Schema
- Protobuff
- Aprendizado de máquina / Machine Learning
- Sampling - Amostragem
- Join ou União de Dados
- Banco de Dados
- Petabytes
- Kafka
- Javascript
- XML
- Formatos binários
- Avro
- Buffer
- Barramento / Filas
- Bancos de Dados Relacional
- DBA
- Governança de Dados
- Inteligência Artificial
- Empresa de Capital Aberto
- Universidade de Sorbonne
- Parquet
- Ciência de Dados
- SRE - Site Reliability Engineering
- Otimização
- Spark
- PySpark
- Análise Ad-Hoc
- Latência
- Resiliência
- Aplicação Web
- Métricas
- Logs
- Post Mortem
- Data Centers
- VPN
- Iterações
- Hive
- Prestor
- Streaming
- Processamento em lote ou Processamento em batch
- Framework
- Flink
- Kafka Stream
- Scala
- Oracle Database
- MySQL
- Linguagem R
- Python
- YARN
- JVM
- AliBaba
- Spark Streaming
- Análise Assintótica
- Série de Taylor
- Great Expectations
- Teste A/B
- RegEx
- Instituto InfNet
- RegexR
- Regex101
- Serenata
Pérolas?! Temos muitas
- Queijo aqui é uma ciência! Não é pra amador
- Só de escutar uma tabela de excel crescendo assim eu já travei!
- É big data MESMO
- Data Reliability Engineering!
- Dá até um ruim só de pensar
- O cara que contava o quanto a gente já tinha perdido com aquele incidente!
- Estou sofrendo e nem é comigo
- Acho que é um pouco melhor que o médico!
- Consegue dormir o sono dos justos!
- De tudo o que você falou, o que mais me impressionou é que você ainda tem telefone fixo
- Se processou o dado e coube na memória… não é big data
- A complexidade dos coisinhos que você tá fazendo
- Você não pode olhar regex de longe, se olhar de longe de assusta!
Edição
Esse episódio foi editado pelo Johnny. Valeu Johnny!
