The art of data engineering

Відео доповіді

Презентація доповіді

As the data space has increased, data engineering has emerged as a separate and related role that works together with data scientists. Usually, data scientists focus on finding new insights from a data set, while data engineers are concerned with the production readiness of that data.

In this talk, I’ll show you how to gather and collect the huge amount of data, store it, do batch processing or real-time processing on it, and how to build a data pipeline using Airflow for processing billions of records per table.

Also, we will discuss what is big data, and why it’s important to be able to process it so quick.

Андрій Солдатенко
Dynatrace, Senior Software Engineer
  • Python developer удень, Go developer (gopher) - вночі.
  • Великий фанат full-text search та graph databases
  • Спікер KCD Austria 2023, FOSDEM 2020 й 2023 (Go та Rust dev rooms), GoDays 2020, PyCaribbean, PyCon Israel, PyCon Italia 2017 та 2022, EuroPython 2016 і 2022, PyCon Ukraine 2014, OdessaPy та багатьох інших місцевих мітапів.
  • Контриб'ютить в різні python/go open source проекти: pyhelm, aiohttp-swagger, mezzanine; chalice, requests, aiohttp tutorial; sendgrid-python and sendgrid-django; OpenAPI v3 specification, fix Go docs
  • Blogger, Twitter , LinkedIn, GitHub
Або поштою
Або поштою
Реєстрація через e-mail
Реєстрація через e-mail
Забули пароль?