Szukamy osoby na stanowisko Senior Cloud Data Engineer z doświadczeniem w pracy z chmurą AWS oraz Databricks.
Projekt obejmuje stworzenie rozwiązania typu lakehouse, przygotowanie prototypu prezentowanego podczas wydarzenia branżowego, a następnie realizację pilotażowego wdrożenia i dalszy rozwój platformy. Poszukujemy osoby, która będzie aktywnie wspierać zarówno architekturę, jak i implementację rozwiązania, współtworząc fundamenty skalowalnej platformy danych wykorzystywanej do zaawansowanej analityki oraz raportowania biznesowego. Projekt realizowany jest w oparciu o nowoczesny ekosystem Databricks, medallion architecture oraz najlepsze praktyki Data Engineering.
Optymalny start współpracy: listopad 2026
masz min. 5 lat doświadczenia w IT, w tym min. 3,5 roku w komercyjnej pracy z danymi w chmurze AWS (Glue, Athena, DynamoBD),
masz doświadczenie w pracy z narzędziem Terraform,
masz doświadczenie w pracy z Databricks,
masz komercyjne doświadczenie w przetwarzaniu sporych danych przy użyciu JSON,
znasz i wykorzystujesz Python oraz PySpark,
korzystasz z SQL na poziomie zaawansowanym i wykorzystujesz go na rozwiązaniach technologicznych MS i nie tylko,
znasz metodyki i stosujesz biegle Git oraz CI/CD,
posiadasz doświadczenie z dbt,
tworzysz i optymalizujesz rozwiązania przetwarzające dane (ETL, ELT, itp.) poprzedzone projektem technicznym oraz alternatywami rozwiązań (np. Apache Airflow)
masz doświadczenie z praktykami zwinnymi oraz znasz narzędzia wykorzystywane w procesie wytwarzania oprogramowania, w tym np. Azure DevOps,
masz wiedzę na temat stosowania mechanizmów związanych z bezpiecznym przechowywaniem i przetwarzaniem danych w chmurze,
świadomie wykorzystujesz Generative AI w procesie wytwarzania oprogramowania oraz w decyzjach architektonicznych i technologicznych,
posługujesz się j. angielskim na poziomie średniozaawansowanym (min. B2) oraz swobodnie komunikujesz się w języku polskim.
projektowanie i rozwijanie nowoczesnej platformy danych opartej na Databricks i AWS,
budowę oraz optymalizację procesów ETL/ELT wykorzystujących PySpark, Spark SQL i dbt,
implementację architektury lakehouse zgodnie z podejściem medallion (Bronze, Silver, Gold),
współtworzenie standardów dotyczących Data Engineering, jakości danych i Data Governance,
wdrażanie oraz rozwój rozwiązań opartych o Unity Catalog,
projektowanie modeli danych wspierających potrzeby analityczne i raportowe biznesu,
współpracę z architektami, analitykami i klientem przy definiowaniu kierunku rozwoju platformy,integrację danych z wielu źródeł oraz implementację mechanizmów CDC i near-real-time data processing,
aktywny udział w przygotowaniu i prezentacji prototypów produktu,
wpływ na decyzje architektoniczne oraz rozwój strategicznej platformy danych od wczesnych etapów jej powstawania.