Nie czekaj!
Powiadomiania o podobnych ofertach pracy:
Data Engineer
lokalizacja: Polska
numer referencyjny: 1200732/praktykipl
Hays IT Contracting to współpraca oparta na zasadach B2B. Nasza firma dopasowuje specjalistów IT do najciekawszych projektów technologicznych na rynku. Dołącz do grona 500 zadowolonych Kontaktorów i pracuj dla Klientów Hays! Obecnie poszukujemy specjalisty do świadczenia usług z obszaru: Data Engineering
Lokalizacja: Polska
Rodzaj umowy: kontrakt B2B
Czas trwania projektu: Pierwszy kontrakt 12 miesięcy
Start: ASAP
Stawka: 100 – 130 pln/h (net+vat)
Opis roli: Świadczenie usług z obszaru Data Engineering w branży energetycznej
Zadania: budowa, rozwój i utrzymanie platformy CDP w technologii Data Lakehouse (GCP)
Wymagania:
- Minimum 3 lata doświadczenia w Data Engineer
- Wykształcenie wyższe (preferowane kierunki: Matematyka, Informatyka, Ekonomia, Analityka, Zarządzanie Produktem).
- Udział w kilku projektach budowy rozwiązań cloud w roli Data Engineer
- Bardzo dobre umiejętności komunikacyjne oraz organizacyjne.
- Umiejętność efektywnej współpracy z zespołami IT i Project Managerami technicznymi.
- Znajomość języka angielskiego na poziomie umożliwiającym pracę w środowisku międzynarodowym
- Wymagania Technologiczne:
- Google Cloud Platform (GCP): Znajomość kluczowych usług Data & Analytics:
- BigQuery: Wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań.
- Cloud Storage: Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.
- Cloud Dataflow (Apache Beam): Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.
- Cloud Composer (Apache Airflow): Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.
- Datastream: Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).
- Dataplex: Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage.
- Pub/Sub: Praca z systemami kolejkowania komunikatów do integracji strumieniowej.
- Dataform: Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery.
- Python: Znajomość języka, w tym bibliotek do przetwarzania danych (Pandas).
- SQL: Znajomość SQL (ANSI SQL, dialekt BigQuery) do transformacji, analizy i modelowania danych.
- Architektura Medalionowa (Bronze, Silver, Gold): Doświadczenie w implementacji i utrzymaniu tej architektury.
- ETL/ELT: Zrozumienie procesów ekstrakcji, transformacji i ładowania danych.
- Data Governance: Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).
- Deduplikacja Danych: Projektowanie i implementacja strategii deduplikacji klientów, zarządzanie regułami łączenia i wykluczania.
- Wersjonowanie Danych (Data Versioning): Zrozumienie technik nieracjonowania schematów i danych.
- Git: Znajomość systemów kontroli wersji (strategie branchingu, Pull Requests).
- CI/CD: Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build).
- Monitorowanie i Alertowanie: Konfiguracja Cloud Monitoring i Cloud Logging.
Jak będzie wyglądał proces rekrutacji:
- Twoje CV zostanie zweryfikowane przez rekrutera Hays
- Rekruter skontaktuje się z Tobą telefonicznie – 15-minutowa rozmowa o projekcie i Twoim doświadczeniu
- Rozmowa techniczna z klientem
- Oferta
- Witamy w projekcie!
Hays Poland sp. z o.o. jest agencją zatrudnienia zarejestrowaną w rejestrze prowadzonym przez Marszałka Województwa Mazowieckiego pod numerem 361
hays.pl
Hays Poland sp. z o.o. jest agencją zatrudnienia nr 361
Powiadomiania o podobnych ofertach:
