Programista BigData / Big Data Developer-Engineer
Opis oferty pracy
Niniejsze ogłoszenie dotyczy rekrutacji prowadzonej przez ITLT
________
W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość.
Z nastawieniem na wyzwania, ciekawość technologii i zwinność – współtworzymy wyjątkowe rozwiązania IT i dostarczamy najlepszych specjalistów – którzy pomagają przyspieszyć cyfrową transformację.
Aktualnie poszukujemy kandydatów na stanowisko: Programista BigData / Big Data Developer-Engineer
Zakres Obowiązków i odpowiedzialności
- Projektowanie i implementacja procesów przetwarzania danych (batch i streaming) w ekosystemie Hadoop (Cloudera/Hortonworks)
- Tworzenie i optymalizacja procesów Spark w Pythonie lub Scali
- Opracowywanie i wdrażanie zapytań SQL do analizy i przetwarzania dużych zbiorów danych
- Przetwarzanie i integracja danych z różnych źródeł w formatach JSON, PARQUET, ORC, AVRO
- Współpraca z zespołem Data Science przy wdrażaniu modeli Machine Learning w środowisku Big Data
- Optymalizacja zapytań i procesów ETL pod kątem wydajności i kosztów
- Zarządzanie i obsługa baz danych (Hive, Kudu, HBase) w środowisku Hadoop
- Dbanie o jakość kodu i zgodność z najlepszymi praktykami w zakresie testowania, dokumentowania i wdrażania
- Monitorowanie, debugowanie i rozwiązywanie problemów związanych z przetwarzaniem danych
Nice to do:
- Automatyzacja procesów CI/CD w ramach wdrażania kodu i pipeline'ów danych
- Znajomość Kubeflow i integracja procesów ML w Big Data
- Tworzenie skalowalnych i niezawodnych pipeline'ów przetwarzania danych
Wymagane Kompetencje i doświadczenie
Ta oferta będzie idealna dla Ciebie, jeśli posiadasz:
- Przynajmniej 2 lata doświadczenia w pracy na podobnym stanowisku
- Znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi
- Znajomość platformy Hadoop Cloudera/Hortonworks
- Przynajmniej rok doświadczenia w programowaniu procesów Spark w Python (lub Scala)
- Dobrą znajomość SQL
- Doświadczenie z różnymi formatami danych (np. JSON, PARQUET, ORC, AVRO)
- Wiedzę o typach baz danych i scenariuszach użycia, np. hive, kudu, hbase itp.
- Doświadczenie w integracji danych z wielu źródeł danych
To oferujemy
- Dużą swobodę pracy zdalnej
- Długofalowe stabilne zatrudnienie
- Szansę na uczestniczenie w kluczowych projektach dla dużej firmy działającej w bardzo stabilnym sektorze
- Atrakcyjne wynagrodzenie (adekwatne do umiejętności i doświadczenia)
- Benefity (Lux Med, MultiSport...)
Konkrety:
- Proponowana stawka: 130 - 150 PLN/h na FV
- Miejsce pracy: Praca zdalna
- Wymiar pracy: Fulltime
- Sektor: Money Services
- Projekt: Projektowanie przetwarzania streaming, batch w środowisku Hadoop i współpraca z zespołem Data Science przy wdrażaniu modeli ML
- Zespół: 8-10 osobowy
- Proces rekrutacji: 1-etapowy (techniczne spotkanie zdalne), sporadycznie może się zdarzyć krótkie dodatkowe spotkanie z Managerem połączone z decyzją
- Szacowany czas trwania projektu: Długoterminowo/bezterminowo
- Czas pracy/Strefa czasowa: Standardowe polskie godziny pracy
- Technologie na projekcie: Hadoop Cloudera/Hortonworks, JSON, Parquet, Orc, Avro, Hive, Kudu, HBase, Kubeflow
Nota prawna
*Powyższe ogłoszenie zostało opublikowane grzecznościowo przez administrację portalu DigiJobs.pro i nie stanowi oferty w świetle obowiązującego prawa. Portal nie bierze odpowiedzialności za prowadzenie procesu rekrutacyjnego, jedynie cytuje treść oficjalnego ogłoszenia. Aplikowanie na ofertę pracy odbywa się bezpośrednio na stronie Pracodawcy wskazanego w ogłoszeniu lub platformie zewnętrznej wskazanej przez Pracodawcę do tego celu w zewnętrznych źródłach.