Job description
🌴 Forma pracy : fulltime, 100% zdalnie, długoterminowo 👈 ⏰ Start: ASAP 👈
Cześć! 👋
Dla naszego klienta z USA poszukujemy Senior Data Engineera, który ma posiada bacground z projektami Machine Learning oraz DataBricks. Klient zajmuje się wspieraniem firm w migracjach chmurowych. Prowadzi wiele projektów jednocześnie, a ze względu na stałość zapotrzebowania klient jest w stanie zaproponować nowy temat bezpośrednio po zakończeniu danego projektu.
Projekt, do którego obecnie poszukujemy specjalisty, dotyczy stworzenia i migracji modelu ML (bez wprowadzania zmian w modelu) do DataBricks dla firmy tworzącej platformę do zarządzania danym medycznymi. Migrowane dane pobierane są z urządzeń medycznych i są to dane teskstowe jak i obrazy. Po przeprowadzeniu migracji do DataBricks platforma ma być rozwijana o nowe funkcje oraz optymalizowana. Na projekcie działa na ten moment 6 osób bezpośrednio z Crodu (2 ML devów, 2 data devów, data consultant oraz PM) i zauważyliśmy potrzebę rozszerzenia tego zespołu.
Projekt dla klienta z USA, natomiast nie wymagamy pracy w pełnej zakładce godzinowej - jesteśmy otwarci na dostosowanie godzin pracy (np. od 10:00 do 18:00).
Czym będziesz się zajmować? 📍 Ocena wymagań projektowych, analiza obecnej oraz stworzenie nowej architektury modelu
📍 Przygotowanie platformy do integracji z Databricks oraz zapewnienie zgodności i konfiguracji Unity Catalog
📍Przetwarzanie i transformacja danych z agregacją metryk dla dwóch powiązanych zadań Glue
📍Tworzenie pipeline’ów ETL do przetwarzania danych o wizytach na platformie i użytkownikach, uwzględniających spłaszczanie danych na potrzeby modelu
📍 Implementacja MLOps z wykorzystaniem MLflow
📍 Uruchomienie modelu na Databricks Serving Endpoints w celu testowania opóźnień
📍 Stworzenie ram testowych i wsparcie zespołu Tealium w testowaniu
📍 Przygotowanie planu implementacji do uruchomienia na żywo
📍 Dokumentacja wyników pracy z wykorzystaniem Unity Catalog
Jak wygląda idealne doświadczenie? ⚡️ 6+ lat doświadczenia w obszarach data engineering/ data science
⚡️ Bardzo dobra znajomość Apache Spark oraz platformy DataBricks
⚡️ Solidne doświadczenie w obszarach ML/ AI
⚡️ Doświadczenie z MLOps oraz MLflow
⚡️ Doświadczenie w pracy w środowisku AWS/ Azure
⚡️ Doświadczenie w przeprowadzaniu podobnych migracji
⚡️ Umiejętność podejmowania inicjatywy i samodzielność
⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole
Mile widziane: ⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL)
⚡️ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)
Jak działamy i co oferujemy? 🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia
🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi
🎯 Pracujemy w imię zasady “remote first”, więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum
🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów
Jak aplikować 📩👈 Prześlij nam swoją aplikację poprzez formularz!
