Data Engineer

Technology Stack:

Data
ETL

Data Engineer

Data Engineer jest odpowiedzialny za projektowanie, rozwój i utrzymanie rozwiązań integracji danych wspierających procesy biznesowe i analityczne. Rola ta polega na pracy nad procesami ETL/ELT, zapewniając, że dane są dokładnie i efektywnie pobierane, transformowane i ładowane z różnych systemów źródłowych do systemów docelowych.

Kluczowe obowiązki:

Rozwój i optymalizacja przepływów danych: Projektowanie, budowanie i utrzymywanie wydajnych, skalowalnych i niezawodnych potoków danych ETL/ELT w celu pozyskiwania, przetwarzania i przekształcania dużych ilości ustrukturyzowanych i nieustrukturyzowanych danych z różnych źródeł
Modelowanie i architektura danych: Projektowanie i wdrażanie modeli danych w celu ich optymalnego przechowywania i wyszukiwania. Odgrywanie kluczowej roli w architekturze, projektowaniu i wdrażaniu naszych rozwiązań data lake i lakehouse, zapewniając skalowalność, wydajność i bezpieczeństwo
Hurtownie danych i technologie Big Data: Opracowywanie i zarządzanie rozwiązaniami wykorzystującymi nowoczesne platformy hurtowni danych i technologie Big Data (np. Apache Spark, hurtownie danych w chmurze, systemy przetwarzania rozproszonego). Doświadczenie z technologiami takimi jak Snowflake lub Databricks jest bardzo cenne
Full-Stack Development dla aplikacji danych: Opracowywanie i utrzymywanie interfejsów API umożliwiających dostęp do danych i integrację z innymi aplikacjami i usługami
Jakość danych i zarządzanie danymi: Wdrażanie kontroli jakości danych, procesów walidacji i monitorowania w celu zapewnienia dokładności, spójności i niezawodności danych. Przestrzeganie najlepszych praktyk w zakresie zarządzania danymi
Dostrajanie i optymalizacja wydajności: Monitorowanie i optymalizacja wydajności potoków danych, zapytań i systemów przechowywania danych

Kwalifikacje:

Doświadczenie:

Co najmniej 5 lat doświadczenia w rozwoju ETL, integracji danych lub inżynierii danych
Doświadczenie w projektach integracji systemów, obejmujących wiele źródeł i docelowych systemów danych

Umiejętności techniczne:

Biegłość w języku Python (opcjonalnie Java lub Scala) oraz dialekty SQL
Znajomość frameworków związanych z procesowaniem danych np. Apache Spark, Apache Flink
Znajomość rozwiązań chmurowych do przechowywania danych np. Snowflake, Databricks, Amazon Redshift, Google Big Querry, Azure Synapse Analytics lub podobnych
Znajomość rożnych technologii magazynów danych (relacyjne i NoSQL DB, obiektowe: S3 ,Blob Storage)
Umiejętność tworzenia (REST) API oraz integrowania danych

Umiejętności miękkie:

Silne umiejętności rozwiązywania problemów i dbałość o szczegóły
Doskonałe umiejętności komunikacyjne i współpracy
Zdolność do samodzielnej pracy oraz pracy w zespole w dynamicznym środowisku

Preferowane kwalifikacje:

Doświadczenie w narzędziach ETL/ELT
Doświadczenie z platformami integracji danych w chmurze
Biegłość w języku Python

Location:

Kraków, Praca zdalna, Rzeszów

Employment form: UOP/B2B

Apply now Interview guide Show all offers

Sales Specialist

Power of benefits you will appreciate

80h for self-development
Medical care with a package of conservative dentistry, rehabilitation and a psychological support service
Language classes during working hours
Multisport with various options
Life insurance tailored to your needs
Access to the company library with Amazon Kindle e-books
Well-being actions, integrations and events

Join us and create innovative technologies

Employment type *

Permanent employment contractContract B2B

Expected salary *

PLN

When can you start working at Ailleron (e.g. what is your notice period)? *

What position are you interested in? Indicate exact job titles or describe the role.

What languages you are proficient in? Indicate the languages and proficiency levels.

Upload your CV

I have read the information on the privacy policy - the administrator of the data provided by you is Ailleron S.A. based in Krakow. They will be processed for the purpose of recruitment to the company that places the advertisement, and, if you give separate consent - for the purpose indicated in the consent (participation in future recruitments and employer branding). You have the right to access your data, request their rectification, deletion or limitation of their processing, transfer of data and withdrawal of the consent you have given, as well as to file a complaint to the President of the Data Protection Office. More information on how we process data can be found here: https://kariera.ailleron.com/privacy-policy/ * Consent to receive information about future recruitment processes - I consent to the processing of my personal data provided by me or otherwise collected in the course of the recruitment procedure by Ailleron S.A. based in Krakow and by other entities from the Ailleron group - for the purposes of future recruitment processes that may be conducted by these entities. * Consent to receive employer branding information - I consent to the sending of messages containing information about Ailleron S.A. to my e-mail. based in Kraków and on other entities from the Ailleron group of companies. Data in the form of an e-mail address will be used for employer branding purposes, which may be carried out by entities from the above-mentioned groups, including building positive relationships. I accept that some of the tools used for marketing purposes may require data to be transferred outside the European Economic Area.