채용 정보

[top tier e커머스 기업] Data Platform 데이터 엔지니어

페이지 정보

등록자 : 황광선대표컨설턴트 21-03-25 17:55

기본정보

[top tier e커머스 기업] Data Platform 데이터 엔지니어

대기업

~

무관

년 ~ 년

서류전형 - 직무면접 - 임원면접

채용시

상세정보

본문

■ 직무 키워드
Hadoop, Hive, Spark, Presto(Trino), Oozie, Airflow, Python, AWS S3, Columnar Format(Parquet, Orc)

■ 담당 직무
**** Data Platform조직은 빅데이터 저장소에 저장된 데이터들을 유용하게 활용할 수 있도록 거버닝하는 업무를 수행합니다.
- 유저로그 및 DB데이터 수집/전송 ETL 개발 및 운영
- 하둡저장소에 저장된 데이터의 품질 및 보관주기 관리
- 배치 어플리케이션의 SLA 모니터링
- SK 그룹사간 데이터 교환 업무 수행

■ 자격 요건
- Python, Scala, SQL/Hive QL 등을 이용한 데이터 처리 역량을 보유하신 분
- Hadoop 에코시스템을 활용하여 데이터 파이프라인 개발 및 운영을 경험하신 분

■ 우대 사항
- 업무와 관련된 지식을 정리하고 다른 이와 소통하며 일을 처리한 분
- 오픈소스를 활용하고 기여한 경험이 있으신 분
- 문제해결에 적극적이며 집요하게 추적하여 해결한 경험이 있으신 분
- Spark을 이용한 데이터 프로덕트 개발 경험

go Top