1. Data Engineer (데이터 엔지니어)
주요업무
＜데이터 기반 문화 구현에 기여＞
• 좋은 서비스를 만들기 위해 매일매일 이뤄지는 수많은 의사결정, 타이드스퀘어는
최선의 선택을 위해 다양한 관점이 반영된 여러가지 가설을 만들고 이를 데이터로
검증하는 과정을 거칩니다.
• Data Engineer는 각팀의 구성원들이 원활한 커뮤니케이션을 진행할 수 있도록
데이터를 제공해야 합니다. 어느 시점에서나 쉽게 접근할 수 있도록 데이터를 만들고, 문맥에 맞는 적절한 데이터를 구성하고 시각화하여 효과적으로 의사결정을 할 수
있도록 도와줘야 합니다.
• 또한 SQL과 같은 개발 도구에 익숙하지 않은 구성원을 위해 self-service를 만들거나 데이터 기반으로 같이 이야기 하고 결정하는 문화를 만들기 위한 포괄적인 방법을
현실화시키는 업무를 진행하게 됩니다.
＜효율적인 데이터 처리 시스템 구현 & 자동화＞
• 어떻게 하면 내일부터 최대한 편하게 일할 수 있을까? 수많은 데이터를 어떻게 하면 좀 더 효율적으로 관리할 수 있을까? Data Engineer는 이 내용을 심도 깊게 고민하고 구현하는 역할을 담당합니다.
• 항공, 호텔, 투어가 모여있는 여행 서비스에는 매일 다양한 데이터가 생성됩니다.
웹사이트를 이용하는 고객 관련 데이터, 다양한 투어 상품을 제공하는 공급사 데이터, 숙소나 여객기 및 공항 관련 데이터, 똑같은 상품을 더 매력적으로 보이게 해주는
콘텐츠 관련 데이터, 예약과정에서 생성되는 항공사/호텔/투어 데이터, 카드 결제
데이터 등 매일 쏟아지는 많은 양의 데이터를 공학적인 측면에서 효율적으로
관리하고 구현하는 업무를 진행하게 됩니다.
＜확장성 있고 유연한 데이터 인프라 구현＞
• 온라인에서 상품을 전시하고 판매하는 회사는 판매 예측이 쉽진 않습니다.
늘 똑같다면 아무 문제 없겠지만 당연히 데이터가 엄청 많아지거나 적어지는 시기가 있습니다.
• 특히 예상치 못하게 판매량이 늘어나면 사용량에 비례해 처리해야 하는 데이터와
로직이 증가하기 때문에 문제가 발생하게 됩니다. 이렇게 데이터 양이 엄청 증가할
상황에 대비하여 소프트웨어공학 측면에서 우아하게, 경제적인 측면에서 타당한
데이터 처리 인프라를 만들어내는 업무를 진행하게 됩니다.
자격요건
• 경력 : 3년 이상 ~ 10년 이하
• 프로그래밍 언어 최소 한가지 경험
(예: python, scala, java, c++ 등)
-주로 python을 사용하고 있지만 성능이 중요한 경우나 서비스에 특정한 기능을 제공하는 경우 상황에 맞는 언어를 사용하기 때문에,
최소 한가지 언어는 익숙해야 합니다.
• 데이터 처리 경험
-효과적인 데이터 수집 방법, 사용 목적에 맞는 저장소에 데이터 축적 등
데이터 처리에 필요한 hard skill과 데이터를 직접 사용하는 사용자와 커뮤니케이션
하면서 데이터를 정의하는 soft skill이 필요합니다.
• 분석, 마이닝, 모델링, 최적화 등 경험
-데이터라는 단어와 관련있는 포괄적인 업무를 수행하여야 하므로 여행이라는 넓은 주제에 대하여
deep한 분석, 마이닝, 모델링, 최적화, 프로토타이핑 등 전형적인 data engineer 역할범주에서
조금 벗어난 업무를 수행해야 하는 경우가 종종 있습니다.
우대사항
• 오픈소스 스케쥴러 경험
(예: airflow, nifi 등)
-airflow 나 nifi 와 같은 오픈소스 기반 솔루션을 사용하고 있습니다.
• 오픈소스 Metric/Log 경험
(예: influxdb, prometheus, ELK 등)
-비즈니스 의사결정 도구, 데이터 관리 등 다양한 분야에서 ELK와 influxdb 등을 활용하여 log와 metric을 수집 및 분석하고 있습니다.
• 오픈소스 OLAP 경험
(예: druid, clickhouse, victoriametrics 등)
-구성원에게 빠른 응답시간을 보장하는 다차원 분석을 위한 도구로 druid 등의 오픈 소스 OLAP 를 주로 사용하고 있습니다.
• 오픈소스 시각화 도구 경험
(예: grafana, superset, jupyter 등)
-인사이트 도출을 위해 데이터를 목적에 맞게 효과적으로 시각화하기 위하여
superset, grafana, jupyter 등을 사용하고 있습니다.
• 분석, 마이닝, 모델링, 최적화 등 경험
-여행이라는 넓은 주제에 대한 심층 분석, 마이닝, 모델링, 최적화, 프로토타이핑 등
전형적인 data engineer 역할범주에서 약간 벗어난 업무를 수행해야 하는 경우가 종종 있습니다.
