Data Pipeline Engineer

Posted Yesterday
Be an Early Applicant
Seoul
Senior level
Blockchain
The Role
The Data Pipeline Engineer will develop and manage batch/real-time data pipelines from various sources, ensure data quality and governance, and enhance data processing for analytics and machine learning within the company.
Summary Generated by Built In

조직소개

우리 조직은 데이터 허브 역할을 수행하여 대규모의 데이터를 안정적으로 관리하고 비즈니스 요구사항에 맞춘 유연하고 확장 가능한 시스템을 구축, 운영 합니다.
안정성과 성능을 고려한 데이터저장 및 처리를 보장하며, 동시에 신속하게 데이터를 분석하고 가공하여 다양한 서비스와 애플리케이션에서 비즈니스 성과를 높이는 데 기여하고 있습니다.

우리 조직에서는 아래와 같은 경험을 하실 수 있습니다.

  • 주도적으로 대규모 분산 처리 시스템을 개발/관리하는 경험을 쌓을 수 있습니다.
  • 전사 중앙 데이터 관리 표준을 지정하고 관리하는 경험을 쌓을 수 있습니다.
  • 높은 수준의 컴플라이언스 및 거버넌스 경험을 쌓을 수 있습니다.
  • 주기적인 팀 내, 데이터 주간 기술 세미나를 통하여 새로운 기술과 노하우를 공유하고 있습니다.

주요업무

  • 다양한 소스의 데이터에 대한 배치/실시간 파이프라인을 개발하고 운영합니다.

  • 신뢰도 높은 데이터 제공을 위해 데이터 품질, 디스커버리 등의 서비스를 제공하는 거버넌스 시스템을 개발하고 운영합니다.
  • 사내 소비 조직의 데이터 분석, 머신 러닝, 데이터 프로덕트 개발을 위한 테이블 가공/성능 개선 작업을 진행합니다.

자격요건

  • 만 5년 이상의 데이터 엔지니어링 경력을 보유하신 분

  • Apache Iceberg, Apache Hudi와 같은 데이터 레이크하우스에 대해 충분한 지식과 운영 경험이 있으신 분
  • Apache Spark, Apache Flink와 같은 대용량 데이터 처리 및 분산 시스템에 대한 지식과 경험이 풍부하신 분
  • AWS 클라우드 및 쿠버네티스 환경에서 데이터 파이프라인 구축 및 운영 경험이 있으신 분

  • 서비스 모니터링 환경을 직접 구축하고 주도적으로 모니터링하면서 장애를 대비한 경험이 있으신 분

우대사항

  • 새로운 환경에 유연하고 빠르게 적응하실 수 있는 분
  • 협업 프로젝트 수행 경험 및 유연한 커뮤니케이션 능력을 보유하신 분
  • 문제 해결을 위해 오픈 소스 코드를 직접 분석하거나 수정해 본 경험이 있으신 분
  • 새로운 기술에 도전적이며, 그 지식을 동료와 공유하고 이를 통해 서비스 품질 향상에 기여할 수 있는 분
  • 대용량 데이터베이스의 CDC 데이터를 처리한 지식과 경험이 있으신 분

기타사항

  • 지원서에는 다음의 내용을 반드시 기재해 주셔야 합니다.
    - 개발/운영하였던 데이터 파이프라인의 규모와 트러블 슈팅 및 기여도
    - 팀에서 제공하는 데이터 품질 향상을 위하여 본인이 기여하였던 경험
  • 지원서에는 실제 경험한 프로젝트를 어떤 방식으로, 어떻게 기여했는지 상세히 기술해 주시면 검토하는 데에 도움이 됩니다.
    (단, 채용 전형의 모든 과정에 있어 전/현직 직장의 영업 비밀을 침해하지 않도록 작성 시 유의해 주시기 바랍니다.)
  • 이력서는 자유 양식이며, 과거 휴직 사실이 있는 경우 해당 기간과 사유를 상세히 기재해 주시기 바랍니다.
  • 주민번호, 현재 연봉 및 희망 연봉 등의 민감 개인정보는 삭제 또는 마스킹 후 제출해 주시기 바랍니다.
  • Github, Gitlab, Bit Bucket 등 참고할만한 링크가 있다면 첨부해 주셔도 좋습니다.

공통 지원자격

  • 해외 여행에 결격 사유가 없으신 분

[채용절차]

서류전형 → 1차면접 → 2차면접 → 처우협의 → 최종합격 
- 전형은 상황 및 일정에 따라 변경될 수 있습니다.
- 지원서 내용 중 허위사실이 있는 경우에는 지원이 취소될 수 있습니다.
- 국가 유공자 및 장애인 등 취업 보호 대상자는 관계 법령에 따라 우대합니다.
- 본 포지션에 합격하시는 경우, 3개월의 수습 기간을 적용합니다.

[채용정보]

  • 채용인원 : 0명
  • 고용형태 : 정규직
  • 채용유형 : 경력직
  • 근무지역 : 서울시 서초구 강남대로 369, DF Tower
  • 공고기간 : 상시채용 (채용 완료 시 조기에 마감될 수 있습니다.)

[두나무 소개]

두나무가 이직하기 좋은 기업인 이유

Top Skills

Apache Flink
Apache Hudi
Apache Iceberg
Spark
The Company
South Korea, South Korea
323 Employees
On-site Workplace
Year Founded: 2012

What We Do

Dunamu creates new values by connecting different subjects, and earns the trust of clients with technologies beneficial to the world. We launched Stockplus, because we were convinced that the core of the securities market will shift from desktop(HTS) to mobile(MTS). We were also confident about the blockchain evolution and introduced Korea’s first mobile app-based digital asset exchange Upbit. We were fortunate to read the change in trends accurately and continue to technologically develop the trade of all subjects of value to become convenient and easy for everyone. “Now, we further challenge our borderless technological expansion to unlock previously unimaginable values.”

Similar Jobs

Gcore Logo Gcore

Technical Account Manager

Cloud • Information Technology • Consulting
Remote
Seoul, KOR
476 Employees

UL Solutions Logo UL Solutions

Engineer Project Associate - Wiring Device

Automotive • Professional Services • Software • Consulting • Energy • Chemical • Renewable Energy
Hybrid
Seoul, KOR
15000 Employees

UL Solutions Logo UL Solutions

Engineer Project Associate - Electronic Circuit

Automotive • Professional Services • Software • Consulting • Energy • Chemical • Renewable Energy
Hybrid
Seoul, KOR
15000 Employees

UL Solutions Logo UL Solutions

Functional Safety Senior Project Engineer

Automotive • Professional Services • Software • Consulting • Energy • Chemical • Renewable Energy
Hybrid
Seoul, KOR
15000 Employees

Similar Companies Hiring

Alchemy Thumbnail
Web3 • Software • Information Technology • Cryptocurrency • Blockchain
San Francisco, CA
200 Employees
SmartMedia Technologies Thumbnail
Web3 • NFT • Machine Learning • eCommerce • Digital Media • Blockchain • AdTech
Carbondale, CO
120 Employees
Block Thumbnail
Software • Payments • Fintech • Financial Services • eCommerce • Cryptocurrency • Blockchain
Oakland, CA
12000 Employees

Sign up now Access later

Create Free Account

Please log in or sign up to report this job.

Create Free Account