Data Engineer (비웹수집 파이프라인/Data 팀)
직군
Data Engineer
경력사항
무관
고용형태
정규직
근무지
S2W대한민국 경기도 성남시 분당구 판교역로 192번길 12, 3층


1.  부서 소개

합류하실 ​팀과 ​함께 ​일하실 동료들을 ​소개합니다.


  • S2W의 Data 팀은 서피스 ​웹, ​딥 웹, ​다크 웹, SNS ​및 자산 ​스캔 ​결과를 수집하여 ​데이터 ​레이크에 ​저장하고, 이를 처리하는 ​고도화된 ​데이터 분석기를 개발 ​및 ​운영하는 ​조직입니다. 웹 파트, ​비웹 파트, ​시스템 ​운영 및 ​자동화 파트로 ​구성되어 ​있으며, 2~13년 이상의 ​경력을 가진 ​열정적인 개발자들이 협업하고 있습니다.
  • 팀은 지난 5년 간 데이터 수집, 분석, 파이프라인을 고도화 해왔으며, 수집된 데이터는 양적·질적으로 업계 최고 수준입니다. 또한 운영 효율성을 극대화하기 위해 자동화 및 프레임워크화를 지속적으로 추진하고 있습니다.
  • 웹 파트는 대규모 데이터를 안정적이고 빠르게 탐색 및 저장할 수 있는 수집기를 개발·운영하며, 봇 탐지 및 차단 우회 기술을 연구하고 적용합니다. 또한, 수집된 데이터의 품질을 보장하기 위한 QA 시스템과 의미 있는 데이터를 추출하는 분석기를 개발·운영합니다.
  • 비웹 파트는 SNS, 파일 형태의 데이터, 고객사 자산 분석 결과 등을 수집하며, 이를 기반으로 인사이트를 도출하는 분석기를 개발·운영합니다. 필요 시 사내·외 데이터 제공 요청을 자동화하는 파이프라인 연구도 수행합니다.
  • 시스템 운영 및 자동화 파트는 팀 내 쿠버네티스 환경, CI/CD, 제품 파이프라인 관리·자동화를 담당하며, 효율적인 시스템 운영을 위한 연구를 진행합니다.



2.  주요 업무

합류하시면 이런 일들을 함께 하시게 됩니다.


  • 민감성 유출 정보 제품화 파이프라인 개발
  • 민감성 유출 정보 수집기 개발
  • 민감성 유출 정보 정형화 시스템 개발
  • 데이터 제공 API 개발 및 제품 데이터 모니터링



3.  필수 역량

이런 경험과 역량을 갖고 계신 분을 모시고 있습니다.


  • Java, Python 프로그래밍 스킬
  • 빅데이터 시스템을 이용한 데이터 분석 경험
  • 빅데이터 프로파일링 경험
  • 데이터 파이프라인에 대한 이해
  • DBMS(RDB 또는 NoSQL)활용 개발 경험
  • 다양한 종류의 파일 처리 경험



4.  우대 사항

이런 것도 있으시면 금상첨화 입니다!


  • 컴퓨터공학 전공 또는 이에 준하는 지식 보유
  • Linux, Unix 기반 상용 시스템 개발 및 운영 경험
  • 메시지 큐(Kafka, RabbitMQ) 및 분산 시스템 개발 경험
  • 컨테이너 기반 가상화 개발 경험(Docker, Kubernetes)
  • 오픈소스를 이용한 서비스 개발/운영 경험
  • 신규 기술에 대한 관심과 흥미가 있으신 분
  • 데이터 파이프라인 설계 및 구축에 대한 깊은 이해
  • 데이터베이스를 활용한 애플리케이션 앱 데이터 설계 경험
  • 비정형 데이터(텍스트, 로그, 이미지 등)를 정형 데이터로 변환 및 최적화한 경험
  • 데이터 모델링 및 스키마 설계 경험
  • 데이터 파이프라인 성능 최적화 및 운영 자동화 경험
  • MinIO 및 분산 저장 시스템 활용 경험



5.  현직자의 한마디

저희 팀과 함께 하시면 이런 점들이 좋습니다!


  • 회사는 판교역과 매우 가까운 위치에 있으며, 최고 사양의 장비를 제공 받아 장소와 시간에 구애 받지 않는 유연한 근무 환경에서 몰입하여 일 할 수 있습니다.
  • 사내 개발직 구성원 분들은 새로운 기술 스택에 대한 관심이 높으며, 연구 결과를 공유하는 자리를 종종 마련하고 있습니다. 따라서, 이곳에서 근무하시면 최신 기술을 접하고 실무에 적용할 기회가 많습니다.
  • 저희 팀은 다양한 소스로부터 대량의 데이터를 수집하고 가공하는 파이프라인 업무를 주로 하는 팀이며, 지원자께서는 그중 민감성 유출 데이터 수집 및 분석 업무를 주로 수행하게 될 것입니다.
  • 최적의 업무 환경에서 함께 성장할 인재분들의 많은 관심과 지원을 기다립니다.



6.  기술 스택 및 업무 툴

저희 팀에서 사용하고 있는 기술 스택과 업무 툴은 아래와 같습니다.


  • Bash, Python, Java, RESTful API
  • Git, ArgoCD, Argo Workflows, Docker, Kubernetes
  • Kafka, RabbitMQ
  • Maven, Gradle
  • HBase, EFK(ELK), MinIO, MongoDB, Nexus, Apache Iceberg, Spark



7.  합류 과정

합류 과정은 이렇게 진행됩니다.


  • 서류 전형 : 협업 리더/ 실무진과 HR에서 함께 제출하신 내용을 검토합니다. 최대한 빠르게 피드백 드리기 위해 노력하고 있어요!
  • 개발 테스트 : 보다 깊이 있는 직무 인터뷰 진행을 위해, 서류 전형 합격자를 대상으로 개발 테스트 평가를 진행합니다.
  • 개발 테스트 수행 기간은 1~2주일이며, 당락이 있습니다.
  • 직무 인터뷰 : 이력서를 바탕으로 직무 담당 리더 및 실무진과 약 1시간 가량의 인터뷰를 진행합니다.
  • 컬처 핏 인터뷰 : S2W의 인사 담당 리더와 진행하는 약 1시간 가량의 인터뷰 입니다. 회사와 지원자가 지향하는 비전과 가치가 잘 맞는지, 함께 성장할 수 있을지 판단하기 위해 진솔한 대화를 나누는 시간입니다.
  • 직군/경력에 따라 CEO 인터뷰가 추가될 수 있습니다.
  • 처우 협의 및 입사 : 정식 오퍼 메일을 통해 처우 협의와 입사일을 조율하고, 모든 과정이 완료되면 저희 팀에 
합류하시게 됩니다.



8. 업무 환경

합류하시면 이런 환경에서 함께 일하시게 됩니다.


  • 일하는 장소와 시간을 언제든 자율적으로 선택할 수 있습니다. (완전 자율출근제 + 재택근무)
  • 업무용 장비는 예산 내에서 원하시는 것을 지원하고, 3년 후 교체해 드립니다. (모니터 별도)
  • 업무 관련 교육, 서적 구매를 최대한 지원합니다. 내부 스터디와 세미나도 활발히 이뤄지고 있어요!
  • 먹는 데 돈 쓰지 마세요! 점심&저녁식사와 간식, 커피를 회사가 지원합니다.
  • 판교역 도보 5분 거리의 넓고 쾌적한 오피스, 180cm의 넓은 책상, 음료와 간식이 항시 비치된 라운지 등
쾌적한 업무 환경을 제공합니다.
  • 공부, 취미, 어학 등에 필요한 자기개발비를 매년 200만원 지원합니다.
  • 1:1 영어 회화 프로그램(링글)을 지원합니다.
  • 구성원들의 건강이 최우선! 지정 병원에서 매년 종합 건강검진을 지원합니다.
  • 입사 1년 이상의 구성원들에게 1,000만원 한도의 무이자 사내 대출을 지원합니다.
  • 모든 구성원의 내일채움공제 가입을 지원합니다.




공유하기
Data Engineer (비웹수집 파이프라인/Data 팀)


1.  부서 소개

합류하실 ​팀과 ​함께 ​일하실 동료들을 ​소개합니다.


  • S2W의 Data 팀은 서피스 ​웹, ​딥 웹, ​다크 웹, SNS ​및 자산 ​스캔 ​결과를 수집하여 ​데이터 ​레이크에 ​저장하고, 이를 처리하는 ​고도화된 ​데이터 분석기를 개발 ​및 ​운영하는 ​조직입니다. 웹 파트, ​비웹 파트, ​시스템 ​운영 및 ​자동화 파트로 ​구성되어 ​있으며, 2~13년 이상의 ​경력을 가진 ​열정적인 개발자들이 협업하고 있습니다.
  • 팀은 지난 5년 간 데이터 수집, 분석, 파이프라인을 고도화 해왔으며, 수집된 데이터는 양적·질적으로 업계 최고 수준입니다. 또한 운영 효율성을 극대화하기 위해 자동화 및 프레임워크화를 지속적으로 추진하고 있습니다.
  • 웹 파트는 대규모 데이터를 안정적이고 빠르게 탐색 및 저장할 수 있는 수집기를 개발·운영하며, 봇 탐지 및 차단 우회 기술을 연구하고 적용합니다. 또한, 수집된 데이터의 품질을 보장하기 위한 QA 시스템과 의미 있는 데이터를 추출하는 분석기를 개발·운영합니다.
  • 비웹 파트는 SNS, 파일 형태의 데이터, 고객사 자산 분석 결과 등을 수집하며, 이를 기반으로 인사이트를 도출하는 분석기를 개발·운영합니다. 필요 시 사내·외 데이터 제공 요청을 자동화하는 파이프라인 연구도 수행합니다.
  • 시스템 운영 및 자동화 파트는 팀 내 쿠버네티스 환경, CI/CD, 제품 파이프라인 관리·자동화를 담당하며, 효율적인 시스템 운영을 위한 연구를 진행합니다.



2.  주요 업무

합류하시면 이런 일들을 함께 하시게 됩니다.


  • 민감성 유출 정보 제품화 파이프라인 개발
  • 민감성 유출 정보 수집기 개발
  • 민감성 유출 정보 정형화 시스템 개발
  • 데이터 제공 API 개발 및 제품 데이터 모니터링



3.  필수 역량

이런 경험과 역량을 갖고 계신 분을 모시고 있습니다.


  • Java, Python 프로그래밍 스킬
  • 빅데이터 시스템을 이용한 데이터 분석 경험
  • 빅데이터 프로파일링 경험
  • 데이터 파이프라인에 대한 이해
  • DBMS(RDB 또는 NoSQL)활용 개발 경험
  • 다양한 종류의 파일 처리 경험



4.  우대 사항

이런 것도 있으시면 금상첨화 입니다!


  • 컴퓨터공학 전공 또는 이에 준하는 지식 보유
  • Linux, Unix 기반 상용 시스템 개발 및 운영 경험
  • 메시지 큐(Kafka, RabbitMQ) 및 분산 시스템 개발 경험
  • 컨테이너 기반 가상화 개발 경험(Docker, Kubernetes)
  • 오픈소스를 이용한 서비스 개발/운영 경험
  • 신규 기술에 대한 관심과 흥미가 있으신 분
  • 데이터 파이프라인 설계 및 구축에 대한 깊은 이해
  • 데이터베이스를 활용한 애플리케이션 앱 데이터 설계 경험
  • 비정형 데이터(텍스트, 로그, 이미지 등)를 정형 데이터로 변환 및 최적화한 경험
  • 데이터 모델링 및 스키마 설계 경험
  • 데이터 파이프라인 성능 최적화 및 운영 자동화 경험
  • MinIO 및 분산 저장 시스템 활용 경험



5.  현직자의 한마디

저희 팀과 함께 하시면 이런 점들이 좋습니다!


  • 회사는 판교역과 매우 가까운 위치에 있으며, 최고 사양의 장비를 제공 받아 장소와 시간에 구애 받지 않는 유연한 근무 환경에서 몰입하여 일 할 수 있습니다.
  • 사내 개발직 구성원 분들은 새로운 기술 스택에 대한 관심이 높으며, 연구 결과를 공유하는 자리를 종종 마련하고 있습니다. 따라서, 이곳에서 근무하시면 최신 기술을 접하고 실무에 적용할 기회가 많습니다.
  • 저희 팀은 다양한 소스로부터 대량의 데이터를 수집하고 가공하는 파이프라인 업무를 주로 하는 팀이며, 지원자께서는 그중 민감성 유출 데이터 수집 및 분석 업무를 주로 수행하게 될 것입니다.
  • 최적의 업무 환경에서 함께 성장할 인재분들의 많은 관심과 지원을 기다립니다.



6.  기술 스택 및 업무 툴

저희 팀에서 사용하고 있는 기술 스택과 업무 툴은 아래와 같습니다.


  • Bash, Python, Java, RESTful API
  • Git, ArgoCD, Argo Workflows, Docker, Kubernetes
  • Kafka, RabbitMQ
  • Maven, Gradle
  • HBase, EFK(ELK), MinIO, MongoDB, Nexus, Apache Iceberg, Spark



7.  합류 과정

합류 과정은 이렇게 진행됩니다.


  • 서류 전형 : 협업 리더/ 실무진과 HR에서 함께 제출하신 내용을 검토합니다. 최대한 빠르게 피드백 드리기 위해 노력하고 있어요!
  • 개발 테스트 : 보다 깊이 있는 직무 인터뷰 진행을 위해, 서류 전형 합격자를 대상으로 개발 테스트 평가를 진행합니다.
  • 개발 테스트 수행 기간은 1~2주일이며, 당락이 있습니다.
  • 직무 인터뷰 : 이력서를 바탕으로 직무 담당 리더 및 실무진과 약 1시간 가량의 인터뷰를 진행합니다.
  • 컬처 핏 인터뷰 : S2W의 인사 담당 리더와 진행하는 약 1시간 가량의 인터뷰 입니다. 회사와 지원자가 지향하는 비전과 가치가 잘 맞는지, 함께 성장할 수 있을지 판단하기 위해 진솔한 대화를 나누는 시간입니다.
  • 직군/경력에 따라 CEO 인터뷰가 추가될 수 있습니다.
  • 처우 협의 및 입사 : 정식 오퍼 메일을 통해 처우 협의와 입사일을 조율하고, 모든 과정이 완료되면 저희 팀에 
합류하시게 됩니다.



8. 업무 환경

합류하시면 이런 환경에서 함께 일하시게 됩니다.


  • 일하는 장소와 시간을 언제든 자율적으로 선택할 수 있습니다. (완전 자율출근제 + 재택근무)
  • 업무용 장비는 예산 내에서 원하시는 것을 지원하고, 3년 후 교체해 드립니다. (모니터 별도)
  • 업무 관련 교육, 서적 구매를 최대한 지원합니다. 내부 스터디와 세미나도 활발히 이뤄지고 있어요!
  • 먹는 데 돈 쓰지 마세요! 점심&저녁식사와 간식, 커피를 회사가 지원합니다.
  • 판교역 도보 5분 거리의 넓고 쾌적한 오피스, 180cm의 넓은 책상, 음료와 간식이 항시 비치된 라운지 등
쾌적한 업무 환경을 제공합니다.
  • 공부, 취미, 어학 등에 필요한 자기개발비를 매년 200만원 지원합니다.
  • 1:1 영어 회화 프로그램(링글)을 지원합니다.
  • 구성원들의 건강이 최우선! 지정 병원에서 매년 종합 건강검진을 지원합니다.
  • 입사 1년 이상의 구성원들에게 1,000만원 한도의 무이자 사내 대출을 지원합니다.
  • 모든 구성원의 내일채움공제 가입을 지원합니다.