웹 크롤러 개발자 (데이터 엔지니어)
Job group
Engineer (R&D)
Experience Level
Experience irrelevant
Job Types
Full-time
Locations
S2W대한민국 경기도 성남시 분당구 판교역로 192번길 12 3층


1.  부서 소개

합류하실 ​팀과 ​함께 ​일하실 동료들을 ​소개합니다.


  • 데이터 팀은 서피스웹, 딥웹, ​다크웹 ​및 다양한 ​SNS로부터 방대한 데이터를 ​수집·저장하고, 이를 ​기반으로 ​최첨단 데이터 ​분석 ​시스템을 ​개발·운영하는 조직입니다.
  • 팀원들은 2년차부터 ​13년차 ​이상의 숙련된 개발자들로 ​구성되어 ​있으며, ​언제나 최신 기술을 ​탐구하고 서로의 ​지식을 ​나누며 함께 ​성장하는 열정적이고 ​개방적인 ​문화를 지향합니다.
  • 지난 7년 ​이상 데이터 ​수집·분석·데이터 파이프라인 고도화를 이어오며, 업계 최고 수준의 데이터 품질과 규모를 확보해왔습니다. 또한 운영 효율성을 극대화하기 위해 자동화와 프레임워크화에도 끊임없이 도전하고 있습니다.
  • 데이터 팀이 관여하는 업무 영역은 크게 두 가지로 구분됩니다.
  • 수집
  • 다양한 원천(서피스웹·딥웹·다크웹·SNS 등)에서 대용량 데이터를 안정적·신속하게 확보할 수 있는 수집기를 개발·운영합니다.
  • 봇 탐지 및 차단 우회 기술을 연구·적용하여 수집 신뢰성 및 가용성을 확보합니다.
  • 외부 노출 자산 수집: 조직의 외부 노출 표면을 자동으로 파악·모니터링하는 네트워크 서비스 탐지 및 자산 식별 모듈을 설계·구현·운영합니다. 대규모 대상에 대한 효율적 탐색 스케줄링, 서비스·프로토콜 식별(핑거프린팅), 탐지 데이터의 실시간 수집·정규화·저장을 담당합니다.
  • 분석 및 파이프라인
  • 수집된 원시 데이터에서 의미 있는 정보를 추출하는 분석기를 개발·운영하고, 제품화에 적합한 데이터 변환(정제·정규화·엔리치) 작업을 수행합니다.
  • 스캔/탐지로 수집된 자산 데이터와 분석 결과를 실시간 파이프라인에 통합하여, 알림·대시보드·취약성 연계 등 운영 시스템과 연동될 수 있도록 합니다.
  • 모든 처리 단계는 컨테이너 기반으로 관리되어 안정성과 확장성을 보장하며, 성능 최적화 및 리소스 효율화에 중점을 둡니다.
  • 데이터 팀은 방대한 데이터를 단순히 모으는 데서 그치지 않고, 이를 실질적인 인사이트와 가치로 전환하는 것을 목표로 합니다. 여러분은 이곳에서 세계 최고 수준의 데이터 기술과 함께 성장할 기회를 만나실 수 있습니다.



2.  주요 업무

데이터 팀은 S2W의 제품 개발·운영에 필요한 모든 데이터를 수집·분석하고, 관련 소프트웨어들의 효율성과 가용성을 높이는 역할을 담당합니다. 그 중 웹 데이터 수집 및 분석 영역에서는 다음과 같은 업무를 수행합니다.


  • Surface Web, Deep/Dark Web 수집기 운영
  • 봇탐지/차단 우회 기술 개발/적용
  • 수집데이터 저장/관리
  • 수집 모듈을 위한 API 개발 및 운영
  • 웹 수집/분석/데이터 파이프라인을 위한 컨테이너 환경 관리
  • 웹 수집/분석/데이터 파이프라인을 위한 core library 개발/관리



3.  필수 역량

이런 경험과 역량을 갖고 계신 분을 모시고 있습니다.


  • 컴퓨터공학 전공 혹은 그에 준하는 전공 및 지식 보유
  • 2년 이상의 Python 또는 Java 개발 경험 (한 개 이상 원활한 프로그래밍 가능)
  • Docker, Kubernetes 활용 경험
  • DB를 활용한 애플리케이션 또는 파이프라인 설계/구축 경험
  • Object Oriented Programming (OOP)에 대한 이해 (Java, C++ 등의 프로그래밍 언어 경험)
  • HTTP에 대한 기초 지식



4.  우대 사항

이런 것도 있으시면 금상첨화 입니다!


  • Playwright, Selenium을 이용한 웹 수집 경험
  • Deep/Darkweb 수집 경험
  • 봇 탐지/차단 기술 분석, 우회 기술 개발 경험 (e.g., Captcha, Cloudflare)
  • linux 환경에서의 개발 경험
  • NoSQL DB를 활용한 개발 경험
  • 비동기 프로그래밍 경험
  • AI를 활용한 업무 자동화 경험



5.  현직자의 한마디

저희 팀과 함께 하시면 이런 점들이 좋습니다!


우리 팀에서는 새로운 기술 스택을 빠르게 시도하고 적용하는 문화를 가지고 있으며, 이를 통해 팀원들은 항상 최신 기술을 습득하고 적용해보는 기회를 갖고 있습니다. 이런 환경에서는 개발자로서 스스로를 끊임없이 발전시킬 수 있습니다. 팀원들 간의 커뮤니케이션이 활발하며 서로에 대한 존중과 업무 지원이 잘 됩니다.

우리 팀에 오시면 데이터 파이프라인에 대해서 다양한 경험을 쌓을 수 있는 기회가 있습니다. 전체적인 데이터 플로우를 이해하고 데이터의 정합성과 일관성을 유지하는 데 중요한 역할을 할 수 있습니다. 또한, 데이터를 다루는 과정에서 발생하는 다양한 종류의 문제를 발견/분석하고 해결하는 데 도움이 되는 경험을 쌓을 수 있습니다.

우리 회사는 구성원의 업무 수행 능력과 존중하며, 최적의 업무 환경 지원과 개개인의 발전을 위해 자유로운 근무 환경을 제공하고 있습니다.



저희 팀에서 사용하는 기술스택과 툴은 아래와 같습니다.


Git, MongoDB, Shell Script, Docker, Kubernetes, Argo Workflows, Apache Airflow, RESTful API, Gitlab CI, ArgoCD, Nexus, Playwright, Selenium, Tor Network, Freenet, I2P



6.  합류 과정

합류 과정은 이렇게 진행됩니다.


  • 서류 전형 : 협업 리더/ 실무진과 HR에서 함께 제출하신 내용을 검토합니다. 최대한 빠르게 피드백 드리기 위해 노력하고 있어요!
  • 사전 과제 : 보다 깊이 있는 직무 인터뷰 진행을 위해, 서류 전형 합격자를 대상으로 사전 과제 평가를 진행합니다.
  • 사전 과제 수행 기간은 직군에 따라 1~2주일이며, 당락이 있습니다.
  • 직무 인터뷰 : 이력서를 바탕으로 직무 담당 리더 및 실무진과 약 1시간 가량의 인터뷰를 진행합니다.
  • 컬처 핏 인터뷰 : S2W의 인사 담당 리더와 진행하는 약 1시간 가량의 인터뷰 입니다. 회사와 지원자가 지향하는 비전과 가치가 잘 맞는지, 함께 성장할 수 있을지 판단하기 위해 진솔한 대화를 나누는 시간입니다.
  • 직군/경력에 따라 CEO 인터뷰가 추가될 수 있습니다.
  • 처우 협의 및 입사 : 정식 오퍼 메일을 통해 처우 협의와 입사일을 조율하고, 모든 과정이 완료되면 저희 팀에 
합류하시게 됩니다.



7. 업무 환경

합류하시면 이런 환경에서 함께 일하시게 됩니다.


  • 일하는 장소와 시간을 언제든 자율적으로 선택할 수 있습니다. (완전 자율출근제 + 재택근무)
  • 업무용 장비는 예산 내에서 원하시는 것을 지원하고, 3년 후 교체해 드립니다. (모니터 별도)
  • 업무 관련 교육, 서적 구매를 최대한 지원합니다. 내부 스터디와 세미나도 활발히 이뤄지고 있어요!
  • 먹는데 돈 쓰지 마세요! 점심&저녁식사와 간식, 커피를 회사가 지원합니다.
  • 판교역 도보 5분 거리의 넓고 쾌적한 오피스, 180cm의 넓은 책상, 음료와 간식이 항시 비치된 라운지 등
쾌적한 업무 환경을 제공합니다.
  • 공부, 취미, 어학 등에 필요한 자기개발비를 매년 200만원 지원합니다.
  • 1:1 영어 회화 프로그램(링글)을 지원합니다.
  • 구성원들의 건강이 최우선! 지정 병원에서 매년 종합건강검진을 지원합니다.
  • 입사 1년 이상의 구성원들에게 1,000만원 한도의 무이자 사내 대출을 지원합니다.
  • 모든 구성원의 내일채움공제 가입을 지원합니다.




Share
웹 크롤러 개발자 (데이터 엔지니어)


1.  부서 소개

합류하실 ​팀과 ​함께 ​일하실 동료들을 ​소개합니다.


  • 데이터 팀은 서피스웹, 딥웹, ​다크웹 ​및 다양한 ​SNS로부터 방대한 데이터를 ​수집·저장하고, 이를 ​기반으로 ​최첨단 데이터 ​분석 ​시스템을 ​개발·운영하는 조직입니다.
  • 팀원들은 2년차부터 ​13년차 ​이상의 숙련된 개발자들로 ​구성되어 ​있으며, ​언제나 최신 기술을 ​탐구하고 서로의 ​지식을 ​나누며 함께 ​성장하는 열정적이고 ​개방적인 ​문화를 지향합니다.
  • 지난 7년 ​이상 데이터 ​수집·분석·데이터 파이프라인 고도화를 이어오며, 업계 최고 수준의 데이터 품질과 규모를 확보해왔습니다. 또한 운영 효율성을 극대화하기 위해 자동화와 프레임워크화에도 끊임없이 도전하고 있습니다.
  • 데이터 팀이 관여하는 업무 영역은 크게 두 가지로 구분됩니다.
  • 수집
  • 다양한 원천(서피스웹·딥웹·다크웹·SNS 등)에서 대용량 데이터를 안정적·신속하게 확보할 수 있는 수집기를 개발·운영합니다.
  • 봇 탐지 및 차단 우회 기술을 연구·적용하여 수집 신뢰성 및 가용성을 확보합니다.
  • 외부 노출 자산 수집: 조직의 외부 노출 표면을 자동으로 파악·모니터링하는 네트워크 서비스 탐지 및 자산 식별 모듈을 설계·구현·운영합니다. 대규모 대상에 대한 효율적 탐색 스케줄링, 서비스·프로토콜 식별(핑거프린팅), 탐지 데이터의 실시간 수집·정규화·저장을 담당합니다.
  • 분석 및 파이프라인
  • 수집된 원시 데이터에서 의미 있는 정보를 추출하는 분석기를 개발·운영하고, 제품화에 적합한 데이터 변환(정제·정규화·엔리치) 작업을 수행합니다.
  • 스캔/탐지로 수집된 자산 데이터와 분석 결과를 실시간 파이프라인에 통합하여, 알림·대시보드·취약성 연계 등 운영 시스템과 연동될 수 있도록 합니다.
  • 모든 처리 단계는 컨테이너 기반으로 관리되어 안정성과 확장성을 보장하며, 성능 최적화 및 리소스 효율화에 중점을 둡니다.
  • 데이터 팀은 방대한 데이터를 단순히 모으는 데서 그치지 않고, 이를 실질적인 인사이트와 가치로 전환하는 것을 목표로 합니다. 여러분은 이곳에서 세계 최고 수준의 데이터 기술과 함께 성장할 기회를 만나실 수 있습니다.



2.  주요 업무

데이터 팀은 S2W의 제품 개발·운영에 필요한 모든 데이터를 수집·분석하고, 관련 소프트웨어들의 효율성과 가용성을 높이는 역할을 담당합니다. 그 중 웹 데이터 수집 및 분석 영역에서는 다음과 같은 업무를 수행합니다.


  • Surface Web, Deep/Dark Web 수집기 운영
  • 봇탐지/차단 우회 기술 개발/적용
  • 수집데이터 저장/관리
  • 수집 모듈을 위한 API 개발 및 운영
  • 웹 수집/분석/데이터 파이프라인을 위한 컨테이너 환경 관리
  • 웹 수집/분석/데이터 파이프라인을 위한 core library 개발/관리



3.  필수 역량

이런 경험과 역량을 갖고 계신 분을 모시고 있습니다.


  • 컴퓨터공학 전공 혹은 그에 준하는 전공 및 지식 보유
  • 2년 이상의 Python 또는 Java 개발 경험 (한 개 이상 원활한 프로그래밍 가능)
  • Docker, Kubernetes 활용 경험
  • DB를 활용한 애플리케이션 또는 파이프라인 설계/구축 경험
  • Object Oriented Programming (OOP)에 대한 이해 (Java, C++ 등의 프로그래밍 언어 경험)
  • HTTP에 대한 기초 지식



4.  우대 사항

이런 것도 있으시면 금상첨화 입니다!


  • Playwright, Selenium을 이용한 웹 수집 경험
  • Deep/Darkweb 수집 경험
  • 봇 탐지/차단 기술 분석, 우회 기술 개발 경험 (e.g., Captcha, Cloudflare)
  • linux 환경에서의 개발 경험
  • NoSQL DB를 활용한 개발 경험
  • 비동기 프로그래밍 경험
  • AI를 활용한 업무 자동화 경험



5.  현직자의 한마디

저희 팀과 함께 하시면 이런 점들이 좋습니다!


우리 팀에서는 새로운 기술 스택을 빠르게 시도하고 적용하는 문화를 가지고 있으며, 이를 통해 팀원들은 항상 최신 기술을 습득하고 적용해보는 기회를 갖고 있습니다. 이런 환경에서는 개발자로서 스스로를 끊임없이 발전시킬 수 있습니다. 팀원들 간의 커뮤니케이션이 활발하며 서로에 대한 존중과 업무 지원이 잘 됩니다.

우리 팀에 오시면 데이터 파이프라인에 대해서 다양한 경험을 쌓을 수 있는 기회가 있습니다. 전체적인 데이터 플로우를 이해하고 데이터의 정합성과 일관성을 유지하는 데 중요한 역할을 할 수 있습니다. 또한, 데이터를 다루는 과정에서 발생하는 다양한 종류의 문제를 발견/분석하고 해결하는 데 도움이 되는 경험을 쌓을 수 있습니다.

우리 회사는 구성원의 업무 수행 능력과 존중하며, 최적의 업무 환경 지원과 개개인의 발전을 위해 자유로운 근무 환경을 제공하고 있습니다.



저희 팀에서 사용하는 기술스택과 툴은 아래와 같습니다.


Git, MongoDB, Shell Script, Docker, Kubernetes, Argo Workflows, Apache Airflow, RESTful API, Gitlab CI, ArgoCD, Nexus, Playwright, Selenium, Tor Network, Freenet, I2P



6.  합류 과정

합류 과정은 이렇게 진행됩니다.


  • 서류 전형 : 협업 리더/ 실무진과 HR에서 함께 제출하신 내용을 검토합니다. 최대한 빠르게 피드백 드리기 위해 노력하고 있어요!
  • 사전 과제 : 보다 깊이 있는 직무 인터뷰 진행을 위해, 서류 전형 합격자를 대상으로 사전 과제 평가를 진행합니다.
  • 사전 과제 수행 기간은 직군에 따라 1~2주일이며, 당락이 있습니다.
  • 직무 인터뷰 : 이력서를 바탕으로 직무 담당 리더 및 실무진과 약 1시간 가량의 인터뷰를 진행합니다.
  • 컬처 핏 인터뷰 : S2W의 인사 담당 리더와 진행하는 약 1시간 가량의 인터뷰 입니다. 회사와 지원자가 지향하는 비전과 가치가 잘 맞는지, 함께 성장할 수 있을지 판단하기 위해 진솔한 대화를 나누는 시간입니다.
  • 직군/경력에 따라 CEO 인터뷰가 추가될 수 있습니다.
  • 처우 협의 및 입사 : 정식 오퍼 메일을 통해 처우 협의와 입사일을 조율하고, 모든 과정이 완료되면 저희 팀에 
합류하시게 됩니다.



7. 업무 환경

합류하시면 이런 환경에서 함께 일하시게 됩니다.


  • 일하는 장소와 시간을 언제든 자율적으로 선택할 수 있습니다. (완전 자율출근제 + 재택근무)
  • 업무용 장비는 예산 내에서 원하시는 것을 지원하고, 3년 후 교체해 드립니다. (모니터 별도)
  • 업무 관련 교육, 서적 구매를 최대한 지원합니다. 내부 스터디와 세미나도 활발히 이뤄지고 있어요!
  • 먹는데 돈 쓰지 마세요! 점심&저녁식사와 간식, 커피를 회사가 지원합니다.
  • 판교역 도보 5분 거리의 넓고 쾌적한 오피스, 180cm의 넓은 책상, 음료와 간식이 항시 비치된 라운지 등
쾌적한 업무 환경을 제공합니다.
  • 공부, 취미, 어학 등에 필요한 자기개발비를 매년 200만원 지원합니다.
  • 1:1 영어 회화 프로그램(링글)을 지원합니다.
  • 구성원들의 건강이 최우선! 지정 병원에서 매년 종합건강검진을 지원합니다.
  • 입사 1년 이상의 구성원들에게 1,000만원 한도의 무이자 사내 대출을 지원합니다.
  • 모든 구성원의 내일채움공제 가입을 지원합니다.