안녕하세요. 데이터 엔지니어를 꿈꾸는 멘티입니다. 컴퓨터 공학을 전공하고 있으며 현재까지 HTML, CSS 1), JS 2)로 웹 분야를 다뤄왔고 Python 3)으로 장고 4)와 크롤링 5)을 해봤습니다. 데이터 엔지니어 분야에 관심이 생겨 멘토님을 찾게 되었습니다.

©️TheCorgi

자바를 할 줄 알더라도 카프카 7)나 하둡 8)을 어떻게 공부해야 할지 막막합니다. 유명한 강의도 없고 관련 서적도 많지 않더라고요. 학부생 입장에서 어떻게 카프카나 하둡을 공부할 수 있을까요? 물론 필요에 따라 석사도 생각 중입니다.

추가로 보통 데이터 엔지니어를 신입으로 뽑지 않는 것 같습니다. 그럼 웹프로그래머로 백엔드 위주로 일을 하다가 전직을 하는 경우가 많나요? 이는 학사가 아닌 석사 학위를 취득하더라도 마찬가지인가요?

두서없는 질문이지만 멘토님의 다양한 조언 듣고 싶습니다. 감사합니다.

1)CSS : 웹 문서의 전반적인 스타일을 미리 저장해 둔 스타일 시트로 문서 전체의 일관성을 유지할 수 있고, 세세한 스타일 지정의 필요를 줄였다.

2)JS : Java Script의 약자로 객체지향 스크립트 언어로 웹페이지의 동작을 담당한다. 

3) Python : 프로그램을 설계하는 프로그래밍 언어 중 하나로 기계어 보다 쉽게 나타낼 수 있는 언어다.

4)장고 : 파이썬 기반 웹 애플리케이션 프레임워크로 좀 더 쉽게 웹 개발을 할 수 있도록 돕는 오픈소스 기술이다.

5)크롤링 : 무수히 많은 컴퓨터에 분산 저장된 문서를 수집하여 검색 대상의 색인으로 포함하는 기술.

6)카프카 : 분산 스트리밍 플랫폼으로 데이터 파이프 라인을 만들 때 주로 사용되는 오픈소스 솔루션이다. 대용량의 실시간 로그처리에 특화된 솔루션이며 데이터를 유실 없이 안전하게 전달하는 것이 주요 목적인 메시지 시스템이다.

7) 하둡 : 여러 개의 저렴한 컴퓨터를 마치 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술.

안녕하세요, 멘티님. 차례로 답변 드리겠습니다.

©️Konstantin Chagin

튜토리얼을 참고해서 하나씩 배워보세요

카프카와 하둡을 배우고 싶다고 말씀하셨는데요. 제일 좋은 방식은 인터넷이나 서적으로 구할 수 있는 튜토리얼을 참고하여 처음부터 설치하고 구동해 보는 것입니다. 그렇게 설치 및 구동 방법을 익힌 다음, 해당 오픈소스를 활용하여 개인 프로젝트나 팀 프로젝트에 활용해보세요. 그 과정에서 궁금한 부분, 주문 제작이 필요한 부분, 어려운 부분 등이 생길 거예요. 그렇게 부족한 부분을 채워 나가며 경험을 쌓아가면 자연스럽게 익힐 수 있습니다.

공식처럼 존재하는 학습법은 없다고 생각합니다. 사람마다 배우는 방법은 다르니까요. 제 경험에 빗대어 말씀드렸으니, 가이드로 참고하셔서 본인에게 맞는 학습법을 찾아가시면 될 것 같습니다. 단기간에 제대로 익히는 방법 같은 건 없습니다. 요령보다는 제대로 배우시길 추천합니다.

데이터 엔지니어는 신입보다는 보직 전환이 가능성이 높습니다

데이터 엔지니어는 오픈소스 구축 및 운영 경험이 있어야 하며 개발과 인프라 지식도 갖춰야 합니다. 그래서 멘티님께서 말씀하셨듯 신입을 뽑는 경우는 드물며 다른 직군에서 근무하다가 보직 전환을 하는 경우가 많습니다. 저 같은 경우, 개발자에서 DBA1)로, 이후 데이터 엔지니어로 보직이 전환됐습니다.

데이터 엔지니어가 되는 방법도 다양합니다. 사람마다 다르니 정해진 법칙은 없습니다. 회사에 입사 후 보직 전환을 준비해도 늦지 않다고 생각합니다. 

©️Tero Vesalainen

석사를 한다면 목표에 맞는 논문을 쓰세요

석사 학위를 취득하면, 학부생보다 학습량이 많다 보니 아무래도 유리할 수 있겠죠. 하지만 이것 역시 확률일 뿐 절대적인 것은 아닙니다. 다만 멘티님께서 목표하는 바가 있다면 석사 과정에 진학하더라도 목표에 맞는 작업을 수행해야 합니다. 논문 이력과 프로젝트 경험이 목표를 향해야겠죠. 물론 학부생도 마찬가지겠지만요.

데이터 엔지니어를 뽑는 회사의 공고를 살펴보시면 도움이 될 듯합니다. 각 회사가 요구하는 데이터 엔지니어의 요건을 살펴보면 힌트가 될 거예요. 경험을 먼저 하고 싶으시다면, 스타트업 위주로 일자리를 알아보는 것도 괜찮은 시도라고 생각합니다. 신중하게 고민하셔서 멘티님의 꿈을 이루시길 바랍니다.

1.DBA : DataBase Administration. 데이터베이스 시스템을 원활하게 수행하도록 데이터베이스의 전체적인 관리 운영에 대한 최고의 책임을 지는 개인 또는 집단.