안녕하세요! 빅데이터 엔지니어가 되고 싶은 대학생 멘티입니다. 졸업을 앞두고 본격적으로 자소서와 포트폴리오를 준비하려고 하는데요. 아는 게 별로 없어서 감이 잡히지 않습니다. 도움을 받기 위해 멘토님께 질문을 드립니다.

©️dencg

1. 빅데이터 엔지니어는 실무적으로 어떤 프로그램을 사용하고, 어떤 일을 주로 하나요?

2. 프로그래밍 언어를 제외하고, 엔지니어가 갖춰야 할 역량은 무엇인가요?

3. 빅데이터 관련 책을 많이 읽었습니다. 하지만 책에 나오는 접근법 말고는 그 외의 정보를 얻기가 힘든 것 같습니다. 제가 어떻게 공부하면 좋을지 방법을 알려주세요.

기초적인 질문을 해서 죄송합니다. 멘토님이 조언을 주시면 정말 큰 도움이 될 것 같아요. 그럼 답변 기다리겠습니다!

안녕하세요 멘티님. 빅데이터 엔지니어가 되기 위한 첫걸음을 떼신 것을 축하합니다. 앞으로 열심히 노력하시면 분명 꿈을 이룰 수 있을 거예요.

다만 회사마다 직무에 따른 업무 범위가 조금씩 다르기 때문에 제가 드릴 조언은 어디까지나 제 경험에 국한된 내용이라는 걸 미리 알려드립니다. 혹시 희망 회사가 생긴다면, 해당 회사의 현직자에게 구체적인 질문을 해보시길 바랍니다.

©️Dean Drobot

빅데이터 엔지니어의 세부 업무, 자세하게 알려드립니다
제가 다니는 회사의 빅데이터 엔지니어는 인프라 구성, 네트워크 운영 업무를 주로 담당합니다.

더 자세하게 설명하자면, 기본 H/W 설비, BDA, Tibero, 네트워크 장비, 빅데이터 시스템에 필요한 소프트웨어 설치(Hadoop, HDFS, YARN, Zookeeper, Cloudera 등) 등을 하고 있습니다.

다음으로 업무 과정에 대해서도 말씀드릴게요. 과정은 크게 하드웨어 설치, 소프트웨어 설치, 네트워크 환경 설정 및 관리로 나눌 수 있습니다. 카테고리마다 어떤 세부 업무가 있는지 번호를 달아 설명하겠습니다.

1. 하드웨어 설치
① 데이터를 담을 DB 설치
② 운영/개발 서버 설치
③ 네트워크 환경 설정(IP, 방화벽 등)

2. 소프트웨어 설치
① 서버 운영체제, 필요 구동 프로그램 설치
② Hadoop 설치 및 설정
③ Hadoop Eco System 설치
④ 클러스터링 및 환경 값 세팅

3. 네트워크 환경 설정
① 내부망 세팅
② 방화벽 세팅
③ 계정/포트 관리

이 세부 업무들을 다 외울 필요는 없지만, 업무 흐름을 이해하기 위해 필요한 정보인 것 같아 간단하게 정리해드렸습니다.

©️Sinart Creative

프로젝트를 통해 실무 경험 갖추기
엔지니어가 프로그래밍 언어 외에 갖춰야 할 역량은 바로 실무 경험입니다. 하지만 취준생에게 대단한 실무 경험을 요구하는 건 너무 아이러니하죠? 이런저런 프로젝트에 발을 걸치기보다는, 제대로 된 하나의 프로젝트를 완성하는 것을 추천합니다.

프로젝트를 완수하면서 자소서에 담기 좋은 기승전결의 스토리를 얻어내고, 어려움을 이겨내 결과물까지 만드는 건 정말 힘든 일입니다.

이렇게 눈에 보이는 성과가 없더라도, 프로젝트를 경험하며 느낀 감정, 어려움, 문제 해결법 등을 잘 정리해서 자소서나 포트폴리오에 담아낸다면 충분히 어필할 수 있어요. 공모전 수상 등을 떠나 내적으로 성장하기만 했다면 성공입니다.

©️kaboompics

준비 방법을 모를 때? 회사에서 요구하는 것을 정리
마지막으로 빅데이터 엔지니어가 되기 위한 취준 방법을 차근차근 알려드리겠습니다.

멘티님처럼 이제 막 흥미가 생겼지만, 무엇부터 준비해야 할지 모르는 분들은 사람인(https://www.saramin.co.kr/), 잡코리아(https://www.jobkorea.co.kr/), 잡플래닛(https://www.jobplanet.co.kr/) 등의 사이트에서 빅데이터나 빅데이터 엔지니어 키워드를 검색해보면 좋습니다. 그럼 관련 회사들의 목록이 쭉 나올 텐데요.

거기서 끌리는 회사들을 골라내고, 본인이 하고 싶은 직무가 있는지 확인합니다. 그렇게 회사와 직무를 골라냈다면, 해당 직무에서 필요로 하는 기술 스택과 우대 경험을 회사마다 나눠서 정리하셔야 합니다.

그렇게 각각 적으셨다면, 역량별로 중복되는 횟수가 얼마나 되는지 체크해보세요. 예를 들어 A 역량이 8번 중복되었다면 대부분의 회사에서 요구하는 능력이므로 필수로 갖춰야겠죠?

©️pexels

프로젝트 훈련 → 공모전&해커톤 참여
위에서 정리한 대로 어떤 기술과 능력을 갖춰야 할지 그림이 그려졌다면, 본격적으로 준비를 시작하면 됩니다.

먼저 해당 기술을 익힐 수 있는 관련 프로젝트를 찾아보세요. 예시가 있고, 멘티님이 따라 할 수 있어야 합니다.

그렇게 프로젝트를 따라 해보고, 남에게 내용을 설명하면서 혼자 해볼 수 있을 정도로 익힙니다. 이런 방식으로 하나하나 습득해가면 실무에 기술이 적용되는 방식을 이해할 수 있을 겁니다.

이 과정에서 프로젝트 구성, 특징, 용도를 공부하고, 관련 명령어를 익히면 면접은 물론이고 실무에 투입돼서도 얼마든지 활용할 수 있습니다.

이렇게 기술 공부와 프로젝트 구현에 익숙해졌다면, 본인이 제대로 하고 있는지 의문이 생길 거예요. 그럼 빅데이터 관련 프로젝트나 공모전에 참여하는 것을 추천합니다. 다른 사람들을 만나 협업하면서 본인의 위치를 판단해보세요.

취준도 결국 다른 사람보다 내가 잘해야 성공할 수 있습니다. 이런 식으로 능력을 개발하고 전국 단위 공모전에서 실력과 인맥을 쌓으면 이직에도 도움이 됩니다. 실제로 프로젝트 중에 스카웃 되는 사람들도 많거든요.

정리하자면, 가고 싶은 회사에서 원하는 기술과 경험을 먼저 정리한 뒤 필요한 것을 준비합니다. 그렇게 프로젝트 예시를 따라 하며 숙련도를 높이고 해커톤이나 공모전에 참여해 부족한 부분을 채워나가세요.

물어보신 내용에는 모두 답변을 드렸습니다. 제가 부디 도움이 돼서 멘티님의 고생을 덜었으면 좋겠습니다. 혹시 더 궁금한 내용이 있다면 다시 질문해주세요. 감사합니다!

명확한 준비 방법을 찾지 못해 헤매고 있었는데, 멘티님의 자세한 조언으로 어느 정도 갈피를 잡은 것 같습니다. 답변 정말 감사합니다!