데이터마이닝에 흥미를 느껴 빅데이터 분야에 입문

먼저 제 스펙을 간단히 소개하겠습니다. 저는 학부 때 산업공학과를 전공했고 같은 산업공학과 대학원에 진학했습니다. 데이터마이닝 연구실에 있었고요. 사실 빅데이터를 공부하겠다고 마음먹은 것은 4학년 때였고, 진로를 고민하던 학부 때 가장 재밌게 들었던 게 데이터마이닝 수업이었습니다. 

해당 수업을 진행한 교수님을 찾아가 대학원에 진학하고 싶다고 상담을 드렸고 다음 해에 석사로 진학해 2년 공부할 수 있었습니다. 대학원에서 텍스트 마이닝1)과 딥러닝2)분야에 관심을 두고 공부했습니다. 관련 논문은 홈페이지에서 찾아볼 수 있습니다.

ⓒAlex Brylov

이제 본론으로 들어가서 ‘빅데이터’에 대해 좀 더 구체적으로 생각해 볼 필요가 있는 것 같아요. 빅데이터를 ‘R/Python을 써서 말뭉치(corpus)에서 의미 있는 정보를 추출하는 것’이라고 생각할 수 있지만, 사실 실제 일을 하다 보면 좀 더 다양한 직무가 존재합니다.

빅데이터 분야의 4가지 직종과 각 직종의 수행 업무

제가 생각하기에 빅데이터 분야는 4가지 직종으로 분류되는 것 같습니다.

• 데이터 엔지니어링(Data Engineering)

• 비즈니스 분석(Business Analytics)

• 머신데러닝(Machine Learning)3)

• 데이터 통합 관리(Data Governance)

데이터 엔지니어링(Data Engineering)은 회사별로 생성되는 데이터를 하둡(Hadoop) 같은 DB에 저장하고, 관리하는 역할을 하는 것입니다. 

비즈니스 분석(Business Analytics)은 다양한 비즈니스 의사결정을 데이터 기반으로 하는 과정에 도움을 주는 역할이라고 볼 수 있습니다. 예를 들어, 인사이트 도출 등의 데이터 추출 및 시각화 업무뿐만 아니라, 은행에서 신용평가, 통신사에서 고객 해지 고객예측 등의 모형개발도 여기에 포함되는 것 같습니다. 

머신러닝 엔지니어(Machine Learning Engineer)는 데이터 기반 서비스를 고도화하는 역할입니다. 즉 추천 엔진, 이상 탐지(anomaly detector) 개발 등 머신러닝 기반 서비스를 만드는 일을 합니다. 대표적으로 네이버, 카카오의 뉴스 추천 엔진 등이 있겠죠.

마지막 데이터 통합 관리(Data Governance)는 용어가 명확하지 않은데, 데이터 운영체계 수립/보안전략/개인 정보 활용 이슈 대응/전사 활용방안 등을 담당하니 어떻게 보면 데이터 활용 분야의 ‘기획/전략’ 파트 업무라고 볼 수 있겠네요. 

️ⓒr.classen

대학원 진학의 메리트, 업무 진행 경험과 인맥

최근 3~4년간은 데이터 사이언티스트(Data scientist)라고 하면 위의 1, 2, 3, 4번 역할을 다 할 줄 아는 사람처럼 여겨졌습니다. 하지만 앞으로는 각 영역에서 강점을 갖는 사람이 살아남을 거라고 생각합니다. 물론 지금 당장 저 중 하나를 고를 순 없을 것입니다. 하지만, 저 중에 하나를 계속 파고들면 분명 전문가로서 좋은 커리어를 쌓을 수 있을 겁니다.

추가로 본인이 일하고 싶은 ‘분야’를 선택하는 것도 좋은 생각입니다. 지금까지는 컨설팅 형식으로 한 명의 데이터 분석가가 통신, 유통, 제조, 금융 등 각 영역을 돌면서 업무를 수행했다면, 앞으로는 각 분야의 데이터 분석가가 더 각광 받을 것 같네요.

아직 3학년이기 때문에 어느 커리어든 진출할 수 있다고 생각합니다. 다만 대학원이냐 국비 지원 프로그램이냐의 질문에 대해서는 무조건 대학원 진학이라고 말하고 싶네요. 사실, 배우는 건 국비 지원 프로그램이 더 많을 겁니다. 다만 생각을 통해 스스로 문제를 해결하고, 산학과제를 통해 실제 업무를 진행해보는 경험은 대학원에서만 가능합니다. 대학원의 인맥도 도움이 되는 등 대학원 진학의 장점이 훨씬 많습니다.

이상 답변이 도움이 되면 좋겠습니다. 더 궁금한 게 있으면 댓글 달아주세요. 감사합니다.

1) 텍스트 마이닝(text mining) : 비정형 텍스트 데이터에서 새롭고 유용한 정보를 찾아내는 과정 또는 기술.

2) 딥러닝(deep learning) : 데이터를 군집화하거나 분류하는 데 사용하는 기술. 

3) 머신러닝(Machine Learning) : 인공지능의 연구 분야 중 하나로, 인간의 학습 능력과 같은 기능을 컴퓨터에서 실현하고자 하는 기술 및 기법.