빅데이터 분야의 대표적인 4가지 직무를 알아보자
멘티 질문
안녕하세요 멘토님, 저는 영어영문학을 전공 중인 멘티입니다. 학부 수업 중 코퍼스(말뭉치) 영어학 강의를 들으며 빅데이터 분석에 관심이 생겼습니다. 빅데이터 분야에 종사하시는 멘토님께 궁금한 점을 여쭙고 싶어 질문드립니다.
ⓒdencg
멘토님은 학부 때 전공이나 대학원은 어떤 쪽으로 공부하셨는지 궁금합니다. 저는 학부 수준의 언어학 관련 수업으로 빅데이터를 접하다 보니 개념 정도만 아는 수준입니다. R 프로그래밍은 정말 기초만 배웠고 수업에서 파이썬도 다뤄볼 예정이었으나 학생들이 R도 소화하기 힘들어해서 언어학/문학적으로 데이터를 분석하고 의미를 찾는 수준에서 수업이 마무리됐습니다.
요즘 국비 지원 빅데이터 프로그래밍 언어에 관한 수업이 많이 있더라고요. 차후에 그러한 것들도 수강해보려 합니다. 멘토님처럼 대학원에 진학해서 공부를 더 해보는 것도 어떨까 싶습니다. 제 진로에 관해서도 간단히 조언을 구할 수 있을까요?
멘토 답변
데이터마이닝에 흥미를 느껴 빅데이터 분야에 입문
먼저 제 스펙을 간단히 소개하겠습니다. 저는 학부 때 산업공학과를 전공했고 같은 산업공학과 대학원에 진학했습니다. 데이터마이닝 연구실에 있었고요. 사실 빅데이터를 공부하겠다고 마음먹은 것은 4학년 때였고, 진로를 고민하던 학부 때 가장 재밌게 들었던 게 데이터마이닝 수업이었습니다.
해당 수업을 진행한 교수님을 찾아가 대학원에 진학하고 싶다고 상담을 드렸고 다음 해에 석사로 진학해 2년 공부할 수 있었습니다. 대학원에서 텍스트 마이닝1)과 딥러닝2)분야에 관심을 두고 공부했습니다. 관련 논문은 홈페이지에서 찾아볼 수 있습니다.
ⓒAlex Brylov
이제 본론으로 들어가서 ‘빅데이터’에 대해 좀 더 구체적으로 생각해 볼 필요가 있는 것 같아요. 빅데이터를 ‘R/Python을 써서 말뭉치(corpus)에서 의미 있는 정보를 추출하는 것’이라고 생각할 수 있지만, 사실 실제 일을 하다 보면 좀 더 다양한 직무가 존재합니다.
빅데이터 분야의 4가지 직종과 각 직종의 수행 업무
제가 생각하기에 빅데이터 분야는 4가지 직종으로 분류되는 것 같습니다.
데이터 엔지니어링(Data Engineering)
비즈니스 분석(Business Analytics)
머신데러닝(Machine Learning)3)
데이터 통합 관리(Data Governance)
데이터 엔지니어링(Data Engineering)은 회사별로 생성되는 데이터를 하둡(Hadoop) 같은 DB에 저장하고, 관리하는 역할을 하는 것입니다.
비즈니스 분석(Business Analytics)은 다양한 비즈니스 의사결정을 데이터 기반으로 하는 과정에 도움을 주는 역할이라고 볼 수 있습니다. 예를 들어, 인사이트 도출 등의 데이터 추출 및 시각화 업무뿐만 아니라, 은행에서 신용평가, 통신사에서 고객 해지 고객예측 등의 모형개발도 여기에 포함되는 것 같습니다.
머신러닝 엔지니어(Machine Learning Engineer)는 데이터 기반 서비스를 고도화하는 역할입니다. 즉 추천 엔진, 이상 탐지(anomaly detector) 개발 등 머신러닝 기반 서비스를 만드는 일을 합니다. 대표적으로 네이버, 카카오의 뉴스 추천 엔진 등이 있겠죠.
마지막 데이터 통합 관리(Data Governance)는 용어가 명확하지 않은데, 데이터 운영체계 수립/보안전략/개인 정보 활용 이슈 대응/전사 활용방안 등을 담당하니 어떻게 보면 데이터 활용 분야의 ‘기획/전략’ 파트 업무라고 볼 수 있겠네요.
️ⓒr.classen
대학원 진학의 메리트, 업무 진행 경험과 인맥
최근 3~4년간은 데이터 사이언티스트(Data scientist)라고 하면 위의 1, 2, 3, 4번 역할을 다 할 줄 아는 사람처럼 여겨졌습니다. 하지만 앞으로는 각 영역에서 강점을 갖는 사람이 살아남을 거라고 생각합니다. 물론 지금 당장 저 중 하나를 고를 순 없을 것입니다. 하지만, 저 중에 하나를 계속 파고들면 분명 전문가로서 좋은 커리어를 쌓을 수 있을 겁니다.
추가로 본인이 일하고 싶은 ‘분야’를 선택하는 것도 좋은 생각입니다. 지금까지는 컨설팅 형식으로 한 명의 데이터 분석가가 통신, 유통, 제조, 금융 등 각 영역을 돌면서 업무를 수행했다면, 앞으로는 각 분야의 데이터 분석가가 더 각광 받을 것 같네요.
아직 3학년이기 때문에 어느 커리어든 진출할 수 있다고 생각합니다. 다만 대학원이냐 국비 지원 프로그램이냐의 질문에 대해서는 무조건 대학원 진학이라고 말하고 싶네요. 사실, 배우는 건 국비 지원 프로그램이 더 많을 겁니다. 다만 생각을 통해 스스로 문제를 해결하고, 산학과제를 통해 실제 업무를 진행해보는 경험은 대학원에서만 가능합니다. 대학원의 인맥도 도움이 되는 등 대학원 진학의 장점이 훨씬 많습니다.
이상 답변이 도움이 되면 좋겠습니다. 더 궁금한 게 있으면 댓글 달아주세요. 감사합니다.
1) 텍스트 마이닝(text mining) : 비정형 텍스트 데이터에서 새롭고 유용한 정보를 찾아내는 과정 또는 기술.
2) 딥러닝(deep learning) : 데이터를 군집화하거나 분류하는 데 사용하는 기술.
3) 머신러닝(Machine Learning) : 인공지능의 연구 분야 중 하나로, 인간의 학습 능력과 같은 기능을 컴퓨터에서 실현하고자 하는 기술 및 기법.
