빅데이터 분야의 진로에 대해 알고 싶습니다

멘티님 반갑습니다. 한창 고민이 많을 때죠? 바로 답변을 드릴게요! 

빅데이터라는건 말 그대로 대용량의 데이터보다 큰 용량의 데이터 정도로 생각하시면 됩니다. 많은 학생이 빅 데이터라는 용어 자체에 현혹되어 진로를 결정하고자 하는데요. 그러나 현실과는 다름에 많은 좌절을 하는 것도 보았어요. 따라서 용어에 현혹되지 말고 내가 무엇을 하고 싶은지 고민하는 시간이 필요하다는 것도 말씀드리고 싶습니다.

ⓒwk1003mike

빅데이터의 3가지 분야

제가 생각하는 빅데이터의 3가지 분야는 이렇습니다.

1. 데이터 레이크를 구성하고 데이터 플로우 아키텍처를 구성 및 관리하는 엔지니어 

카프카, 스톰, 스파크, 하둡, 피닉스, 얀, 쿠버네티스, 도커 등의 데이터 레이크1)를 구성하고 이를 관리할 수 있는 역량을 가진 시스템적 엔지니어입니다.

2. 데이터를 통해 인사이트를 발굴하고 분석 및 예측을 통해 경영에 기여하는 데이터 분석 

두번째는 현존 라이브러리 등을 활용해서 결과물을 잘 조합하고 이를 현업과 소통하고 경영진에게 인사이트를 제시 혹은 근거를 주는 데이터 분석일 것입니다. 여기에는 텐서플로나 pytorch, keras, spark 등을 활용할 줄 아는 역량이 있어야 하겠지요.

3. 데이터 분석보다 깊이 있게 알고리즘을 알고 고도화를 할 줄 알고 시스템 아키텍처를 이해하고 데이터 레이크를 직접 핸들링 할 수 있는 데이터 과학자

마지막으로 알고리즘을 직접 개발하고 잘 튜닝할수 있는 인공지능 엔지니어면서 이를 실제 서비스까지 서빙할 수 있는 시스템 엔지니어의 역량을 모두 갖춘 데이터 과학자입니다. 이는 위의 첫번째와 두번째의 역량과 비즈니스적 인사이트가 있어야겠지요.

사람마다 생각과 정의는 다르지만 저는 이렇게 크게 세가지로 봅니다. 그리고 세가지 모두 공통적으로 영어가 필수입니다. 논문을 해석하거나 document 를 읽는데는 영어가 필수이기 때문이지요. 

ⓒIurii Stepanov 

캐글, 연구용 데이터들을 다루어보면서 실력을 키우세요!

질문을 볼 때, 두번째로 설명해 드린 데이터 분석에 흥미가 있는 게 아닌가 싶습니다. 제 식견으로는 경험을 쌓는 것이 중요하다고 판단이 됩니다. 학생 때는 캐글이나 연구용 데이터들을 많이 다루어 보며 실력을 키운 후 가능성을 어필하며 취업 후, 실무를 통해 실전 경험을 쌓기를 권유 드립니다. 

가능하다면, 대기업으로

기업의 경우 가능하면 데이터가 많은 대기업이나 대기업 계열사를 가라고 추천해 드리고 싶습니다. 일부 회사를 제외하고 스타트업이나 작은 규모의 회사는 데이터가 없을 가능성이 크며 기타 업무를 수행하느라 시간을 뺏길 수 있습니다. 

해당 규모의 회사는 주로 공개된 데이터나 제휴를 통해 데이터를 접할 수 있는데 그 보다는 대기업 내부의 비공개 데이터들과 공개 데이터 모두를 다루어볼 수 있는 대기업을 권합니다. 특히나 천만 이상의 사용자로부터 발생한 데이터를 다루어본 경험은 값진 경험일 것이라고 생각합니다. 

ⓒJirsak

인재 육성에서도 신입은 대기업에서 시작하는 것이 바르다고 생각이 들어요. 모든 상황에 해당하지 않겠지만 제가 소규모 기업에서 일했던 경험과 대기업에서 일한 경험을 비추어 볼 때 대기업은 사람의 성장 가능성을 보고 아낌없는 지원을 해줍니다. 

작은 규모의 기업은 미래의 성장 가치보다는 현재의 실력으로 인해 당장 다음 달의 성과를 중요시하는 면이 있어서 대기업에서 실력을 쌓고 급 성장하는 글로벌 유니콘 기업을 추천드립니다.

대기업의 메리트는 비공개와 공개 데이터를 다뤄볼 수 있는 점, 천만 이상 사용자로부터 발생한 데이터를 다루는 경험, 아낌없는 지원! 

질문에 대한 대답은 처한 상황마다 달라질 수 있어요. 회사마다 요구하는 역량이 조금 달라질 수도 있겠죠! 더 많은 궁금함이 있거나 더 질문이 필요하다면, 추가적인 질문을 주면 좋을 것 같습니다. 감사합니다.

1) 데이터 레이크 : 가공되지 않은 상태로 저장되어 접근이 가능한 엄청난 양의 데이터