요즘 핫한 분야, 인공지능 딥러닝 vs 데이터 사이언스

안녕하세요, 멘티님! 먼저 좋은 질문 주셔서 감사합니다. 질문해 주신 내용은 저도 고민해왔던 부분이라 공감이 많이 됩니다. 그러면 하나씩 답변 드리겠습니다.

©️Tatiana Popova

딥러닝의 모델링, 전처리, 배포에 대하여

멘티님의 생각과 달리, 딥러닝 모델링은 생각보다 케라스나 텐서플로로 간단히 해결되지 않아요. 모델링을 어떻게 보느냐에 따라 다를 것 같은데, 저에게 있어 모델링은 단순히 "모델을 코딩으로 구현하는 것"은 아니에요. 모델링은 문제를 '잘 푸는 모델'을 디자인하는 전반적인 과정이라고 생각하거든요. 따라서 멘티님의 의문에 대해 모두 공감하고 답변을 드릴 수가 없을 것 같아요. 하지만 구현 자체는 모델링의 과정 중에서 제일 쉽다는 의견에는 동의합니다!

전처리나 배포 등에 더 많은 시간을 쏟는 것 같다고 하셨죠? 맞아요! 하지만 이건 '전처리'라는 면에서는 데이터를 다루는 사람 모두에게 동일합니다. 데이터 분석가 혹은 모델러가 우아하게 데이터의 패턴을 찾는 시간은 굉장히 적어요. 가장 중요하고, 가장 시간이 오래 걸리는 단계는 전처리에요.

딥러닝의 모델링? 문제를 ‘잘 푸는 모델'을 디자인하는 전반적인 과정

딥러닝 석사 고민에 대한 코멘트

멘티님께서 들었던 석사에 대한 의문은 이 모든 과정이 '굳이 석사를' 하면서까지 얻어야 하는 지식인가? 라는 질문에서 출발했을 것 같아요. 사실 석사 때 얻을 수 있는 것은 ‘답이 없어 보이는 문제’에 대해 ‘더 좋은 방법론은 제안’하는 능력과 ‘방법론 구현’ 능력인 것 같아요. 그리고 이건 모델링을 하는 사람에게 필수 불가결한 조건인 것 같습니다. 

세상에서 풀어야 할 문제의 대부분은 답이 없잖아요? 그 와중에 가장 '효과적인 것 같은' 방법을 '선택'하고 이를 '구현'하고 안 된다면 왜 안 되는지를 디버깅1)하고 더 좋은 성능의 모델을 만들어나가는 이 일련의 과정을 석사 생활 동안 연습한다고 생각하면 좋을 것 같습니다.

석사 때 얻을 수 있는 것은 ‘답이 없어 보이는 문제’에 대해 

‘더 좋은 방법론은 제안’하는 능력과 ‘방법론 구현’ 능력입니다

©️Duntrune Studios

사실 크고 모델링을 잘 하는 조직은 모델링, 배포, 전처리하는 분들의 역할을 따로 잡고 있어요. 모델링은 ML Researcher의 롤이고 배포는 ML Engineer, 전처리는 Data Engineering의 롤로 구분이 되어가고 있는 것 같아요. (아래 그림 참고)

멘티님은 스타트업에서 경험을 쌓다 보니 아마 모든 과정을 다 맡았을 것 같아요. 그리고 쉬운 모델링을 해봤다면, 더더욱 전처리나 배포에 소모되는 시간이 컸을 것 같네요. 

데이터 사이언스에 대한 수요보다 애널리스트 수요가 더 많은 것 같아 고민이라고 하셨는데요. 분야마다 수요는 있으니 큰 고민은 하지 않으셔도 됩니다. 애널리스트는 보통 컨설팅 기업에서 찾는 편인 느낌이라면 데이터 사이언티스트는 IT 기업에서 많이 찾는 것 같아요. 이건 저도 시장의 수요를 완벽히 알지 못해 추측하는 입장입니다. 저는 쏘카, 숨고 등의 스타트업에서도 데이터 사이언티스트 니즈가 있는 것으로 알아요. 멘티님께 맞는 곳을 찾아보세요!

©️LightField Studios

인공지능 석사 vs 데이터 사이언스 석사

인공지능과 데이터 사이언스의 석사 졸업 후 진로나 배우는것, 프로젝트 수행이 비슷한 것 같다고 생각하실 수 있습니다. 딥러닝 석사가 ML Researcher에 가깝다면 그 이유가 아래 그림을 통해 설명될 것 같아요. 아무래도 석사는 기본적인 ML에 대해 다루는 시기다 보니 배우는 내용이 비슷하겠지만, 프로젝트는 랩의 성격에 따라 좀 다를 거예요. 

마지막으로 데이터 마이닝에서 통계를 재밌게 배웠고 비즈니스적 측면에 관심이 많다고 하셨는데 매우 좋은 자세인 것 같다는 말씀드리고 싶습니다. 계속해서 관심을 잃지 마세요! 

답변이 충분하게 됐는지 모르겠네요. 아래 링크도 참고하셔서 선택에 도움이 되길 바랍니다. 멘티님이라면 좋은 선택을 하실 수 있을 거예요. 응원합니다! 

참고 링크 : Lecture 7: ML Teams  

1) 디버깅 : 디버깅(영어: debugging) 또는 디버그(영어: debug)는 컴퓨터 프로그램이나 시스템의 정확성 또는 논리적인 오류(버그)를 검출하여 제거하는 과정을 뜻한다.