안녕하세요. 질문 주신 내용 잘 받아 보았습니다. 취업 관련 고민이 많으신듯 싶은데, 아무쪼록 도움이 되셨으면 좋겠습니다.

대용량의 데이터를 처리할 때 생기는 주된 문제점과 그 해결 방법이 궁금합니다

 학문적으로 배웠던 문제들이 실제 필드 데이터에 모두 존재한다고 생각하시면 됩니다. 결측 값이 있거나 잘못된 값들이 들어가거나 Class imbalance 같은 문제들이 거의 모든 실제 필드의 데이터에서 존재합니다.

가장 좋은 방법은 데이터를 분석할 수 있도록 데이터를 수집하는 체계를 바꾸고 추가적인 데이터를 수집하는 것이 가장 좋은 방법입니다. 그러나 현실적으로 실행하기에 가장 어려운 방법이지요. 그래서 기본적인 데이터 전처리 방법론들을 활용합니다. 결측값들은 보간을 통해 채워 주거나 EDA를 통해 노이즈로 보이는 값들 제거해 주는 형태로 데이터를 정제를 해서 사용하는 방법이지요. 실제 현장에서도 두 가지 방법들을 적절히 병행해서 사용합니다. 데이터 수집 소스의 변경이 가능하다면 변경하도 어려울 경우에는 분석 목적에 맞춰 데이터 전처리를 진행하고는 합니다.

©John Schnobrich

정보 추출과 분석에 있어 고민이 생기면 어떻게 해결하시나요?

 가장 이상적으로는 데이터 분석을 필요로 하는 사람의 요구사항을 청취하는 것이 아닐까 싶네요. 데이터 분석가 단독으로 업무를 진행하는 경우는 없습니다. 대부분 실무를 담당하는 현업의 요구에 의해 분석 업무를 진행하고 있지요. 그래서 고민이 생길 때는 현업 담당자를 만나 요구사항을 명확하게 확인하는 것이 가장 중요하다고 생각합니다. 저 또한 실무에서 담당자의 요구사항을 하나씩 명확하게 정의하면서 주어진 문제를 풀어나가고 있습니다.

결과를 타부서들과 공유할 때 생기는 문제점과 해결 방안이 있으신가요?

소통의 어려움에서 문제가 발생합니다. 이 경우에는 데이터 분석가가 사용하는 용어들을 쉽게 풀어서 설명하는 게 가장 중요합니다. 예를 들어 Variance와 Bias라는 용어조차도 데이터 분석가는 아주 정의하기 쉬운 용어지만 실무 담당자들은 무슨 차이인지 이해하기 어려워합니다.

이럴 때는 "우리 고객들의 구매 데이터는 바이어스가 높은 편입니다"라고 표현하기보다는 "우리 고객들은 특정 상품군을 구매하는 데 집중되어 있는 것으로 보입니다"식으로 이해하기 쉽게 표현을 해 주는 것이 좋습니다. 용어를 아래 같은 이미지를 활용해 이해시켜 가며 설명해 주는 방식도 좋고요.

대부분 이런 이유들로 인해 업무에 혼선이 생기거나 문제가 생기는 경우들이 많기 때문에 이 부분들만 주의하시면 좋을듯싶습니다.

도움이 되셨을까요? 아무쪼록 원하는 곳에 취업하실 수 있기를 응원합니다. 이상입니다. 감사합니다.