빅데이터 분석/머신러닝 플랫폼

Question

빅데이터 분석에 관심이 있습니다.

일반적으로 데이터 분석이라고하면 R이나 파이썬을 이용해 시각화와 통계량 등을 추출하는데 빅데이터(수GB 이상)의 경우도 동일하게 수행하나요?

고성능 컴퓨터를 이용하는지 혹은 클라우드 기반의 분석 플랫폼이 있는지 궁금합니다.

컴퓨터를 사용하는 경우 사양은 얼마나 되어야할까요..

문종호 · Answer

안녕하세요~

보통은 데이터 분석을 위한 인프라를 가지고 시작하는게 일반적입니다. 클라우드 플랫폼 사용이라.. 물론 플랫폼이 있을거같지만 사용한다고 하면 비용이 장난 아닐거같네요..

저도 접해보진 않았지만 보통은 워크스테이션급으로 머신러닝을 진행하는거같습니다. 클라우드 라고 하면 GPU서버정도가 아닐까싶네요.

용량이 엄청난 데이터를 처리할때는 클러스터를 구성해서 진행할것으로 예상이 됩니다!

triplehoon · Answer

왠만한 분석은 일반적인 랩탑에서 다 해결 가능합니다. 느리게 오래 돌리는 건 알고리즘 문제지, 실무가서도 마찬가지라 봅니다.

정말 비싸고 고급진 분석을 돌리는 사람도, 본인 랩탑에서 충분히 돌린 후에 계획을 짜서 서버로 올리지 서버에서 바로 돌리는 사람은 없습니다.

다 돈이고 시간이니깐요.