티스토리 뷰
목차
1. 디지털화의 가속화 (DX), 새로운 직업들
지난 10년간, 특히 지난 5년간 세상은 급격히 변화하면서 삶과 일의 중심부가 디지털화되고 축이 변화하는 DX(Digital Transformation, 디지털 전환)를 경험하고 있습니다. 이제 DX와 관련이 없는 것이 없을 정도로 이곳저곳에서 이러한 현상이 일어나고 있죠.
DX은 디지털 기술을 사용하여 조직이 운영되고 고객에게 가치를 제공하는 방식을 근본적으로 바꾸는 과정입니다. 효율성을 개선하고 성장을 촉진하기 위해 Business Model, 프로세스, 데이터, 분석 및 자동화 사용의 변화가 수반됩니다.
여기에는 기존 매뉴얼 프로세스의 자동화, 의사 결정을 주도하기 위한 데이터 분석 도입, 새로운 디지털 제품 및 서비스 개발 등이 포함되죠. 궁극적으로 DX는 기술을 사용하여 새로운 기회와 기능을 창출하고 조직의 혁신과 성장을 촉진하는 것입니다.
이처럼 DX의 세상이 도래한 상황에서 여러 새로운 직업들이 출현하고 각광받기 시작했습니다.
특히, 그중 많은 이들이 관심을 갖고 동시에 헷갈려하는 Data Scientist(이하 DS, 데이터 과학자)와 Data Engieer(이하 DE, 데이터 엔지니어)에 대해서 다루어 보도록 하겠습니다.
2. Data의 시대, 가장 핵심적인 직업들
오늘날의 비즈니스 세계에서 데이터 기술은 의사 결정에 핵심 역할을 하죠.
매일 생성되는 데이터의 양이 증가함에 따라 이 데이터에서 통찰력을 추출할 수 있는 전문가의 필요성이 증가하고 있습니다. 이 분야에서 가장 중요한 두 가지 새로운 직업이 바로 Data Scientist와 Data Engineer입니다.
이 두 역할은 종종 서로 혼동되지만, 그들은 뚜렷한 역할과 기술을 보유하며 차이점을 지닙니다. 많은 비전문가들이 이에 대해서 올려둔 글이 많지만, 현장에서 DX 실무를 뛰고 있는 입장에서 실질적인 내용을 정리해 보겠습니다. 금번 포스팅에서는 Data Scientist와 Data Engineer 각각의 역할과 두 직업 간 차이점을 살펴보겠습니다.
3. 21세기 가장 섹시한 직업, Data Scientist
하버드 비즈니스 리뷰는 2012년에 이미 '21세기 가장 섹시한 직업'으로 Data Scientist를 Point-out 했습니다.
Data Scientist는 통계 분석, 기계 학습 및 데이터 시각화를 사용하여 데이터에서 통찰력을 추출하는 전문가입니다. 이들은 크고 복잡한 빅데이터를 분석하여 추출한 인사이트를 활용하여 비즈니스 의사 결정을 내립니다. Data Scientist는 작업 중인 데이터를 이해하고, 데이터를 정제하고, 전처리하며, 예측을 위한 모델을 구축합니다. 그리고 요즘 강조되는 ML Ops의 책임도 맡고 있죠.
a. Data Scientist에게는 어떠한 기술이 필요한가?
- 통계 분석 지식과 적용 능력
- Artificial Intelligence(AI, 인공지능) 지식 및 활용 능력 (DE와 가장 큰 차이점)
- Machine Learning(ML, 기계 학습) 알고리즘에 대한 지식/적용 능력
- Machine Learning은 Deep Learning, NLP 등도 포괄함
- Data Visualization 경험 및 관련 도구 활용 능력
- 주로 프로그래밍 툴로서 Python, R 등을 활용
- 비기술적 이해관계자에게 결과를 제시할 수 있는 강력한 커뮤니케이션 기술 필요 (Soft Skills)
b. Data Scientist 기술 사용의 예시는 아래와 같아요.
- 기계 학습을 적용하여 리테일 회사의 고객 이탈을 예측하고 Marketing 커뮤니케이션
- 판매 데이터를 분석하여 동향을 파악하고 재고 관리를 최적화
- Streaming 서비스를 위한 추천 엔진 개발 (e.g. 스포티파이, 넷플릭스 등)
- 화학 공장의 고장을 사전에(e.g. 2주 전) 예측하여 예상치 못한 공장 Shutdown을 예방 등
4. DX 시대의 필수 직업, Data Engineer
Data Engineer는 Data Scientist 및 기타 DX 전문가가 데이터에 Access 하고 Analyse 할 수 있는 데이터 인프라를 구축/유지 관리하는 전문가입니다.
이들은 데이터 스토리지 솔루션을 설계/구현하고, ETL(Extract, Transform, Load) 프로세스를 생성하며, 데이터가 정합성에 맞는지, 이슈 없이 액세스 가능한지 확인/유지/관리하는 업무를 담당하죠.
a. Data Engineer에게 필요한 기술 셋은 아래와 같아요!
- 데이터 핸들링 지식
- 데이터 웨어하우징(Data Warehousing) 경험
- ETL 프로세스 및 도구 활용
- Java, SQL 프로그래밍 기술
- DB(데이터베이스) 관리 및 속도 최적화 기술
b. Data Engineer 기술의 적용 예시는 아래와 같습니다.
- 소셜 미디어 데이터를 수집/저장하기 위한 데이터 파이프라인(Data Pipeline)을 구축합니다
- 보고/분석 기능을 개선하기 위해 소매업체를 위한 데이터 웨어하우스를 설계
- 금융 서비스 회사가 대량 Transaction(거래) 데이터를 처리할 수 있도록 데이터베이스를 최적화함
5. Data Scientist와 Data Engineer 간 차이점
자, 금번 포스팅의 핵심인 두 직업의 차이점에 대해서 알아봅시다 :)
Data Scientist와 Data Engineer는 모두 데이터를 사용하지만, 그들의 기술과 책임은 매우 다릅니다.
Data Scientist는 데이터 분석/해석에 초점을 맞추고,
Data Engineer는 데이터 조달/관리의 기술적 측면에 초점을 맞춥니다.
Data Scientist는 자신이 작업 중인 데이터를 이해하고 통계 분석 및 기계 학습을 사용하여 통찰력을 추출합니다. 이들은 크고 복잡한 빅데이터를 사용하여 이러한 통찰력을 활용하여 비즈니스 의사 결정을 내리죠.
- Data Scientist들은 통계 분석, 기계 학습 및 데이터 시각화를 위해 Python 및 R과 같은 도구를 사용합니다.
반면, Data Engineer는 데이터 관리의 기술적 측면에 초점을 맞춥니다. 이들은 Data Storage 솔루션을 설계 및 구현하고, ETL 프로세스를 생성하며, 데이터가 정확하고 액세스 가능한지 확인하는 업무를 담당합니다.
- Data Engineer는 Java 및 SQL과 같은 도구를 사용하여 데이터 스토리지 및 ETL 프로세스를 설계/구현/최적화합니다.
< Conclusion >
두 역할은 서로 다른 책임과 기술을 가지고 있지만, 대부분 실과 바늘과 같은 관계입니다.
즉, 이 두 직업은 하나의 DX 팀 혹은 데이터 팀의 일원으로 함께 일합니다.
Data Scientist와 Data Engineer는 데이터 기반 의사 결정 분야에서 가장 중요한 역할 중 두 가지입니다.
그들은 몇 가지 유사점을 공유하지만, 각기 다른 뚜렷한 Role과 Tech set을 가지고 있죠.
결론적으로, Data Scientist와 Data Engineer는 모두 오늘날의 데이터 중심 비즈니스 세계에서 중요한 역할을 합니다. 데이터 기반 의사 결정의 중요성이 증가함에 따라 이러한 기술을 보유한 전문가에 대한 수요가 계속 증가하고 있습니다.
데이터 관련 직업에 관심이 있다면 이 두 역할의 차이점을 명확히 이해하고, 어떤 경로가 자신의 관심사와 기술에 가장 잘 부합하는지 결정하는 것이 매우 매우!중요합니다!
인터넷에 실무를 모르는 이들이 제대로 그 차이점을 기술하지 못하는 것이, DX 실무자로서 너무도 안타까워서 이렇게 포스팅을 하게 되었습니다. Data Scientist와 Data Engineer 간 차이를 명확히 파악하시고 여러분이 생각하는 진로와 비전에 맞는 의사결정 하셨으면 좋겠습니다 :)
관련 글들
2023.01.28 - [AI] - AI, 머신러닝, 딥러닝 구분/차이
2023.02.04 - [AI/Machine Learning] - ML Ops 궁극 가이드: MLOps 및 DevOps의 개념과 차이점 이해
※ 실제 현업 실무자이니, 진로 관련 고민이 있으시면 댓글로 남겨주세요. 시간 내서 답변드리겠습니다 ^^
'AI' 카테고리의 다른 글
| DALL-E 2와 스테이블 디퓨전의 숨겨진 편향성: AI 이미지 생성의 문제 (0) | 2023.05.08 |
|---|---|
| 인공지능 판도라의 상자를 열다 : LLM, 챗GPT, 그리고 직업의 미래 (7) | 2023.04.26 |
| 스몰 데이터로 AI 만들기: Few-Shot, Zero-shot 학습의 힘 (0) | 2023.03.09 |
| ML Ops 궁극 가이드: MLOps 및 DevOps의 개념과 차이점 이해 (0) | 2023.02.04 |
| AI, 머신러닝, 딥러닝 구분/차이 : 인공지능, 빅데이터 세계 (2) | 2023.01.28 |