🌈 데이터 엔지니어가 되기 위한 로드맵(Roadmap to becoming a data engineer) - 데이터 엔지니어가 되기 위한 로드맵 2021년 버전입니다 - Github 링크고, 현재 Star를 6800개 받은 문서입니다 :) - 영문 자료지만 키워드를 얻을 수 있어서 매우 유용합니다! 🎁 이 글을 추천하는 이유 - 데이터 엔지니어가 가지고 있으면 좋은 역량들을 기술 스택으로 나열한 글입니다 - 키워드를 아시면 매우 유용합니다! - 저도 알고 있는 키워드와 알지 못하는 키워드를 확인할 수 있어서 유용했습니다! - 도표로 나와있어서 쉽게 확인하실 수 있습니다 :) 👍 읽으면 좋은 분 - 데이터 엔지니어를 희망하시는 분들 - 데이터 엔지니어를 하고 계신데, 커리어에 대한 고민을 하고 계신 분 📋 내용 - CS 기초 - 터미널 사용법 - 데이터 구조 및 알고리즘 - APIs - REST - Structured vs Unstructured data - Serialization(직렬화) - Linux - 컴퓨터가 동작하는 방법은? - 인터넷이 동작하는 방법은? - Git 사용법 - 수학, 통계학 기초 - 프로그래밍 언어 - 파이썬 - 자바 - 스칼라 - 고 - Test - 유닛 테스트 - 통합 테스트 - 함수 테스트 - 데이터베이스 기초 - SQL - Normalization - ACID Transaction - CAP 정리 - OLTP vs OLAP - Horizontal vs vertical scaling - Dimensional modeling : 데이터 웨어 하우스 디자인에 사용되는 방법 - 관계형 데이터베이스 - MySQL - PostgreSQL - MariaDB - AWS Aurora - 비정형 데이터베이스 - Document 데이터베이스 - MongoDB - Elasticsearch - Apache CouchDB - Azure CormosDB - Wide Column 데이터베이스 : 행마다 키와 값을 저장할 때 각각 다른 값의 다른 수 스키마를 가질 수 있음 - Apache Cassandra - Apache HBase -Google Cloud BigTable - 그래프 데이터베이스 - Neo4J - Amazon Neptune - Key Value Store - Redis - Memcached - Amazon DynamoDB - 데이터 웨어하우스 - Snowflake - Presto - Apache Hive - Apache Impala - Amazon Redshift - Google BigQuery - Azure Synapse - ClickHouse - Object 저장소 - AWS S3 - Azure Blob Storage - Google Cloud Storage - 클러스터 컴퓨팅 기초 - Apache Hadoop - HDFS - MapReduce - Lambda & Kappa 아키텍쳐 - Managed Hadoop - Amazon EMR - Google Dataproc - Azure Data Lake - 데이터 전처리(Data processing) - Batch - Apache Pig - Apache Arrow - Data build tool - Hybrid : Batch와 Streaming 모두 처리할 수 있는 하이브리드 - Apache Spark - Apache Beam - Apache Flink - Apache NiFi - Streaming - Apache Kafka [personal recommendation] - Apache Storm [general recommendation] - Apache Samza - Amazon Kinesis - Messaging - RabbitMQ [general recommendation] - Apache ActiveMQ - Amazon SNS & SQS - Google PubSub - Azure Service Bus - Workflow scheduling - Apache Airflow - Google Composer - Apache Oozie - Luigi - Monitoring data pipelines - Prometheus - Datadog - Sentry - StatsD - Networking - Protocols - HTTP / HTTPS - TCP - SSH - IP - DNS - Firewalls - VPN - VPC - Infrastructure as Code - Containers - Docker - LXC - Container orchestration - Kubernetes - Docker Swarm - Apache Mesos - Google Kubernetes Engine (GKE) - Infrastructure provisioning - Terraform - Pulumi - AWS CDK - CI/CD - GitHub Actions - Jenkins - Identity and access management - Active Directory - Azure Active Directory - Data security & privacy - Legal compliance - Encryption - Key management - Data governance & integrity