Data Engineering1 데이터 인프라 개념 정리 (ETL / 데이터 파이프라인) 데이터 인프라 💡 목적 데이터 기반으로 의사결정을 돕거나, 서비스와 제품을 향상시키기 위해 구축 데이터 파이프라인 : 대량의 데이터를 안정적으로 저장 & 관리 위한 기술 유형 일괄 처리 Batch Processing 스트리밍 데이터 Streaming Data 단계 데이터 생성 서비스 데이터 로그 데이터 서버 로그 이벤트 로그 데이터 수집 & 이동 ✔️ GC Storage Transfer Service 데이터 처리 ✔️ Hadoop, Spark 데이터 저장 ✔️ BigQuery → GCS 데이터 분석 데이터 시각화 BI Sources 데이터 소스 Ingestion and Transformation 추출 및 변환 Storage 저장 Historical 기존 데이터 분석 Predictive 데이터 예측 Out.. 2023. 11. 17. 이전 1 다음