전체 글344 [Celery] python 비동기 백그라운드 작업 스케줄링 / 분산 테스크 큐 (기본 개념 / 입문 / 실습 Redis+Celery) 새로 들어간 프로젝트에서 데이터 수집 & 정제 워크플로우를 구축해야 했다.한 사이클마다 여러개의 작업이 진행되어야 했고, 작업마다 연관 관계가 있는 것도 있어 이전의 수집 작업보다는 더 복잡한 구조를 가지고 있었다.또 속도와 실패시 재시도처리도 정말 중요했다. '분산 처리 & 데이터 파이프라인 구축관리'라는 키워드만 보고 kafka를 생각했는데 수집서버는 한대에 여러 작업 간의 의존성 처리가 관건이라 Celery를 도입하기로 했다. 사실 파이썬에도 스케줄링, 백그라운드 작업 처리를 할 수 있는 모듈들이 있지만 Celery의 특장점이 해야하는 업무에 잘 맞기에 선택했다.Celery는 분산 처리가 가능하다. 또 멀티 프로세스 기반으로 작업되어 병렬 비동기 작업에 적합하다.작업 실패시 자동 재시작이 기본.. 2024. 10. 7. [Django] 파이썬 대표 풀 스택 오픈소스 프레임 워크 (기본 개념 / 입문 / Django vs FastAPI / 개발 환경 구성) https://docs.djangoproject.com/ko/5.0/ Django 문서 | Django 문서The web framework for perfectionists with deadlines.docs.djangoproject.com 회사에서 프로젝트를 대부분 FastAPI로 하다보니 자바보다 파이썬을 더 많이 하고 있다. 하다보니 Django도 궁금해져서 공부해보기로 했다.이전에 블로깅한 FastAPI 글과 비교해서 보면 더 좋을 듯 하다. 2023.06.06 - [Python/FastAPI] - [FastAPI] 파이썬 경량 프레임워크 (기본 개념 / 입문 / 개발 환경 구성) [FastAPI] 파이썬 경량 프레임워크 (기본 개념 / 입문 / 개발 환경 구성)https://fastapi.tia.. 2024. 9. 22. [FastAPI] OAuth2.0 소셜 로그인 회원가입 구현 SPA (구글 로그인 / 네이버 로그인 / 카카오 로그인) 오랜만에 쓰는 튜토리얼회사 업무 중 새로운 프로젝트에서 기존에 없던 소셜 로그인을 구현해 블로그에도 작성해보려 한다. 이전에 작성한 Spring Security 블로깅도 있으니 자세한 흐름 설명은 요기로.. 2023.01.10 - [Backend/Spring] - [Spring] Spring Security + OAuth2.0으로 소셜 로그인 구현 ver 1. SSR (OAuth2.0 / 구글 로그인 / 네이버 로그인 / 카카오 로그인 / 회원가입) [Spring] Spring Security + OAuth2.0으로 소셜 로그인 구현 ver 1. SSR (OAuth2.0 / 구글 로그인 / 네이버 로그인2023.01.09 - [Backend/Spring] - [Spring] Spring Security.. 2024. 9. 17. [인프런 강의 후기] 그림으로 쉽게 배우는 운영체제 견고한 데이터 엔지니어링을 읽으며 핀옵스에 대해 인식이 생겼다.이전까지는 그저 사원인 주니어개발자로서 서버 임대에 결정자 역할을 한 적이 없었다.이사님이 팀장님이 말씀하신대로 버튼 클릭클릭 진행만 하면 되었다. 어떤 옵션을 선택하든 가격이 얼마나 나오든 큰 문제도 아니었다. 클라우드 / 서버 / 네트워크에 자신도 많이 없었다.학생때 컴퓨터공학 기초 수업을 듣기도 했고 정보처리기사도 취득했지만 직접적으로 이게 어떻게 동작하는지에 대해 자세히 이해하지 못했다.연차가 쌓여가며 이러다가는 빈 깡통 개발자가 되겠구나 싶어 기초부터 다시 공부하고 있다. https://www.inflearn.com/course/%EB%B9%84%EC%A0%84%EA%B3%B5%EC%9E%90-%EC%9A%B4%EC%98%81%EC%.. 2024. 9. 17. [책리뷰] 견고한 데이터 엔지니어링 https://product.kyobobook.co.kr/detail/S000202731288 견고한 데이터 엔지니어링 | 조 라이스 - 교보문고견고한 데이터 엔지니어링 | 실용적인 데이터 엔지니어링의 세계로 이끄는 최고의 안내서! 고객 요구 사항에 맞는 시스템을 계획하고 구축하는 방법데이터 엔지니어링 분야가 빠르게 성장하면product.kyobobook.co.kr 데이터 엔지니어로서 이직 준비를 본격적으로 시작하며 무작정 채용시장에서 요하는 기술을 공부하기보다 일단 업계의 흐름을 보고자 했다. 여러 데이터 엔지니어링 관련 글, 컨퍼런스, 오픈 채팅방 에서 얻은 정보들은 많았지만 실제로 경험해 본 것들이 아니기에 머리가 복잡했다. 데이터 엔지니어링 입문의 교과서로 꼽히는 책인 빅데이터를 지탱하는 기술 을.. 2024. 7. 19. 한국방송통신대학교 통계/데이터과학과 3학년 편입 1학기 후기 (수업후기 / 팁) 이번년에 방통대 통계/데이터과학과 편입을 했고 1학기를 수강했다. https://datamoney.tistory.com/375 한국방송통신대학교 통계/데이터과학과 3학년 편입 기록 (편입 등록 / 수강신청 / 교재구매 /국가만 2년차 개발자가 되었고 회고를 작성했다. [회고] 첫 이직 그리고 새로운 도전을 앞두며 2023년이 지나 2024 청룡의 해가 밝았다. 🐉 나는 이제 만 2년차 개발자가 되었다. 지난 해를 돌아보며 간datamoney.tistory.com 신/편입생이라면 필수로 수강해야하는 원격대학교육의 이해 포함 총 6개의 과목을 수강했고 F 없이 잘 마쳐 간단하게 리뷰를 남겨보려 한다. 방통대 통계/데이터 과학 수업 후기1학년 데이터정보처리입문 데이터 정보를 처리하는 방법을 배우는 입문 내.. 2024. 6. 13. 이전 1 2 3 4 ··· 58 다음
