Python58 [Celery] python 비동기 백그라운드 작업 스케줄링 / 분산 테스크 큐 (기본 개념 / 입문 / 실습 Redis+Celery) 새로 들어간 프로젝트에서 데이터 수집 & 정제 워크플로우를 구축해야 했다.한 사이클마다 여러개의 작업이 진행되어야 했고, 작업마다 연관 관계가 있는 것도 있어 이전의 수집 작업보다는 더 복잡한 구조를 가지고 있었다.또 속도와 실패시 재시도처리도 정말 중요했다. '분산 처리 & 데이터 파이프라인 구축관리'라는 키워드만 보고 kafka를 생각했는데 수집서버는 한대에 여러 작업 간의 의존성 처리가 관건이라 Celery를 도입하기로 했다. 사실 파이썬에도 스케줄링, 백그라운드 작업 처리를 할 수 있는 모듈들이 있지만 Celery의 특장점이 해야하는 업무에 잘 맞기에 선택했다.Celery는 분산 처리가 가능하다. 또 멀티 프로세스 기반으로 작업되어 병렬 비동기 작업에 적합하다.작업 실패시 자동 재시작이 기본.. 2024. 10. 7. [Django] 파이썬 대표 풀 스택 오픈소스 프레임 워크 (기본 개념 / 입문 / Django vs FastAPI / 개발 환경 구성) https://docs.djangoproject.com/ko/5.0/ Django 문서 | Django 문서The web framework for perfectionists with deadlines.docs.djangoproject.com 회사에서 프로젝트를 대부분 FastAPI로 하다보니 자바보다 파이썬을 더 많이 하고 있다. 하다보니 Django도 궁금해져서 공부해보기로 했다.이전에 블로깅한 FastAPI 글과 비교해서 보면 더 좋을 듯 하다. 2023.06.06 - [Python/FastAPI] - [FastAPI] 파이썬 경량 프레임워크 (기본 개념 / 입문 / 개발 환경 구성) [FastAPI] 파이썬 경량 프레임워크 (기본 개념 / 입문 / 개발 환경 구성)https://fastapi.tia.. 2024. 9. 22. [FastAPI] OAuth2.0 소셜 로그인 회원가입 구현 SPA (구글 로그인 / 네이버 로그인 / 카카오 로그인) 오랜만에 쓰는 튜토리얼회사 업무 중 새로운 프로젝트에서 기존에 없던 소셜 로그인을 구현해 블로그에도 작성해보려 한다. 이전에 작성한 Spring Security 블로깅도 있으니 자세한 흐름 설명은 요기로.. 2023.01.10 - [Backend/Spring] - [Spring] Spring Security + OAuth2.0으로 소셜 로그인 구현 ver 1. SSR (OAuth2.0 / 구글 로그인 / 네이버 로그인 / 카카오 로그인 / 회원가입) [Spring] Spring Security + OAuth2.0으로 소셜 로그인 구현 ver 1. SSR (OAuth2.0 / 구글 로그인 / 네이버 로그인2023.01.09 - [Backend/Spring] - [Spring] Spring Security.. 2024. 9. 17. [Python3.11] ssl module in Python is not available 해결 요근래 업무로 사내 API 서버를 개발했다. 이번에는 스프링부트가 아닌 FastAPI로 개발했는데 배포에서 큰 애를 먹어 오랜만에 블로깅해둔다. 사실 진짜 별거 아니고 애먹을 일도 아닌데.. 네트워크 공부 다시해야겠음 일단 내 프로젝트는 파이썬 3.11 버전으로 개발되었고 배포해야할 서버는 2.7.5 로 그냥 리눅스 CentOS7에서 기본으로 설치되어 있는 버전이었다. 나는 asyncio 와 httpx를 사용해서 일단 파이썬 3.10 이상을 무조건 설치해야했고, 전에 혼자 공부한대로 가상환경을 띄워서 pyenv 를 설치했는데 자꾸만 pip install fastapi 가 안됐다. pip 자체가 문제가 되었던 것인데.. OpenSSL이 없다는 에러만 발생하고 자꾸만 재설치를 하라고 했다. [오류 메세지].. 2024. 4. 26. 이전 1 2 3 4 ··· 15 다음
