Til78 [AI] LLM과 LangChain (랭체인 입문 / 기본 개념 / AI 기초/ RAG) 신규 프로젝트에 들어가며 프롬프트 엔지니어링을 접했다. 단순히 OpenAI API / 네이버 Clova API를 사용하는 걸 넘어 랭체인도 접목해보고 하다 보니 자세히 이해하지 않고는 못 쓰겠다 싶었다. 계속 미루고 미루다가 신규 기능으로 AI챗봇 개발을 하게 되며 RAG를 보고.. 그러니 진짜 제대로 공부해보고자 마음 먹었다. 작년부터 조금씩 조금씩 input으로 쌓인걸 연결해 이해해보고 있다. LLMLarge Language Model 대규모 언어 모델 LLM 은 쉽게말하면 ChatGPT와 같은 AI를 말한다. 딥러닝과 강화학습을 통한 생성형 AI인데 특히 언어에 특화된 기술을 말한다. 딥러닝을 통해 텍스트를 이해하고 생성한다. 그리고 사용자 피드백과 같은 강화학습을 통해 답변을 제공한다. LLM.. 2025. 2. 21. [Celery] python 비동기 백그라운드 작업 스케줄링 / 분산 테스크 큐 (기본 개념 / 입문 / 실습 Redis+Celery) 새로 들어간 프로젝트에서 데이터 수집 & 정제 워크플로우를 구축해야 했다.한 사이클마다 여러개의 작업이 진행되어야 했고, 작업마다 연관 관계가 있는 것도 있어 이전의 수집 작업보다는 더 복잡한 구조를 가지고 있었다.또 속도와 실패시 재시도처리도 정말 중요했다. '분산 처리 & 데이터 파이프라인 구축관리'라는 키워드만 보고 kafka를 생각했는데 수집서버는 한대에 여러 작업 간의 의존성 처리가 관건이라 Celery를 도입하기로 했다. 사실 파이썬에도 스케줄링, 백그라운드 작업 처리를 할 수 있는 모듈들이 있지만 Celery의 특장점이 해야하는 업무에 잘 맞기에 선택했다.Celery는 분산 처리가 가능하다. 또 멀티 프로세스 기반으로 작업되어 병렬 비동기 작업에 적합하다.작업 실패시 자동 재시작이 기본.. 2024. 10. 7. [인프런 강의 후기] 그림으로 쉽게 배우는 운영체제 견고한 데이터 엔지니어링을 읽으며 핀옵스에 대해 인식이 생겼다.이전까지는 그저 사원인 주니어개발자로서 서버 임대에 결정자 역할을 한 적이 없었다.이사님이 팀장님이 말씀하신대로 버튼 클릭클릭 진행만 하면 되었다. 어떤 옵션을 선택하든 가격이 얼마나 나오든 큰 문제도 아니었다. 클라우드 / 서버 / 네트워크에 자신도 많이 없었다.학생때 컴퓨터공학 기초 수업을 듣기도 했고 정보처리기사도 취득했지만 직접적으로 이게 어떻게 동작하는지에 대해 자세히 이해하지 못했다.연차가 쌓여가며 이러다가는 빈 깡통 개발자가 되겠구나 싶어 기초부터 다시 공부하고 있다. https://www.inflearn.com/course/%EB%B9%84%EC%A0%84%EA%B3%B5%EC%9E%90-%EC%9A%B4%EC%98%81%EC%.. 2024. 9. 17. 2024년 3월 TIL https://github.com/recordbuffer recordbuffer - Overview Backend Dev. recordbuffer has 10 repositories available. Follow their code on GitHub. github.com 개강을 앞두고 설도 지내며 열심히 놀았다. 이제 방통대 개강을 했고 수업을 하나 둘 듣고 있다. 모각코도 시작해 좀 강제적이나마 공부하려 하고 있다. 방통대 수업만 공부하는 것도 좋지만 잊지말고 이직 준비도 틈틈히 해나가자 🍥3월 목표🔥 1. 방통대 강의 〰️80% 듣기 2. [패스트 캠퍼스] 한 번에 끝내는 데이터 엔지니어링 초격차 패키지 3월 1일 💻 모각코 1회차 [방통대] 데이터 정보처리입문 1강 - 데이터 분석과 컴퓨터 3월 .. 2024. 3. 3. 이전 1 2 3 4 ··· 20 다음 more
