8000gam 님의 블로그

💻 What?6월 23일 (월): 저번 주에 배웠던 기초 LangGraph의 응용 버전으로 메모리를 활용하는 법을 배웠다. 그리고 sLLM Fine-Tuning에 대한 이론을 배웠다. 강사님께서 Pre-trained Model의 모든 Parameter를 학습시키는 Full Fine-Tuning과 일부만을 학습시켜 비용을 줄이는 PEFT(Parameter-Efficient Fine-Tuning)에 대해 소개해주셨다.6월 24일 (화): Fine-Tuning 이론의 심화 학습과 실습을 진행했다. PEFT 방법 중 하나인 LoRA(Low-Rank Adaptation)에 대해 심층적으로 학습하고, HuggingFace 라이브러리를 활용해 실제로 LoRA Fine-Tuning을 실습했다. kanana 모델에 특..

💻 What?6월 16일 (월): Vector DB에서 질문과의 유사도와 함께, 정보의 다양성을 고려하여 검색하는 기법인 MMR(Maximal Marginal Relevance)에 대해 배웠다. 그리고 여러 Vector DB 중 Chroma와 Pinecone을 사용해봤다.6월 17일 (화): Vector DB에 저장한 정보들을 검색하는 Retrieval에 대해 배웠다. ContextualCompressionRetriever, MultiQueryRetriever 등 여러 Retriever 클래스를 사용하여 정보를 검색하고, 가상의 문서를 생성하여 검색 관련성을 극대화하는 HyDE(Hypothetical Document Embeddings), 검색된 문서들 중에서 제일 유사한 문서들만을 선별하는 MapRe..

이번 주는 유독 잠에서 깨는 게 힘들었다. 하루는 원래라면 수업 시작 30분 전에 도착할 수 있는 시간에 출발했지만, 버스에서 잠에 들어 내려야 할 곳보다 더 많이 이동해서 하마터면 지각할 뻔했다. 최근 새벽 12시에서 1시 사이에 잠에 들고 있는데, 잠이 부족한 걸까. 아니면 갑자기 찾아온 더위 때문에 그런 걸까. 분명 정신이 나태해지진 않았는데, 그렇다면 일찍 잠들고 아예 일찍 나와서 수업 시작 전 1시간 정도 복습을 진행하는 게 나을까. 해결책을 강구해야겠다. 나는 지각하는 내가 제일 싫단 말이야...💻 What?6월 9일 (월): Prompt Template과 Output Parser에 대해 배웠다. Prompt Template과 LLM, Parser를 Chaining하여 원하는 포맷의 답변을 ..

6월이 되었다. 날씨가 부쩍 더워졌음을 느낀다. 작년에 비해 여름이 늦게 찾아와서 그런걸까, 28도, 29도의 날씨도 뜨거운 한여름처럼 느껴진다. 저번 달부터 캠프에는 미니 선풍기를 휴대하는 사람들이 많이 보이기 시작했다. 그도 그럴 것이 출근길은 1초도 땀을 식힐 시간이 없다. 대중교통 안에서 냉방을 최대로 운행해주지만, 콩나물 시루처럼 붐비는 사람들 사이에 끼어 있으면 의미가 전혀 없다. 땀이 많은 나는 그런 상황이 싫어서 가급적 일찍 오려 하지만, 어떤 수를 쓰더라도 옷이 땀에 젖는 걸 피할 수 없다. 조만간 오래도록 사용할 성능 좋은 미니 선풍기를 장만해야겠다.💻 What?이번 주는 수업에 이틀 밖에 참여하지 못했다.6월 2일 (월): HuggingFace 기초에 대해 배웠다. Transfer ..

제가 학습한 것을 제 방식대로 이해한 내용을 기술합니다. 현대 자연어 생성 이론에서 굉장히 중요한 부분을 다루는 만큼 나름의 검수를 거쳤습니다만, 오역과 정보의 왜곡이 존재할 수 있음을 알립니다. 개선 사항에 대한 댓글과 문의를 환영합니다. 과거 번역이나 chatbot 답변 생성 등의 작업을 수행하는 Seq2Seq(sequence-to-sequence)에서 가장 널리 쓰이던 아키텍처는 순환 신경망 계열 유닛(Recurrent Unit)을 활용한 Encoder-Decoder 구조였다. Encoder는 개별 문장의 문맥 정보를 담은 Context Vector(보통 Encoder의 마지막 hidden state)를 출력해서 Decoder로 넘겨주고, Decoder는 해당 문장의 문맥을 참고하여 새로운 문장을 ..

캠프 생활은 여러 모로 즐겁다. 단순히 새로운 지식을 습득하는 것도 재미있고, 여러 사람들과 그 날 배운 것과 서로 모르는 것들을 공유하는 것도 재미있고, 근처 여러 식당들을 탐방하는 것도 재미있다(최근엔 근처 구내 식당들밖에 이용하지 않았지만 구내 식당도 그 나름대로 매일 바뀌는 메뉴를 즐기게 된다). 이번 주에는 컴퓨터 주변 기기들에 대해 여러 학우님들이 모여 얘기를 나눌 기회가 있었다. 모니터, 키보드, 마우스부터 서브모니터, 팜레스트 등 여러 이야기를 나누었다. 나는 키보드에 관심이 있는 편인데, 키보드 배열에 대한 얘기부터, 여러 스위치들에 대한 이야기를 들을 수 있어서 흥미로웠다. 내가 캠프에서 사용하고 있는 키보드는 75배열 적축(low profile) 키보드인데, 강의실에서 타건음을 들어보..

요즘 들어 잠이 많아졌다. 몇 주 전까지만 해도 5시간만 자고 나가서 하루 종일 수업을 들어도 몸이 버텨줬는데, 이번 주는 매번 6시간은 자야 침대에서 몸을 일으킬 수 있었다(그럼에도 5일 내내 수업 시작 전 10분, 20분 전에 도착하긴 했다). 프로젝트 준비하는 동안 바쁘게 보낸 지난 주의 여파가 아직 가시지 않은 걸까. 그래서인지 토요일에는 무려 열 시간을 자고 아침 열 시에 하루를 시작했다. 푹 자고 일어나면 정신이 맑은 느낌이 들고 기분도 좋지만, "주말이라도 아침 일찍부터 일어나서 뭔가 했어야 했는데"와 같은 약간의 죄책감도 든다. 이 부분은 얼마 전에도 고민했지만, 고치지 않기로 했다. 주말을 주말답게 보낼 줄도 알아야 다음주를 활기차게 시작할 수 있지 않겠는가. 그렇게 핑계를 늘어놓은 뒤,..

아직도 선선한 날씨가 계속되는 5월 중순이다. 사실 하루는 반바지를 입고 나갔던 적도 있었지만, 저번 주처럼 비가 한 두 번 오더니 계속 더위를 늦추고 있다. 나는 비를 썩 좋아하지 않는다. 출퇴근 시간대에 대중교통을 이용하는 나에게 우산은 엄청난 짐이다. 그러나 비가 갠 다음 날 바깥에 나가서 불어오는 시원한 바람을 맞고 있자면, 1호선 안에서 여러 젖은 우산들과 부대끼던 날을 잊게 해준다. 나는 비를 좋아했던 걸 지도 모르겠다. 어쨌든 이런 선선한 날씨가 계속 이어졌으면 좋겠다.💻 What?이번 주로 딥러닝 기초 강의가 끝났다. 이번 주에 배운 내용들은 대부분 하이퍼파라미터에 대한 내용들이다. 머신러닝의 하이퍼파라미터들은 모델 객체를 생성할 때 파라미터의 형식으로 지정헤주는 방식이었다면, 딥러닝은 ..

길고 긴 연휴가 끝나고 수요일부터 다시 분주한 하루가 시작되었다. 연휴라는 게 참 무섭다. 야행성 생활을 하던 나로써는 주말이 되면 평소보다 늦게 자고 늦게 일어나게 된다. 이런 생활을 주말부터 화요일까지 4일을 보내니, 수요일 아침이 유독 힘들게 느껴졌다. 조금이라도 붐비는 시간을 피하기 위해 평소에도 조금 일찍 나오는 나는 그 날도 여덟시 반에 도착했다. 항상 준비해놓고 전날 배웠던 내용을 잠깐 돌아보거나 그 날 배울 내용을 살짝 훑어보는 시간을 가지는데, 유독 그날은 아무것도 못하겠어서 수업이 시작할 때까지 엎드려서 잠을 청했던 기억이 있다. 이러기 싫어서 쉬는 날에도 일찍 자고 일찍 일어나자고 매번 다짐하지만, 내 몸이 주말의 단잠 만큼은 양보하기 싫은 모양이다.💻 What?Introductor..

이번 주는 우산을 챙긴 날이 조금 있었던 기억이 든다. 쏟아진 날도, 부슬비가 내린 날도 있었다. 이때문인지 날씨가 조금 뜨거워지려 하다가도 시원하고 쾌적했던 것 같은 느낌이다. 여름옷은 저번 주에 전부 꺼내 놓았지만, 일주일 내내 바람막이만 입었던 한 주였다. 봄가을이 짧아지고 있는 오늘날이지만, 올해 봄은 작년보다는 길게 느껴지는 것 같기도 하다. 이런 시원한 날씨가 적어도 5월 말까지는 이어졌으면 하는 바람이다.💻 What?Introductory Deep Learning: `import torch`이번 주로 whitebox 기반의 머신러닝에 대한 수업이 끝났다. 지난 주에 이어서 Supervised Learning Model인 Decision Tree, Random Forest, Gradient ..