핀란드 교환학생의 개발일지

ESG 관련 내용은 제하고, 졸업 프로젝트에 필요한 RAG 기술 관련 내용을 중심으로 정리했다.Technology Overview (only about RAG)1. RAG 작동 과정Data Gathering(데이터 수집): 다양한 원천 데이터(PDF, TXT, CSV, 웹 URL 등)를 사용해 LLM에 최신 지식이나 심층 지식 전달Data Loading: 수집한 데이터를 시스템으로 불러오는 단계 (데이터 구조 파악, 불필요한 텍스트 제거 등)Data Splitting: 데이터를 Chunk 단위의 작은 조각으로 나누는 단계. LLM에 불필요한 정보가 제공되는 것을 최소화. (다만 청크 사이즈가 너무 작으면 핵심 정보 누락, 텍스트 맥락의 모호성 발생)Data Embedding: 청크 단위로 분할된 텍스트를..

연구 목적1. LLM의 한계사용자가 정확한 용어를 알고 있어야 함검색 결과 중 원하는 정보를 직접 찾아야 함2. RAG 도입의 기대효과정책 정보에 대한 접근성 향상자연어 기반 질의응답 시스템을 통해 정확하고 관련성 높은 정보 제공복잡한 정책 내용을 이해하기 쉬운 형태로 제공최신 정보를 실시간으로 반영할 수 있는 시스템 구축연구 내용1. 사용 기술(1) RAG(Retriever-Augmented Generation)대형 언어 모델의 생성 능력과 외부 지식베이스를 결합하는 기술사용자 쿼리와 관련된 문서나 정보를 외부 지식베이스에서 검색하는 Retriever, 검색된 정보와 쿼리를 바탕으로 응답을 생성하는 Generator로 나뉜다장점 : 외부 지식 베이스를 활용한다최신 정보를 반영할 때, 모델을 재학습할 필..