내가 창업한 스타트업에서 제작한 MVP에서 하나의 기능이 MDQA(다중 문서 질의응답 시스템)이다. MDQA는 사전에 유저가 여러 문서를 입력한 상황에서 질문을 하면 관련 정보를 문서에서 찾고, 찾은 정보를 이용해 답변하는 것 이다. MDQA 문제를 풀기위한 순서는 크게 아래와 같이 나눌 수 있다.
- 유저가 입력한 웹 페이지 또는 파일을 데이터 베이스에 저장
- 유저의 질문 입력
- 질문과 연관된 내용을 데이터베이스에서 검색하기(Retrieval)
- 검색한 정보를 이용해 답변을 작성하기(Generation)
몇 개의 포스팅을 통해서 MDQA 모듈을 제작하는 과정에 대해 설명해보려고 한다. 포스팅 주소는 아래와 같다.
'서비스 제작' 카테고리의 다른 글
| [RVC 코드 분석] 노래에서 가수 목소리 음원과 MR 음원으로 분리 (0) | 2024.04.17 |
|---|---|
| [MDQA]1.3 자른 텍스트를 특정 크기의 벡터로 임베딩(embedder 모듈) (0) | 2024.03.20 |
| [MDQA]1.2 텍스트 데이터를 chunk로 자르기(chunker 모듈) (0) | 2024.03.17 |
| [MDQA]1.1 웹 페이지는 크롤링, PDF는 파일을 읽어서 텍스트 데이터를 가져오기(Loader 모듈) (0) | 2024.03.15 |
| [MDQA]1. 웹 페이지 또는 파일을 데이터 베이스에 저장하기 (0) | 2024.03.15 |
