AI를 활용한 다양한 비즈니스가 활성화 되면서 LLM(ChatPGT와 같은 대규모 언어모델) 환각(Hallucination) 현상/오류는 지속적으로 해결해야 할 과제로 인식되고 있습니다. 환각 오류는 간단하게 LLM이 사실이 아니지만 사실 같이 말하며 완전하지 못한 답변을 하는 것을 말합니다. 뿐만 아니라 LLM은 학습된 데이터 이후 정보가 없거나 출처를 정확하게 언급하지 못하는 것도 이슈로 대두되고 있습니다.
이러한 점들을 개선하기 위해 여러가지 시도가 되고 있고 최근 ChatGPT 유료 모델에서는 검색 기반에 정보를 LLM이 생성해서 제공하는 방식으로 해결하고 출처도 함께 명기하면서 이 이슈를 해결하고 있습니다.
그렇지만 여전히 기업이 LLM을 상용화에서 사용하고자 할 때에는 몇 가지 문제점이 있고 대부분 자신의 도메인 영역에 특화된 데이터를 가지고 있다보니 이 부분을 해결하고자 하는 고민이 계속 되고 있습니다. 이번 글에서는 환각 오류를 줄이는 3가지 방법에 대해 이야기하고 각각의 장단점을 고민해보려고 합니다.
1. Pre-traininig
사전 학습이라 불리는 작업은 선별된 데이터 세트를 활용해 학습 시키는 방식입니다. 고품질의 다양하고 대표적인 데이터 세트를 사용하여 모델을 훈련하는 방식입니다. 다양한 주제와 컨텍스트를 포괄하는 추가 데이터로 강화시킬 수 있습니다.
장점 : 기준 성능 자체를 상승(파인튜닝 전이나 전문 교육 전 진행), 일반적인 능력 UP
단점 : 상당한 리소스와 시간 소요, LLM은 여전히 자동 업데이트 불가(최신성 없음)
의견 : AI 전문 기업이 아닌 도메인 특화된 비즈니스에서는 사용하기 힘들듯함!
2. Fine-Tuning
파인 튜닝이란 도메인별 데이터 세트로 LLM을 미세 조정(파인 튜닝)하여 특정 영역에서 정확도와 관련성을 높이는 방법입니다. 작업별로 미세 조정해서 특정 수행할 작업과 관련된 데이터를 ChatGPT나 Gemini, Claude의 API를 학습시켜 성능을 향상시킬 수 있습니다.
Pre-Training이 LLM이 전반을 건드린다면 파인 튜닝은 미세 조정
장점 : 특정 도메인에 전문성, 정확도 향상, 주기적으로 업데이트하기 좋음
단점 : 특정 분야에 대한 과적합 위험(대표성이 없는 경우), Pre-Training 보다는 적지만 리소스와 시간이 소요
의견: 파인 튜닝도 Pre-Training만큼은 아니지만 비용이 꽤 소요되는데 이 부분은 GPT API에서 제공하는 가격 정책에서 확인해볼 수 있습니다.
상단 두 가지 이미지를 정리해보면 GPT 3.5 버전으로 파인 튜닝을 할 때 1백만 토큰당 8달러라고 합니다. 생각보다 파인 튜닝 자체 비용은 크지 않지만 인풋 아웃풋 비용을 보면 이야기가 달라집니다. 즉, 파인 튜닝은 하는 것보다 질문하고 답변 받을 때마다 인풋은 6배($0.5 -> $3), 아웃풋은 4배($1.5 -> $6) 소요됩니다. 기업에서 비즈니스를 수행할 때 많이 사용되기 위해 하는데 . 그 비용이 약 5배 내외로 소요됩니다.
(OpenAI GPT 파인 튜닝 상세 바로가기)
이 때문에 최근에는 RAG(검색증강생성)이 많이 사용되고 있습니다.
3. RAG(검색증강생성)
RAG (Retrieval-Augmented Generation, 검색증강생성)란 LLM에서 답변을 출력할 때 외부 데이터 소스를 참조하도록 하는 프로세스입니다. 네이버 클라우드에서 RAG에 대해서 간단하게 설명하고 있는데 참고해보시면 좀 더 상세히 확인해볼 수 있습니다. (네이버 클라우드로 RAG 사용하기)
간단하게 핵심 몇 가지를 가져오면 다음과 같습니다. RAG 작동 방식은
1> 사용자가 질문(쿼리)을 입력합니다.
2> RAG는 외부 데이터베이스(예: 웹 문서, 기업 내부 문서 등은 백더 DB로 만든 것)에서 질문과 관련된 정보를 검색합니다.
3> 검색된 정보를 기반으로 LLM이 답변을 생성해 출력합니다.
간단하게 표현하면 우리가 구글에 검색해서 답변을 찾듯이 RAG는 우리가 사전에 만들어 놓은 데이터베이스에서 해당 답변을 찾고 이를 LLM이 답변해준다는 것입니다.
이를 통해 몇 가지 중요한 이슈들이 해결됩니다.
- 파인 튜닝에 비해서는 시간과 비용이 적게 소모됩니다.
– LLM을 학습시키지 않아도 됩니다. - 모델의 일반성을 유지할 수 있습니다.
– 특정 도메인에 국한되지 않고 다양한 분야에 대한 질문에 답변도 가능합니다. - 출처나 답변에 대한 근거를 제시할 수 있습니다.
– 답변과 함께 출처 정보를 제시하고 이는 기존에 안내드린 Perplexity AI나 ChatGPT 유료 모델에서 볼 수 있습니다. - 환각 현상/오류를 줄일 수 있습니다.
– RAG도 완전하지는 않습니다. 그럼에도 데이터를 기반으로 답변을 생성하고 출처도 명기할 수 있기 때문에 모델 자체의 환각 오류를 줄일 수 있습니다.
이와 같은 장점 때문에 많은 기업에서 RAG를 학습하고 준비하고 있으며 네이버 클라우드에서 제공하는 다양한 API나 랭체인 라이브러리, 파인콘과 같은 백터DB 등을 활용해 성과를 높이고 있습니다.
4. 마무리
여기까지 환각 오류를 줄이기 위한 몇 가지 방법을 살펴보고 최근 가장 화두가 된 기술이며 가장 많이 연구되고 있는 RAG(검색증강생성)에 대해서도 확인해 보았습니다. RAG와 네이버 클라우드, 랭체인, 파인콘 등을 활용해 테크뷰에서도 SaaS 전문 LLM 모델을 개발 중에 있으며 그 개발 경과를 블로그를 통해 공유해나갈 계획입니다.
테크뷰는 이처럼 여러 AI 제품들을 분야와 카테고리별로 구분하고 그 기능, 가격, 사용자 후기도 함께 공유드리고 있으니 참고해보세요!!
5. AI 챗봇 솔루션 비교, 분석 리포트
여러 AI 솔루션 중 가장 많이 사용되는 도구가 챗봇일 것 입니다. 테크뷰에서는 다양한 AI 챗봇 솔루션 중에 최적의 제품을 선택할 수 있도록 지원해드리고 있습니다. 이를 위해 ChatGPT, Claude와 같은 LLM부터 검색 기반의 Perplexity, 또는 회사 기업 정보를 학습 시킨 커스텀 챗봇까지 다양한 AI 챗봇 비교 리포트를 송부드립니다. 비교/추천 리포트가 필요하신 기업 담당자 분들은 위에 이미지를 클릭하여 설문을 작성해주시면 됩니다.
본 서비스에는 아래와 같은 사항이 포함되어 있습니다.
- 기업과 팀의 니즈에 맞춘 AI 챗봇 추천
- 필요한 기능 보유 여부를 확인한 비교표 정리
- 도입 시 전담 컨설턴트와 본사 기술 지원
함께보기 좋은글
0. Sora AI 사용 방법 및 사용 후기(영상 제작)
1. 일론 머스크 xAI, Grok 2 출시 및 사용 방법, 후기
2. 업무 시간을 줄여줄 AI 툴 도구 모음
3. Llama3를 내 PC에서 무료로 사용하는 방법 (GPT4All & RAG)
4. ChatGPT vs Gemini vs Claude 비교 총정리(&대안)
5. Perplexity AI : ChatGPT, Claude, LLaMa를 한 곳에서 사용하는 방법!
6. 신규 GPT-4o 사용 방법 및 업데이트 정리(원문 다운)
7. Meta AI Llama 3 출시와 무료 사용 방법!
8. Sora : OpenAI 신규 모델, 텍스트로 비디오 영상 제작
9. 구글 제미나이 1.5 사전 등록 방법 및 Gemini API 사용
10. AI시대 경제적 해자(Moat)에 대해서
댓글 남기기