[AI] LLM 어플리케이션 개발을 위한 준비, sLLM이란?

LLM의 효율성 개선과 검색 증강 생성(RAG) 기술

최근 몇 년 동안 인공지능 분야에서 가장 주목받고 있는 기술 중 하나는 LLM(대형 언어 모델, Large Language Model)입니다.

이전 글에서도 개념에 대해 다뤄봤는데요, 특히 GPT-4와 같은 모델들은 자연어 처리(NLP) 기술의 한계를 뛰어넘어 다양한 산업과 응용 프로그램에서 활용되고 있습니다.

그러나 LLM의 성능이 뛰어난 만큼, 그만큼 많은 자원이 필요하고 처리 속도나 비용적인 문제에서 한계를 겪기도 합니다.

이에 따라 더 작은 모델을 개발하거나 기존 모델을 더욱 효율적으로 사용하는 연구가 활발히 진행되고 있으며, 환각 현상과 같은 문제를 해결하기 위한 새로운 기술들도 등장하고 있습니다.

이번 글에서는 sLLM(소형 언어 모델)의 개발과 그 목적, 더 나아가 LLM의 성능 최적화를 위한 기술들, 그리고 LLM의 환각 현상 문제를 해결하기 위한 검색 증강 생성(RAG) 기술에 대해 다루겠습니다.

---

1. sLLM: 더 작고 효율적인 모델 만들기

LLM을 활용한 애플리케이션을 개발하는 데에는 크게 두 가지 접근 방식이 있습니다.

첫 번째는 OpenAI의 GPT-4나 구글의 PaLM과 같은 초대형 모델을 사용(상업용 API를 사용)하는 방법입니다.

이러한 모델은 엄청난 양의 데이터를 학습하고 방대한 계산 자원을 사용하지만, 그만큼 매우 정확하고 자연스러운 결과를 도출합니다.

하지만, 이와 같은 모델을 운영하는 데에는 많은 비용이 필요하며, 높은 성능의 하드웨어가 요구됩니다.

따라서, 자원이 한정된 환경에서는 사용이 제한적일 수 있습니다.

 

두 번째 방법은 오픈소스 LLM을 사용하는 것입니다.

오픈소스 LLM 모델은 상대적으로 성능이 낮지만, 커스터마이징이 용이하고 데이터나 학습 방법을 자유롭게 변경할 수 있다는 장점이 있습니다. 이러한 오픈소스 모델은 특히 특정 도메인에 맞춰 최적화가 가능하다는 점에서 주목받고 있습니다.

예를 들어, 일부 기업들은 자신들만의 데이터를 사용해 작은 LLM을 구축하고 있으며, 이는 대규모 상업적 사용보다는 특정 용도에 적합하게 사용될 수 있습니다.

이를테면, SQL 쿼리 처리나 특정 응답 생성에 최적화된 작은 모델(sLLM)을 개발하여, 효율적으로 응답을 생성하고 자원을 아낄 수 있는 모델을 만들고 있습니다.

실제로 2024년 4월에 구글은 더 작은 오픈소스 모델인 sLLM을 공개할 예정이며, 많은 기업들이 이러한 sLLM 모델을 사용하여 비용 절감과 성능 향상을 동시에 추구하고 있습니다. 특히 Phi 3 모델은 오픈소스 형태로 배포될 예정으로, 일반적인 텍스트 처리뿐만 아니라 데이터베이스 쿼리와 같은 특정 작업에 최적화된 구조로 설계되었습니다.

이와 같은 sLLM의 개발은 대형 모델들이 요구하는 막대한 자원을 줄이고, 특정한 작업에서 더욱 효율적인 성능을 발휘할 수 있도록 최적화된 방법입니다.

---

2. 더 효율적인 학습과 추론을 위한 기술

LLM의 성능을 높이는 동시에, 학습과 추론 과정에서 더 적은 자원을 사용하는 것은 매우 중요한 연구 분야입니다.

많은 연구자들이 LLM의 크기를 줄이면서도 성능을 유지할 수 있는 방법을 찾고 있으며, 이를 위해 다양한 기술들이 적용되고 있습니다.

가장 중요한 기술 중 하나는 GPU를 활용한 학습 최적화입니다.

LLM은 매우 복잡한 연산을 수행하기 때문에 고성능 GPU의 지원이 필수적입니다.

하지만, GPU를 효율적으로 사용하지 못하면 불필요한 자원이 낭비될 수 있습니다. 이를 해결하기 위해 연구자들은 GPU의 성능을 최대한 활용하는 방식으로 모델을 설계하고, 학습 시간을 단축하기 위한 최적화 알고리즘을 개발하고 있습니다.

이와 더불어, 일부 연구자들은 LoRA(Low-Rank Adaptation)와 같은 기법을 사용하여, LLM 모델의 일부분만 학습시키는 방법을 연구하고 있습니다. LoRA는 전체 모델을 학습시키지 않고, 모델의 일부 레이어만을 학습시킴으로써 학습 시간과 자원 사용을 크게 줄일 수 있습니다.

이 방식은 특히 LLM을 특정 작업에 맞게 조정하는 데 매우 유용하며, 기존의 대형 모델을 특정 작업에 맞게 커스터마이징하는 데에도 적용될 수 있습니다.

이 외에도 많은 연구들은 더 작은 모델을 만들어도 성능 저하를 최소화할 수 있는 방법을 찾고 있습니다.

이러한 연구들은 GPU를 더 효율적으로 사용하고 모델이 사용하는 메모리를 최적화하여, 더 적은 자원으로도 높은 성능을 유지할 수 있도록 합니다. 이는 단순히 비용을 절감하는 것뿐만 아니라 환경적인 측면에서도 긍정적인 영향을 미칩니다.

에너지 사용을 줄이고, 탄소 배출을 감소시키는 데에도 기여할 수 있기 때문입니다.

---

3. LLM의 환각 현상을 대처하는 검색 증강 생성(RAG) 기술

LLM이 많은 문제를 해결할 수 있는 강력한 도구임은 분명하지만, 그중에서도 가장 큰 문제 중 하나는 환각 현상입니다.

환각 현상이란 LLM이 존재하지 않는 정보를 사실인 것처럼 만들어내는 현상으로, 특히 정보의 신뢰성이 중요한 작업에서 큰 문제를 일으킬 수 있습니다. 예를 들어, LLM이 가짜 뉴스를 사실인 것처럼 출력하거나, 존재하지 않는 학술 자료를 생성하는 등의 사례가 있습니다.

 

이 문제를 해결하기 위해 등장한 기술이 바로 검색 증강 생성(RAG, Retrieval-Augmented Generation)입니다.

RAG는 LLM이 자체적으로 정보를 생성하는 대신, 외부 데이터를 검색하여 필요한 정보를 가져오는 방식입니다.

이를 통해 LLM은 실시간으로 최신 정보를 검색하여, 보다 정확한 결과를 도출할 수 있습니다.

예를 들어, LLM이 학습한 데이터에는 없는 최신 뉴스나, 특정 주제에 대한 실시간 데이터를 검색하여 응답을 생성하는 방식입니다.

 

OpenAI의 연구에 따르면, RAG 기술을 적용하면 환각 현상을 크게 줄일 수 있으며, 특히 정보를 신뢰성 있게 처리해야 하는 상황에서 매우 유용하게 활용될 수 있습니다.

RAG는 단순히 검색 기능을 추가하는 것이 아니라, 검색된 정보를 모델의 답변 생성 과정에 통합함으로써, LLM이 더 나은 답변을 생성할 수 있도록 돕습니다.

이 기술은 OpenAI의 연구자들이 발표한 논문을 통해 처음 제안되었으며, 현재 많은 연구자들이 LLM에 RAG를 도입하여 더 신뢰성 있는 AI 시스템을 구축하기 위해 노력하고 있습니다.

---

4. LLM의 미래: 인식과 행동의 확장

앞으로 LLM은 어떤 방향으로 발전할까요?

LLM은 텍스트 생성 능력뿐만 아니라, 다양한 형태의 데이터(이미지, 비디오, 오디오 등)를 동시에 처리하고 인식할 수 있는 방향으로 발전하고 있습니다. 단순히 텍스트 기반의 작업을 넘어, 더 다양한 멀티모달 작업을 수행할 수 있도록 개발 중입니다.

LLM이 다양한 형태의 데이터를 처리하면서, 그 능력은 멀티모달로 확장되고 있습니다.

예를 들어, GPT-4는 이미지와 텍스트를 함께 처리하는 능력을 갖추고 있으며, 엔트로픽(Anthropic)과 같은 AI 연구 그룹들은 이미지, 오디오와 같은 다양한 입력을 처리할 수 있는 모델을 개발하고 있습니다.

이러한 기술 발전은 RAG와 결합하여 더 높은 신뢰성과 정확성을 제공하는 데 기여하고 있습니다.