[AI] 트랜스포머 아키텍처

 

현재 대부분의 LLM은 트랜스포머 아키텍처를 기반으로 한다.

LLM을 잘 이해하기 위해서 트랜스포머 아키텍처에 대해 알아보도록 한다.

 

1. 트랜스포머가 무엇인가요?

트랜스포머는 인공지능의 한 모델로, 특히 자연어 처리(NLP)와 같은 작업에서 탁월한 성능을 보여주는 구조입니다.

이전의 자연어 처리 모델들은 주로 순차적으로 데이터를 처리하는 방식(RNN, LSTM)을 사용했지만, 트랜스포머는 병렬 처리를 통해 훨씬 빠르게 데이터를 처리할 수 있습니다.

이 기술 덕분에 대규모 언어 모델들이 학습 시간을 크게 단축할 수 있었고, 더 정확한 결과를 제공할 수 있었습니다.

---

2. 전통적인 모델(RNN)과 트랜스포머의 차이점

RNN vs 트랜스포머

 

기존의 순환 신경망(RNN)은 데이터를 순차적으로 처리하는 방식이었습니다.

예를 들어, 문장을 분석할 때 단어를 하나씩 차례로 처리해 나가는 구조입니다.

이는 단어의 순서가 중요한 텍스트 처리에 적합한 방식이지만, 하나의 데이터가 처리될 때까지 다음 데이터를 처리하지 못하기 때문에 시간이 오래 걸렸습니다. 또한, 문장이 길어지면 장기 의존성 문제(문장의 앞부분 정보가 뒷부분에 영향을 덜 미치는 현상)나 기울기 소실(정보가 소실되는 현상) 같은 문제가 발생했습니다.

반면, 트랜스포머는 병렬 처리를 통해 문장의 단어들을 동시에 처리합니다.

즉, 모든 단어를 한 번에 이해할 수 있도록 구조화되어 있기 때문에 문장의 앞뒤를 동시에 고려할 수 있습니다.

이로 인해 처리 속도가 빠르고, 긴 문장을 분석할 때도 성능이 떨어지지 않는 장점이 있습니다.

---

3. 트랜스포머의 핵심: '셀프 어텐션'이란?

트랜스포머의 핵심 개념 중 하나는 셀프 어텐션(Self-Attention)입니다.

이 개념은 문장의 각 단어가 다른 단어들과 어떻게 관련되어 있는지 계산하는 방식입니다.

예를 들어, "고양이가 나무 위에 올라갔다"라는 문장에서, "고양이"라는 단어는 "올라갔다"와 밀접한 관계가 있습니다.

트랜스포머는 이런 관계를 자동으로 계산하여 각 단어가 문장에서 어떤 역할을 하는지를 파악합니다.

셀프 어텐션의 강력한 점은 문맥을 이해하는 능력입니다.

기존 모델들은 위에서 봤던 그림처럼 문장을 처음부터 끝까지 순차적으로 처리해야 문맥을 이해할 수 있었지만, 트랜스포머는 병렬 처리를 통해 문장의 모든 단어를 동시에 고려하기 때문에 문맥을 훨씬 더 빠르고 정확하게 이해할 수 있습니다.

---

4. 트랜스포머의 구조: 인코더와 디코더

트랜스포머 아키텍처는 크게 인코더(Encoder)와 디코더(Decoder)로 나뉩니다.

이 구조는 정보를 입력받아 처리하고, 그 결과를 출력하는 데 사용됩니다.

• 인코더: 문장의 입력을 받아 이를 내부적으로 처리하여 의미를 파악합니다. 예를 들어, 문장이 입력되면 인코더는 각 단어 간의 관계를 이해하고, 그것을 의미 있는 정보로 변환합니다.
• 디코더: 인코더가 처리한 정보를 바탕으로 새로운 문장을 생성하거나, 주어진 질문에 답을 제공합니다. 디코더는 주로 번역, 요약, 또는 질의응답 시스템에서 활용됩니다.

---

5. 트랜스포머의 장점

트랜스포머 아키텍처는 이전의 모델들에 비해 여러 가지 강점을 가지고 있습니다:

• 병렬 처리 가능: 순차적으로 데이터를 처리하는 대신 병렬로 처리하여 처리 속도가 훨씬 빠릅니다.
• 긴 문장 처리 능력: 문장이 길어지더라도 성능이 크게 떨어지지 않으며, 앞뒤 문맥을 동시에 이해할 수 있습니다.
• 더 나은 문맥 이해: 셀프 어텐션 메커니즘 덕분에 문맥을 정확하게 이해하고, 더 자연스러운 결과를 도출할 수 있습니다.
• 유연성: 다양한 작업에 쉽게 적용할 수 있으며, 번역, 요약, 질문-답변, 텍스트 생성 등 많은 자연어 처리 작업에서 사용됩니다.

---

6. 트랜스포머의 응용: GPT와 BERT

트랜스포머는 GPT(Generative Pre-trained Transformer)와 BERT(Bidirectional Encoder Representations from Transformers) 같은 최신 모델의 기본이 되는 기술입니다. GPT는 주로 텍스트 생성에 강점이 있고, BERT는 텍스트의 문맥을 이해하는 데 탁월한 성능을 보여줍니다. 이 두 모델 모두 트랜스포머 아키텍처를 기반으로 하고 있으며, 각각의 모델이 자연어 처리(NLP) 작업에서 뛰어난 성과를 거두고 있습니다.

자연어 처리(NLP)

자연어 처리에서 트랜스포머는 특히 대형 언어 모델의 기반이 됩니다. 예를 들어, GPT-4는 트랜스포머 구조를 바탕으로 하며, 텍스트 생성, 문장 완성, 번역 등 다양한 작업에서 높은 성능을 발휘합니다. BERT와 같은 모델도 트랜스포머의 핵심 아이디어인 어텐션 메커니즘을 기반으로 동작하며, 텍스트 분류, 개체명 인식 등에서 뛰어난 성능을 보여줍니다.

컴퓨터 비전

트랜스포머는 원래 텍스트 데이터를 처리하기 위해 설계되었지만, 최근에는 이미지와 같은 비정형 데이터를 처리하는 데도 사용되고 있습니다. 비전 트랜스포머(ViT)와 같은 모델은 이미지를 입력받아 중요한 특징을 추출하고, 그 특징을 바탕으로 분류 작업을 수행합니다. 트랜스포머의 병렬 처리 능력 덕분에 대용량 이미지 데이터를 빠르게 처리할 수 있습니다.

멀티모달 AI

최근 트랜스포머는 멀티모달 AI 시스템에서도 중요한 역할을 하고 있습니다. 멀티모달 AI는 텍스트, 이미지, 오디오 등의 다양한 형태의 데이터를 동시에 처리하는 시스템입니다. 트랜스포머는 여러 종류의 데이터를 동시에 처리할 수 있는 능력을 갖추고 있어, 멀티모달 AI 시스템의 핵심 기술로 자리잡고 있습니다. 이러한 시스템은 예를 들어, 텍스트를 입력받아 그에 맞는 이미지를 생성하거나, 사진을 분석하여 설명을 제공하는 작업에서 활용됩니다.

 

# 트랜스포머의 한계와 발전 방향

트랜스포머는 강력한 성능을 자랑하지만, 몇 가지 한계를 가지고 있습니다.

먼저, 대규모 데이터를 처리하는 데 있어 많은 자원(GPU, 메모리 등)이 필요하다는 점이 문제입니다.

트랜스포머는 특히 대형 모델을 학습시키는 데 많은 시간과 비용이 소모됩니다. 이를 해결하기 위한 연구도 활발히 진행되고 있으며, 더 작은 모델이나 효율적인 학습 방법이 계속해서 개발되고 있습니다.

또한, 트랜스포머는 매우 강력한 구조이지만, 모든 문제를 해결할 수 있는 만능 도구는 아닙니다.

특히, 트랜스포머는 긴 문장이나 연속적인 데이터 처리에서 성능이 다소 떨어질 수 있으며, 이는 장기 의존성(long-term dependencies) 문제로 인해 발생할 수 있습니다.

이러한 문제를 해결하기 위해 트랜스포머의 구조를 개선하는 연구가 계속 진행되고 있으며, Reformer와 같은 새로운 아키텍처가 등장하고 있습니다.

 

7. 트랜스포머 아키텍처의 핵심 구성 요소

트랜스포머 아키텍처는 인코더와 디코더로 구성되어 있으며, 각각 여러 층을 거쳐 데이터를 처리합니다.

이 과정에서 중요한 역할을 하는 세 가지 핵심 개념이 있습니다: 위치 인코딩(Positional Encoding), 멀티 헤드 어텐션(Multi-Head Attention), 피드 포워드(Feed Forward).

 

https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf

1) 위치 인코딩(Positional Encoding)

트랜스포머는 병렬 처리를 사용하기 때문에, 데이터를 순서대로 처리하는 기존의 RNN과 달리 단어의 순서를 고려하지 않습니다. 따라서 트랜스포머는 위치 인코딩을 사용해 각 단어의 위치 정보를 추가합니다. 이는 문장 내에서 각 단어가 어디에 위치하는지에 대한 정보를 제공하며, 이를 통해 문장의 문맥을 이해할 수 있습니다. 위치 인코딩은 주로 사인과 코사인 함수의 값을 이용해 각 단어의 위치를 인코딩합니다.

2) 멀티 헤드 어텐션(Multi-Head Attention)

멀티 헤드 어텐션은 트랜스포머에서 가장 중요한 개념 중 하나입니다. 이 메커니즘은 **셀프 어텐션(Self-Attention)**을 여러 번 반복하여 문장 내에서 각 단어가 다른 단어들과 어떻게 연관되는지를 파악합니다. 단일 어텐션보다 다양한 측면에서 문맥을 파악할 수 있기 때문에, 더 풍부한 정보를 제공합니다.

각 어텐션 헤드는 입력 데이터의 서로 다른 부분에 집중하여 병렬로 작동하고, 이 정보들을 결합해 최종 결과를 생성합니다. 이를 통해 트랜스포머는 각 단어의 중요도를 계산하고, 문맥에 따라 가중치를 부여해 더 정확한 결과를 도출합니다.

3) 피드 포워드(Feed Forward)

트랜스포머의 각 층에는 피드 포워드 신경망이 존재하며, 각 단어의 어텐션 결과를 다시 한 번 처리해 더 의미 있는 정보로 변환합니다. 이 과정은 인코더와 디코더 모두에서 사용되며, 어텐션 메커니즘에서 나온 정보를 바탕으로 더욱 정제된 출력을 만들어냅니다. 각 단어에 대해 독립적으로 계산되며, 효율적이고 빠르게 처리됩니다.

---

8. 트랜스포머의 층 정규화와 기타 구성 요소

트랜스포머는 입력 데이터를 처리하는 각 단계에서 층 정규화(Layer Normalization)를 사용합니다.

이는 각 층의 출력을 정규화하여 계산의 안정성을 높이고, 학습 과정에서 발생할 수 있는 문제를 방지합니다.

층 정규화는 특히 트랜스포머의 여러 층을 통과할 때 데이터의 크기나 분포가 급격하게 변하지 않도록 도와줍니다.