단어의 의미를 파악하는 워드투벡터(Word2Vec)와 문장의 흐름을 기억하는 RNN, LSTM 기술이 도입되면서 자연어 처리는 큰 전환점을 맞이했습니다. 하지만 늘 한계는 명확했습니다. 문장이 길어지면 앞부분의 내용을 까맣게 잊어버리는 '장기 의존성' 문제와, 단어를 반드시 순서대로 하나씩 읽어야만 해서 컴퓨터의 강력한 GPU 병렬 연산 기능을 제대로 활용하지 못하는 치명적인 단점이 발목을 잡았습니다. 대용량의 텍스트 데이터를 빠르게 학습시키는 것은 당시 기술로 불가능에 가까운 영역처럼 보였습니다.
그러던 2017년, 구글의 연구진은 자연어 처리 역사뿐만 아니라 인공지능 역사 전체를 통째로 뒤흔든 기념비적인 논문을 발표합니다. 논문의 제목은 다소 도발적이었습니다. "주목하기만 하면 된다(Attention Is All You Need)". 이 논문에서 처음 제안된 구조가 바로 현재 ChatGPT, 클로드 등 모든 생성형 AI의 거대한 뿌리이자 핵심 엔진인 '트랜스포머(Transformer) 아키텍처'입니다.
처음 이 트랜스포머 아키텍처의 개념을 접했을 때, 저는 기존의 '순차적 학습' 패러다임을 완벽하게 깨부순 역발상에 큰 충격을 받았습니다. 이 구조의 핵심은 문장 속 단어들을 순서대로 읽지 않고, 문장 전체를 '동시에, 한 번에' 컴퓨터에 집어넣는 데 있습니다.
어떻게 순서를 무시하고 문맥을 이해할 수 있을까요? 연구진은 '어텐션(Attention, 주의 집중)'이라는 메커니즘을 극대화했습니다. 컴퓨터가 문장 안의 모든 단어와 다른 모든 단어 간의 관계를 동시에 계산하게 만든 것입니다.
예를 들어 "그 동물은 길을 건너지 않았다. 왜냐하면 그것은 너무 피곤했기 때문이다"라는 문장이 있다고 가정해 보겠습니다. 여기서 '그것(It)'이 가리키는 대상이 '동물'인지 '길'인지 알아내는 것은 기존 모델에 매우 어려운 과제였습니다. 하지만 트랜스포머의 '셀프 어텐션(Self-Attention)' 기능은 문장 전체를 조망하며 '그것'이라는 단어가 '동물'이라는 단어와 가장 높은 연관성(주목도)을 가진다는 것을 수학적 가중치로 단번에 찾아냅니다.
제가 실제로 이 모델의 메커니즘을 분석하면서 가장 감탄했던 부분은 바로 '병렬 처리의 극대화'였습니다. 문장의 단어들을 한꺼번에 밀어 넣다 보니, 대용량 데이터를 처리할 때 GPU의 연산 능력을 100% 활용할 수 있게 되었습니다. 데이터 학습 속도가 과거와는 비교할 수 없을 정도로 수십, 수백 배 빨라진 것입니다.
과거에는 수주가 걸리던 거대한 양의 책과 웹사이트 데이터를 단 며칠 만에 통째로 학습할 수 있는 기술적 기반이 완성되었습니다. 인공지능이 인간이 만들어낸 디지털 지식 전체를 흡수할 수 있는 거대한 그릇이 마련된 셈입니다.
그러나 트랜스포머 아키텍처 역시 초기에는 만능이 아니었습니다. 문장 전체를 한 번에 연산하다 보니, 문장의 길이가 아주 길어지면 필요한 연산 양과 메모리 사용량이 제곱 단위로 폭발하는 문제가 있었습니다. 또한 단어를 한 번에 입력하기 때문에 단어의 '위치 정보'를 컴퓨터가 알 수 없어서, 단어의 순서를 숫자로 표시해 주는 '포지셔널 인코딩(Positional Encoding)'이라는 복잡한 밑작업을 따로 해주어야만 했습니다.
이러한 현실적인 제약에도 불구하고, 트랜스포머 아키텍처가 보여준 가능성은 압도적이었습니다. 구글을 비롯한 전 세계의 AI 연구소들은 이 강력한 아키텍처를 기반으로 삼아 더 거대하고 학습량이 많은 모델을 설계하기 위해 경쟁적으로 뛰어들기 시작했습니다. 우리가 지금 매일 마주하는 대형언어모델(LLM)의 화려한 서막은 바로 이 2017년의 논문 한 장에서 시작된 것입니다.
[핵심 요약]
2017년 구글이 발표한 '트랜스포머 아키텍처'는 단어를 순서대로 읽던 기존의 한계를 깨고, 문장 전체를 동시에 처리하는 혁신을 이뤄냈습니다.
'셀프 어텐션' 메커니즘을 통해 문장 속 단어들 간의 관계를 유기적으로 파악하여 긴 문맥도 정확하게 이해할 수 있게 되었습니다.
대규모 병렬 연산이 가능해지면서 하드웨어 성능을 극한으로 끌어올렸고, 이는 대형언어모델(LLM)과 생성형 AI가 탄생하는 결정적인 뿌리가 되었습니다.
[다음 편 예고]
트랜스포머라는 완벽한 무기를 장착한 인공지능은 마침내 대중의 일상 속으로 진격합니다. 다음 편에서는 전 세계를 생성형 AI 열풍으로 몰아넣은 'ChatGPT의 등장과 LLM의 대중화' 과정에 대해 자세히 알아보겠습니다.
댓글
댓글 쓰기