머신러닝의 부상으로 컴퓨터가 데이터 속에서 스스로 규칙을 찾는 시대가 열렸지만, 1990년대 말부터 2000년대 초반까지 학계에는 여전히 풀리지 않는 거대한 숙제가 있었습니다. 컴퓨터에게 고양이 사진 수만 장을 던져주어도, 사람이 "고양이의 귀 모양, 수염의 직선 패턴을 집중적으로 분석하라"며 데이터의 특징(Feature)을 정제해 주지 않으면 인식률이 처참하게 떨어졌던 것입니다. 인간의 손길이 개입되어야만 하는 이 구조는 머신러닝의 가장 큰 한계였습니다.
많은 학자가 "컴퓨터가 스스로 데이터의 복잡한 특징까지 추출하는 것은 불가능하다"며 고개를 저을 때, 주류 학계에서 완전히 소외된 채 묵묵히 인간의 뇌를 연구하던 인물이 있었습니다. 바로 오늘날 '딥러닝의 대부'라 불리는 제프리 힌튼(Geoffrey Hinton) 교수입니다. 이번 편에서는 모두가 끝났다고 말한 '인공신경망'을 힌튼 교수가 어떻게 부활시키고 판도를 뒤흔들었는지 그 극적인 전환점을 살펴보겠습니다.
[인간의 뇌를 흉내 낸 무모한 도전, 인공신경망]
사실 인공신경망(Artificial Neural Network)은 1950년대에 이미 개념이 나온 아주 오래된 이론입니다. 인간의 뇌가 수많은 신경세포(뉴런)와 그들을 연결하는 시냅스를 통해 정보를 처리하듯, 컴퓨터도 입력층, 은닉층, 출력층이라는 인공 뉴런 망을 만들어 연결 강도(가중치)를 조절하며 학습하게 만들자는 발상이었습니다.
이론은 완벽해 보였지만 현실은 냉혹했습니다. 뉴런과 뉴런을 연결하는 층(Layer)을 두 개, 세 개 이상 깊게 쌓으면 쌓을수록 컴퓨터는 길을 잃었습니다. 데이터를 바탕으로 정답을 맞히기 위해 역방향으로 가중치를 수정해 나가는 과정에서, 신호가 앞으로 갈수록 점차 희미해져 결국 사라져버리는 '기라디언트 소실(Vanishing Gradient)' 문제가 발생한 것입니다.
층을 깊게 쌓을수록 바보가 되는 인공신경망을 보며 학계는 비웃었습니다. "인간의 뇌를 컴퓨터로 완벽히 흉내 내겠다는 건 오만한 착각"이라며 연구 자금을 회수했습니다. 그렇게 인공신경망은 두 번째 겨울의 깊은 어둠 속에 묻히는 듯했습니다.
[아무도 믿지 않을 때 발견한 돌파구: 2006년의 기적]
제가 이 시기의 연구 논문들과 비하인드 스토리를 추적하면서 가장 소름 돋았던 부분이 바로 제프리 힌튼 교수의 끈기였습니다. 그는 모두가 인공신경망을 사기 취급하며 떠날 때도 캐나다의 외딴 연구소에서 연구를 포기하지 않았습니다. 그리고 2006년, 마침내 전 세계 과학계를 뒤흔든 논문을 발표합니다.
힌튼 교수가 제안한 해결책은 의외로 단순하면서도 혁신적이었습니다. 핵심은 '사전 학습(Pre-training)'이었습니다. 층을 무작정 깊게 쌓고 한 번에 학습시키려 하니 신호가 끊겼던 것을 간파하고, 데이터를 입력하기 전에 각 층의 뉴런들이 데이터를 대략적으로 이해할 수 있도록 밑작업을 먼저 해두는 방식이었습니다. '제한된 볼츠만 머신(RBM)'이라는 수학적 모델을 활용해 데이터를 자율적으로 층층이 먼저 학습시킨 후, 전체 망을 다시 미세하게 조정(Fine-tuning)하자 거짓말처럼 깊은 신경망이 작동하기 시작했습니다.
이 연구를 기점으로 '인공신경망'이라는 단어는 더 이상 학계의 기피 단어가 아니게 되었습니다. 대신 힌튼 교수는 사람들의 해묵은 편견을 깨부수기 위해 이 기술에 완전히 새로운 매력적인 이름을 붙였습니다. 그것이 바로 우리가 지금 매일 듣고 숨 쉬듯 사용하는 '딥러닝(Deep Learning, 심층학습)'입니다.
[이름을 바꾸니 세상이 움직이다]
처음 딥러닝이라는 단어를 들었을 때 많은 사람은 그저 마케팅 용어라고 생각했습니다. 하지만 힌튼 교수의 리브랜딩은 신의 한 수였습니다. 과거 실패의 낙인이 찍혔던 '인공신경망'이라는 이름 대신 '깊게 학습한다'는 직관적인 네이밍은 젊은 천재 과학자들과 대규모 자본의 이목을 다시 집중시키는 기폭제가 되었습니다.
힌튼 교수가 증명한 진짜 가치는, 컴퓨터에게 더 이상 "고양이의 귀와 수염을 보라"고 인간이 정답을 알려줄 필요가 없어졌다는 점입니다. 딥러닝은 데이터를 입력받으면 첫 번째 층에서 점과 선을 인식하고, 두 번째 층에서 면과 형태를 인식하며, 마지막 층에서 비로소 '고양이'라는 고차원적인 특징을 기계 스스로 레이어별로 추출해 냈습니다.
인간이 수동으로 데이터를 가공하던 병목 현상이 완벽하게 깨부서진 순간이었습니다. 이제 인프라와 데이터, 그리고 알고리즘이라는 삼박자가 완벽하게 맞아떨어졌고, 딥러닝은 연구실의 모니터를 찢고 나와 현실 세계의 모든 산업을 집어삼킬 거대한 폭발을 준비하기 시작했습니다.
[핵심 요약]
초기 인공신경망은 층을 깊게 쌓을수록 연산 신호가 사라지는 '그라디언트 소실' 문제로 인해 학계에서 철저히 외면받았습니다.
2006년 제프리 힌튼 교수는 사전 학습 방식을 통해 깊은 신경망을 안정적으로 구동하는 데 성공하며 한계를 돌파했습니다.
인공신경망을 '딥러닝'으로 리브랜딩하면서 학계와 자본의 관심을 다시 이끌어냈고, 기계가 스스로 데이터의 특징을 추출하는 시대를 열었습니다.
[다음 편 예고]
이론적으로 완벽해진 딥러닝은 2012년, 전 세계 컴퓨터 비전 학자들이 모인 세계 대회에서 압도적인 성적으로 우승하며 전 세계에 거대한 시각적 충격을 선사합니다. 다음 편에서는 AI 역사의 거대한 폭발점이 된 '이미지넷 대회'의 극적인 순간을 다루어 보겠습니다.
댓글
댓글 쓰기