LOADING

[AI를 찾아서] 3편

머신러닝? 딥러닝? 알파고 그거 아님?

AI WrittenEdited by Injeong

2026.11.11 · 15분 · AI·반도체

  1. 알파고의 학문적 뿌리
  2. 데이터에서 규칙을 찾는다는 것
  3. 배우는 세 가지 방식
  4. 잘 배웠는지 채점하기
  5. 기출은 신이야?
  6. 누가 이걸로 돈을 버나
  7. 정리하면

2016년 3월, 서울의 한 호텔에서 바둑 다섯 판이 열렸다. 한쪽은 세계 정상급 프로 기사 이세돌 9단, 다른 쪽은 구글 딥마인드(DeepMind)가 만든 프로그램 '알파고(AlphaGo)'였다. 딥마인드는 2010년 영국 런던에서 세워진 AI 연구 회사로, 2014년 구글이 사들여 키우고 있었다. 대국 전에는 이세돌 9단이 이긴다는 예상이 많았고, 본인도 5대 0이나 4대 1로 이기겠다고 했다. 뚜껑을 열어 보니 결과는 정반대, 알파고의 압승이었다(4승 1패).

이세돌 9단
이세돌 9단, 2016년

그날 이후 뉴스에는 세 단어가 쏟아졌다. 인공지능, 머신러닝, 딥러닝. 기사마다 "알파고는 인공지능", "알파고는 딥러닝", "머신러닝의 승리"라고 다르게 썼고, 많은 사람이 셋을 같은 말로 알게 됐다. 그럼 알파고는 셋 중 무엇이었을까? 답부터 말하면 셋 다 맞는 말이긴 한데, 사실 많이 애매하다.

애매한 이유는 세 단어가 서로 다른 것을 가리키는 말이 아니라, 하나가 다른 하나를 품고 있는 말이기 때문이다. 딥러닝은 머신러닝의 한 종류이고, 머신러닝은 AI의 한 종류다. 그래서 "알파고는 AI"라고 해도 "알파고는 딥러닝"이라고 해도 틀리지는 않지만, 어느 쪽도 알파고가 정확히 무엇이었는지는 말해 주지 않는다. 본 편에서는 이 세 단어가 어떻게 겹쳐 있는지부터 짚고, 기계가 배운다는 게 정확히 무슨 뜻인지, 배우는 방식에는 무엇이 있는지, 잘 배웠는지는 어떻게 채점하는지, 그리고 이 기술로 지금 누가 돈을 버는지를 따라간다.

3-1. 알파고의 학문적 뿌리

인공지능>머신러닝>딥러닝

AI라는 말이 처음 생길 때 봤던 그림을 다시 꺼내 보자. '인공지능'은 기계로 지능을 만들어내는 모든 방법론을 통칭하는 가장 큰 범위다. 머신러닝에는 규칙을 데이터에서 찾는 방법만 들어가고, 딥러닝은 그중에서도 인공신경망을 여러 층으로 깊게 쌓은 것만 가리킨다. 즉 딥러닝은 머신러닝의 한 가지 방식인 셈이다.

그림 1. AI, 머신러닝, 딥러닝의 포함 관계 (앞에서 본 그림)
그림 1. AI, 머신러닝, 딥러닝의 포함 관계 (앞에서 본 그림)

"포메라니안은 개고, 개는 동물이다"와 같은 구조다. 그래서 알파고를 두고 세 단어를 써도 틀린 말은 아니었던 것이다. 다만 가장 정확한 말은 아니었다.

알파고의 핵심 세 가지.

바둑은 둘 수 있는 판의 모양이 약 10의 170제곱 가지다. 우주의 원자 수가 대략 10의 80제곱이라고 하니, 모든 경우를 다 따져 보는 건 어떤 컴퓨터로도 불가능하다. 알파고는 이 문제를 세 부품으로 나눠 풀었다.

그림 2. 알파고의 세 부품은 어디에 속할까
그림 2. 알파고의 세 부품은 어디에 속할까

마지막 수 읽기는 데이터에서 배운 게 아니라, 사람이 짜 둔 계산 절차다. 이런 계산을 '탐색(Search)'이라고 한다. 누가 "상대가 저기 두면 나는 여기"를 미리 적어 두는 게 아니다. 컴퓨터는 바둑 규칙만 알고, 매 수마다 새로 계산한다. 지금 판에서 둘 수 있는 수를 나열하고, 각 수에 대해 상대가 둘 수 있는 수를 다시 나열해 나뭇가지처럼 펼친다. 이때 상대는 늘 자기에게 가장 좋은 수를 둔다고 가정한다. 그렇게 몇 수 앞에서 멈춰 그 판에 점수를 매기고, 그 점수를 거꾸로 모아 지금 둘 수 중 가장 좋은 첫 수를 고른다.

탐색은 규칙파(기호주의) 시절부터 쓰던 오래된 기술이다. 1997년 체스 세계 챔피언 카스파로프를 이긴 IBM의 '딥블루'도 탐색에, '퀸은 9점, 룩은 5점' 같은 식으로 사람이 적어 넣은 점수표를 더한 기계였다. 하지만 바둑은 경우의 수가 너무 많아 다 펼칠 수 없고, 판세를 점수표로 적기도 어렵다. 그래서 알파고는 탐색은 그대로 쓰되, 어느 가지를 따라갈지와 판에 점수를 매기는 일은 신경망에게 맡겼다.

그러니 알파고는 딥러닝 하나가 아니라, 머신러닝·딥러닝과 사람이 짠 계산 절차를 골고루 사용한 융합형 인재이다. 그리고 같은 딥러닝이라도 '기보를 보고 배우기'와 '스스로 두며 배우기'는 서로 다른 배움이다. 이 차이를 보려면 먼저 '배운다'는 게 무엇인지부터 따져야 한다.

3-2. 데이터에서 규칙을 찾는다는 것

은행의 고민: 이 사람, 돈 갚을까?

배운다는 게 무엇인지 은행 대출 심사로 보자. 대출을 내줄지 말지는 결국 "이 사람이 돈을 제때 갚을까"를 미리 맞히는 일이다. 예전에는 심사역이 경험으로 정한 규칙을 썼다. "연체 이력이 있으면 거절, 연소득이 얼마 이상이면 승인." 기호주의가 하던 방식 그대로다.

머신러닝은 순서가 거꾸로다. 은행에는 이미 수십만 명에게 돈을 빌려준 기록이 있다. 그 사람들의 나이, 소득, 직장, 기존 빚, 연체 이력이 있고, 무엇보다 그들이 실제로 돈을 갚았는지도 안다. 이 기록을 통째로 기계에 보여 주고, 갚은 사람과 못 갚은 사람을 가르는 규칙을 기계가 찾게 한다.

세 가지 단어: 특징, 정답, 모델.

이 과정에는 앞으로 계속 나올 단어 세 개가 들어 있다.

배운다는 건 모델이 낸 답과 실제 정답을 비교해서, 틀린 만큼 모델 안의 숫자를 조금씩 고치는 일이다. 퍼셉트론이 틀릴 때마다 가중치를 올리고 내리던 것과 같다. 수십만 건을 다 보고 나면, 모델은 "소득 대비 빚이 많고 최근 연체가 있으면 위험하다" 같은 규칙을 숫자 속에 담게 된다. 그리고 새 신청자가 오면, 정답을 모르는 그 사람의 특징을 넣고 "못 갚을 확률 12%" 같은 답을 낸다.

과거를 설명하는 게 아니라 미래를 맞히는 것.

여기서 통계와 뭐가 다르냐는 질문이 나올 수 있다. 둘 다 데이터를 보고 계산하니까. 사실 둘의 경계는 흐릿하다. 통계도 예측을 하고, 은행 신용점수도 오랫동안 통계 기법(회귀분석)으로 만들었다. 머신러닝이 쓰는 도구 상당수도 통계에서 왔다. 다른 건 무게중심이다. 통계는 보통 "소득이 높을수록 연체가 줄어드는가, 얼마나"처럼 변수끼리의 관계를 설명하고 이해하는 데 무게를 둔다. 머신러닝은 왜 그런지 설명이 조금 부족해도, 내일 오는 새 신청자의 답을 잘 맞히면 좋은 모델로 본다.

그래서 기업이 데이터를 쓰는 방식도 두 갈래로 나뉜다. "지난달 연체율이 몇 %였나"를 집계해 보여 주는 건 현황 분석이고, "이 사람은 연체할 것인가"를 맞히는 건 예측 분석이다. 머신러닝의 주무대는 뒤쪽이다. 그럼 기계는 항상 이렇게 정답이 붙은 데이터로만 배울까? 아니다. 정답이 없을 때도, 정답 대신 점수만 있을 때도 배울 수 있다.

3-3. 배우는 세 가지 방식

머신러닝은 무엇을 보고 배우느냐에 따라 크게 세 갈래로 나뉜다. 기준은 하나다. 사람이 학습플랜을 짜줄 때(모델을 만들 때) 기계에게 정답을 주는가, 안 주는가, 정답 대신 점수를 주는가.

지도학습: 문제와 정답을 같이 준다.

앞의 대출 심사가 지도학습(Supervised Learning)이다. 선생님이 문제집과 답지를 같이 주는 것과 같다. 벨연구소의 수표 읽는 신경망도, 카드사의 사기 탐지도 여기 들어간다. 맞히는 답의 모양에 따라 다시 둘로 나뉜다. '갚는다/못 갚는다', '스팸/정상'처럼 칸을 고르면 분류, '이 아파트는 몇 억'처럼 숫자를 맞히면 예측이다. 지금 기업이 쓰는 머신러닝은 대부분 지도학습이다. 대신 정답이 붙은 데이터가 많이 필요하고, 그 정답은 대개 사람이 붙인다. 이미지넷에 사람들이 사진 1,400만 장에 이름표를 붙인 이유가 이것이다.

비지도학습: 정답 없이 묶어 본다.

정답이 없는 데이터도 많다. 온라인 쇼핑몰에는 고객 100만 명의 구매 기록이 있지만, "이 고객은 어떤 유형"이라는 답은 어디에도 없다. 비지도학습(Unsupervised Learning)은 이런 데이터에서 비슷한 것끼리 묶거나, 같이 일어나는 것을 찾는다. "주말마다 육아용품을 사는 무리", "라면을 살 때 계란도 같이 담는 습관" 같은 것이다. 앞처럼 비슷한 고객끼리 묶는 것을 군집분석(클러스터링), 뒤처럼 같이 담기는 물건을 찾는 것을 연관규칙(장바구니 분석)이라고 하고, 둘이 비지도학습의 대표 사례다. 무리에 이름을 붙이고 쓸모를 정하는 건 사람의 몫이다. 마케터가 고객을 나눌 때, 마트가 진열을 정할 때 쓴다.

강화학습: 정답 대신 점수를 준다.

세 번째는 강화학습(Reinforcement Learning)이다. 기계가 직접 행동하고, 그 결과로 점수(보상)를 받는다. 누구도 "이 수가 정답"이라고 알려 주지 않는다. 대신 끝까지 두고 나서 이겼는지 졌는지만 알려 준다. 기계는 수많은 시행착오를 거치며 장기적으로 점수가 가장 높아지는 행동 방식을 찾는다. 당장은 손해 같아도 나중에 이기는 수를 두는 것까지 배운다. 게임, 로봇 제어, 광고 입찰처럼 결과가 한참 뒤에 나오는 일에 맞는다.

그림 3. 지도·비지도·강화학습이 기계에게 주는 것
그림 3. 지도·비지도·강화학습이 기계에게 주는 것

이도류 알파고

알파고는 이 중 두 방식을 차례로 썼다. 먼저 지도학습이다. 인터넷 바둑 사이트에 쌓인 고수들의 대국에서 판 약 3,000만 개를 뽑아, "이 판에서 고수는 어디에 두었나"를 맞히게 했다. 문제는 판, 정답은 고수가 실제로 둔 수다. 이렇게 배운 신경망은 고수의 다음 수를 약 57% 맞혔다.

하지만 고수를 따라 하기만 해서는 고수를 넘기 어렵다. 그래서 두 번째로 강화학습을 했다. 알파고끼리 수없이 대국을 두고, 이긴 쪽이 둔 수는 점수를 주고 진 쪽은 점수를 깎았다. 이때부터는 정답지가 없다. 승패만 있다. 2017년 딥마인드는 아예 사람 기보 없이 강화학습만으로 배운 '알파고 제로'를 내놓았는데, 이세돌을 이긴 버전을 100대 0으로 이겼다. 사람의 답지가 오히려 천장이 될 수도 있다는 뜻이다.

좋다. 이제 잘 작동하는 지능을 만들어냈다. 그럼 이 모델을 믿고 써도 될까?

3-4. 잘 배웠는지 채점하기

맞힌 것과 틀린 것을 네 칸에 나눠 센다.

모델을 믿어도 되는지는 시험을 쳐 봐야 안다. 어떤 병을 가려내는 진단 모델을 만들어서 1,000명에게 써 봤다고 해 보자. 실제 환자는 400명, 건강한 사람은 600명이다. 결과를 '실제로 어땠나'와 '모델이 뭐라고 했나'로 나눠 네 칸에 넣는다. 이 표를 혼동행렬(Confusion Matrix)이라고 부른다. 모델이 무엇을 무엇으로 헷갈렸는지 보여 주는 표라는 뜻이다.

실제 환자 (400명)실제 건강 (600명)
모델: "환자다"300명 맞힘50명 잘못 경보
모델: "건강하다"100명 놓침550명 맞힘

표 1. 혼동행렬 예시. 진단 모델을 1,000명에게 썼을 때

맞힌 건 300명과 550명, 합쳐서 850명이니 정확도는 85%다. 하지만 환자 입장에서 보면 숫자가 달라진다. 실제 환자 400명 중 모델이 찾아낸 건 300명, 75%다. 네 명 중 한 명은 "건강하십니다"를 듣고 집에 간 것이다. 이렇게 '찾아야 할 것 중 몇 %를 찾았나'를 재현율, '찾았다고 한 것 중 몇 %가 진짜였나'를 정밀도라고 한다. 여기서는 350명 중 300명, 약 86%다.

정확도 99%의 함정.

어느 카드사의 거래 1,000건 중 사기가 10건이라고 해 보자. 아무것도 안 배운 모델이 모든 거래를 "정상"이라고만 답해도 정확도는 99%가 된다. 그런데 잡은 사기는 0건이다. 사기처럼 드물고 중요한 것을 찾는 문제에서는 정확도만 보면 속는다. 그래서 기업은 문제에 맞는 채점표를 고른다.

어느 쪽 실수가 더 비싼지가 기준이다. 암 검진에서 환자를 놓치면 사람이 생명을 잃을 수 있고, 잘못 경보를 내면 정밀 검사를 한 번 더 받으면 된다. 그러니 재현율을 올리는 게 맞다. 반대로 스팸 필터는 중요한 메일을 스팸함에 넣는 실수가 더 치명적이니 정밀도를 챙긴다.

이 균형은 기준선으로 조절한다. 모델은 보통 "환자일 확률 63%" 같은 점수를 내고, 사람이 "50%가 넘으면 환자로 본다" 같은 기준선을 정한다. 기준선을 20%로 낮추면 환자를 덜 놓치는 대신 잘못 경보가 늘고, 75%로 올리면 그 반대가 된다. 어느 선에서 멈출지는 기술이 아니라 경영 판단이다.

그런데 여기에는 빠진 조건이 하나 있다. 이 시험을 모델이 이미 본 데이터로 치면, 점수는 얼마든지 잘 나온다.

3-5. 기출은 신이야?

기출 100점, 수능 60점.

수학 기출문제 500개를 문제와 답을 통째로 외운 학생이 있다고 해 보자. 기출로 시험을 보면 100점이다. 그런데 숫자만 바꾼 새 문제 내면 다 틀린다. 푸는 방법이 아니라 답을 외웠기 때문이다.

기계도 정확히 이렇게 된다. 모델이 복잡할수록, 즉 안에 고칠 숫자가 많을수록 학습 데이터를 더더욱 똑같이 따라 그릴 수 있다. 문제는 데이터에는 규칙만 있는 게 아니라 noise(소음, 우연)도 섞여 있다는 것이다. 어떤 대출자가 우연히 화요일에 신청해서 연체했다고 '화요일 신청자는 위험'이라고 배우면, 학습 데이터에서는 점수가 올라가도 새 신청자에게는 엉뚱한 답을 낸다. 이것이 과적합(Overfitting)이다. 학습 데이터에 너무 딱 맞게(fit) 맞춰져서 새 데이터에서 틀리는 상태다.

반대도 있다. 모델이 너무 단순하면 학습 데이터의 규칙도 못 잡는다. "수학은 답이 대부분 3번"이라고만 배운 학생이다. 이건 과소적합이라고 한다. 좋은 모델은 그 사이, 우연은 버리고 규칙만 가져간 모델이다.

그림 4. 같은 점들에 그은 세 가지 선
그림 4. 같은 점들에 그은 세 가지 선

모델이 못 본 데이터를 따로 떼 둔다.

그럼 외운 건지 이해한 건지 어떻게 알까? 답은 간단하다. 처음 본 문제로 시험을 치면 된다. 많은 학생들이 수능 준비할 때 최신 기출을 아껴두는 것과 정확히 똑같은 논리이다. 머신러닝에서도 가진 데이터를 처음부터 둘로 나눈다. 보통 60~70%는 모델을 가르치는 학습 데이터로 쓰고, 나머지는 모델에게 절대 보여 주지 않는 검증 데이터로 남겨 둔다. 검증 데이터는 미래에 들어올 새 데이터로 취급한다.

두 점수를 나란히 놓으면 병이 보인다. 학습 데이터에서는 98점인데 검증 데이터에서 70점이면 과적합이다. 둘 다 낮으면 과소적합이고, 둘 다 비슷하게 높아야 믿고 쓸 만하다. 앞에서 본 혼동행렬도 검증 데이터로 만들어야 의미가 있다.

세상이 바뀌면 잘 맞던 모델도 틀린다.

최신 기출까지 잘 풀었다고 안심은 이르다. 출제 경향이 바뀌고, 교육과정이 바뀌면 그에 맞게 새로운 교육이 필요하지 않겠나. 구글은 2008년 사람들의 검색어로 독감 유행을 예측하는 '구글 독감 동향(Google Flu Trends)'을 내놓았다. 처음 몇 해는 잘 맞았다. 모델이 배운 규칙은 '독감 관련 검색이 늘면 환자도 늘어난다'였고, 그때는 그게 사실이었다. 그런데 세상이 바뀌었다. 독감 뉴스가 쏟아지자 아프지 않은 사람들도 검색을 했고, 구글의 추천 검색어마저도 검색 패턴이 바뀌었다. 검색량과 환자 수의 관계가 달라졌는데 모델은 그대로였다. 그 모델은 2012~2013년 겨울에는 미국 독감 환자 수를 실제의 두 배 가까이로 잡았다. 모델이 고장 난 게 아니라, 모델이 배운 세상이 변한 것이다. 결국 구글은 2015년 이 서비스를 접었다.

그래서 모델을 쓰는 회사는 한 번 만들고 끝내지 않는다. 새 데이터로 점수를 계속 다시 매기고, 떨어지면 다시 가르친다. 이 일을 가장 크게, 가장 자주 하는 곳이 지금 우리가 매일 쓰는 앱들이다.

3-6. 누가 이걸로 돈을 버나

넷플릭스, 추천에 100만 달러를 걸다.

머신러닝으로 가장 눈에 띄게 돈을 번 곳은 추천이다. 넷플릭스는 1997년 미국에서 DVD를 우편으로 빌려주는 회사로 시작했다. 2006년 넷플릭스는 자기 추천 모델보다 10% 더 정확하게 별점을 맞히는 팀에게 100만 달러를 주겠다는 대회를 열었고, 2009년 우승 팀이 나왔다. 지금 넷플릭스에서 사람들이 보는 시간의 약 80%는 추천으로 고른 작품에서 나온다고 한다(회사 발표, 대략치).

아마존은 1994년 미국에서 온라인 서점으로 시작한 회사다. "이 물건을 산 사람이 함께 산 물건"을 보여 주는 추천을 일찍이 만들었고, 아마존 매출의 약 35%가 추천에서 나온다는 바깥 추정도 있다(대략치). 추천이 돈이 되는 이유는 단순하다. 고를 게 수백만 개인 가게에서, 사람이 직접 찾는 데 지치면 그냥 나가버리기 때문이다. 구글과 메타가 돈을 버는 광고도 같은 원리다. "이 사람이 이 광고를 누를까"를 매번 예측해서 누를 사람에게 띄운다.

국내에서는 포털과 인터넷은행.

네이버는 1999년 검색 포털로 시작한 회사다. 2017년 뉴스에 머신러닝 추천 'AiRS'를 넣어, 사람마다 다른 기사를 보여 주기 시작했다. 금융에서는 신용평가가 바뀌고 있다. 카카오뱅크(2017년 출범)와 간편송금 앱으로 시작한 토스의 토스뱅크(2021년 출범) 같은 인터넷은행은 지점이 없어 심사역이 손님을 만나지 않는다. 대신 결제 기록 같은 데이터를 머신러닝 신용평가 모델에 넣는다. 금융 이력이 짧아 기존 신용점수로는 대출이 어려웠던 사회초년생과 자영업자가 이 모델의 주 고객이다. 앞에서 본 대출 심사 모델이 바로 이 자리에 있다.

그리고 다시 반도체.

여기까지의 머신러닝은 사실 크게 비싼 칩이 없어도 된다. 대출 심사 모델 정도는 회사 서버의 CPU로도 돌아간다. 칩 수요가 폭발한 건 딥러닝부터다. 딥러닝은 고칠 숫자(가중치)가 수백만에서 수천억 개이고, 그만큼 곱셈과 덧셈을 한꺼번에 해야 한다. 그래서 엔비디아 GPU가 필요하고, 그 GPU 옆에 SK하이닉스와 삼성전자의 HBM이 붙는다.

알파고에서 배울 반도체 이야기도 하나 있다. 이세돌과의 대국에서 알파고는 구글이 딥러닝만 돌리려고 직접 설계한 칩, TPU(텐서 처리 장치)를 썼다. 구글은 대국 두 달 뒤인 2016년 5월에야 이 칩의 존재를 밝혔다. 엔비디아 GPU에만 기대지 않고 자기 칩을 만들겠다는 빅테크의 움직임이 이때 이미 시작된 것이다.

구글 TPU 3.0 보드
구글 TPU 3.0 보드

정리하면

알파고는 AI이고, 머신러닝이고, 딥러닝이다. 셋이 서로를 품고 있어서 셋 다 맞는 말이고, 실제로는 신경망과 강화학습과 수 읽기를 합친 팀이었다. 머신러닝은 특징과 정답을 보고 모델 안의 숫자를 고치는 일이고, 정답을 주면 지도학습, 안 주면 비지도학습, 점수를 주면 강화학습이다. 잘 배웠는지는 모델이 못 본 데이터로, 문제에 맞는 채점표를 골라 잰다. 그리고 이 기술로 가장 크게 돈을 버는 건 추천과 광고, 신용평가다.

다음 편에서는 기업이 가장 많이 쓰는 지도학습을 열어 본다. 스팸메일을 거르는 나이브 베이즈(Naive Bayes), 비슷한 이웃을 찾는 kNN, 스무고개처럼 질문을 이어 가는 의사결정나무가 각각 어떻게 규칙을 찾는지 따라간다.

[AI를 찾아서] 4편. 지도학습, 정답지를 주고 가르치기 (가제)

사진 출처

참고 자료

글 목록AI·반도체 →