제주대학교

2022년 12월 1주차

BOOK SUMMARY

인문

국악에 기술 한 방울

저자 심영섭
출판 동락
출간 2022.09

4차 산업혁명시대에 전통음악은 어떻게 진보해야 할까?

도서요약 보기

국악에 기술 한 방울

로봇이 창작하는 시대
AI도 예술인가?
작곡하는 AI의 발달

AI는 Artificial Intelligence의 약자로 인공지능을 뜻하며, 인공지능은 인간의 지능으로 할 수 있는 행동을 모방하는 기계로, 그 시스템은 컴퓨터를 통해 실현된다. 인간의 학습지각, 추론 등의 능력을 컴퓨터에 학습시켜 인위적으로 구현한다. 연산 처리 능력과 빅데이터 처리 능력 등은 인간에 근접하게 발전하고 있으며, 그 발전 영역은 음악에도 적용되고 있다.

AI 음악은 언제부터 시작되었을까?

1955년, 미국 일리노이대학에서 레자렌 힐러(Lejaren Hiller)와 레너드 아이잭슨(Leonard Isaacson)은 llinois Advanced Computer의 약자에 해당하는 ‘일리악(ILLIAC)'이라는 컴퓨터를 만들었고, 1956년에는 16세기 작곡가들의 음악을 분석하고 수학적으로 구성하여 이를 기반으로 현악 4중주를 작곡하는 프로젝트를 진행하였다. 이때 작곡된 '현악 4중주를 위한 일리악 조곡'은 AI 음악의 기원이 된 것으로 평가받는다.

1960년에는 러시아의 자리포프(Zaripov)가 ‘Ural-1 컴퓨터를 사용한 알고리즘 음악 작곡’ 연구 결과를 발표했고, 1973년에 MIT 뮤직 스튜디오에서는 컴퓨터를 이용해 실시간 작곡이 가능한 기술을 개발했다. 1980년에는 캘리포니아대의 EMI가 장르별로 작곡이 가능한 음악 분석 시스템을 개발했고 1990년대부터는 기술 개발이 주춤했지만 2010년, AI에 관한 ‘딥 러닝(deep learning)’ 논문이 발표 되면서 음악계에서도 인공지능 음악 연구 성과가 나오기 시작했다.

AI 작곡가의 현재

이렇게 과거부터 시작된 연구와 개발을 바탕으로 최근에는 인간의 개입이 필요 없을 정도의 작품도 많이 만들어지고 있다.

미국 예일대에서 개발한 '쿨리타(Kulta)', 구글의 '마젠타(Magenta)', IBM의 '왓슨 비트(Watson Beat), 소니의 '플로우 머신(Flow Machines)' 등은 방대한 음악의 장르, 리듬, 멜로디 악기 편성 등을 학습시킨 결과 창작할 수 있게 되었다.

또한, 아이바 테크놀로지에서 개발한 '아이바(AIVA)'라는 인공지능 작곡가는 프랑스와 룩셈부르크 음악저작권협회인 SACEM이 인정한 최초의 가상 아티스트로 등록되었고 아이바가 작곡한 음악들은 게임이나 광고의 BGM으로 사용되기도 하였다.

국내에서는 2016년에 광주과학기술원(GIST)의 안창욱 교수 연구팀을 통해 한국 최초의 인공지능 작곡 프로그램 '보이드(Boid)'를 발표했다. 이 프로그램은 AI 작곡가 이봄(EvoM)이라는 이름으로 음악 활동을 하고 있으며 유튜브에만 130여 곡이 공개되었다. 가수 소녀시대의 멤버 태연의 동생으로 알려진 '하연'은 이봄이 만든 음악으로 데뷔한 것으로 주목을 받기도 했다.

인공지능은 어떻게 음악을 만들 수 있을까?

인공지능은 어떤 원리로 음악을 작곡하는 것일까? 우선, 음악을 만드는 상황을 생각해보면 악보에 음표를 그리거나 미디어로 변환해 멜로디, 리듬을 입력하는 작업 정도로 생각해볼 수 있는데, 기본적으로 인간과 인공지능의 창작 방법은 다르다.

인공지능이 음악을 인식하는 방법

컴퓨터는 모든 데이터를 숫자와 같은 기호로 인식한다. 이러한 점에서 볼 때 예술 중 컴퓨터에 이론을 학습시키기 가장 쉬운 분야는 음악일 것이다. 음악은 7음계를 바탕으로 화성학이나 대위법 같은 제한된 법칙이 있어서 정확한 숫자 기호로 표현할 수 있기 때문이다.

컴퓨터가 발명되기 전의 수학적 음악

컴퓨터가 발명되기 이전의 작곡가들은 음악의 수학적 질서에 관심을 가지고 수학을 통해 곡의 형식이나 구조를 결정하곤 했다. 만물의 근원을 '수'라고 보았던 피타고라스도 음악 안의 수학적 규칙을 발견하여 음악 이론의 첫걸음을 내딛게 했으니 음악과 수는 깊은 연관이 있다.

숫자로 인식하는 컴퓨터

우선, 인공지능이 음표를 인식하는 것은 생각보다 간단하다. 피아노의 건반을 음표로 인식하게 하려면 모든 건반을 숫자로 매핑(Mapping)한다. 매핑을 하면 어떠한 멜로디가 주어지더라도 숫자로 표현할 수 있고 어떠한 악보를 주더라도 컴퓨터는 숫자들의 나열로 인식을 한다. 다음은 악보를 매핑하고 디지털화하는 과정의 예시이다.

AI가 음악을 만드는 방법

AI가 전체 음악을 생성할 때는 어떤 과정을 거치게 될까? 앞서 설명했듯 AI는 숫자로 매핑한 음악을 학습하고 그에 따른 알고리즘을 추출하는데, 일반적으로 곡의 구조나 코드 진행이 명확한 대중음악이나 클래식 음악의 경우 다음과 같은 과정을 통해 음악을 만들 수 있다.

먼저 곡의 구조와 코드 진행 등을 설계한다. 그 다음, 어울리는 리듬을 배치하고 조합하여 멜로디를 작곡한 후 어울리는 반주를 만든다. 최종적으로는 원하는 수준의 음악이 도출되기까지 위의 과정을 계속 반복한다.

AI가 생성한 음악은?

AI가 음악을 만든 자체는 사실 기호들의 나열일 뿐이다. 위에서도 설명했듯 컴퓨터는 음악을 기호로 인식했기 때문에 AI가 음악을 생성하는 과정과 인간이 음악을 만드는 방법은 다르다.

인공지능은 먼저 기호로 나열된 음악을 악보로 만들거나 MIDI로 변환한다. 그리고 MIDI로 악 기를 배치하거나 악기로 연주 녹음하는 등의 본격적인 소리 작업을 한 후 렌더링을 한다. 이때 소리가 들쭉날쭉하기 때문에 믹싱과 마스터링을 거쳐야 한다. 믹싱과 마스터링을 자동으로 하는 기계도 있지만 AI는 소리를 듣고 판단할 수 없기 때문에 정교한 작업까지는 힘들다. 이렇게 믹싱과 마스터링 과정까지 마치면 하나의 음악이 완성된다.

AI의 음악은 창의적이라고 할 수 있을까?

현대의 작곡 인공지능 연구는 인간의 간섭 없이 AI 스스로 음악을 창작하는 방향으로 활발한 연구가 이루어지고 있다.

이러한 AI 음악은 창의적이라고 할 수 있을까? 인간의 고유 영역으로 여겼던 창작을 기계도 할 수 있다고 인정해야 하는 것일까? 필자도 처음 작곡 인공지능을 접할 땐 호의감보다는 거부감이 앞섰던 기억이 있다.

결론부터 이야기하면 인공지능의 결과물은 창작이되 그 과정은 창작이 아니다. 인간의 창작은 결과도 있지만 그 과정도 못지않게 중요하다. 창작 과정에서 창작자의 상황이나 감정, 느낌 등 창작 에 영향을 주는 요소들로 인해 그 창작물에 더 큰 의미를 부여하는 경우가 대부분이다. 단지 결과가 새롭기 때문에 창작이라는 의미를 부여하기도 하지만 인간의 창작에는 그 결과물을 위한 과정이 더 큰 의의를 갖기에 AI의 창작과는 분명히 구분된다는 것이 필자의 의견이다.

AI vs 인간
작곡가

2021년 SBS ‘세기의 대결이라는 프로그램에서 인간 작곡가와 AI 작곡가의 트로트 작곡 대결이 펼쳐졌다. AI의 트로트를 감상한 인간 작곡가는 "질까봐 조마조마하고 진다고 하더라도 할 말이 없을 정도로 너무나 훌륭한 곡이었다"라고 평했다. AI라는 존재가 인간과 협업을 할 수 있고 음악계에서 가능성을 얼마나 넓힐 수 있는지 알리는 계기였다.

연주자

창작 분야뿐 아니라 악기를 연주하는 로봇 AI도 눈에 띄게 발전하고 있다.

최근에는 미국 조지아공대 길 와인버그(Gil Weinberg) 연구팀이 개발한 연주 로봇 ’시몬(Shimon)‘이 많은 주목을 받고 있다. 마림바를 수준급으로 잘 다루는 모습을 확인할 수 있는데 사람들과 함께 연주하면서 소통하기 위해 마치 진짜 사람처럼 자신의 입, 눈썹, 머리까지 움직이며 감정 이입한 듯한 모습까지 보여준다. 단순히 빠르게 연주하는 속주만 잘하는 것이 아니라 넓은 움직임을 구현하며 음악적 표현력까지 좋다. 심지어 작사와 작곡, 노래까지 할 수 있는 만능 음악가라고 해도 손색이 없을 정도이다.

시몬은 자신만의 목소리로 노래까지 부를 수 있다. 시몬에게 수백곡을 학습시켜 딥러닝을 기반으로 한 음성 합성기를 사용해 소리를 만들어준 것이다. 실제 사람이 움직이는 것처럼 사람들과 소통하는 듯한 제스쳐나 표현력까지 가능하다.

대중음악 분야에서는 AI 작곡가가 만든 곡으로 앨범 발매를 하고, 협업을 원하는 음악가들이 점차 늘고 있다. 생각보다 음악 시장에 빨리 적용하고 있는 것이다.

이처럼 단순한 기능만을 가진 로봇이 아니라 각 분야에서 다재다능한 기술을 가진 로봇이 속속 개발되어 인간과 함께 협업을 하기도 한다.

작곡가, 연주자, 연예인 등의 가상 인물로 개발되는 과정을 보면 인간과 AI의 대결 구도로 비쳐질 수 있지만, 결국 기술은 그저 기술로 봐야 한다. 기술적인 부분에 대한 것까지 예술을 창작하는 사람들이 하기는 힘드니 기술은 기술자에게 맡기고 그 기술을 어떻게 활용해야 할지에 대한 고민을 해야 할 것이다.

AI는 인간의 경쟁자나 대체자가 아니다. 인간의 창작 과정에서 일정 부분을 도와주는 창작의 도구로 받아들여 새로운 예술 영역을 개척해 나갈 수 있기를 기대한다.

AI로 만드는 국악
전통 음악의 보존과 새로운 창조

그동안 우리 전통음악은 다른 장르와 혼합하여 재창작되거나 새롭게 작곡되어 '퓨전국악'이라는 이름으로 국악을 대중화하기 위한 새로운 시도를 해왔다.

국악의 느낌이 약하더라도 국악의 범주로 인식하는 경향이 있었지만, 점점 서양음악을 국악기로 연주하는 것인지 국악의 느낌이 들기만 하는 것인지, ’이게 과연 국악인가‘하는 의문을 가지고 논란의 대상이 되기도 했다.

전통음악에 대한 보존과 새로운 창조는 필요하다. 장르에 대한 의문이 드는 음악이 아닌 명확한 전통음악에 대한 계승과 연구, 새로운 창조를 통해 우리 음악이 지닌 가치를 보존하고 높여야 한다.

많은 국악인이 기존의 작곡 방식에서 벗어나 새로운 시도를 하면서 창작 국악이 대거 탄생했지만, 이제는 AI를 활용해 국악을 분석하고 새로운 창작을 기대할 수 있는 시점이 되었다.

현재의 작곡 AI는 대부분 클래식이나 대중음악을 중점적으로 학습, 작곡하고 있다. 앞서 설명했듯 컴퓨터는 수와 같은 기호로 인식하기 때문에 7음계를 바탕으로 하여 명확한 구조나 화성 진행이 있는 음악이 AI가 학습하기에 좋기 때문이다.

우리 전통음악은 클래식이나 대중음악과는 음악 형식과 이론이 다르기 때문에 서양 음악을 학습한 AI로 전통음악을 만들어 내기 어려우므로 국악 작곡 AI의 개발이 별도로 필요하다.

이번에는 국악 작곡 AI의 알고리즘 구성 방법과 개발 방법을 연구한 내용을 설명하고자 한다. ‘영산회상’을 중심으로 어떠한 내용을 학습시켰는지, 학습한 내용을 바탕으로 어떠한 특징과 결과물이 나타났는지 살펴보도록 하겠다.

전통음악의 대표곡 '영산회상'

‘영산회상’은 대표적인 기악 합주곡으로, ‘악학궤범’을 통한 기록으로부터 악곡 형성의 변화를 거쳐 현재까지 전승되고 있는 전통음악이다.

조선시대에는 궁중과 민간에서 활발하게 연주되었으며 현재는 국악을 전공하는 전공자들에게 가장 기본이 되는 필수 음악이다.

‘영산회상’은 악기의 편성이나 조의 구성 등에 따라 몇 가지 종류가 있다.

일반적으로 ‘현악 영산회상’은 민간의 풍류방에서 연주된 반면 ‘관악 영산회상’은 궁중에서 연주되었다. 합주와 병주, 독주 등의 다양한 편성으로 연주되기 때문에 악곡에 따라, 또는 악기 편성에 따라 각기 다른 분위기로 감상할 수 있다.

영산회상의 변천사

이 곡의 가장 오래된 악보는 세조 때의 음악을 모은 ‘대악후보’ 제6권에서 찾을 수 있다.

옛 악보를 살펴보면 석가모니의 영취산 설법을 기리기 위해 ‘영산회상불보살’이라는 일곱 자를 두 장단에 한 글자씩 붙여 노래하던 것을 알 수 있다. 이렇듯 영산회상은 원래 불교적 가사를 가진 관현악 반주의 성악곡이었다.

본래 불교음악이던 곡이 향악정재와 같은 궁중 행사에 연주되다가 17세기 후반부터 기악화되었다고 볼 수 있다. 조선 후기에 급격한 사회 변화로 인해 신분제가 몰락하고 궁중음악을 중심으로 발전한 음악이 서로 즐기는 분위기로 형성되면서 영산회상도 풍류객들에 의해 널리 연주되었다.

이 음악은 제1곡 ‘상영산’으로 시작하여 ‘중영산’, ‘세영산’ 등으로 변주가 되었고 이후 ‘가락덜이’, ‘삼현도드리’, ‘하현도드리’, ‘염불도드리’, ‘타령’, ‘군악’의 구성으로 자리 잡았다. 이 악곡의 형성과 명칭은 수백 년을 거치며 19세기 후반에 갖추어졌고, 그 전통이 오늘날까지 전승되고 있다.

이 곡은 느리게 시작하여 점점 빨라지는데, ‘영산회상불보살’이라는 일곱 글자를 부르기 위한 소박하고 단조로운 악곡이 점차 복잡한 면모를 보이고, 원곡에 다른 곡이 더해지는 등의 과정을 통해 9곡의 모음곡을 이룬 것이다.

이러한 특징만 보아도 우리 옛 선조들은 소박하고 단순한 것에서 시작하여 자연스럽고 깊이 있는 음악을 만들어냈다는 것을 알 수 있다.

영산회상 연구의 의미

‘영산회상’의 근원은 제1곡인 '상영산'이다. 불교의 가사를 노래하던 성악곡이 500여 년을 거치면서 총 9곡의 모음곡을 이루며 완성된 것이다. 오랜 역사를 가지고 있는 음악인 만큼 연구 자료로서의 가치도 매우 높다.

고악보가 많이 남아 있어 많은 학자들의 연구가 축적되어왔지만 같은 음악을 두고 다양한 해석이 있기에 좀 더 심도 깊은 연구가 필요하다. 현재의 영산회상으로 자리 잡기까지 언제부터, 누구에 의해 연주가 되었는지, 또 사회적 배경이 있었는지 등에 대한 연구부터 음악 형식, 음계, 장단 등 음악 이론적으로도 분명하게 정리해야 할 필요성이 있다. 이러한 문제에 접근하기 위해서는 무엇보다 고악보에 대한 분석적 연구가 필요할 것이다.

‘영산회상’의 음악적 특징 하나를 명확하게 정리하지 못한 상황에서 AI를 통해 심도 있는 연구와 분석을 한다면 그동안 발견하기 힘들었던 영산회상의 음계, 음정 등에서 보이는 특징적인 형식이나 표현 방법 등을 발견할 수 있을 것이다. 또한 고악보 분석을 통해 한국 전통음악 발전에도 가치 있는 일이 될 것이다.

인공지능 기술을 한국 음악 알고리즘으로 개발하고 발전시키는 일은 4차 산업혁명 시대에 변화하는 융/복합 문화 산업에 대한 전통문화의 대응과 활용으로 평가받을 기회이자 가치라 하겠다.

* * *

본 정보는 도서의 일부 내용으로만 구성되어 있으며, 보다 많은 정보와 지식은 반드시 책을 참조하셔야 합니다.