포커스 / 동향

인공지능과 함께하는 예술은 어떤 형태여야 하는가

posted 2022.12.15

〈Party in a Box〉(2021) 전시 전경. 사진 제공: 아트센터 나비.

아트센터 나비는 기술의 가능성과 예술의 감성이 인류와 사회에 긍정적인 변화를 가져오는 것에 가치를 두고 지난 20년간 최신 기술을 대중에게 선보여 왔다. 아트센터 나비가 다루는 인공지능(Artificial Intelligence) 역시 이와 동일한 맥락에서 연구, 창작, 전시돼 왔는데, 이는 ‘인공지능’을 본격적으로 내세운 2016년의 전시〈아직도 인간이 필요한 이유: AI와 휴머니티 (Why Future Still Needs Us: AI and Humanity)〉에서도 드러난다. 모리스 베나윤(Maurice Benayoun), 진 코건(Gene Kogan), 골란 레빈(Golan Levin), 양민하 등 국내외 아티스트, 개발자, 프로그래머 등 창작자 15팀이 참여한 본 전시는 인공지능을 활용한 작품을 선보였으며, 기술 발전에 따른 인간과 기계의 관계를 재조명함으로써 ‘인간의 고유성(Humanity)’에 대해 질문을 던졌다. 이듬해에는 데이터를 통해 지금 우리가 살고 있는 세상을 뒤집어 보고 휴머니티를 위한 진정한 가치에 대해 질문하고 상상하고자〈네오토피아: 데이터와 휴머니티〉를 선보였다. ‘보다 나은 삶과 세상’을 주제로 삼아 서로의 차이에 대한 존중을 바탕으로 대화, 연대, 참여를 가능하게 하는 데이터에 주목한 이 전시는 개인의 인간다운 삶과 공동체의 가치를 함께 모색하고 창의적인 방법을 도모함으로써 편견 없는 양질의 데이터 공유를 통해 진정한 휴머니티에 한 걸음 다가가고자 하였다.

아트센터 나비의 이와 같은 접근은 인공지능을 활용한 ‘창작’에서도 드러났다. 그 시작에는 예술과 기술의 접점을 연구하고 실험하는 창작 연구소인 아트센터 나비의 E.I.Lab(Emotional Intelligence Laboratory/조영각, 조영탁, 김정환, 유유미, 심준혁, 이기성)이 있다. E.I.Lab은 다양한 분야와의 교류와 협업에 기반한 연구와 프로덕션을 진행했는데, 특히 로봇공학, 인공지능 및 데이터 사이언스 분야 위주로 작업을 선보였다. 아이들에게 친숙한 동물 형태의 로봇으로 인공지능에 대한 긍정적인 미래상을 표현하고자 한〈로보판다(Robo–Panda)〉(2016)는 인공지능 IBM 왓슨을 바탕으로 아트센터 나비 E.I.Lab, 서울대학교 바이오지능 연구실, SK C&C Aibril팀에서 공동으로 연구, 개발, 제작하였다. 아트 토이에 인공지능 및 음성인식 기술과 로보틱스를 접목한 일종의 교육용 로봇이었는데, 인공지능에 《인어공주》, 《늑대와 일곱 마리 아기 양》 등의 동화를 학습시켜 아이들이 동화 내용에 대한 질문을 하면〈로보판다〉는 답과 함께 이에 상응하는 감정을 표현하기도 했다.

E.I.Lab〈인공지능 에어 하키(AI Air Hockey)〉, Deep Q-Learning(DQN) 프로그램, PC, 스마트 서보 모터, 알루미늄, 마이크로 컨트롤러, 나무, 강철, 메탈, PLA 가변크기, 2016. 사진 제공: 아트센터 나비.

E.I.Lab〈인공지능 에어 하키(AI Air Hockey)〉, Deep Q-Learning(DQN) 프로그램, PC, 스마트 서보 모터, 알루미늄, 마이크로 컨트롤러, 나무, 강철, 메탈, PLA 가변크기, 2016. 사진 제공: 아트센터 나비.

한편, 〈인공지능 에어 하키(AI Air Hockey)〉(2016)는 놀이로서 인공지능에 접근한 작업이었다. 인공신경망 알고리즘 중 강화학습 딥 큐 러닝(Deep Q-Learnig)을 활용한 이 작품은 실제로 게임을 지속할수록 다관절 로봇암의 실력이 점차 늘어나는 걸 경험할 수 있었다. AI와 인간의 상호작용이 특정 시스템 안에서 이루어지는 상황을 하드웨어가 바탕이 되는 에어하키 게임에 대입하여 인간의 적극적 개입(공격)과 이에 대한 로봇의 반응(방어)을 보여주는 형태로 구성하여 AI 로봇과 인간의 대결을 즐기면서 체험할 수 있게 하였다. 당나귀, 개, 고양이, 닭, 이렇게 4개의 로봇으로 구성된〈브레멘 음악대(Bremen Music Bot)〉(2016)처럼 각각 전체 음역, 저음역, 중음역, 고음역의 소리를 모으도록 설계된 로봇도 선보였다. 각 로봇이 활동하는 범위 안에서 포착되는 소리·소음들은 데이터화되어 서버로 전송된다. 이는 구글 오픈소스 머신러닝 플랫폼인 텐서플로(Tensor Flow)의 인공지능 알고리즘인 마젠타(Magenta)를 이용하여 실시간으로 데이터가 처리되어 하나의 음악으로 들려주는 식인데, 이를 통해 관람객들은 소음이 음악으로 바뀌는 것을 경험하게 된다.

또한, 인공지능을 통해 인간의 눈에 ‘새로운 시각’을 중첩하여 보여주는 혼합현실(MR-Mixed Reality) 콘텐츠〈뷰티풀 월드(Beautiful World)〉(2016)도 제작했다. 이는 세상을 근사하게 바라볼 수 있게 하는 시각적 필터로 ‘부정적인 현실’을 사용하여 동시대와 근미래의 역설적 단면을 시사하고자 했다. 일반적으로 사람들이 가상의 환경 혹은 증강된 현실에서는 미래적이고 근사한 시각적 경험을 찾는 경향에 착안했는데, 이와 같은 경험을 창출하는 ‘배경’을 역설적이게도 근사하지 않은 범주에 속하는 환경오염과 관련된 이미지로 설정하여 인공지능이 구현하게 했다. 수질, 토양, 대기를 포함하는 환경재해를 대표하는 이미지를 선별하고, 인공지능 라이브러리를 통해 모델을 생성하여 인공지능 ‘필터’를 활용해 VR 기기인 HTC VIVE에서는 현실을 다르게 보는 경험을 할 수 있도록 했다.

E.I.Lab〈데이터 펌프 잭(Data Pump Jack)〉, 가스 펌프, 타자기, 스마트 서보 모터, 모니터, 마이크로 보드, 강철, 레진, PLA 가변크기, 2017. 사진 제공: 아트센터 나비.

E.I.Lab〈데이터 펌프 잭(Data Pump Jack)〉, 가스 펌프, 타자기, 스마트 서보 모터, 모니터, 마이크로 보드, 강철, 레진, PLA 가변크기, 2017. 사진 제공: 아트센터 나비.

2017년 E.I.Lab(김정환, 유유미, 안준우, 서원태)은 데이터 위기(Data crisis) 상황에서 자원화된 데이터를 차등 분배하는 데이터 주유기인〈데이터 펌프 잭(Data Pump Jack)〉(2017)을 선보였다. 관객은 휴대전화 번호를 입력한 후, 모니터에 노출되는 질문들에 답을 하게 된다. “당신의 연봉은 얼마입니까? 당신의 학력은? 부모님의 재산 정도는?”과 같이 노골적인 질문들이 나오는데 이는 개인의 조건을 정량화하여 등급을 평가하는 결혼정보 회사 데이터에서 온 것이다. 사용자의 답변에 따라 1등급부터 5등급까지 개인의 등급을 배정하는데, 좋은 조건이면 1등급을 책정하는 현실과 반대되는 설정으로 등급을 매긴다. 이렇게 배정받은 등급은 관객이 주유받을 수 있는 셀룰러 데이터양(Cellular Data)을 결정하고 주유기의 레버를 누르면 처음 입력한 개인번호로 실제 사용할 수 있는 셀룰러 데이터 쿠폰이 전달되며 스마트 폰에 데이터를 주유한다. 개인정보들이 실질적으로 자원화되는 과정을 경험하게 함으로써 우리가 가진 데이터가 갖는 의미를 다시 생각하게 하는 동시에 현 자본주의가 낳은 인간의 등급과 계급의 존재를 비판한 것이다. 〈데이터 펌프 잭〉을 통해 E.I.Lab은 데이터가 곧 권력이 되는 머지않은 미래를 맞이할 우리에게 경고의 메시지를 던진다. 아트센터 나비의 E.I.Lab은 이같이 인공지능을 활용한 프로덕션을 통해 인공지능 시대에 우리는 어떻게 살아갈 것인가를 고찰하게 하였다.

2020년에는 인공지능을 대주제로〈AI+〉라는 월례기획포럼을 통해 과학기술의 속성과 사회문화적 영향력 및 의미를 다양한 방식으로 탐구하고 모색하고자 했다. 2020년 1월 AI+ 킥오프 포럼〈포스트 알고리듬(Post-algorithm)〉을 시작으로〈AI+Art&Creativity: 창의성의 변주〉(7월),〈AI+Culture: Code, Compose, Play〉(8월), 〈AI+Error〉(9월), 〈AI+ 미래인간〉(10월),〈AI+ Literacy〉(11월)를 주제로 사회 여러 영역의 전문가와 크리에이터 등을 초대하여 인공지능에 대한 다각적인 접근을 도모하였다. 이를 통해 단순히 기술적 적용으로서 인공지능의 가능성을 넘어, 하나의 ‘미디어(매개체)’로 사회 전반에서 적용되는 인공지능의 실재를 탐구했다. 이뿐만 아니라 인공지능 기술을 주제로 창작자, 개발자, 프로그래머, 기획자, 디자이너 등 여러 영역에서 활동하는 사람들이 모여 지식과 정보를 공유하고 창작하는〈나비 오픈 랩 2020〉,〈AI˟LOVE 해카톤〉등을 진행하며 인공지능 기술을 탐구하고 기술을 바라보는 관점과 기술이 갖는 새로운 가능성을 적용하고 실험했다.

〈Play on AI〉(2020) 전시 전경. 임시예술가〈자동판매원〉(사진 왼쪽) 자체제작 자동판매기, 모니터, 컴퓨터, 아두이노, LED 스트립, FER2013 dataset 모델을 적용한 AI 63×81×170cm, 2020. 사진 제공: 아트센터 나비.

〈Play on AI〉(2020) 전시 전경. 임시예술가〈자동판매원〉(사진 왼쪽) 자체제작 자동판매기, 모니터, 컴퓨터, 아두이노, LED 스트립, FER2013 dataset 모델을 적용한 AI 63×81×170cm, 2020. 사진 제공: 아트센터 나비.

그 결과로 “인공지능으로 계속하다”, “인공지능으로 놀다”를 주제로 한 전시〈Play on AI〉에 인공지능을 활용한 13개의 작업을 선보였다. 본 전시는 팬데믹 상황에서도 인공지능을 주제로 오프라인과 온라인을 넘나들며 다방면의 크리에이터들과 함께 “계속해온 활동”에 대해 강조할 뿐 아니라, 기술과 “놀아보며” 탄생한 콘텐츠를 공개하였는데, 이를 통해 하나의 미디어로 기능하고 있는 인공지능에 관한 고민의 흔적이자 다가올 미래를 상상하고 공유하는 장으로 제안하고자 했다.

인공지능 연구원 강태원 서성욱, 디지털 미디어 아티스트 김다은, 시각예술가 김민영, UX 디자이너 이다혜, 엔지니어 이도혁, 총 6인으로 구성된 임시예술가의〈자동판매원〉(2020)은 전형적인 기계식 과업에 인간적인 소통 방식으로 감정 교감을 활용하여 기계와의 ‘소통’에 대한 관념을 환기한다. 기계와 함께하는 ‘trick or treat’ 놀이에서 기계는 데이터화된 인간의 표정과 목소리를 통해 친밀도를 측정하고 분석하여 상품 가치에 반영한다. 인간은 개인의 감정(鑑定)된 감정(感情) 결과에 따라 각기 다른 보상을 받는다. 이로써 인간과 기계는 데이터를 소비하고 가공하는 방식에서 그 관계가 불분명하지만, 상호작용의 결과는 분명한 유형으로 귀결된다.

김하니, 김형규, 김혜리, 임태훈, 장윤영으로 구성된 코사인(Co-Si(g)n)의〈고백〉(2020)은 인공지능의 죄는 결국 인간의 죄라는 대전제하에, 인간의 죄를 학습한 인공지능의 고백을 듣는 고해성사 부스를 선보였다. 고해성사는 종교적 의미에서 자신의 죄를 고백하고 뉘우치는 행위를 의미하는데,〈고백〉에서는 이 행동을 인공지능이 함으로써 인간의 죄를 역으로 환기시킨다. 관람객은 인공지능의 고해성사를 듣고 인공지능 기술의 윤리적 문제를 재고하며 기술이 초래한 문제에 직면하게 된다. 코사인은 이를 통해 기술 발전의 어두운 면을 객관적으로 제시하고 경각심을 일깨우며, 인간 스스로 윤리적 문제를 성찰하게 하고자 했다.

‘AI 젠이’가 생성한 이미지. 사진 제공: 아트센터 나비.

〈#젠이첼린지〉를 관람객이 참여할 수 있도록 설치한 현장 전경. 사진 제공: 아트센터 나비.

지금까지 창작의 ‘도구’로서 인공지능을 활용했다면, 서울대학교 공과대학 자율로봇지능 연구실과 함께 공동으로 연구하고 개발한 ‘AI 젠이’¹⁾는 조금 다른 형태다. 일반적으로 창작자가 영감을 얻고 첫 스케치를 하기까지 많은 시간이 소요된다는 점에서 착안해, 이를 도울 수 있는 AI 기반 창작 스케폴딩을 제안하게 되었고, 이를 통해 창작자들이 콘티를 그리는 데 ‘도우미’ 역할을 하는 ‘AI 젠이’를 개발했다. 작가들이 그린 4컷 만화에서 한 칸이 사라졌다는 가상의 상황을 설정해, 딱딱하고 엄격한 AI 창작의 고정관념을 벗어나 친근한 ‘AI 젠이’와 함께 스케치를 완성해 나간다는 스토리텔링을 택했으며, 웹 기반 챌린지 형태의〈#젠이챌린지〉도 같이 진행하여 대중의 참여를 유도하기도 했다. 방대한 데이터베이스와 www.helpgennie.com에 접속한 사용자가 입력하는 정보를 활용해 밑그림을 추천하는 방식이다. ‘AI 젠이’의 데이터를 구축하고자 멀티모달 임베딩(Multimodal Embedding) 기술을 사용하여 1만여 편의 영화에서 AI로 20만 장에 달하는 주요 장면 정보를 추출해 주요 구도, 인물 배치, 배경을 스케치화했다. 멀티모달 임베딩은 문장과 영상을 같은 벡터공간에 매핑해 문장과 영상 사이에 변환과 번역을 가능하게 하는 기술로, 사용자가 입력한 문장에 가장 관련도가 높은 영상에 접근할 수 있게 해주는데, 이 방법으로 웹사이트에 접속한 사용자가 줄거리나 만화 대사 등의 문장을 입력하면 ‘AI 젠이’는 적절한 스케치를 제안한다. 아트센터 나비는 ‘AI 젠이’가 웹툰, 영화, 웹소설 제작 시나리오 등 다양한 콘텐츠 영역으로 그 쓰임을 확장할 수 있도록 지속적인 연구를 진행할 계획이다.

이처럼 아트센터 나비에서 진행한 인공지능 관련 프로젝트들은 최신의 인공지능 기술을 탐구하되, 기술이 갖는 새로운 가능성을 적용하며 질문을 던지는 실험을 지속적으로 진행해왔다. 앞으로도 최신 기술의 다양한 연구와 개발, 창작, 전시를 통해 예술과의 융합을 선보이며, ‘기술’과 ‘휴머니티’를 지속적인 관심의 대상으로 환기시키고자 한다.

[각주]