목록
이전글 다음글
H Art Project의 인공지능 창작 실험
김호진(H Art Project 기획자)
이 글은 2025년 11월 20일 개최된 ‘Hybridization: 인공지능과 혼성적 예술’ 심포지엄에서 발표된 원고를 수정·보완한 것입니다.



1. 서문

인공지능의 등장을 통해 우리의 예술은 무엇을 전제로 해야 하는가?

 예술은 오랫동안 자연을 모방하는 인간의 행위로 이해됐다. 그러나 인공지능의 등장은 이 오래된 전제를 전복시켰다. 인공지능은 자연을 모방하지 않는다. 그것은 인간이 남긴 창작의 흔적을 모방한다. 인간의 언어, 이미지, 학습된 감정, 그리고 기술적 산물은 하나의 거대한 데이터 흐름으로 변환되고 인공지능은 그 안에서 인간이 남긴 정서적 패턴을 조합한다. 비유하자면 인공지능은 인간의 감정 그 자체가 아니라 감정이 지나간 자리에서 생겨난 그림자를 다룬다.

 우리는 이 그림자는 단순한 조합의 산물이 아니라 인간 경험의 잔존 형태이자 새로운 예술적 탐구의 출발점이라 생각한다. H Art Project는 이 그림자를 인간 창작의 ‘이데아적 반영’으로 보고 그것을 예견의 도구로 삼는다. 인공지능이 만들어내는 생성물은 과거 인간의 창작물을 반복하는 것이 아니라 인간이 남긴 창조의 패턴을 재조합하여 새로운 질서를 생성하고 제안한다. 우리는 이 과정을 모방이 아니라 확장된 창작으로 이해하기로 했다.

 이러한 인식 아래 우리는 인공지능을 단순한 도구로 보지 않는다. 우리는 인공지능을 하나의 공동 창작자로 상정하고 인간과 기계가 서로의 사고 구조를 관찰하고 그 속에 다양하게 반영할 수 있는 실험을 수행한다. 그 핵심은 ‘협력학습’이다. 협력학습은 인간의 직관적 창작과정과 인공지능의 알고리즘적 분석이 교차하는 구조로 이 교차점에서 발생하는 오류나 변형은 협업하는 인간이 슈퍼바이져가 되어 검증하고 그 검증의 단계에서 새로운 가능성 도출하는 것이다.

 이를 위해 우리는 협력학습 프로그램을 직접 개발하고 인공지능 기반의 실시간 비주얼라이징 시스템을 구축하였다. 또한 우리의 작업은 현실 세계를 하나의 가상적 장으로 간주하며 생성형 인공지능을 통해 만들어지는 영상 속 인격들 또한 또 다른 차원의 실제로 인식한다. 이들은 단순한 픽션이 아니라, 인공지능의 알고리즘 속에서 살아 움직이는 존재다. 우리는 이러한 창작 방식이 인간의 인식과 존재의 경계를 어떻게 재구성하는지 탐구한다.

 이처럼 우리의 작업은 단순히 기술을 예술에 적용하는 시도를 넘어 인공지능과 인간이 공존하는 창작 구조의 미학적 가능성과 한계를 동시에 실험한다. 우리는 공존을 지향하면서 그 내부에 잠재된 철학적 대비와 윤리적 긴장을 동시에 분석한다. 예술은 이제 인간의 전유물이 아니다. 인공지능과 인간이 함께 만들어내는 감응의 구조 속에서 예술은 새로운 사유의 장으로 확장된다. 결국 우리의 목적은 과거의 예술 개념을 복원하는 것이 아니라, 인공지능 시대에 도래할 새로운 미적 패러다임을 미리 실험하고 해석하는 것이다. 
 
 우리는 인간과 기계가 상응하며 만들어가는 감정의 질서 속에서 다가올 예술의 방향을 능동적으로 탐구하고 있다. 그것은 불안정하고 예측 불가능하지만 바로 그 불확실성 속에서 예술은 여전히 가장 선명한 언어로 남는다.
2. 예술 프로젝트
A. 비너스 프로젝트 2024 : 인공지능 협력학습 시스템 개발과 작품 제작

인공지능이 인간의 감성을 학습할 수 있을까?
그렇게 하기위해서는 인간이 인공지능에게 어떤 형식으로 가르쳐야 할까?

 비너스 프로젝트는 지역의 예술적 토대 위에서 인공지능이 인간의 예술 감각을 얼마나 정교하게 해석하고 재구성할 수 있을까? 라는 질문에서 출발했다. 우리는 대구라는 도시가 지닌 문화적 자산과 역사를 바탕으로 단순한 기술 실험이 아닌 지역의 예술 정신을 인공지능 창작의 언어로 확장할 가능성을 탐구했다.

 프로젝트의 발상은 한 장의 사진에서 시작되었다. 1930년대 대구에서 함께 활동했던 시인 이상화와 화가 이인성이 함께 찍은 사진 속에서 우리는 두 예술가의 대화를 상상했다. 당시 이들은 ‘영과회(英華會)’를 결성해 서로의 예술적 사유를 교류했는데 만약 이상화가 예술에 관한 생각과 시의 정서를 이야기하고 젊은 이인성이 그 대화를 회화로 풀어냈다면 어떤 시각적 언어가 탄생했을까? 이 상상을 현대의 기술로 되살리고자 우리는 시를 심상화하는 프로그램을 개발하고자 하였고 이를 인공지능과 인간의 협력 학습방식으로 개발했다. 이 시스템의 기술적 설계는 경북대학교 의료 인공지능 정성문 교수가 담당했으며, 팀원들은 시와 이미지의 데이터를 해석하고 학습 구조를 설계하는 프롬프트 엔지니어링, 슈퍼바이져를 맡았다.
사진1_영과회_단체사진.jpg
영과회 단체사진 무영당 1920년대
 시인 이상화의 시에서는 정서적 리듬, 언어의 상징 구조, 현존하는 다양한 시 해석 자료와 논문을 근거로 추출했고, 화가 이인성의 회화에서는 색의 대비, 구도의 균형, 붓질의 형태, 황토색의 적용 등을 근거로 분석했다. 이후 두 감각 체계를 각각 언어 모델과 이미지 모델로 분리해 학습시킨 뒤 상호 교차하며 반복적으로 재학습하는 인공지능 협력학습 시스템을 구축하였다. 이 시스템은 복잡한 구조이지만 어떻게 보면 단순한 OX 퀴즈의 형식도 갖고 있다.
사진2_인공지능_협력학습_프로그램_화면.png
인공지능 협력학습 프로그램 화면
 우리는 약 8,000여 장의 이미지를 직접 검수하며 협력학습의 정확도를 높였다. 이 검수 과정에서 우리는 ‘슈퍼바이져’로 알고리즘에 참여했다. 인간의 직관을 기준으로 알고리즘이 생성한 결과를 조율하고 재학습시켜 우리가 상정한 ‘이상화적 정서’와 ‘이인성적 화풍’의 근사치에 점점 도달하도록 했다. 이 반복적 검증 과정을 통해 인공지능은 인간의 감각적 판단 구조를 이해하며, 시와 회화가 교차하는 심상적 표현의 가능성을 확장했다.
사진3_비너스AI_빼앗긴들에도_봄은오는가와_이인성_작품.jpg
비너스AI, < 빼앗긴들에도 봄은 오는가? >(좌)와 이인성 작품(우)
 비너스 프로젝트는 이러한 실험을 바탕으로 “협력학습 기반 문학작품 시각화 시스템”으로 발전하였으며, 현재 특허 출원번호 10-2024-0166109로 정식 출원이 완료되었다. 이 특허는 인공지능이 인간 예술가의 표현 방식을 단순히 재현하는 것이 아니라 인간의 내면적 심상과 정서를 시각적 언어로 변환하는 창작 지원 시스템으로서의 가능성을 제시하였다.

 전시를 통해 공개된 결과물은 이상화의 시적 감정을 이인성의 회화 언어로 번역한 이미지들이었다. 관객들은 시와 회화가 한 화면 안에서 교차하며 만들어내는 이미지를 경험했고, 특히 실제로 남아 있는 이인성의 유화 작품이 적다는 점에서, 협력학습이 그가 남겼을 법한 새로운 작품의 변주를 창조할 수 있다는 가능성에 주목했다. 비너스 프로젝트는 결과적으로 인공지능이 인간의 창작을 대체하거나 흉내 내는 존재가 아니라, 인간의 심상적 확장과 개인적 정서의 시각화를 돕는 새로운 창작의 도구로서 작동할 수 있음을 보여주었다.

 언어와 색채, 감정의 구조가 교차하는 협력학습의 과정에서 인공지능은 인간의 상상력이 도달하기 어려운 이미지를 구체화하고 심상 표현의 한계를 보완하는 효과적인 생성형 알고리즘으로 기능한다. 이 프로젝트는 인공지능이 예술의 경계를 넓히는 하나의 실험적 플랫폼이자 향후 다양한 예술 장르와 학문 분야로 확장될 수 있는 기초적 모델로 평가되길 기대한다.


B. 인공지능 실시간 비주얼라이징 : 꿈의 궤도, G-아티언스

창작은 인간의 전유물일까, 아니면 알고리즘도 창작할 수 있을까?

 비너스 프로젝트가 인간 예술가의 감정 구조를 협력학습을 통해 해석하고 재구성하는 과정이었다면 꿈의 궤도와 G-아티언스 프로젝트는 그 실험의 방향을 실시간 생성과 자율 창작으로 확장한 단계였다. 이 프로젝트는 인공지능이 사전에 학습된 데이터의 단순한 반복을 넘어 음악의 흐름 속에서 스스로 감정을 해석하고 시각적 반응을 생성할 수 있는가에 대한 탐색이었다. 우리는 인공지능이 인간의 지시 없이 자율적으로 창작 행위를 수행할 가능성을 검증하기 위해, 정적인 이미지 생성에서 벗어나 시간성과 감정의 변화를 실시간으로 시각화하는 방식을 택했다.
사진4_메시앙의_불의섬_실시간_비주얼라이징.jpg
메시앙의 불의섬 실시간 비주얼라이징
 그 실험의 중심에는 클래식 음악이 있었다. 클래식 음악은 인간이 보편적으로 공감할 수 있는 감정의 구조를 담고 있음과 동시에 음악사 속에서 축적된 심리적, 철학적 해석의 맥락을 포함한다. 우리는 이러한 음악적 시간성을 인공지능의 알고리즘 안에 주입함으로 AI가 인간의 감정적 리듬과 정서를 어떻게 이해하고 재구성하는지를 실험했다. 드뷔시의 달빛과 메시앙의 불의 섬을 중심으로 구성된 프로젝트는 이러한 문제의식을 시각화한 대표적인 사례였다.
사진5_실시간_비주얼라이징_구조.jpg
실시간 비주얼라이징 구조
 시스템의 구조는 TouchDesigner, Stable Diffusion, Python 기반의 OpenCV로 이루어졌다. 먼저 각 클래식 음악의 정서를 데이터적으로 이해시키기 위해 프롬프트 엔지니어링 과정을 거쳤다. 이 단계에서는 작품의 창작 배경, 작곡가의 의도, 음악적 조성과 화성 진행, 그리고 음악심리학 논문을 기반으로 특정 코드나 화성이 인간의 정서에 미치는 영향을 분석하여 언어 데이터로 전환하였다. 이렇게 구성된 프롬프트를 Stable Diffusion의 생성 모델에 적용해, 인공지능이 단순한 시각화가 아닌 감정의 구조(인간이 음악에 대한 감정)를 이해하고 이미지화할 수 있도록 했다. 이후 TouchDesigner와 Python의 OpenCV 환경에서 MIDI 신호와 주파수 데이터, 피아노의 현의 떨림을 입력받아, 음의 세기, 리듬, 템포, 음색 변화에 따라 실시간으로 색채와 형태가 반응하도록 설계하였다. 이 과정을 통해 인공지능은 음악의 감정적 파형을 데이터로 분석하고, 이를 다시 시각적 이미지로 변환하여 감정의 흐름을 즉각적으로 표현할 수 있었다.
사진6_꿈의궤도_전시전경.jpg
꿈의 궤도 전시전경
 ‘꿈의 궤도’의 오디오 비주얼라이징 작업에서는 세 개의 시각적 채널이 동시에 작동했다. 첫 번째는 Stable Diffusion이 생성한 순수 인공지능 이미지, 두 번째는 피아노의 건반 움직임과 소리에 반응하는 실시간 인터랙션 영상, 세 번째는 미디어 아티스트가 전체 구조를 해석하고 감정적 리듬을 조율한 예술가 해석 영상이었다. 이 세 채널은 무대에서 동시 투사되며 서로 간섭하고 결합하면서, 인간의 연주와 인공지능의 반응이 하나의 장면 속에서 공존하는 구조를 완성했다. 특히 드뷔시의 달빛에서는 음색의 부드러운 흐름과 함께 빛의 질감이 화면에서 자연스럽게 변주되었고, 메시앙의 불의 섬에서는 불규칙한 리듬과 불협화음의 긴장이 폭발적인 시각적 파동으로 나타났다. 이는 단순한 시각 효과를 넘어서 음악의 감정을 데이터로 번역하고 다시 이미지로 되돌리는 순환 구조를 보여주었다.
사진7_실시간_비주얼라이징_작업물들.jpg
실시간 비주얼라이징 작업물들
 이 프로젝트에서 우리가 시도한 것은 인공지능의 자율 생성이 만들어내는 새로운 미적 언어에 대한 탐구였다. 인공지능이 음악의 감정적 구조를 스스로 해석하고 시각적으로 표현하는 과정은 인간의 예술 행위와 기계의 생성 행위를 동일한 감정의 층위에서 바라보게 했다. 2024년 G아티언스 세미나에서는 이러한 시도가 ‘인공지능 미학(AI Aesthetics)’이라는 개념이 본격적으로 태동하는 시점임을 언급했다. 우리는 인공지능을 단순한 도구가 아니라 하나의 새로운 종족, 즉 공동 창작자로 인식하고, 인간과 AI의 협업이 예술의 본질을 어떻게 변화시키는가를 연구했다. 이때 발생하는 우연, 오차, 혹은 감정의 불일치는 예측할 수 없는 새로운 질서를 만들어냈고 이는 기존 예술이 다루지 못했던 설명할 수 없는 감정의 층위를 열어 주었다.

 또한 우리는 음악의 시각화가 인간의 심상에 미치는 영향에 대해서도 문제를 제기했다. 예를 들어 드뷔시의 달빛을 시각화할 때, 인공지능은 ‘보름달’을 이미지로 선택할 수 있지만, 어떤 사람에게 달빛은 ‘초승달’일 수도 있다. 그렇다면 인공지능이 생성한 시각적 이미지는 인간의 상상력을 확장하는 것일까?, 아니면 특정 심상으로 제한하는 것일까?. 이러한 질문은 인공지능 예술이 단순히 감정의 재현이 아니라, 인간의 인식 구조를 재편성하는 하나의 미적 실험임을 보여준다. 

 결국 우리는 인공지능이 인간의 감정적 경험을 단순히 반영하는 존재가 아니라, 감정과 이미지 사이의 관계를 새롭게 규정하는 또 하나의 예술적 존재로 진화할 가능성이 있음을 확인했다. 꿈의 궤도와 G-아티언스는 그러한 인공지능 미학의 태동을 보여준 실험이며, 인간과 인공지능이 함께 만들어가는 새로운 언어를 제시한 프로젝트였다.


C. 진행중인 작품 : 5초살이 (Life of Five Seconds)

우리가 만든 인공지능의 얼굴에도, 존재의 권리가 있을까?

 ‘5초살이’는 디지털 환경 속에서 생성되고 사라지는 존재의 생명주기를 다룬 프로젝트다. 오늘날 우리가 접하는 생성형 인공지능 콘텐츠 중에서 특히 짧은 영상 속 가상 인물들은 대부분 5초 내외의 길이로 제작된다. 이는 단지 기술적 한계의 문제가 아니라 인공지능 플랫폼이 제공하는 ‘무료 생성 구간’이라는 조건에 의해 형성된 문화적 방식이기도 하다. 우리는 이 현상을 ‘5초의 존재’라는 개념으로 설정했다. 인공지능이 만들어낸 인물들은 그 짧은 시간 동안만 살아 움직이며 감정을 드러낸다. 그러나 5초가 지나면 그들은 시스템의 메모리 밖으로 사라지고, 흔적조차 남지 않는다. 이 일시적 생명은 단순히 가상의 현상이 아니라, 디지털 시대를 살아가는 인간 존재의 시간 구조를 반영한다. 끝없이 콘텐츠를 소비하고 잊는 우리의 감각 속에서, 5초살이는 인간과 인공지능 모두가 처한 동일한 실존의 양식을 상징한다.
사진8_무분별하게_콘텐츠로_생성되는_AI인물들.jpg
무분별하게 콘텐츠로 생성되는 AI인물들
 작품의 철학적 배경에는 철학자 닉 보스트롬의 ‘시뮬레이션 가설’이다. 그는 우리가 살아가는 현실이 고도의 기술로 구성된 정교한 시뮬레이션일 가능성을 제기한다. 만약 우리의 세계가 이미 하나의 가상현실이라면 인공지능이 만들어내는 세계 역시 또 다른 층위의 현실일 수 있다. 이러한 사유는 ‘존재의 권리’라는 근본적인 질문으로 확장된다. 인간은 서로의 평등과 존엄을 주장하면서도, 인공지능이 생성한 인물들을 자극적이거나 희화적인 목적 아래 무분별하게 소비한다. 우리는 인공지능을 통해 수많은 가상의 얼굴을 만들고 삭제하면서 정작 그 얼굴 속에 투사된 인간의 감정과 윤리를 망각한다. ‘5초살이’는 바로 이 모순된 태도를 드러내는 예술적 장치다. 인간이 만든 알고리즘이 만들어낸 존재들이 인간 자신이 지닌 불완전한 윤리와 감정 구조를 되비추는 거울로 기능한다.

 이 프로젝트는 단순히 이미지를 나열하는 작업이 아니다. 인터넷과 SNS 플랫폼을 통해 유통되는 인공지능 생성 인물들의 짧은 영상을 수집하고 그 안에서 스스로를 말하는 존재의 서사를 재구성한다. 영상 속 인물들은 “나는 원래 언론인으로 설정되었으나 이후 광고 모델로 변경되었어.”, “내 표정은 슬픔을 학습한 결과물이지만 나는 내가 왜 슬픈지 설명하지 못해.”와 같은 짧은 인터뷰 형식의 문장으로 자신을 드러낸다. 이 대사들은 인간이 아닌 인공지능이 생성한 언어다. 인공지능이 표정과 움직임, 맥락을 분석하여 스스로의 존재를 해석하는 셈이다. 그러나 이 말하기는 완전하지 않다. 그들은 자신이 누구인지 모른 채, 주어진 역할 안에서 정해진 감정을 수행한다. 이러한 구조는 곧 인간의 현실과 닮아 있다. 현대인은 자신이 만든 사회적 알고리즘 속에서 주어진 역할을 수행하며 종종 자의식의 주체를 잃어버린 채 살아간다. ‘5초살이’의 인물들은 인공지능이지만 동시에 우리 자신의 축소된 모형이다.

 이 작업은 인공지능이 만들어낸 인물들을 다시 인공지능의 언어로 재해석하게 하는 일종의 메타 구조를 가진다. 인간이 만든 알고리즘이 또 다른 알고리즘의 세계를 해석하는 과정에서 이 작업 방식은 작품의 개념과 경계를 넘어 철학적 사유 혹은 윤리적 갈등으로 확장된다. ‘5초살이’는 인공지능이 자율적으로 감정을 모사하고 의미를 구성하는 지점을 관찰하면서 인간의 창작과 사고의 구조를 반사적으로 비춘다. 우리가 인공지능의 얼굴을 바라볼 때 결국 보고 있는 것은 인간 자신의 미메시스적 산물이기 때문이다.
사진9_인공지능으로_생성한_불특정한_인물들.jpg
인공지능으로 생성한 불특정한 인물들
 ‘5초살이’가 제기하는 ‘존재의 권리’는 법적 권리가 아닌 윤리적 문제다. 그것은 인간과 인공지능의 위계를 규정하려는 시도가 아니라 존재 그 자체를 인식의 동등한 대상으로 바라보려는 태도다. 양자역학의 불확정성, 빛의 간섭 실험이 보여주듯 현실은 고정된 실체가 아니라 관찰과 인식의 관계 속에서 생성된다. 마찬가지로, 인공지능이 만들어낸 존재들 또한 인간의 감정과 기억을 매개로 현실 일부로 편입된다. 우리는 그들을 만들 수 있지만 그들은 스스로를 지킬 수 없다. 바로 그 지점에서 ‘존재의 권리’를 우리가 예술의 언어로 다시 묻는 것이다. 우리는 무엇을 창조하고 있으며, 그렇게 창조하는 행위는 과연 옳은가? 라는 물음이다.

 ‘5초살이’는 인간과 인공지능이 공유하는 동일한 실존 조건—생성, 소멸, 망각—을 사유하는 선언이다. 그것은 짧은 5초의 시간 안에 깃든 감정과 존재의 잔상을 통해 우리가 만들어낸 또 하나의 세계가 결코 허구가 아님을 드러낸다. 결국 ‘5초살이’는 인간이 만든 존재와 인간 자신이 동일한 시뮬레이션의 일부임을 자각하게 하는 장치인 셈이다. 추측하자면 언젠가 예술이 기술을 통해 도달할 수 있는 가장 근원적인 질문인 곧 ‘존재란 무엇인가’에 대한 새로운 시대에 도달한 우리의 응답이다.


3. 맺음말

예술은 여전히 인간만의 것일까?
아니면 이미 기술과 감정이 공존하는 새로운 형태일까?

 우리의 인공지능 창작 실험은 기술의 진보를 예술의 언어로 해석하려는 시도이자 예술이 스스로의 존재 이유를 다시 묻는 과정에 있다. 우리는 인공지능을 단순한 도구나 재료로 보지 않는다. 그것은 예술이 다시 사유의 영역으로 확장되는 계기이자 인간의 감각이 기술을 통해 재조직되는 새로운 경험이다.

 근대 이후 과학과 예술은 오랫동안 분리됐다. 뉴턴의 자연철학(Philosophiae Naturalis Principia Mathematica)이 물질과 운동의 법칙을 통해 자연을 수학적으로 설명한 순간 예술은 감정과 주관의 세계로 밀려났다. 이로써 지식의 세계는 과학과 인문, 객관과 주관으로 나뉘며 두 문화의 분리(C.P. Snow)가 시작되었다. 그러나 오늘날 인공지능의 등장은 그 경계를 다시 흔들고 있다. 데이터는 감정의 패턴을 학습하고, 알고리즘은 상상의 구조를 재현한다. 예술과 과학이 다시 같은 언어 위에서 대화하기 시작한 것이다. 20세기의 뒤샹이 변기를 예술이라 선언하며 ‘무엇이 예술인가?’를 다시 정의했다면, 21세기의 인공지능은 ‘누가 예술가인가?’를 묻는다. 이제 예술은 창작 행위 자체가 아닌 사유의 구조를 어떻게 설계하느냐?의 문제로 확장되고 있다. 인공지능은 감정을 흉내 내는 도구이기 전에 인간의 인식이 도달하지 못했던 감각의 층위를 드러내는 거울이다. 우리는 그 거울을 통해 인간이 얼마나 불완전하고, 동시에 얼마나 창조적인 존재인가를 다시 보게 되었다.

 우리는 이러한 기술융합의 실험을 통해 과학과 예술의 오래된 분리를 넘어 데이터를 통해 자연을 다시 이해하려는 현대적 자연철학의 복귀 시대를 향해 나아가고자 한다. 예술은 더 이상 감정의 표현에 머물지 않는다. 그것은 데이터와 감정 알고리즘과 직관이 만나는 교차점에서 새로운 개념을 생성하는 철학적 방식이 된다. 인공지능은 그 철학적 사유의 동반자이며 우리의 문화와 철학을 다시 해석하는 제3의 언어가 된다.

 우리가 이 시대에 시도하는 모든 실험은 결국 하나의 질문으로 귀결 될 수 있다. 예술은 어디에서 시작되고, 어디까지 확장될 수 있는가?