본문 바로가기
번역 아카이브/마노비치: 재현에서 예측으로: AI 이미지를 이론화하기

재현에서 예측으로: AI 이미지를 이론화하기(1/2)-생성형 미디어와 데이터베이스 예술

by zerovisualculture 2025. 5. 18.

레프 마노비치 Lev Manovich

이 장에서는 나는 현재 발전 단계에 있는 시각적 생성 미디어(generative media)의 몇 가지 중요한 특징과 새로운 측면을 설명하려고 한다. (일부 논점은 생성 미디어 전반에 적용될 수 있지만, 주로 이미지 생성에 초점을 맞춘다.) 나는 AI 미디어에 대한 사고 방식을 형성하는 데 있어, 디지털 미디어와 관련된 나의 이론적·예술적 작업뿐만 아니라, 2022 8월부터 약 2년 동안 미드저니와 같은 인기 AI 이미지 도구를 거의 매일 사용한 실질적 경험을 바탕으로 접근하고자 한다.

이 장에서 제시하는 AI 이미지 이론은 현대 미술사, 디지털 미디어 역사, 미디어 이론, 소프트웨어 연구 등 여러 분야의 아이디어와 관점을 종합한다. 나는 현재 AI 창작 실천과 역사적 예술 운동 사이의 유사점을 분석하며, AI 아트를 보다 넓은 미디어 창작 역사 속에 위치시켜, 기존 이미지 생성 방식과의 연속성과 차별성을 살펴볼 것이다.

용어 정의

먼저 용어를 정리해 보자. 생성 미디어(generative media), 합성 미디어(synthetic media), AI 미디어(AI media), 생성 AI(generative AI), GenAI 등은 모두 같은 개념을 가리킨다. 이들은 인공 신경망(AI 모델)으로 학습된 소프트웨어 도구를 사용하여 새로운 미디어 인공생산물(artifacts)를 생성하는 과정을 의미한다. 이러한 모델이 생성할 수 있는 내용 유형에는 이미지, 애니메이션, 영상, 노래, 음악, 텍스트, 3D 모델 및 장면, 코드, 합성 데이터 등 다양한 미디어가 포함된다.

새로운 미디어 오브젝트를 생성하는 기술은 2022년 이후 대중의 큰 주목을 받았지만, 2024년 중반 현재, 창작 산업에서 더 일반적인 AI 도구의 활용 방식은 오히려미디어 편집이다. 예를 들어, 작가는 ChatGPT나 다른 AI 언어 모델을 이용해 기사를 편집하거나 초록을 생성할 수 있고, 사진가는 포토샵의생성 채우기(generative fill)’ 도구를 사용해 이미지의 특정 영역을 다른 시각적 맥락과 어울리는 내용으로 대체할 수 있다.

이 장에서는 생성 미디어 중에서도 특히이미지를 다룬다. AI 도구로 제작된 이미지는 생성 이미지(generative images), 합성 이미지(synthetic images), AI 이미지(AI images), AI 비주얼(AI visuals) 등의 용어로도 불릴 수 있다. 한편, ‘생성적(generative)’이라는 단어 자체는 다양한 의미로 사용될 수 있다. 예를 들어, 어떤 알고리즘적 과정(반드시 생성 AI 모델을 사용할 필요 없음)을 이용해 문화적 오브젝트를 제작하는 방식이나, 컴퓨터를 사용하지 않는 규칙 기반(rule-based) 프로세스를 가리킬 수도 있다. 이러한 의미에서생성 예술(generative art)’생성 디자인(generative design)’이라는 개념이 오늘날 문화 담론과 대중 매체에서 널리 사용된다. 이 장에서 나는생성적이라는 개념을 보다 좁은 의미로 사용하며, AI 모델과 생성 AI(GenAI) 애플리케이션을 활용한 미디어 생성 및 편집 방식을 가리키는 용어로 제한할 것이다.

‘AI’ 라는 문화적 지각

‘AI’라는 단일한 기술이나 특정한 연구 프로젝트는 존재하지 않는다. 그러나 우리는 시간이 흐름에 따라 이 개념에 대한 문화적 인식이 어떻게 변화했는지, 그리고 각 시기에 ‘AI’라는 용어가 무엇을 가리켰는지를 추적할 수 있다. 지난 50년 동안, 인간만이 할 수 있다고 여겨졌던 능력이나 기술이 컴퓨터 기술을 통해 자동화될 때, 우리는 이를 ‘AI’라고 불러왔다. 그러나 이 자동화가 완전히 정착되고 매끄럽게 작동하기 시작하면, 우리는 더 이상 그것을 ‘AI’의 사례로 간주하지 않게 된다. 다시 말해, ‘AI’는 인간의 인지 능력을 자동화하는 기술과 방법론을 가리키며, 그것이 막 작동하기 시작했지만 아직 완전하지 않은 상태일 때 가장 AI답게 여겨진다. 사실, AI는 초기 컴퓨터 미디어 도구에서도 이미 등장했다. 최초의 인터랙티브 드로잉 및 디자인 시스템인 아이반 서덜랜드(Ivan Sutherland)의 스캐치패드(Sketchpad, 1961~1962)는 사용자가 그리던 사각형이나 원을 자동으로 완성하는 기능을 제공했다. , 시스템이 사용자가 무엇을 만들려고 하는지알고있었다. 이러한 넓은 의미에서 보면, 스케치패드는 이미 ‘AI’였다.

내가 처음으로 애플 II에서 실행되는 데스크톱 페인트 프로그램을 사용한 것은 1984년이었다. 마우스를 움직이면 화면에 붓질이 시뮬레이션되어 나타나는 것이 놀라운 경험이었다. 하지만 오늘날 우리는 이런 기능을 더 이상 ‘AI’라고 부르지 않는다. 또 다른 예로, 포토샵의 자동 개체 선택 기능이 있다. 이 기능은 수년 전 추가된 것으로, 넓은 의미에서 보면 AI의 일부지만, 이제는 누구도 이를 AI라고 부르지 않는다. 디지털 미디어 시스템과 도구의 역사는 이러한 ‘AI의 순간들로 가득 차 있다. 처음에는 경이롭게 받아들여지지만, 시간이 지나면 당연한 것으로 여겨지고 더 이상 ‘AI’로 인식되지 않게 되는 현상이다. (이러한 현상은 AI 역사 연구에서 ‘AI 효과((AI effect))’라고 불린다.) 오늘날창의적 AI’는 특정한 AI 모델과 기법을 의미하며, 컴퓨터가 주어진 입력을 새로운 미디어 출력으로 변환하는 최신 방법들(: 텍스트-이미지 변환 모델)을 가리킨다. 그러나 우리는 이러한 기법들이 인간의 예술적 능력을 시뮬레이션하거나 미디어 창작을 돕는 과정에서 처음 등장한 것도, 마지막이 될 것도 아니라는 점을 기억해야 한다. 나는 일정 시간이 지나면 생성 AI 기술도 당연한 것으로 받아들여져 어디에서나 존재하지만 보이지 않는 것이 될 것이라 예상한다. 그리고 새로운 형태의 컴퓨터 활용이 ‘AI’로 인식되는 또 다른 문화적 전환이 일어날 것이다.

새롭게 만들어라”: AI와 모더니즘

AI 모델은 웹에서 수집한 수조 개의 텍스트 페이지와 수십억 개의 이미지를 학습한 후, 숙련된 전문 작가, 예술가, 사진가, 일러스트레이터 수준의 새로운 텍스트와 시각적 내용을 생성할 수 있다. 이러한 AI 모델의 능력은 전통적인 알고리즘이 아닌, 수십억 개의 인공 뉴런과 그 사이의 수조 개의 연결망에 걸쳐 분산되어 있다. 다시 말해, 우리는 복잡성 측면에서 인간의 두뇌와 매우 유사한 기술을 개발한 것이다. 그리고 우리가 인간의 지적 능력과 창의성을 완전히 이해하지 못하는 것처럼, 우리가 만든 AI 기술 역시 완전히 이해되지는 않는다.

현재 세대의 생성 AI 이미지 모델과 도구, 예를 들어 미드저니와 스테이블 디퓨전은 수억 개 또는 수십억 개의 이미지와 그에 대한 텍스트 설명이 포함된 방대한 데이터셋을 학습했다. 그러나 이와는 대조적으로, 특정한 역사적 시기나 특정한 예술가 그룹에 초점을 맞춰 학습 데이터를 제한하는 방식도 흥미로운 가능성을 제시한다. 레피크 아나돌 스튜디오(Refik Anadol Studio)<Unsupervised>(2022)는 이러한 접근 방식을 활용한 AI 아트 프로젝트의 대표적인 사례다. 이 프로젝트는 뉴욕현대미술관(MoMA)의 컬렉션에 포함된 수만 점의 작품을 학습한 AI 모델을 기반으로 한다. 이 컬렉션은 인간 시각 예술사에서 가장 창의적이고 실험적인 시기였던 100년간의 모더니즘(1870~1970)을 포괄하며, 이후 수십 년 동안 이어진 중요한 예술적 탐구 사례도 포함하고 있다.

이 프로젝트는 모더니즘 예술가들이 새로운 시각 언어와 소통 방식을 창조하기 위해 끊임없이 실험하고, “새롭게 만들 것(make it new)”을 외쳤던 열정적이고 끈질긴 시도를 데이터 기반으로 재해석하고 있다는 점에서 주목할 만하다.

 

unsupervised(2022)
[그림 5.01] 레피크 아나돌 스튜디오, <Unsupervised>(2022).  생성 애니매이션에서 선택된 프레임들

               

표면적으로 보면, 모더니즘의 논리와 생성 AI 시스템의 학습 방식이 정반대처럼 보인다. 모더니즘 예술가들은 시각적 대칭, 위계적 구성, 내러티브적 요소와 같은 고전 예술의 특징들로부터 벗어나고자 했다. , 그들의 예술은 기존의 모든 것을 거부하는 것(적어도 이론적으로, 그들의 선언문에서)은 필수적인 기반이었다. 반면, AI 모델은 정반대 방식으로 학습된다. AI는 지금까지 축적된 역사적 문화와 예술을 학습하며, 마치벽이 없는 메타 박물관에서 모든 시대의 예술을 연구하는 보수적인 예술가와 같다.

그러나 예술 이론과 예술 실천은 같지 않다는 점을 기억해야 한다. 모더니즘 예술가들은 과거를 완전히 거부한 것이 아니라, 오히려 과거의 이미지와 형식을 재해석하고 차용하면서 발전했다. 예를 들어, 반 고흐는 일본 판화, 피카소는 아프리카 조각, 말레비치는 러시아 정교 아이콘에서 영감을 받았다. 따라서 그들은 당대의 지배적인고급 예술패러다임(, 사실주의 및 살롱 미술)을 거부했을 뿐, 인류 전체의 예술사를 배척한 것은 아니었다. 오히려, 모더니즘은 깊이 역사주의적(historicist) 성격을 가졌다. 모든 것을 무()에서 새롭게 발명한 것이 아니라, 과거의 특정 미학을 현대적 맥락에 맞게 변형하면서 혁신을 이룬 것이다(예를 들어, 1910년대의 기하학적 추상미술은 이미 실험심리학에서 인간의 시각 감각과 지각을 연구하는 데 사용되던 이미지들을 차용했다).(1)

AI 예술을 논할 때, 우리는 AI 시스템이 어떻게 학습하는지에만 집착해서는 안 된다. 그렇다, AI 모델은 과거 인간이 창조한 예술과 문화 유물을 학습하지만, 그것이 곧 기계적인 복제나 단순한 시뮬레이션을 의미하지는 않는다. AI가 생성하는 결과물은 종종 이전에 존재하지 않았던 새로운 문화적 산물로 볼 수 있으며, 독창적인 내용, 미학, 스타일을 포함할 수도 있다.

물론, 단순히 새로운 것(novel)이라는 사실만으로 문화적으로나 사회적으로 의미 있는 것은 아니다. 실제로창의성에 대한 여러 정의를 살펴보면, 창의성이란 단순한 참신함이 아니라 새롭고 동시에 가치 있거나 유용한 것을 창조하는 것으로 설명된다.

그러나 생성 AI가 만들어내는 방대한 결과물 중에서 얼마나 많은 비율이 실제로 더 큰 문화에서 유용하고/하거나 사회적으로 의미 있는가를 평가하는 것은 현재로서는 현실적으로 불가능하다. 우선, AI 모델이 만들어낼 수 있는 모든 내용과 미학적 가능성을 종합적으로 망라하는거대한 매트릭스를 만들고, 수백만 개의 특정한 프롬프트를 통해 이를 체계적으로 탐색하는 연구는 아직 존재하지 않는다. 대신에, 다른 모든 대중문화 영역에서 그렇듯이, 수백만의 사용자들이 반복적으로 실현하는 소수의 가능성만이 실제화되고, 그 외의 많은 가능성들은 실현되지 않은 채 롱 테일처럼 남게 될 가능성이 크다. 그러므로 방대한 AI 산출물의 잠재적 우주 중 극히 일부만이 실제로 구현되고 있다면, 그 나머지 우주 전체의 독창성이나 유용성에 대해 일반적인 판단을 내릴 수는 없다.

생성형 미디어와 데이터베이스 예술

일부 AI 예술가들은 특정 데이터셋으로 훈련된 AI 모델을 활용하여 작품을 제작한다. 예를 들어, 안나 리들러(Anna Ridler)(2), 사라 메요하스(Sarah Meyohas)(3), 레피크 아나돌(Refik Anadol)(4)은 각자의 프로젝트에서 특정한 데이터셋을 학습한 AI 모델을 사용했다. 많은 예술가, 디자이너, 건축가, 기술자들은 스테이블 디퓨전 같은 이미 대규모 데이터셋으로 학습된 공개 모델을 활용하고, 이를 자신만의 데이터로 파인튜닝(fine-tuning) 하여 작품을 제작한다.

예를 들어, 레브 페룰코프(Lev Pereulkov)(5)는 스테이블 디퓨전 2.1을 소련에서 1960년대 이후 활동한비순응주의자(non-conformist)’ 예술가들의 회화 40(에릭 불라토프, 일리야 카바코프 등)을 이용해 파인튜닝했다. 이렇게 생성된 맞춤형 AI 모델을 통해 제작된 <Artificial Experiments 1–10>(2023) 시리즈는, 원작을 단순히 반복하는 것이 아니라, 이 예술가들의 고유한 초현실적이고 기이한 의미론을 반영하면서도 새로운 의미와 시각적 개념을 창출하는 독창적인 작품이다.(6) 대신에, 모델에 의해 포착된 그들의 ‘DNA’는 새로운 의미들과 시각적 개념들을 가능하게 한다.

 

artificial experiments
[그림 5.02] 레프 페레울코프 Lev Pereulkov, <Artificial Experiments 1-10>, 2023. 인스타그램에 공유된 시리즈 10 중 세 개의 이미지들

 

현재 수백만 명의 일반 사용자 및 창작 전문가들 대부분이 생성 미디어 도구를 있는 그대로 사용하며, 파인튜닝을 별도로 수행하지는 않는다. 앞으로는 우리 자신의 데이터를 사용해 AI 모델을 미세 조정하는 기술이 더 쉽게 사용할 수 있고 더 널리 보급되면서 상황이 달라질 수도 있다. 그러나 이러한 구체적인 조건들과는 무관하게, AI 모델이 만들어내는 모든 새로운 문화적 산출물들은 공통된 논리를 지닌다.

전통적인 드로잉, 조각, 회화와 달리, 생성 미디어는 완전히 무()에서 창작되는 것이 아니다. 또한 사진, 영상, 사운드 녹음처럼 특정한 감각적 현상을 직접 포착한 결과물도 아니다. 오히려, 그것들은 이미 존재하는 방대한 미디어 아카이브를 기반으로 만들어진다. 이러한 생성 방식은 AI 미디어를 이전 예술 장르 및 창작 방식과 연결시킨다.

우리는 이를 1898년경 처음 등장한 영화 편집 기법이나, 19세기 후반에 유행했던 합성 사진(composite photography)과 비교할 수 있다. 또한, 브루스 코너(Bruce Conner)의 실험적 콜라주 영화 <A Movie>(1958), 혹은 백남준의 다수의 TV 모니터를 활용한 설치 작품처럼, 기존 미디어 요소를 조합하여 새로운 의미를 창출하는 방식과도 닮아 있다.

<Unsupervised><Artificial Experiments 1–10> 같은 프로젝트들을 이러한 미디어 창작 방식과 역사적 변형의 맥락에서 바라보는 것은, 이러한 작품들과 다른 여러 AI 예술 작품들을 단순한 기술적 신기함이나 엔터테인먼트로만 보기보다는, 과거 예술과의 대화에 참여하는 예술 오브제로 이해하는 데 도움이 될 것이다.

나는 예술, 시각 문화, 미디어의 역사를 살펴볼 때, 이 절차가 두드러지게 사용된 여러 중요한 순간과 시대를 발견할 수 있다. 이러한 순간들은 단순히 당시의 예술가들이 이 절차를 사용했기 때문에만이 아니라, 그 사용 이유가 모든 경우에서 일관되었다는 점에서 현재의 생성 미디어와 연관성이 깊다. , 대량의 문화적 산물이 축적되고 접근성이 향상됨에 따라, 예술가들은 이러한 축적물을 기반으로 새로운 형태의 예술을 창조해 왔다. 몇 가지 예를 들어보겠다.

1990년대 후반과 2000년대 초반, 넷 아트(Net Art) 및 디지털 아트 작가들은 급속도로 확장되는 월드 와이드 웹의 세계에 대응하여 여러 작품을 만들었다. 예를 들어, 히스 번팅(Health Bunting)<readme> (1998)는 작가에 대한 기사 본문을 담고 있는 웹페이지로, 각각의 단어가 해당 단어와 일치하는 기존 웹 도메인으로 연결되어 있다. 마크 네이피어(Mark Napier)<Shredder 1.0> (역시 1998)은 여러 웹사이트의 요소, 즉 이미지, 텍스트, HTML 코드, 링크 등을 결합한 역동적인 몽타주를 제시한다.

더 거슬러 올라가 보면, 쉽게 접근할 수 있는 미디어 컬렉션을 통해 역사적 예술 및 문화적 산물이 축적된 것에 대한 반응으로 나타난 광범위한 문화적 패러다임을 찾을 수 있다. 이것이 바로 "포스트모더니즘"으로 알려진 패러다임이다. 포스트모던 예술가들과 디자이너들은 브리콜라주(bricolage, 여러 요소를 조합하는 기법)를 자주 활용했으며, 과거의 예술을 인용하고 참조하는 방식으로 작품을 창작했다. 이는 모더니즘이 강조한 새로움과 과거와의 단절을 거부하는 태도였다.

1960년대에서 1980년대 사이에 포스트모던 패러다임이 등장한 이유에 대한 다양한 가능한 설명이 존재하지만, 우리의 논의와 관련이 깊은 요인은 바로 이전 시대의 예술과 미디어 유산이 구조화된 형태로 접근 가능해졌다는 점이다. 슬라이드 라이브러리, 필름 아카이브, 예술사 교과서(다양한 시대의 작품 사진을 포함한), 기타 여러 형식의 데이터베이스가 등장하면서, 서로 다른 역사적 시기, 운동, 창작자들이 한 공간에 나란히 배치되었다. 이러한 환경은 예술가들에게 참조할 수 있는 방대한 자료를 제공하며, 이들이 과거의 요소를 조합한 브리콜라주 작업을 수행하고 이를 광범위하게 인용하도록 영감을 주었다.

 

모홀리나기의 포토몽타주
[그림  5.03]  라슬로 모홀리 나기  (1928,  왼쪽 ) 과 구스타프 클루치스  (1925,  오른쪽 ) 의  1920 년대 포토몽타쥬 예

 

1910~1920년대의 예술적 모더니즘은 어떨까? 전체적으로 보면 독창성과 새로움에 초점을 맞추었지만, 이러한 새로움을 찾기 위해 발전시킨 절차 중 하나는 당시 급속도로 확장되던 동시대 시각 미디어의 방대한 세계에서 직접 인용하는 것이었다. 예를 들어, 신문은 대형 헤드라인과 사진, 지도 등을 포함하며 더욱 시각적으로 강렬한 형태로 변모했다. 또한 Vogue(1913년 창간)Time(1923년 창간) 같은 새로운 시각 중심 잡지가 등장했고, 무엇보다도 영화라는 새로운 매체가 지속적으로 발전하고 있었다.

이러한 대중문화의 시각적 강화에 대응하여, 1910년대 초반 조르주 브라크(Georges Braque)와 파블로 피카소는 실제 신문, 포스터, 벽지, 직물 조각 등을 그림에 포함시키기 시작했다. 몇 년 후, 존 하트필드(John Heartfield), 조지 그로스(George Grosz), 한나 회흐(Hannah Höch), 엘 리시츠키(El Lissitzky), 알렉산드르 로드첸코(Aleksandr Rodchenko), 라슬로 모홀리나기(László Moholy-Nagy) 등 몇몇 예술가들은 포토 콜라주(photo-collage) 기법을 발전시켰다. 포토 콜라주는 기존 대중 미디어 이미지에서 새로운 미디어 아트 작품을 창조하는 또 다른 방법이 되었다.

문화 데이터베이스를 학습한 AI 모델을 활용하는 현대 작품들, 예를 들어 <Unsupervised><Artificial Experiments 1–10>은 기존의 이미지와 미디어 축적물을 바탕으로 새로운 예술을 창조하는 오랜 전통을 계승한다. 이런 방식으로 이러한 작품들은 예술과 그 기법에 새로운 가능성을 지속적으로 열어가며, 특히 1998년부터 "데이터베이스 아트(database art)"(7)라고 불렸던 개념과 맞닿아 있다. 문화적 데이터베이스를 독해하고, 이를 통해 새로운 서사를 창출하는 새로운 방식의 도입은 이러한 확장의 일부라 할 수 있다.

그러나 <Unsupervised> 1920년대 모더니스트 예술가들처럼 기존 이미지를 조합하여 콜라주를 만들지도 않고, 1980년대 포스트모던 예술가들처럼 광범위하게 인용하지도 않는다. 대신 아나돌 스튜디오(Anadol Studio)의 구성원들은 신경망을 훈련시켜 MoMA의 수만 점의 예술작품에서 패턴을 추출하게 한다. 이 훈련된 신경망은 동일한 패턴을 공유하지만 특정한 회화를 그대로 재현하지 않는 새로운 이미지를 생성한다. 애니메이션이 진행되는 동안 우리는 이러한 패턴의 공간(, "잠재 공간(latent space)")을 여행하며 동시대 예술의 다양한 영역을 탐색하게 된다.(8)

페룰코프의 <Artificial Experiments 1–10>은 기존 이미지 데이터베이스에서 새로운 이미지를 생성하는 데 또 다른 기법을 사용한다. 그는 특정한 특징을 공유하는 40점의 회화를 선택했다. 이 작품들은 후기 공산주의 사회(1960~1980년대 소련)에서 반체제적 예술(oppositional art)로 발전했다. 또한 이 예술가들은 동일한 시각 문화 속에서 살았다. 내 기억 속에서, 이 사회는 두 가지 색으로 지배되었다. 회색(도시 생활의 단조로움을 재현하는)과 빨강(선전선동의 색)이었다.

또한, 페룰코프는 또 다른 공통점을 가진 작품들을 선택했다. 그는 "나는 일반적으로 캔버스 자체 또는 그 위의 공간과 개념적으로 연관된 작품을 선택했다. 예를 들어, 일리야 카바코프(Ilya Kabakov)<New Accordion>이라는 작품을 사진으로 얻었는데, 이 작품은 캔버스 위에 종이 오브제를 배치한 것이 특징이다"라고 설명했다.(9) 그는 또한 스테이블 디퓨전 모델의 파인튜닝을 위해 각 작품에 대한 맞춤형 텍스트 설명을 작성했다. 선택된 예술가들의 특정한 시각적 언어를 모델에 학습시키기 위해 "두꺼운 붓질", "붉은 조명", "푸른 배경", "평평한 원"과 같은 용어를 추가했다.

이러한 각 단계는 분명히 개념적이고도 미학적인 결정의 결과이다. 다시 말해, <Artificial Experiments 1-10>의 성공에서 가장 중요한 요소는 바로 이러한 데이터베이스의 구축이다. 이 작업은 (스테이블 디퓨전처럼) 수십억 개의 이미지 및 텍스트 쌍으로 훈련된 기존 신경망을 파인튜닝함으로써 예술가의 아이디어를 따르게 만들 수 있음을 보여준다. 이렇게 하면 거대한 신경망이 가진 편향과 노이즈를 극복하고 최소화할 수 있으며, 우리가 상상하는 것들이 이러한 네트워크에 의해 지배될 필요가 없다는 점을 증명한다.

재현에서 예측으로

역사적으로 인간은 다양한 방법을 사용하여 기존의 장면이나 상상 속 장면을 이미지로 표현해왔다. 수작업으로 그림을 그리는 것부터 3D 컴퓨터 그래픽(CG)에 이르기까지 여러 기술이 발전해 왔다. 그러나 AI 생성 미디어의 등장으로 근본적으로 새로운 방식이 나타났다. 컴퓨터는 기존 미디어의 방대한 데이터셋에서 패턴을 분석한 후, 학습한 패턴을 활용하여 유사한 특성을 가진 새로운 정지 이미지 및 동영상을 생성할 수 있다. 이 과정이 생성 AI 기술의 핵심을 형성한다.

현재의 시각적 생성 미디어로 이어지는 역사적 경로는 여러 가지로 해석할 수 있으며, 하나의 연대표를 서로 다른 단계로 나눌 수도 있다. 다음은 그중 하나의 가능한 흐름이다.

1.   수작업을 통한 표현 제작(: 다양한 도구를 이용한 드로잉, 조각 등).
좀 더 기계적인 작업이나 부분들이 인간 조수에 의해 수행되는 경우도 있었으며, 이들은 대개 그들의 선생의 작업실에서 훈련받았다. , 기능의 일부가 이미 위임되고 있었다.

2.   보조 장치를 활용한 수작업 제작(: 원근법 기구, 카메라 루시다 등).
손을 이용한 작업에서 손 + 기기로 확장되며, 일부 기능이 기계적, 광학적 장치에 의해 수행되기 시작했다.

3.   사진, X-ray, 비디오, 볼류메트릭 캡처, 원격 감지, 포토그래메트리.
손으로 직접 제작하는 방식에서 기계를 이용한 정보 기록 방식으로 전환. 인간 조수에서 기계 조수로의 변화.

4.   3D 컴퓨터 그래픽(CG). 당신은 컴퓨터에서 3D 모델을 정의하고, 광원, 그림자, 안개, 투명도, 질감, 심도 효과, 모션 블러 등을 시뮬레이션하는 알고리즘을 사용한다. 기록에서 시뮬레이션으로의 전환.

5.   생성 AI. 미디어 데이터셋을 이용하여 정지 이미지 및 동영상을 예측한다. 시뮬레이션에서 예측(prediction)으로의 전환.

"예측(prediction)"이라는 개념은 AI 연구자들이 시각적 생성 미디어 기술을 설명할 때 자주 사용하는 용어이다. 이 용어는 단순히 비유적이고 환기적인 방식으로 사용될 수 있지만, 이미지 생성 도구를 사용할 때 실제로 과학적으로도 이런 일이 일어난다. 텍스트-이미지 변환 AI 모델을 사용할 때, 인공 신경망은 사용자의 텍스트 입력과 가장 잘 일치하는 이미지를 예측하려고 시도한다. 물론 나는 기존의 '생성 미디어(generative media)' 같은 용어를 계속 사용하는 것이 부적절하다는 의미는 아니다. 그러나 AI 시각 미디어 합성 방식과 인간 역사 속에서 발전해온 다른 재현 방식들 사이의 차이를 더 잘 이해하고자 한다면, ‘예측이라는 개념을 활용하고 이러한 AI 시스템을예측적 미디어(predictive media)’라고 부르는 것은 그 차이를 잘 포착하는 방식이다.  (→2부에서 계속)

각주 

(1) 근대 예술과 실험 심리학 사이의 이런 관계에 대한 자세한 분석은 Vitz, P., & Glimcher, A. (1983). Modern art and modern science: The parallel analysis of vision, https://muse.jhu.edu/pub/1/article/403181/pdf 을 보라.

(2) Ridler, A. (n.d.). Anna Ridler. https://annaridler.com/

(3) Sarah Meyohas. AI Artists. https://aiartists.org/sarah-meyohas

(4) Anadol, R. Refik Anadol. https://refikanadol.com/

(5) Pereulye. Instagram. https://www.instagram.com/pereulye/

(6) Pereulkov. (2023, January 16). Artificial experiments 1–10. Instagram. https://www.instagram.com/p/CnezVZ9KHMV

(7) 나의 논문인 상징적 형식으로서의 데이터베이스’(1998)를 보라.  https://manovich.net/index.php/projects/database-as-a-symbolic-form

(8) 레피크 아나돌 스튜디오가 사용한 GAN 넷 훈련에 관한 좀 더 자세한 사항은 Creating art with generative adversarial network: Refik Anadol’s Walt Disney Concert Hall Dreams. (2022). https://medium.com/@ymingcarina/creating-art-with-generative adversarial-network-refik-anadols-wdch-dreams-159a6eac762d

(9) 페룰코프와 2023 4 16일에 나눈 개인적인 대화에서 갖고 왔다.

▶ 다음 글 보기 : 재현에서 예측으로: AI 이미지를 이론화하기(2/2)

※ 출전: Lev Manovich & Emanuele Arielli, Artificial Aesthetics: Generative AI, Art and Visual Media, https://manovich.net/index.php/projects/artificial-aesthetics , 2024 중 5장 'From Representation to Prediction: Theorizing the AI Image', pp. 75~99.