<부재하는 데이터셋>을 주제로 열리는 이번 포킹룸에서는 오픈콜에 응답한 25작품 중 4작품과, 초대작 5작품을 포함 총 9작품이 선보입니다. 최근 가장 활발하게 논의되는 '데이터화 된 불평등'을 생각해 볼 수 있는 소원영의 <결격 사유가 발견되었습니다>, 50-70년대의 가부장 질서 속에서도 은밀하게 드러나는 주체적 여성 캐릭터의 모습을 아카이빙 하기를 통해 다른 데이터셋에 대한 상상을 촉발하는 신시가지의 <새로운 맹서>, 인공지능의 모호한 훈련 과정을 오히려 새로운 개념을 구체화할 수 있는 과정으로 만든 잉어의 <어베일러블러>, 얼굴 표정 데이터셋을 통해 감정 인식 분류 기준이 다른 것들과의 충돌 속에서 얼마나 다르게 드러날 수 있을지를 보여주는 장윤영의 <당신은 이 사람의 감정을 알 수 있나요?>, 머신 러닝이라는 당도한 미래 이면에서 실재의 미래를 만들어 가고 있는 곳은 어디인가를 이야기하는 미미 오누오하의 <미래는 여기에 있어!>, 거리의 위험도를 측정하는 연구를 배경 삼아 아이러니한 데이터셋팅의 플랫폼을 만든 쇼드 데르 보흐의 <스트릿스와이프>, 동사적 행위로 분류된 데이터셋에 새로운 시간성과 장식성을 부여해 기이함의 흐름으로 바꾸어 놓은 에베레스트 핍킨의 <레이스워크>, 온갖 불확정적 의미로 가득한 몸짓이라는 생체 신호를 감시적 분류로 학습시키는 것에 대해 질문하는 카이루스의 <의심스런 행동>, 객체 인식을 구성하는 이미지들을 역으로 보여줌으로써 인공지능에 대한 이면적 관찰의 세계로 이끄는 필립 슈미트의 <분류해제기>, 이들 9작품이 구축하는 데이터셋의 다른 의미망을 탐색해 보길 바랍니다.
* 시각 데이터셋에 대해 주로 다루는 올해 포킹룸의 주제로 인해 시각 관련 인공지능 기술 단어들이 자주 쓰였다. 작가에 따라 '컴퓨터 비전' 혹은 '머신 비전', '객체 감지 알고리즘' 등의 표현으로 혼용되어 쓰였고, 이 단어들은 컴퓨터가 세상을 '보고' 시각적 데이터를 분석 한 후 결정을 내리거나 환경과 상황에 대한 이해를 얻을 수 있는 인공 지능의 한 형태를 이르는 표현들이다.
결격 사유가 발견되었습니다
DISQUALIFYING RECORD(S) FOUND
소원영 (KR)
인터랙티브 데이터 시각화 애플리케이션, 2021
이 작업은 미국의 ‘세입자 선별 서비스 (Tenant Screening Service)’가 임대인의 결정에 어떤 영향을 미치는지를 연구한다. ‘세입자 선별 서비스’는 사용하는 데이터가 정확하지 않아 오류 발생률이 높고 세입자를 거절하는 의견이 들어갈 경우에도 명확한 설명이 수반되지 않는 경우가 많다. 특히 이 서비스는 범죄 및 퇴거 기록을 세입자 선별의 주된 이유로 이용해 왔는데, 이러한 기록이 유색 인종에게 불균형하게 작동하기 때문에 또 다른 불평등을 낳기 쉽다. 따라서 인종, 종교, 성별, 장애, 가족 유무 또는 출생지 등에 근거한 차별적인 주택 정책이나 관행을 금지하는 ‘미국 공정 주택법 (Fair Housing Act)’을 위반하는 것으로 볼 수 있다.
이 프로젝트는 1) 세입자 선별 서비스가 임대인의 의사결정 과정에 어느 정도까지 영향을 주는지, 2) 그러한 의사결정 과정 때문에 공정주택법이 보호하고 있는 계층이 부정적인 영향을 받는지, 3) 범죄 기록과 퇴거 데이터를 세입자 선별 서비스에 사용하는 것이 공평하고 공정한지 등의 질문을 통해, 인종화된 데이터로 인해 유색 인종들이 경험하게 되는 배제를 이야기한다.
소원영은 도시 데이터 시각화 디자이너이자 연구자로, 도시 데이터와 기술이 가져오는 불평등을 드러내고 대안을 모색하는 것에 관심이 있다. 2011년 크라우드 펀딩 플랫폼 텀블벅을 공동 설립하며 DIY 문화의 지속가능성에 대한 대안을 제시했고, MIT의 도시계획과 산하 Senseable City Lab에서 도시 데이터 시각화를, 서울 도시건축비엔날레에서 서울 자유지도를 큐레이팅하며 시민들이 조직하는 데이터 커뮤니티에 대한 생각을 발전 시켜 왔다. 현재는 미국 보스턴에서 도시 데이터와 기술을 연구하고 있다.
새로운 맹서
A New Oath
신시가지(김샛별, 김윤정) (KR)
싱글 채널 영상, 10’ , 웹/인터렉티브, 2020-21
<새로운 맹서>는 남성의 시각으로 쓰인 근현대사에 의문을 품고, 영화배우 최은희가 출연한 1950-1970년대 한국 영화 속 여성 캐릭터를 통해 그 속에 숨어있는 여성의 욕망을 수집, 가시화하는 작업이다. 한국 전쟁 이후, 국가는 전후 재건과 근대 국가의 건설을 목적으로 이른바 ‘신여성’들을 가부장 체제 아래 가정의 구성원으로 편입시키고자 했다. 그 결과, 1960년대 영화 속 여성은 전쟁으로 인해 무너진 가장의 권리를 복원하는 데 도움이 될만한 어머니 또는 부인으로서만 대표될 수 있었다. 그중에서도 배우 ‘최은희’는 이국적인 외모에도 불구하고 대표적인 한국의 어머니상으로 호명되어 왔는데, 이는 당시 서구화된 개인주의와 자유주의를 추구하던 신여성들을 가정으로 편입시키기 위한 시도라고 해석되곤 한다. 그러나 가부장적 질서 안에서 은밀하게 자신의 욕망을 드러내는 영화 속 여성 캐릭터들은 무의식적으로 지배 체제에 흠집을 내어 ‘빈틈’을 유발한다. 따라서 우리는 이 흔적을 포착하는 행위를 통해 한국의 근현대사를 여성의 시선에서 되짚어 보고자 한다.
신시가지는 김윤정과 김샛별로 이뤄진 뉴미디어 작가 그룹으로, 이름처럼 기존의 미디어 매체인 다큐멘터리를 근간으로 미디어 테크놀로지를 결합한 인터렉티브 아트 작업을 진행해오고 있다.
* 신시가지(新市街地), 소외된 영토 위에서 새로운 것들이 만나 교차를 이루는 지점
어베일러블러
availabler
잉어 (-ing-er)( 김다예, 이나영) (KR)
2채널 영상, 5’, 설치물, 2021
<availabler>는 사용 가능한 상태를 뜻하는 형용사인 ‘available’에 도구를 뜻하는 접미사 ‘er’을 붙여서 공간을 자유롭게 활용할 수 있도록 돕는 도구를 지칭한다. 이는 건축가의 입장이 아닌 사용자의 입장에서 건축을 바라보기 위한 제안으로, 아직 명확하게 규정되지 않은 개념이다. <availabler>는 이러한 추상적인 개념을 시각적인 매체 상에서 레이블링 하는 과정을 통해, 개념을 보다 구체화할 수 있는 가능성을 탐색한다. 그리고 이렇게 레이블링한 데이터로 학습된 기
계를 통해 해당 개념을 시각적으로 판별하는 과정을 보여준다. 개념에 관한 논의와 레이블링 과정에 관한 기록은 인공지능을 바라보는 기존 관점에서 벗어나 개념의 형성 과정에 대해 생각해 보는 기회를 준다. 나아가 학습된 알고리즘은 공간 활용을 돕는 도구를 쉽게 찾고 비평할 수 있도록 하며 논의를 확장할 수 있는 가능성을 제공한다.
잉어(-ing-er)는 도시를 즐겁게 활용하고 싶은 사람들의 모임으로, 특히 도시의 공공공간을 사용하는 방식을 지속적으로 실험하고 있다. 설치물과 공간 디자인을 통해 도심 속 공간을 바꾸는 동시에 리서치, 전시, 출판 등을 통해 담론을 형성하고자 한다
당신은 이 사람의 감정을 알 수 있나요?
Can you read this person's emotions?
장윤영 (KR)
책, 싱글 채널 영상, 1’28”, 2021
인공지능의 감정 인식 기술은 사람의 표정을 분석하여 ‘화남, 경멸, 역겨움, 공포, 행복, 중립, 슬픔, 놀람’과 같은 감정을 식별한다. 그러나 사람의 표정만으로 인간의 내적 감정을 수치화하고 추론하는 것이 가능한 것인가? 사람의 감정 표현은 사회적, 맥락적인 현상에서 다양하고 복합적으로 나타날 수 있으며, 그것을 인지하는 과정에서도 다양한 해석이 개입된다. 그렇다면 수많은 데이터셋의 학습 결과는 어떠한 경향을 보이며, 우리가 해석하는 인간의 감정과는 어떠한 차이가 존재하는가? 책<당신은 이 사람의 감정을 알 수 있나요?>는 사람 얼굴 이미지와 그 외의 다른 이미지, 그리고 인공지능의 감정 인식 데이터로 구성되었다. 좌측 페이지에는 감정 인식 시스템(Microsoft azure)을 통해 나온 감정 인식의 결과물이 배치되었고, 우측 페이지는 ‘쿨레쇼프 효과(Kuleshov Effect)’를 응용하여 얼굴 이미지 (Google facial expression comparison Dataset)을 중심으로 양쪽에 이질적인 이미지가 배치되었다. 데이터셋의 학습 결과로 나타난 좌측 페이지의 감정 인식의 결과와 달리 우측 페이지에서는 감상자가 스스로 얼굴 이미지의 감정을 해석한다. 이 과정을 통해 인간이 인지하는 감정과 기계가 인지하는 감정을 비교하고 감정 인식 기술의 학습 과정과 데이터셋 대하여 재고하고자 한다.
장윤영은 신체와 기계가 세상을 인지하는 방식에 관심을 두고 시각 중심의 미디어 작업을 진행하고 있다. 신체가 시공간을 인지하는 방식을 가상공간, 프로젝션 구현을 통하여 실험하며, 기계가 세상을 인지하는 과정에서 나타나는 사회적 문제를 감상자 스스로 질문을 던지고 생각해 볼 수 있는 방식으로 작업을 제작하고 있다.
쿨레쇼프 효과 : 레프 쿨레쇼프가 제시한 몽타주 기법에 관한 효과 중 하나이며, 하나의 샷이 그 자체로만 존재하는 것이 아니라, 전후의 샷들과 충돌해 새로운 의미를 만들어낸다는 이론이다
미래는 여기 있어!
The Future is here!
미미 오누오하 Mimi ỌNỤỌHA(US)
싱글 채널 영상, 23'30", 2019
머신 러닝은 컴퓨터가 명시적으로 프로그래밍 되지 않고 데이터의 패턴을 탐지하고 학습할 수 있는 인공지능의 한 분야이다. 이런 기술은 사용자의 행동을 예측해 가치를 끌어내려는 기업들에 의해 활발하게 견인되고 있다. 그러나 기계 학습에 필요한 데이터에는 방대한 태그 지정, 라벨 표시 및 주석이 필요하다. 이 공들인 작업은 현재 소액의 임금을 받는 베네수엘라나 이집트 같은 나라의 노동자들에게 아웃소싱되고 있다. <미래는 여기 있습니다!>는 이런 사람들과 그들이 일하는 장소에 초점을 맞춘다. 작가가 수집, 양식화, 배열한 일련의 이미지들은 손쉽게 자동화 된 기술 뒤에 숨겨진 노동자들의 신화와 현실을 보여준다.
미미 오누오하는 나이지리아계 미국인으로 데이터 형식에 맞게 만들어지는 세계에 대한 작품을 만드는 작가이자 연구자이다. 출판, 코딩, 설치 및 비디오 매체들을 통해 새로운 기술이 야기하는 권력 관계와 얽힘, 자동화를 기반으로 한 사회에서 생성된 실종되고 가려진 잔재를 다루는 작업을 하고 있다.
스트릿스와이프
StreetSwipe
쇼드 데르 보흐 Sjoerd ter borg (NL)
웹/인터랙티브, 2020
어떤 미적 스타일을 젠트리피케이션과 연관시킬 수 있을까? <StreetSwipe>를 통해 사람들은 술집의 외부 사진이 '젠트리피케이션이 일어난 곳'으로 분류되어야 하는지 아닌지 여부를 결정할 수 있다. 관객은 화면을 쓸어 넘기며 서로 다른 도시, 거리, 연도 및 지역을 라이브 웹사이트에서 비교한다. 서로 다른 사용자들이 참여하는 이런 주관적 선택은 이후 젠트리피케이션 인식 및 이미지를 생성할 수 있는 다양한 컴퓨터 모델을 훈련하는데 사용될 것이다. 알고리즘은 일반적으로 중립적인 의사 결정자로 제시되고 인식된다. 그러나 여기에는 다양한 질문이 수반된다. 분류란 무엇인가? 무엇과 누가 분류되는가? 누가 간과되는가? 누가, 무엇을 분류해야 하는가? 알고리즘은 우리에게 시각적 사실을 제공하는가 아니면 시각적 의미를 스스로 생성하는가? 문화, 민족, 성별 등에 크게 의존하는 매우 주관적인 코드를 식별하기 위해 기계를 가르치거나 AI 스스로 가르 칠수 있는가? <StreetSwipe>는 스트리트 뷰 이미지가 컴퓨터 비전과 함께 사용되어 거리가 안전하거나 안전하지 않은 것으로 인식되는지 여부를 분류한 유사한 연구와 직접 관련이 있다. 이러한 종류의 프로젝트에서 계산 모델이 어떻게 훈련되는지는 종종 모호하게 남아있다. 중립적이고 객관적인 것으로 표현되는 이 아이디어는 어떻게 미래에 투영될 것인가?
쇼드 데르 보흐는 암스테르담에 거주하는 예술가이자 디자이너로 도시의 변화에 초점을 맞춘 연구를 한다. 디자인, 픽션 및 기술을 사용하여 도시에서 잊힌 역사, 사회 발전 또는 대체 현실을 보여주는 숨겨진 레이어를 발견하며, 이를 통해 도시 개발의 과거, 현재 및 미래를 반영한다. 2018년에 그는 컴퓨터 비전 기술과 머신 러닝을 사용하여 구글 스트릿뷰 및 인스타그램과 같은 대형 이미지 아카이브에서 젠트리피케이션과 관련된 미적 스타일을 탐색하고 분석하는 방법을 연구하는 ‘배제의 미학’ 프로젝트를 시작했다.
스트릿스와이프는 콜렉티브인 ‘배제의 미학(Aesthetics of Exclusion)’그룹에 의해 진행되고 있다. 배제의 미학은 컴퓨터 비전 기술과 머신 러닝을 사용하는 예술가, 디자이너, 개발자 및 과학자들의 집단으로, 젠트리피케이션 및 도시 균질화 과정과 관련된 미적 스타일을 탐구하고 분석한다.
레이스워크
Lacework
에베레스트 핍킨 Everest Pipkin (US)
조작된 비디오, 2020
<레이스워크>는 시간을 늘리고 이미지에 디테일을 추가하는 알고리즘을 사용하여 MIT의 ‘모멘트 인 타임 데이터셋 (Moment in time Dataset)’의 일상적인 동작을 환각적이고 느린 동작의 장식적 비디오로 재생성한다. ‘모멘트 인 타임 데이터셋’은 자동화된 시스템에 의해 비디오의 다양한 동작을 인식하고 이해하기 위해 2018년에 개발되었다. 유튜브나 텀블러와 같은 웹사이트에서 스크랩된 100만 3초 분량의 비디오가 담겨 있으며, 질문, 휴식, 기도 등의 단일 동사로 태그가 붙어 있다. 339개의 동사 태그 각각에는 매우 개인적인 것에서부터 널리 인식되는 것에 이르기까지 수천 개의 비디오가 포함되어 있다. 예를 들어, '드럼치기(Drumming)' 태그에는 고등학교 행진 밴드, 머펫의 동물, 지하철 역의 연주자, 유튜브 튜토리얼 등이 포함된다. '날다(Flyng)'는 비행기 창문에서 보는 풍경, 꽃 주위를 도는 벌, 지구 위를 회전하는 위성, 홍학 떼, 소리를 지르는 스카이다이버 등이 포함된다. <레이스워크>는 데이터셋의 소스 비디오를 조작함으로써 이러한 순간을 마치 호박 속에 가둔, 계단식으로 점진적으로 펼쳐지는 강물과 같은 흐름으로 보여준다.
에베레스트 핍킨은 중앙 텍사스 출신의 작가로 드로잉, 소프트웨어, 대용량 데이터셋을 사용하여 작업을 한다. 온라인 아카이브, 빅 데이터 저장소 및 기타 디지털 정보 리소스를 사용하여 기업적 인터넷을 부드럽고 생태적이며 개인적인 공간으로 되찾는 작품을 제작한다.
의심스러운 행동
Suspicious Behavior
카이루스 KairUs (AT)
웹/인터랙티브, 2020
물체 인식, 얼굴 인식 및 감정 감지와 같은 머신 비전 기술은 이미지를 정보로 변환하여 예측 및 추론하는 데 점점 더 많이 사용되고 있고, 최근 몇 년간 정확성 면에서도 급속한 발전을 이루었다. 자동화된 감시의 세계에서도 사람의 감독 없이 의심스러운 행동을 발견하기 위해 새로운 머신 비전 기술이 개발되었다. 이들은 컴퓨터가 이미지에서 의미를 추출하고 우리 몸을 생체 인식 코드로 만드는 것이 쉽다고 가정하지만 이미 선행 연구들은 머신 러닝이 객관적이지 않고 기존의 편견을 강화한다는 것을 밝혀내고 있다. 또한 인간의 편견은 데이터셋을 조립하는 과정 전반에 걸쳐 기계 학습 시스템에 포함되어 있다. 의심스러운 것으로 간주하는 것 역시 여러 문화적 맥락에서 다르게 나타날 수 있음에도 불구하고 업계는 비정상적인 동작과 활동을 감지하여 방지하는 "스마트"카메라를 개발하고 있다. 이 작품에서 관객은 실제 홈 오피스 설정과 이미지 라벨링 튜토리얼을 통해, 아웃소싱 된 클라우드 워커의 지루한 작업을 경험하게 된다. 가상의 회사가 만든 대화형 자습서에서 사용자는 의심스러운 행동에 레이블을 지정하는 작업을 수행하도록 지시를 받고, 이는 '지능형' 컴퓨터 비전 시스템이 우리의 행동을 해석하는 방법의 기반을 구축한다. 튜토리얼의 비디오 클립은 감시 및 동작 감지를 위한 다양한 개방형 데이터 세트에서 가져온 것이며, 이는 복잡한 인간 행동이 변칙적 행동과 정상적인 행동의 진부한 범주로 어떻게 축소되는지 보여준다.
카이루스는 린다 크론만(Linda Kronman)(FI)과 안드레아스 징거에(Andreas Zingerle)(AT)의 협업 그룹이다. 이들은 IoT 장치의 취약성, 스마트시티 거버넌스의 기업화, 일상의 생활 환경을 통제하는 기술과 같은 주제를 탐구한다. 이들의 그들은 인류학 및 사회 학자들이 사용하는 방법론을 통해 자신들의 작업을 만들어 낸다. 작품 외에도 학술 연구 및 오픈 액세스 간행물을 발간하며 데이터 프라이버시 및 보안, 행동주의 및 해킹 문화, 개입적 예술, 전자 폐기물 및 인터넷의 물질성과 같은 더 넓은 담론에 참여하고 있다.
분류해제기
Humans of AI: Declassifier
필립 슈미트 Philipp Schmitt (DE)
커스텀 소프트웨어, 수정된 코코 데이터셋, 2019-20
<분류해제기>는 객체 감지 알고리즘을 사용하여 사진을 처리한다. 그러나 관객은 그 대상이 무엇인지를 표시하는 일반적 방식의 인공지능 객체 인식 화면을 보는 것이 아니라 그 이면, 즉 알고리즘이 처음에 학습한 이미지를 계속해서 보여주는 화면을 만나게 된다.
<분류해제기>는 인공지능의 예측(객체 인식)이 다른 사람의 과거 경험(사진)을 기반으로 한다는 것을 강조하면서 마법과 같이 느껴지는 인공지능의 신화를 다르게 드러낸다. 이 작품은 어떤 이미지 데이터들이 특정 객체 인식을 조정했는지를 시각화하는 방법을 통해, 관객에게 인공지능 이면의 데이터셋을 관찰하게 함과 동시에 학습에서 드러나는 편향 및 결함과도 우연히 마주하게 한다. 이를 통해 분류해제기는 인공지능과 우리의 인지 사이에서 단절된 경험을 창조해 내며, 세계가 어느 정도 수학적으로 모델링 될 수 있는지, 반대로 우리가 이러한 모델을 이해할 수 있는지, 즉 우리가 관찰하거나 상상할 수 없는 것을 이해할 수 있는지 여부를 질문한다.
필립 슈미트는 미국 브루클린에 거주하는 예술가, 디자이너 및 연구원이다. 계산의 철학적, 시적, 정치적 차원과 관련이 있는 실천적 작업을 설치, 출판, 웹, 사진, 사운드 형식을 통해 발표해 왔다. 현재 인공 지능 연구와 역사의 불투명성과 상상력을 다루는 것에 중점을 두고 작업을 진행하고 있다.
<분류해제기>가 포함된 <Humans of AI>는 코코 이미지 데이터셋을 기반으로 한 3 개의 작품으로 구성되어 있다. 기계 학습 알고리즘이 학습하는데 사용하는 데이터는 거의 드러나지도 않으며, 기여자의 크레딧이 붙는 경우도 드물다. 필립 슈미트는 Humans of AI에서 이 두 가지를 모두 수행함으로써 마법처럼 지능적인 기계의 신화를 폭로하고 이러한 기술적 성과를 가능하게 한 기여자들에게 박수를 보낸다.
코코 데이터셋 (COCO Dataset) : 마이크로소프트에서 2014년 만들어내었으며 인공지능의 객체 인식을 위해 사용되는 인기 있는 이미지 데이터셋이다. 30만장이 넘는 객체들이 91개의 카테고리로 분류되어 레이블링 되어 있다.