Para lá da tecnologia na obra audiovisual interativa: compreender as metáforas que lhe são inerentes

Resumo

Deparamo-nos hoje, no meio da arte digital, com algo que poderíamos apelidar de um certo fetichismo tecnológico. No que diz respeito às obras audiovisuais interativas, público e autores deslumbram-se com a excelência e complexidade técnica, colocando a relação com a obra num plano secundário. Espelho disso será o foco no sistema computacional por parte da literatura, que tanto contribui para fomentar o desinteresse estético. Perante isto, surge a necessidade de compreender as metáforas que dão vida a estes objetos artísticos, de compreender como podemos ir além do fetichismo tecnológico na criação e de expor como a estética tem de estar, no mínimo, lado a lado com a técnica. Enquadrado como pesquisa artística, este projeto culmina na criação de tree-dimensional: uma instalação audiovisual interativa que nasce da observação e do registo fotográfico regular de uma árvore ao longo de um ano, e na composição de ativações performativas para a mesma. Metaforicamente: culmina numa caixa de música que enche o espaço e nos convida a passar tempo com uma bailarina cheia de ramos, folhas e raízes.

palavras-chave: obra interativa, fetichismo tecnológico, metáfora, árvore, ativação performativa

Abstract

In today's digital art landscape, we encounter what could be described as a certain technological fetishism. Regarding interactive audiovisual works, both the audience and the authors are too dazzled by technical excellence and complexity, placing the relationship with the work on a secondary level. The literature's focus on the computational system reflects this issue, greatly fostering aesthetic disinterest. In light of this, there arises a need to understand the metaphors that give life to these artistic objects, to comprehend how we can move beyond technological fetishism in creation, and to expose how aesthetics must, at the very least, be side by side with technique. As an artistic research project, its outcomes are the creation of tree-dimensional: an interactive audiovisual installation that arises from the observation and regular photographic recording of a tree over a year, and the composition of performative activations for it. Metaphorically, its outcome is a music box that fills the space and invites us to spend time with a ballerina full of branches, leaves, and roots.

keywords: interactive artwork, technological fetishism, metaphor, tree, performative activation

Agradecimentos

Ao prof. Rui Penha, orientador deste projeto, pelo essencial interesse e saber que lhe dedicou ao longo destes dois anos.

À prof. Ana Freijo, pela importância artística das suas aulas neste Mestrado.

Ao Marco Pereira e à Catarina Ribeiro, pela amizade e genuíno companheirismo neste percurso.

Ao Daniel Martins e à Diana Romero, pelos incansáveis brainstormings de soluções técnicas e estéticas.

Ao José Brandão, por ouvir e questionar as minhas ideias e conclusões.

Ao Óscar Rodrigues da Digitópia, pela disponibilidade quanto ao modelo base para a interface.

Ao Pedro Monteiro da Oficina Lab, pela ajuda com as modulações 3D.

Ao meu pai, Henrique Ferreira, pela ajuda na construção da interface, foi uma boa aula de carpintaria.

À Teresa, à Isabel, à Sofia e à Sílvia, pela bela amizade que me mantém sã nestas correrias.

À minha mãe, ao meu pai, novamente, e às minhas irmãs, pelo apoio incondicional, pela paciência e por, desde que me lembro, me mostrarem que há sempre algum espaço para o mundo ser um lugar feliz.

À Beatriz Ramos, pela vontade em ser parte desta caixa de música e por toda a partilha que daí veio.

À árvore em frente à minha janela, por existir, simplesmente.

Introdução

A tecnologia pode ser fascinante e isso é capaz de abafar a relação entre nós e a obra de arte que dela faz uso, tanto para quem a cria, como para o público. São várias as razões que levam a que o ser humano se fascine com o tecnologicamente complexo e grandioso – algo que acontece não só no “agora”, onde a tecnologia avança a uma velocidade cada vez mais rápida, mas desde tempos bem longínquos. Sabemos, inclusive, que as mudanças na arte estão ligadas aos avanços tecnológicos, pois o avanço da tecnologia é sinónimo de uma abertura de horizontes para a arte: novos meios representam, muitas vezes, novas formas de criar.

Ao ganhar proporções desmedidas, poderemos afirmar que o fascínio tecnológico se aproxima de, ou se transforma em, fetichismo tecnológico^[Existem várias definições do conceito de “fetichismo”, mas segundo Roy Ellen (Ellen, 1988) estas podem ser incluídas numa das três tradições académicas predominantes de definição do conceito: antropológica, marxista e psicológica. Em suma, a tradição antropológica diz-nos que um fetiche existe quando o sujeito acredita que um objeto tem em si uma força espiritual e sobrenatural – esta definição está ligada a crenças animistas e religiões sobretudo, mas não unicamente, politeístas; a tradição marxista diz-nos que um fetiche existe quando o sujeito define um objeto ou meio com uma qualidade que esconde o seu verdadeiro valor económico; e a tradição psicológica diz-nos que um fetiche existe quando o sujeito substitui o todo por uma parte como objeto de desejo sexual. O conceito “fetichismo” é usado ao longo do presente trabalho conforme a definição atribuída a Karl Marx, onde o indivíduo acredita que algo tem um valor intrínseco superior a outros objetos e/ou meios, criando por esse algo uma admiração e veneração obsessiva e irracional. Denominado como “fetichismo da mercadoria”, este resulta na “subordinação do humano às coisas que produz, que parecem ser independentes e auto-capacitadas” (Taussig, 1980, citado em Ellen, 1988, p. 217: “The result of this split is the subordination of men to the things they produce, which appear to be independent and self-empowered”), bem como numa hierarquia obscura entre objetos e meios:
  Commodities are fetishes in this same sense because by power of our belief in them we create an obscure hierarchy of value that rates a diamond over fresh water (to use Adam Smith's famous example from The Wealth of Nations (1776), in spite of the fact that the diamond serves little or no purpose. (…) Diamonds might be valuable because they are rare, but that does not by itself explain why society should choose to prize them so highly. Not only are there similarly rare items that might have been seized upon, there is no intrinsic reason why rarity itself should matter as much as it does. (Buchanan, 2010)
  Será ainda interessante ter em conta a afirmação de Newton Duarte, quando nos diz que este fetichismo naturaliza algo que é social e que poderia ser apelidado de “fetiche secularizado”, pois trata-se de “um produto das ações humanas [que\] é visto pelos próprios seres humanos como se fosse comandado por forças da natureza, como se tivesse vida própria.” (Duarte, 2022)]. Talvez este tenha espaço para existir em nós porque ainda nos encontramos num lugar onde a técnica é facilmente colocada, sem hesitações, acima da estética. Isto não é surpreendente quando observamos que, de um modo geral, a estima pelas ciências e tecnologias não se encontra lado a lado com as restantes disciplinas. No primeiro capítulo de Not for Profit: Why democracy needs the humanities, Martha Nussbaum (2010) expõe esta questão realçando que globalmente os sistemas de ensino não só têm retirado currículo às artes e humanidades, como abordam as ciências segundo uma visão que estimula meramente uma economia próspera e uma sede pelo lucro económico, em detrimento de estimular o pensamento crítico, a análise lógica e a imaginação. Nussbaum diz-nos que, ao não valorizarmos as artes e as humanidades, parece que “nos esquecemos da alma e do que significa o pensamento abrir a alma e conectar o sujeito com o mundo de uma maneira rica, subtil e complexa” (2010, p. 6)^[Tradução livre de: “But we seem to be forgetting about the soul, about what it is for thought to open out of the soul and connect person to world in a rich, subtle, and complicated manner.”] – e eu quero acreditar que a maior parte de nós consegue acenar afirmativamente a esta frase. Se, seja enquanto autor ou espectador, tudo o que nos fascina numa obra de arte é a sua complexidade tecnológica, estaremos mesmo a permitirmo-nos ter contacto com a obra de arte, ou apenas com o seu sistema? A alta complexidade tecnológica é algo superficial: fascina-nos, deslumbra-nos e prende-nos com curiosidade como um fogo de artifício grandioso… da primeira vez que o vemos. Especificamente dentro da arte, considero que o problema ganha dimensão no momento em que explorar as possibilidades de uma dada tecnologia é um fim da obra – ou, por outras palavras, precisamente quando colocamos a técnica bem acima da estética.

Zareei questiona o paradigma audiovisual em que quase sempre nos baseamos, centrando a discussão em se devemos ou não restringir o termo “audiovisual” a trabalhos screen-based^[Obras como frequencies(a), de Nicholas Bernier (2013), dão-nos uma experiência visual sem recorrer ao uso de ecrãs ou projeção: https://vimeo.com/nicolasbernier/frequencies. Este artigo de Zareei (2020) explora o “materialismo audiovisual” na arte sonora, onde o output visual do sistema físico com o qual o som é criado representa uma componente visual pensada pelo artista, que é tão importante para a compreensão da obra como a componente sonora.]. Em resumo, o autor diz-nos que a discussão entre usar um sistema físico tecnológico em vez de um sistema digital para produzir a componente sonora de uma obra cai muitas vezes no “como?” (i.e., em preocupações técnicas) em vez de no “porquê?” (i.e., em preocupações estéticas) (Zareei, 2020). O autor fá-lo dentro da discussão sobre o novo paradigma audiovisual, mas, na verdade, a literatura sobre obras interativas^[ Ao longo desta introdução entende-se por “obra interativa” aquela que contém um sistema digital interativo (SDI), onde pelo menos um agente computacional e um agente vivo interagem. A definição do conceito “obra interativa” será revisitada no capítulo seguinte.] também vive maioritariamente dentro deste problema: técnica acima de estética, em vez de lado a lado.

A arte interativa é um meio intrinsecamente tecnológico onde grande parte da literatura ainda apresenta um cariz técnico, na medida em que se preocupa maioritariamente em perceber como o sistema da obra funciona e não como a própria obra funciona. Observo que isto se reflete no ensino académico e nas criações que realizamos enquanto estudantes e, consequentemente, na nossa atitude enquanto criadores e público fora desse ambiente. Não acredito que tal aconteça meramente por desinteresse estético, acredito, sim, que ainda nos encontramos a compreender e aprender as tecnologias – e isso ocupa muito tempo, sobretudo perante constantes atualizações e inovações^[Talvez o mesmo não aconteça em meios artísticos onde a tecnologia se encontra praticamente estabelecida, talvez aí a discussão estética já tenha conseguido o seu lugar.]. Não obstante, virar essa página é cada vez mais necessário, neste contexto onde facilmente o processo de criação se está a tornar mais relevante que o próprio objeto artístico.

É na sequência destes anseios que surge a questão de pesquisa deste projeto: Como ir além do fetichismo tecnológico na criação de obras audiovisuais interativas? Responder a esta questão por meio de um objeto artístico é o principal objetivo do projeto, algo concretizado na criação da instalação audiovisual interativa "tree-dimensional". De um modo geral, criar esta instalação consistiu em fotografar regularmente uma árvore pelo período de um ano (março de 2023 – março de 2024), a toda a sua volta, de forma a transformá-la na bailarina de uma caixa de música com a qual o público interage através de uma interface háptica que evoca as caixas de música do tipo realejo. Querendo a instalação estabelecer uma relação com o mundo físico, ou com uma memória deste, de forma tão evidente, as suas características revelam-se particularmente importantes para a questão de pesquisa artística proposta: uma noção de que a obra é uma ponte entre nós e a memória distorcida daquela árvore, de forma não literal, sendo a tecnologia utilizada um dos meios que potencia esta relação. Será importante sublinhar que tree-dimensional não pretende estabelecer uma relação com a árvore, mas sim com a minha memória dela, que, embora explicitamente cravada numa fotografia, é distorcida e exagerada pelo tempo e contexto em que nos encontramos – tanto para quem conhecer esta árvore a priori, como para aqueles que apenas a conhecem através deste projeto audiovisual interativo.

Para se conseguir responder à questão de pesquisa e entender como estas pontes se estabelecem, é necessário esclarecer como os vários elementos das obras audiovisuais interativas se relacionam, como transformamos um meio noutro e como estes se moldam perante a interatividade do público. Apesar da construção das relações entre os vários elementos de uma obra interativa acontecerem e se moldarem através da técnica (i.e., através de algoritmos e do mapeamento), o seu propósito é estético, pois existe um output artístico que é percecionado.

Esta perceção acontece por meio de metáforas e serão elas as que realmente impulsionam a relação entre o sujeito e a obra de arte. Deste modo, compreender o conceito de “metáfora”, bem como a forma como estas vivem neste tipo de obras, é essencial. São as metáforas que não têm atenção na literatura, mas são elas a resposta ao “porquê?”. Mas porque é que uma determinada relação resulta? Porque é que uma outra não resulta ou é pouco interessante? São questões que muitas vezes ficam por responder, são questões que a literatura pouco aborda, talvez por as considerar demasiado subjetivas, mas são questões com as quais o artista se deve de preocupar aquando do processo de composição da obra. Elas são a obra.

Para além das motivações já mencionadas, será importante referir que as várias reflexões que dão origem a este projeto são fruto de problemáticas que me surgiram em projetos anteriores: como conseguir que a obra seja mais do que um ensaio tecnológico, como mantê-la o fruto de uma constante reflexão sobre si mesma, como torná-la realmente interativa e como pensar a relação dos diferentes meios do ponto de vista da perceção? Não só estas questões me surgiram durante o processo de criação, como também em retrospetiva a este – mais uma vez, penso que a aprendizagem regular de novas tecnologias aliada ao nosso fascínio tecnológico, sobretudo enquanto estudantes, tem criado um espaço propício à “tecnologia pela tecnologia”.

A presente componente escrita deste projeto de Mestrado divide-se em duas grandes partes: componente teórica e componente prática. A componente teórica, que agrega em simultâneo uma revisão de literatura e um estado da arte, subdivide-se em quatro capítulos: o primeiro capítulo visa compreender o conceito de interatividade aplicado às obras de arte, segundo perspetivas provenientes de diferentes contextos, e pôr em evidência o excessivo foco no sistema computacional por parte de autores deste campo artístico; o segundo capítulo visa compreender a relação com a obra de arte interativa, indo do geral para o particular – primeiramente compreende-se a relação do sujeito com outras entidades, de seguida compreende-se a relação do sujeito tanto com a tecnologia de forma geral, como com a tecnologia de uma obra de arte, em particular, e, por fim, compreende-se a relação do sujeito com o output da obra de arte, nomeadamente a relação estabelecida por meio da metáfora; o terceiro capítulo visa compreender o conceito de metáfora: começa-se por questionar o conceito de uma forma geral, de seguida expõem-se a génese metafórica do nosso sistema conceptual – com base no livro Metaphors we live by de George Lakoff e Mark Johnson (1980) e termina-se com as metáforas impregnadas na obra de arte audiovisual interativa, à luz de diferentes autores e artistas; por fim, o quarto capítulo da componente teórica traça algumas reflexões sobre como a pesquisa realizada e as suas conclusões foram importantes ao longo do processo de criação da componente prática. Por sua vez, o texto referente à componente prática relata todo o processo de criação da instalação audiovisual interativa tree-dimensional e das ativações performativas para ela criadas, em conjunto com a soprano Beatriz Ramos. Esta secção inicia-se com uma pequena reflexão sobre a vida dos seres vivos que são a peça central da instalação: as árvores; segue-se uma memória descritiva da obra, com foco na versão final de tree-dimensional, e uma exposição das metáforas segundo as quais a obra, ou esta grande caixa de música, vive; de seguida analisam-se as várias versões e modificações pelas quais o projeto passou durante o seu período de criação; e, por último, abordam-se as ativações performativas compostas.

Para compreender a obra interativa

Uma, ou várias definições

Um interruptor continua a ser um interruptor (reativo) independentemente da quantidade de sensores sofisticados que possa conter escondidos.
(Jordà, 2007, p. 90)^[Tradução livre de: “A light switch will remain a (reactive) light switch independently of the amount of sophisticated sensors it may hide.”]

Não existe um consenso quanto à aplicação do termo “interativa” na classificação uma obra de arte. Tanto Clayton Rosa Mamedes (2016), como Tobías Stade (2021), nos apresentam uma compilação de diferentes teorias sobre o que é a interatividade na arte, fazendo-o sob pontos de vista artísticos diferentes: o primeiro aborda o tema do ponto de vista da música e arte interativa e o segundo do ponto de vista do cinema interativo. Deste modo, para compreender o que pode classificar uma obra como interativa, será relevante notar onde as várias definições do termo se tocam e se afastam, tanto em diferentes meios artísticos, como dentro de um mesmo^[Ao pesquisar sobre esta questão é relevante fazer a ponte entre a música interativa, a arte multimédia interativa e as narrativas interativas (presentes especificamente no cinema e videojogos). O conceito de interatividade, quando aplicado às artes, apresenta algumas diferenças em cada área artística, consequentes do modo como esta acontece em cada uma. Ter consciência de uma perspetiva global do conceito enriquece o sentido crítico dentro de uma área específica, por levantar problemas que muitas vezes esta ignora. Por exemplo, as teorias sobre a interatividade no cinema e nos videojogos pouco abordam o problema da reatividade, focando-se em estabelecer níveis de interatividade, enquanto as teorias sobre a interatividade na música pouco abordam a ilusão de interatividade, impondo uma necessidade de imprevisibilidade real no sistema.].

Em “O processo interativo: reflexões sobre o gesto instrumental, participação e criação” (2016), Clayton R. Mamedes distingue três conjuntos de teorias sobre esta questão. O primeiro conjunto considera como obras interativas aquelas cuja relação entre um agente humano e um instrumento ou interface acontece por meio do gesto, que é passível de ser aprendido e reproduzido para chegar a um certo resultado – ou seja, o sistema revela-se sobretudo reativo e não interativo^[Segundo este conjunto de teorias, qualquer momento entre um performer e um instrumento pode ser considerado como interativo, uma vez que existe sempre “sistema passivo que necessita [de\] ser dominado” pelo agente humano (Mamedes, 2016, p. 9). Mesmo após a aprendizagem do instrumento/interface, o humano pode ter de se adaptar perante fatores externos (e.g., um pianista que se encontra a tocar num piano diferente daquele em que estuda diariamente).]. O segundo conjunto considera como obras interativas aquelas onde é crucial a interação entre pelos menos um agente (performer ou computador) e o público, mas onde as ações do último não interferem realmente na evolução temporal da obra e no seu discurso artístico – ou seja, o papel do público não se limita ao de espectador e este torna-se também intérprete, contudo o seu grau de liberdade não é muito (por exemplo, tem instruções específicas a cumprir em momentos específicos da obra). Por fim, o terceiro conjunto considera como obras interativas aquelas onde todos os agentes são dinâmicos (i.e., cujo comportamento tem sempre algum grau de imprevisibilidade) e pelo menos um dos agentes é um computador – aqui a grande preocupação do compositor será a evolução da obra no tempo e a forma como a relação entre os vários agentes modifica o discurso artístico da mesma.

Tobías Stade (2021) apresenta-nos a definição de interatividade de Chris Crawford, segundo a qual a narrativa interativa deverá ser como uma conversa, onde tanto o público como o sistema recebem, processam e respondem aos estímulos um do outro: “a reação é um processo unidirecional; a interação é um processo bidirecional” (Stade, 2021, p. 24)^[Tradução livre de: “reaction is a one-way process; interaction is a two-way process”.]. Com isto Crawford não quer afirmar que o número de estímulos é proporcional à qualidade da interação; em todos os casos deve ser tido em conta o contexto, sendo que o objetivo passa por criar interações relevantes e naturais, que pareçam humanas e não simplesmente respostas automáticas^[“The objective is to make responses feel human-like and not just automated” (Stade, 2021, p. 24). Stade explica-nos que, para Crawford, todas as interações devem sentir-se como relevantes, i.e., o público não se deve sentir aborrecido com a interação:
  If the number and specificity of choices hinder the speed and depth of the interactivity, then those particular choices are of no good use to the quality of the experience. On the other hand, if users are provided with a bounded number of choices but which results satisfy their needs and expectations within the story, and it does it promptly and deeply, then we could assume, at least in theory, that this is good quality interactivity. (Stade, 2021, p. 24)]. Em sintonia com Chris Crawford, o compositor Sergi Jordà (2007) aponta o quão humana a interatividade deve parecer, considerando a comunicação humana como o exemplo paradigmático da comunicação interativa, uma vez que a cognição é essencial para que exista interatividade^[Em 1950, Alan Turing propõe a realização do teste da imitação com um computador para responder à pergunta “As máquinas conseguem pensar?”. Este viria a ficar conhecido como o “Turing Test”, que, em suma, consiste numa conversa às cegas entre um computador e um ser humano, onde o objetivo da máquina é parecer um humano e o objetivo do humano é adivinhar se está a conversar com outro ser humano ou com um computador. Caso o humano conclua que está a falar com outro humano, o computador passou o teste da imitação e a interação entre ambos foi human-like. O autor refere ainda que para imitar um ser humano a máquina deve ter “erros de conclusão” e não ser exímia nas suas respostas (Turing, 1950, p. 13). Estes erros ocorrem quando, “deliberadamente”, o computador não responde corretamente a uma pergunta: por exemplo, ao contrário do que se esperava, o computador erra uma conta matemática. Podemos considerar que estes “erros de conclusão” estão na génese da imprevisibilidade requerida na interação human-like e da impossibilidade de o sujeito dominar totalmente o sistema.].

Por sua vez, Jon Drummond diz-nos que um sistema interativo requer a existência de respostas variáveis e imprevisíveis. No seu artigo “Understanding interactive systems” (Drummond, 2009), o autor apresenta-nos as três metáforas de Joel Chadabe para a criação em tempo real com sistemas interativos: navegar num barco num dia de vento por mares revoltos, o modelo conversacional e o poderoso amplificador de gestos – explicando que:

A primeira destas imagens poéticas descreve um modelo interativo em que o controlo do sistema não está assegurado. (...) Neste cenário, as interacções com o sistema nem sempre são controladas e precisas, estando antes sujeitas a perturbações internas e/ou externas. (...) A segunda metáfora representa um sistema interativo em que a sua complexidade global é o resultado do comportamento conjunto dos componentes individuais. Tal como numa conversa, nenhum indivíduo tem necessariamente o controlo e o resultado conjunto é maior do que a soma das suas partes. (...) Uma conversa é uma viagem do conhecido para o desconhecido, realizada através da troca de ideias. (...) A terceira metáfora de Chadabe, o poderoso expansor de gestos, define um sistema determinístico e não interativo, no qual os gestos são reinterpretados como resultados musicais complexos. (Drummond, 2009, p. 129)^[Tradução livre de: “The first of these poetic images describes an interactive model in which control of the system is not assured. (…) In this scenario interactions with the system are not always controlled and precise but instead are subject to internal and/or external disturbances. (…) The second metaphor depicts an interactive system in which the overall complexity of the system is a result of the combined behaviour of the individual components. Just as in a conversation, no one individual is necessarily in control and the combined outcome is greater than the sum of its parts. (…) A conversation is a journey from the known to the unknown, undertaken through the exchange of ideas. (…) Chadabe’s third metaphor, the powerful gesture expander, defines a deterministic rather than interactive system in which input gestures are re-interpreted into complex musical outputs.”]

Ou seja, apenas as duas primeiras metáforas se referem a sistemas interativos e ambas as formas de criação dão lugar à imprevisibilidade. A existência de imprevisibilidade, verdadeira ou ilusória, é o ponto comum às várias teorias. A razão pela qual vários autores apontam como característica chave o “parecer humano” será porque apenas os seres vivos têm sempre algum grau de imprevisibilidade nas suas ações. Nos sistemas reativos, tal como quando se dá um guião de conversa não aberto a alguém, o momento pode ser reproduzido; para que uma obra e o seu sistema sejam realmente interativos é necessário que o último nunca possa ser totalmente compreendido por quem interage e que exista sempre algo por descobrir na obra através da interação – quase como se de um sujeito humano se tratasse. Jorge Luís Borges (2000) diz-nos que a primeira vez que lemos um poema é a verdadeira, todas as que lhe seguem estarão influenciadas pela memória, criando uma sensação de repetição das nossas impressões sobre as palavras. No entanto, diz-nos também que isto será um truque da nossa memória que nos confunde, porque um poema pode ser uma experiência nova de cada vez que o lemos^[“I think the first reading of a poem is a true one, and after that we delude ourselves into the belief that the sensation, the impression, is repeated. But, as I say, it may be mere loyalty, a mere trick of the memory, a mere confusion between our passion and the passion we once felt. Thus, it might be said that poetry is a new experience every time” (Borges, 2000, p. 6).]. Diria que as palavras de Borges são transversais a todas as formas de arte, mas no que toca à arte interativa assume-se o objetivo de quebrar o truque da memória.

Em suma, os desafios deste conceito estão, por um lado, em definir a fronteira entre um sistema interativo e um sistema reativo e, por outro, em definir se é ou não crucial o uso de tecnologia^[Para além dos problemas enumerados acerca da aplicação do conceito, continua a existir um debate sobre o que constitui realmente a obra artística: será o sistema criado pelo compositor? Será toda e qualquer realização artística? Será o seu conjunto? (Kwastek, 2015, p. 584). Aqui deixa-se apenas a pergunta, uma vez que tentar dar-lhe resposta vai além do propósito deste texto.]. A falta de consenso quanto a estes problemas faz com que o conceito “obra interativa” se torne demasiado amplo. De modo geral, uma obra interativa é aquela que apenas se completa como objeto artístico perante a interação entre dois ou mais agentes dinâmicos. Ou seja, a própria obra é dinâmica e apresenta-se diferente a cada nova execução, sendo este dinamismo um fruto da imprevisibilidade que grande parte dos autores, direta ou indiretamente, anuncia. Não obstante, podemos considerar que criar uma ilusão de interatividade se revela mais importante do que conseguir uma interatividade, chamemos-lhe, pura, uma vez que a interatividade vive na perceção do público e/ou performer^[No capítulo “definitions of interactivity”, Stade (2021, p. 22) apresenta-nos ainda a teoria “interactive onion”, de Marie-Laure Ryan, que distingue cinco níveis de interactividade de forma crescente. O último nível denomina-se de “meta-interatividade” e nele o sujeito não consome a narrativa, mas cria as condições para que esta seja criada, tornando-se um coautor da mesma. Stade dá-nos o exemplo do jogo Minecraft, onde o jogador pode criar ambientes e personagens de raiz, mas salvaguarda que uma verdadeira meta-narrativa só pode acontecer através da escrita ou modificação do código base. Neste parágrafo, o uso do termo “interatividade pura” refere-se a uma interatividade no âmbito das obras com sistemas digitais interativos que não é de todo reativa. Para Marie-Laure Ryan talvez esta seja a meta-interatividade. No âmbito artístico, a meta-interatividade de Ryan revela-se desinteressante por ser capaz de descaracterizar o objeto artístico.].

Retomando as categorizações de Mamedes, podemos concluir que apenas a terceira categoria contempla obras realmente interativas e que as restantes contemplam obras abertas. No entanto, a terceira categoria de Mamedes falha ao afirmar que estas obras têm de conter pelo menos um agente computacional. Considero que esta problemática é espelho de uma constante distinção pobre entre “obra interativa” e “obra participativa”. Segundo o glossário online do Tate Museum (s.d.-a, s.d.-b) a obra participativa é aquela onde o público se envolve no processo criativo e performativo, e a obra interativa é aquela que, sendo obrigatoriamente computer-based, depende da participação do público para se concretizar em tempo real. Para além disto, a obra participativa tanto pode culminar num objeto fechado, como ser "viva” e concretizar-se várias vezes em tempo real, enquanto a obra interativa se concretiza sempre em tempo real. Em suma, segundo as definições enunciadas pelo Tate Museum, existem dois pontos que distinguem estes tipos de obra: um dos agentes da obra interativa é um computador; contrariamente à obra interativa, a obra participativa pode culminar num objeto fechado que foi criado através da participação do público.

Questionemos: será a obra participativa “viva” assim tão distinta da obra interativa? Apesar de algumas problemáticas a nível técnico e inerentes ao processo de criação serem diferentes nestes dois tipos de obras, na segunda, a procura por interações com a tecnologia que sejam human-like demonstra que o processo de interação humano-tecnologia não se quer assim tão diferente do processo de interação humano-humano. Perante isto, não serão ambos os tipos de obras enunciados interativos? The artists is present de Marina Abramóvic (Abramović, 2010; Akers, 2012) será talvez uma das obras com maior grau de interatividade: apesar dos dois corpos intervenientes estarem limitados nos seus movimentos, existe um enorme grau de imprevisibilidade em toda a conversa que se estabelece pelo olhar.

Talvez este seja apenas um problema linguístico. Não obstante, este é um problema que tem reflexos na forma como nos relacionamos com aquilo a que chamamos de tecnologia – tal como veremos mais à frente, a metáfora está na natureza do nosso sistema conceptual e, por isso, na base da maneira como agimos, pensamos e nos relacionamos, existindo um significado mais profundo na forma a como nos referimos a um dado conceito. Talvez este não seja apenas um problema linguístico. Talvez seja esta a razão pela qual várias vezes caímos num fetichismo tecnológico perante obras de arte interativas: damos mais importância à existência de tecnologia, em fazê-la notar de forma enaltecida, do que à relação human-like que a obra interativa, tal como a participativa viva, nos pede. As obras interativas não serão sobre a tecnologia enquanto agente, mas sim sobre o papel performativo do sujeito que interage; sobre a relação estabelecida através da interação entre esse agente humano e um outro agente, seja ele humano (performer) ou tecnológico (computador); e sobre o output artístico que é percecionado como resultado dessa mesma interação.

De todo o modo, de forma a focar o tema estudado ao longo deste projeto – e dada a sua pergunta de pesquisa, bem como o objeto artístico criado neste âmbito – daqui para a frente o conceito “obra interativa” refere-se àquelas que contêm um sistema digital interativo (SDI), onde pelo menos um agente computacional e um agente humano interagem. Não obstante, esta questão será novamente alvo de reflexão no subcapítulo "As ativações performativas em forma aberta" aquando da descrição das ativações performativas criadas para tree-dimensional.

O excessivo foco no sistema computacional

Segundo Luísa Ribas (2012) o audiovisual explora as nossas capacidades de perceção cruzada, i.e., de relacionar inputs de diferentes sentidos; e nas obras interativas que fazem uso de SDI, estas relações são artificialmente criadas em maior ou menor grau pela tecnologia^[Nos SDI esta perceção cruzada acontece maioritariamente entre contexto e componente sonora e/ou componente visual.]. Golan Levin enuncia o princípio da transmutabilidade como aquele que, através da programação e segundo uma dada perspetiva conceptual e estética, transforma algoritmicamente informação de um meio para outro, de forma que esta seja experienciada através de outro sentido (Levin, 2009).

Luísa Ribas considera que o mapeamento, mais do que relacionar diferentes meios, articula-os e, por isso, o uso do termo “articulação” é mais adequado que o termo “relação”. Esta perspetiva pode ser interessante para distinguirmos a articulação criada pelo processo de mapeamento, da relação criada de forma inteiramente precetiva pela pessoa que interage. Contudo, para a autora, mais do que perceber a relação percetiva entre o input e o output, para falar destes sistemas é preciso compreender e olhar ao processo interno pelo qual a transformação ocorre: a “articulação” (Ribas, 2012, p. 239).

Também para Katja Kwastek o grande foco deve estar no processo da interação, mais do que no output artístico – sendo este último denominado pela própria autora como “worldmaking” (Kwastek, 2015, pp. 585 – 588). Em “Audiovisual Interactive Art: From the Artwork to the Device and Back”, a autora argumenta que estas características criam uma estética específica das obras interativas, onde, embora a preocupação com o “worldmaking” possa estar presente, a existência da obra se deve ao próprio processo interativo (Kwastek, 2015). Questiono se não estará o processo interativo intrinsecamente ligado ao output artístico. Não serão ambos igualmente importantes ou até mesmo inseparáveis neste tipo de arte? Não será o mapeamento a gramática capaz de mudar todo o sentido da frase, cujas palavras e frases são o output artístico? Porque devemos nós dar mais importância às regras da gramática do que às palavras?

Em suma, parece-me que Ribas e Kwastek procuram uma distinção clara entre duas partes da obra interativa: a articulação e a relação (ou, por outras palavras o processo interativo e o seu output artístico). Contudo, estas estão intrinsecamente ligadas e a obra existe no seu encontro. Colocar ênfase no processo interativo é sinónimo de colocar ênfase no processo técnico. É certo que uma obra interativa se concretiza na sequência da interação sujeito-obra, no entanto, esta deverá existir com um propósito que vai para além desse processo. Segundo Golan Levin (2009), a transmutabilidade não é o maior propósito de um trabalho artístico, é sim um meio para um fim: percecionar algo de diferente forma. Por sua vez, Rodrigo Carvalho (2018) diz-nos que, dentro de um sistema interativo, a transformação de um meio para outro resulta numa metáfora, e, tal como definir todo o mapeamento que lhe está associado, é papel do autor dar-lhe um significado e interpretação. A par com estes autores, também Drummond (2009) vê como o grande desafio dos instrumentos interativos e das instalações sonoras a criação de mapeamentos que resultem em metáforas convincentes. Ou seja, os autores que se referem à componente estética e de perceção da obra, mencionam as metáforas como resultado do mapeamento e como forma de percecionar algo pelas características de outro.

Por exemplo, na instalação Orbia, Mileece (Isaza M, 2014; Mileece, 2014) lê os sinais elétricos de plantas, sonorizando-os e denominando o resultado de “plants music”. Ao permitir que as pessoas interajam com as plantas dentro de um ecossistema que se transforma ao longo do tempo, esta “música das plantas” altera-se conforme as reações das mesmas ao toque, à luz, à água e a tudo o que as rodeia. Perante um pano de fundo que nos dá a ouvir em tempo real a floresta Amazónia, com os sons produzidos pelas plantas Mileece cria uma atmosfera que vive na tensão entre o literal (ou real) e o imaginado (ou especulativo). Esta tensão só é conseguida por meio de mapeamentos relevantes, que contribuem não para demonstrar as imensas capacidades do sistema, mas para que tenhamos uma perspetiva especulativa e metafórica do que acontece no ecossistema de Orbia.

Nesta linha de ideias, podemos considerar que há momentos em que nos encontramos perante exercícios técnicos, ou ensaios tecnológicos. Estes momentos são propícios de acontecer quando o pensamento sobre as metáforas base da obra interativa não ocupam um lugar de relevo durante a criação, ou quando são tomadas de forma literal, expondo o óbvio e não deixando espaço à interpretação – e caso estes exercícios se afirmem como obras de arte, o público pode ter a sensação de que já presenciou uma dada obra anteriormente^[No meio académico é comum o processo de criação ir neste sentido, uma vez que existe uma necessidade de pôr em prática determinadas tecnologias aprendidas em pouco tempo. Em suma, e em forma de exemplo crítico, é muito comum vermos trabalhos que se assemelham aos projetos de Myron Kruger.]. O tipo de relação que estabelecemos com a obra de arte é o que distingue um caso do outro; não obstante, o tipo de relação estabelecido é condicionado pelo tipo de relação que estabelecemos com a tecnologia que constitui a própria obra de arte.

Para compreender a relação com a obra de arte interativa

A relação com o outro

“O Isso é a crisálida, o Tu a borboleta. Só que nem sempre estes estados se separam nitidamente uns dos outros; muitas vezes, é um acontecer confusamente enredado em profunda dualidade.” (Buber, 1923/2014, pp. 21 – 22)

Partiremos da premissa de que as relações que estabelecemos com as entidades que nos rodeiam se constroem através das interações que temos com elas. Se é importante que as interações das obras interativas sejam naturais e human-like, será relevante compreendermos como o ser humano se relaciona com o mundo, para compreendermos a sua relação com a obra de arte interativa.

Martin Buber (1923/2014) diz-nos que as relações humanas oscilam entre Eu-Isso e Eu-Tu. A primeira pertence ao domínio da experiência, onde o Isso se apresenta como algo fechado, como uma soma de características delineadas, como um objeto que conhecemos pelo contacto passado, como algo que pode ser usado para algo. A segunda pertence ao domínio da relação e da revelação: o Eu–Tu é um encontro recíproco no presente, onde os sujeitos se diluem um no outro sem um fim, onde não existe nada entre a relação de ambos, onde o Tu é visto como um todo que não se esgota. Todos os primeiros encontros com uma entidade são, à partida, um momento de Eu-Tu; i.e., todo o Eu-Isso foi primeiramente um Eu-Tu. Os momentos de Eu-Tu são mais raros e mais importantes para a transformação do Eu, porém um Eu-Isso pode sempre retornar a um Eu-Tu. Este retorno só é passível porque o Tu não se esgota em si mesmo, existe sempre algo mais para revelar de forma recíproca: após esse retorno, o Tu torna-se num outro Isso, diferente do que fora, e o Eu também não será o mesmo.

Também a relação sujeito – obra de arte oscila entre uma relação de Eu-Tu e Eu-Isso. Quando nos propomos a analisar uma obra, tendemos para a segunda, pois vemos a obra como uma soma de características. No entanto, quando nos relacionamos realmente com a obra de arte, quando a vemos para lá da sua componente técnica, entramos no domínio do Eu-Tu. Nesse momento, a obra e o sujeito não se encontram separados: a perceção da obra é moldada pelo sujeito, ao passo que o sujeito é (e será posteriormente) moldado pela obra: “O homem torna-se Eu no Tu” (Buber, 1923/2014 p. 32).

O problema de um mundo crescente em relações de Eu-Isso é, tal como o autor refere, um mundo pobre em relações profundas:

A função de experimentar e de usar desenvolve-se quase sempre pelo enfraquecimento no homem da capacidade de se relacionar. Este mesmo homem que ajeitou o espírito para dele fazer para si um instrumento de gozo, que é que faz com os seres vivos que o rodeiam? (Buber, 1923/2014, p. 46).

Mais uma vez, consideremos que esta matéria será válida para todos os tipos de relações que somos capazes de estabelecer: com humanos, com outros seres vivos e com outras entidades materiais, como as obras de arte. No caso das obras de arte interativas, uma relação obsessiva de Eu-Isso traduzir-se-á numa relação obsessiva com a técnica e com a tecnologia, ou seja, com as partes individuais que constituem a obra e não com a obra no seu todo.

A relação com a tecnologia e a sua desconstrução

“A tecnologia não é equivalente à essência da tecnologia. Quando procuramos a essência da "árvore", temos que estar cientes de que aquilo que permeia cada árvore, como árvore, não é ela própria uma árvore que pode ser encontrada em todas as outras árvores.” (Heidegger, 1954/1977, p. 4)^[Tradução livre de: “Technology is not equivalent to the essence of technology. When we are seeking the essence of "tree," we have to become aware that That which pervades every tree, as tree, is not itself a tree that can be encountered among all the other trees.”]

Importa, portanto, compreender qual a nossa relação com a tecnologia, para compreendermos tamanho fascínio, por vezes fetichismo, do ser humano por ela. A tecnologia é muitas vezes vista como um meio para concretizar algo, i.e., como um instrumento que é inerente a um processo, ou como uma atividade humana que concretiza a utilização dos meios. No entanto, para Heidegger (1954/ 1977) a tecnologia é também uma forma de revelação. Segundo o autor, a tecnologia não é neutra, desenvolve-se para lá da compreensão e do controlo humano e é capaz de alterar o entendimento de uma sociedade sobre o mundo, bem como de influenciar o seu modo de vida. A tecnologia é, atualmente, uma inevitabilidade da nossa vida; por isso, será necessário não a concebermos apenas como um instrumento que cumpre uma função e reconhecermos a sua essência:

A essência da tecnologia não é, de forma alguma, algo tecnológico. Por isso, nunca experimentaremos a nossa relação com a essência da tecnologia enquanto concebemos e impulsionamos apenas o tecnológico, o toleramos ou o evitamos. Em todo o lado, permanecemos não livres e acorrentados à tecnologia, quer a afirmemos ou a neguemos apaixonadamente. (Heidegger, 1954/ 1977, p. 4)^[Tradução livre de: “[T\]he essence of technology is by no means anything technological. Thus we shall never experience our relationship to the essence of technology so long as we merely conceive and push forward the technological, put up with it, or evade it. Everywhere we remain unfree and chained to technology, whether we passionately affirm or deny it.”]

No entanto, tal como o autor expõe, se ignoramos a essência da tecnologia e a consideramos apenas como um recurso para ser utilizado, criamos uma relação com o tecnológico que assenta numa abstração do que é a tecnologia e que procura meramente a eficiência e a produtividade do meio. Corremos ainda, ou sobretudo, o perigo de transpor esta atitude para outros campos da nossa existência e viver através de uma lente tecnológica, onde as nossas relações humanas também se tornam abstrações e, nesse sentido, vemos o outro como um recurso a ser utilizado, procurando meramente a eficiência e a produtividade do indivíduo.

Esta condição é capaz de sugar o significado da nossa existência e é, em muitos casos, uma condição já estabelecida no nosso contexto social. Paralelamente, a nossa crença de que as tecnologias nos levarão a ser cada vez mais produtivos, mais eficientes e, consequentemente, a resolver todos os problemas através dela é o que julgo estar na base do fetichismo tecnológico. Consequentemente, o fetichismo tecnológico será o que nos leva a acreditar na superioridade da complexidade tecnológica.

Podemos considerar que a forma como nos relacionamos com a tecnologia também acontece segundo relações de Eu-Isso e Eu-Tu, na medida em que, por um lado, tendemos para a objetificar com uma função, mas, por outro, todos os primeiros encontros com uma dada tecnologia são reveladores e moldam não só o mundo que nos rodeia, como a nossa forma de estar nele. Mas como, sobretudo perante os grandes e rápidos avanços tecnológicos, nos encontramos perante novas tecnologias regularmente, podemos acabar assoberbados por revelações. Aqui, um certo mistério e ambiguidade que paira na nossa compreensão das tecnologias contribui para o nosso fascínio por elas, uma vez que lhes concede agência e um certo carácter de transcendente^[Acredito que crenças como o tecnopaganismo, e outras religiões que concedem propriedades humanas a objetos, espelhem bem esta questão, porém, desenvolver este tema vai para além do propósito deste projeto. Ainda assim, não deixarei de notar o quão interessante é a necessidade que o ser humano tem de acreditar em algo que o transcende – diria que a religião tem duas funções principais: dar-nos um modo de estar na vida e dar-nos um modo de lidar com a morte, carregando em si as consequências dessas duas premissas. Se humanizarmos a tecnologia, choraremos a sua morte; se também lhe concedermos um carácter transcendente, ela torna-se mais do que fascinante – será um fetiche segundo a tradição antropológica. Para alguns, ou muitos de nós (conforme a nossa consciência e perceção da questão), a tecnologia pode estar a alimentar a necessidade humana enunciada? Certamente que, em caso afirmativo, isso se reflete na relação dos sujeitos com o mundo.].

Na criação de uma obra de arte intrinsecamente tecnológica e digital, será importante não ficarmos bloqueados pelo carácter transcendente da tecnologia, ou por uma procura pela eficiência tecnológica. Para isto, será importante olhar não só a como nos relacionamos com a tecnologia, mas também a como relacionamos a própria obra com ela. Toda a tecnologia se tornará obsoleta num futuro mais ou menos próximo e enquanto uma das preocupações que tira o sono ao artista for “como evitar a morte da obra perante a morte da tecnologia”, a obsessão nunca será suplantada. Questionemos: não será a criação de obras tecnológicas um aceitar de que a obra morre com a tecnologia, mas que ainda assim esta se reinventa nos seus registos ou, no limite, em novas tecnologias às quais ainda não temos acesso? Em “Who will turn the knobs when I die?”, Bruce Pennycook (2008) expõe precisamente como as suas obras musicais interativas perduraram no tempo: através de bons registos audiovisuais e através de se reinventarem num formato não interativo, ou até mesmo num formato acústico sem qualquer componente de eletrónica. Pennycook diz-nos que a maioria dos compositores não entende o seu objeto artístico como algo efémero, que não são como os “installation artists” nesta matéria. No entanto, apesar de parecer aceitar a reinvenção da obra como forma de sobrevivência ao fim da sua tecnologia, a angústia do autor com o facto de a obra original ter uma morte levou-o a pôr de parte a composição de obras interativas.

Por fim, sobretudo enquanto audiência e não enquanto autor, é o não fascínio pela tecnologia que abre espaço para a imersividade na obra de arte^[Será importante ter em conta o brutalismo audiovisual exposto em “Sound-based brutalism: An emergent aesthetic” (Zareei et al., 2016), uma corrente estética que expõe a tecnologia da obra de arte de forma crua, pois entender e olhar a tecnologia enquanto material estético será diferente de entender e olhar a tecnologia enquanto processo técnico.]:

A complexidade do sistema e a incompreensão do seu programa são essenciais para manter o sujeito imerso e embevecido na obra, na procura das potencialidades ocultas do programa, os sujeitos "perdem-se" nela. (Reis, 2022, p. 111)^[Tradução livre de: “The complexity of the system and the incomprehension of its program is essential to keeping the user immersed and hooked to the apparatus within the search for the hidden potentialities of the program, users ‘lose themselves’ in it.”]

No entanto, note-se que o conceito de “imersividade” no contexto da arte tecnológica nos remete muitas vezes para projeções e som 360º, i.e., para os chamados “ambientes imersivos”. Em janeiro de 2024 tive a oportunidade de assistir ao concerto de Peter Kutin & Patrik Lechner com o seu ROTOЯ – SONIC BODY no Gnration (gnration, 2024) e dei por mim a questionar continuamente, e não deliberadamente, a construção da escultura cinética durante a performance. Durante o concerto não consegui manter-me imersa na obra e tanto a minha atenção como os meus pensamentos dispersaram consecutivamente para lá da performance, voando sobretudo para questões técnicas sobre a mesma – não fosse eu um ser humano como os outros, tentada pelo fascínio da tecnologia^[ Considero que a razão que leva uma performance a ser pouco imersiva pode ser consequência da forma como esta se apresenta na sala de espetáculos e não apenas uma consequência do seu conteúdo estético. Foi o caso da performance de ROTOЯ – SONIC BODY a que assisti no grnation, onde toda a performance se centrava numa escultura demasiada pequena para a dimensão e disposição da plateia.]. Portanto, não falo apenas da imersividade dos “ambientes imersivos”, falo sim da imersividade que é passível de acontecer em qualquer obra de arte, quando o foco do sujeito, e talvez o próprio sujeito, se dilui na obra. Ou seja, a imersividade será sobretudo estética e conseguida através de sensações, levando-nos a ignorar as questões técnicas e abrindo espaço para a relação com a obra^[No entanto, a imersividade pode acontecer noutros momentos do dia, ou ocasiões, como é o caso dos rituais. Embora os rituais sejam algo metódico, serão momentos de imersão, precisamente porque não os questionamos:
  This is the ritual paradox: people often swear on the importance of their rituals, although they are not always sure why they are so important, other than that they are time-honoured. Ritual seems pointless, yet it is experienced as something truly vital and sacred. But much like other deeply meaningful areas of human activity – think of music, art or sport – what might initially appear bizarre or futile can actually have transformative power” (Xygalatas, 2022, p. 20).
  Ou seja, quando pomos em causa um ritual, quando começamos a analisar as suas partes, perdemos a capacidade de nos imergir no seu significado.].

A relação com a obra: uma metáfora

Em “What is like to be a bat?”, Thomas Nagel (1974) diz-nos que tentar perceber como é ser “algo” que é totalmente diferente de nós não é mais que um exercício empático e especulativo, onde o resultado reflete apenas um ponto de vista informado por características gerais da estrutura e comportamento desse “algo” – ou seja, trata-se de uma descrição que vive entre o real e o imaginado. Perante as reflexões de Nagel, compreendo que a nossa especulação sobre o que é ser “outro” não é mais do que um reflexo da nossa relação e interação com esse “outro”, pois, tal como refere o autor, nunca iremos conseguir expressar através da nossa linguagem o que é ser um morcego ou um marciano.

Por exemplo, nos seus projetos Pondering with pines e Meetings with Remarkable and Unremarkable Trees, Annette Arlander (2020, 2023) convive com árvores, sozinha e em conjunto com o público, de forma a criar performances com estas. Para além disto, a performer escreve cartas a algumas das árvores, partilhando pensamentos e reflexões, bem como contando-lhes situações do seu dia a dia. Para Arlander, e também para mim, este projeto não é simplesmente sobre as árvores em si e sobre a paisagem que se altera ao longo do tempo, mas sim sobre estabelecer uma relação com elas, de modo a vê-las como formas de vida com as quais temos coisas em comum. Serão Pondering with pines e Meetings with Remarkable and Unremarkable Trees sobre árvores com que Arlander escolheu se relacionar, ou sobre a perceção e a memória que a artista tem delas?

Tal como apenas podemos imaginar o que é ser um morcego, um marciano, ou uma árvore através da nossa experiência com essas entidades, também compreendemos uma obra de arte através da nossa experiência com ela. Ou seja, para o autor a obra é um reflexo da sua relação com “algo” e para o público a obra é um reflexo da sua relação com o reflexo da relação do autor com o tal “algo”. Considerando que, tal como Carvalho (2018) refere, numa obra de arte a transformação de um meio para outro resulta numa metáfora, podemos considerar que o sujeito se relaciona com a obra ao percecionar essas mesmas metáforas. Ou seja, as sensações que levam à imersividade que potencia a relação com a obra, como abordado anteriormente, serão provocadas pela perceção das metáforas^[Tal como Zbikowski refere, embora apenas na relação som – elementos extramusicais e parafraseando Rousseau: “sequences of musical sound did not directly represente the agitations of the sea or the flames of a blaze but intead awoke internal feelings of the same sort that had been experienced in seeing them” (Zbikowski, 2017, p. 54).] – e daqui urge a reflexão sobre as mesmas no momento da criação da obra. Será importante notar que essas metáforas contêm em si sempre alguma imaginação, tanto na criação, como na compreensão. Como a interpretação das obras de arte é em parte subjetiva, a metáfora do autor encontra-se dependente do sujeito que interpreta – terá a própria relação sujeito-obra metáforas impregnadas?

Para compreender a metáfora

A metáfora como conceito

Antes de avançarmos para compreender especificamente como a metáfora acontece na obra audiovisual interativa, importa esclarecer o conceito. “Metáfora” é uma palavra que vem do grego metaphorá, que significa “transporte”. A Infopédia – Dicionários Porto Editora (2024) apresenta-nos a seguinte definição para o conceito:

1. recurso expressivo que consiste em usar um termo ou uma ideia com o sentido de outro com o qual mantém uma relação de semelhança (exemplo: o fogo da paixão)
2. representação simbólica de algo

Tal como Jorge Luis Borges nos diz, no capítulo “The Metaphor” do seu livro This craft of verse (2000), todas as palavras são metáforas mortas, i.e., outrora foram uma forma de definir ou caracterizar aquilo a que agora dão nome. Segundo o autor, uma metáfora (viva) é aquela que é sentida como metáfora pelo leitor ou ouvinte e, embora seja possível agrupar a construção de quase todas as metáforas segundo uns poucos padrões, esta será sempre diferente de uma outra:

Cada metáfora é diferente: cada vez que o padrão é usado, as variações são diferentes. (...) As variações serão muito bonitas (...) [as] metáforas irão despertar a imaginação. (Borges, 2000, pp. 40 – 41)^[Tradução livre de: “[E\]ach metaphor is different: every time the pattern is used, the variations are different. (…) The variations would be very beautiful (…) [t\]he metaphors will strike the imagination.”]

Segundo Spitzer sempre que falamos ou escrevemos sobre música usamos metáforas, pois estas servem-nos de modelo ou imagem sobre algo a que não temos um acesso direto (Spitzer, 2004). Em Metapher, Allegorie, Symbol, Gehard Kurz procurou distinguir a “metáfora” dos conceitos de “alegoria” e “simbolismo”, mas, segundo Spitzer, a fronteira revela-se pouco clara dado a metáfora ser algo abrangente. Não obstante, Kurz distingue várias teorias sobre a aplicação de metáforas: substituição, comparação, interação e campos metafóricos. Olhando para a teoria da interação – que acaba por ser a de maior relevância para o que aqui se apresenta – entendemos que a metáfora é a norma, em vez da exceção, como base de uma linguagem inerentemente criativa e imaginativa (Kurz, apud. Spitzer, 2004, pp. 3–4).

Por sua vez, Roger Scruton (1997) diz-nos que o objetivo de uma metáfora é alterar o aspeto de um objeto, de modo a que nos relacionemos com ele de diferente forma. Nesta, um termo é transferido para um contexto onde o seu significado não se aplica, descrevendo o mundo do ponto de vista da imaginação. O autor define ainda como “metáfora indispensável” aquela que ocorre quando compreender o mundo depende da imaginação – algo que acontece quando se ouve música.

Em suma, os vários autores encontram-se num ponto: a metáfora é uma forma de chegar a algo, ou explicar algo, que não nos é acessível na nossa linguagem, sendo, por isso, um exercício criativo.

As metáforas como uma estrutura de nós

“Consideremos o conceito metafórico TEMPO É DINHEIRO tal como se reflete na nossa linguagem contemporânea. (...) Perante o facto de agirmos como se o tempo fosse um bem valioso – um recurso limitado, como o dinheiro – concebemos o tempo dessa forma (...) como algo que pode ser gasto, desperdiçado, orçamentado, bem ou mal investido, poupado ou esbanjado.” (Lakoff & Johnson, 1980, pp. 7 – 8)^[Tradução livre de: “[L\]et us consider the metaphorical concept TIME IS MONEY as it is reflected in contemporary English. (...) Corresponding to the fact that we act as if time is a valuable commodity – a limited resource, even money – we conceive of time that way (...) as the kind of thing that can be spent, wasted, budgeted, invested wisely or poorly, saved, or squandered.”]

Em Metaphors we live by, George Lakoff e Mark Johnson (1980) vão além do enunciado na secção anterior, considerando a metáfora para lá do campo da palavra e afirmando-a como a natureza do nosso sistema conceptual. Ou seja, as metáforas estruturam o nosso modo de pensar e agir, e fazem-no interagindo continuamente entre si e com a nossa experiência^[Neste capítulo o conceito “experiência” diferencia-se do apontado por Buber (1923/2014). Enquanto Buber se refere à experiência como uma vivência que em algo é superficial, Lakoff & Johnson referem-se à experiência como um sinónimo de vivência, como “conhecimento por meio dos sentidos de uma determinada realidade” (Dicionário infopédia da Língua Portuguesa, 2024a)]. Isto é, as várias metáforas que estruturam o nosso sistema conceptual, e nos fazem compreender um dado conceito de uma dada forma, influenciam-se mutuamente, ao mesmo tempo que são validadas pelo modo como experienciamos o mundo. Em suma, as metáforas segundo as quais vivemos definem cada um de nós^[Para George Lakoff e Mark Johnson não existem metáforas completamente mortas (1980, pp. 54–55). Expressões metafóricas como “desperdiçar tempo” e “ir em direções opostas numa relação” são fruto dos conceitos metafóricos “tempo é dinheiro” e “o amor é uma viagem”, respetivamente, que, embora possam ser uma convenção na nossa linguagem e cultura da qual pouco nos apercebemos, definem a forma como agimos e pensamos. Os conceitos metafóricos deste tipo denominam-se de “metáforas estruturais” e são as “metaphors we live by”. Por outro lado, expressões metafóricas como “pé da montanha” ou “perna da mesa” são igualmente convenções na nossa linguagem e poderiam ser consideradas as tais “metáforas mortas”. Não obstante, os autores consideram que elas têm um pouco de vida por serem entendidas segundo o conceito metafórico “uma montanha é uma pessoa”. Contudo, esta não se trata de uma metáfora estrutural, uma vez que o conceito metafórico dá aso apenas a uma expressão isolada que pouco influencia o nosso modo de agir e pensar. Não obstante, segundo os autores, estas metáforas não estruturais continuam a ser metáforas e podem ser ampliadas para criar metáforas novas, ainda que, por norma, sejam pouco interessantes (por outras palavras: óbvias) – como quando uma montanha ganha uma boca e dois olhos em desenhos animados.].

Segundo os autores, as metáforas permitem-nos compreender realidades por meio de outras, através dos seus pontos em comum. A experiência tem um papel fundamental neste processo, pois é ela que nos permite compreender uma dada metáfora e a sua realidade subjacente, e.g., apenas podemos compreender a frase “o tempo é dinheiro” se em algum momento da nossa vida tivermos lidado e experienciado o dinheiro como algo finito que pode ser investido, gasto e desperdiçado. Será importante ter presente que um conceito estruturado metaforicamente apenas o é de forma parcial, pois o seu significado não se esgota numa só metáfora; ou seja, a metáfora apenas evidencia algumas características do conceito, acabando por esconder outras. Para uma melhor compreensão de um conceito estruturado metaforicamente, tendemos a defini-lo com várias metáforas que são coerentes entre si – o que vai ao encontro da procura por coerência que o ser humano tenta ao longo da vida, mas que, inevitavelmente, não se esgota em si mesma. De forma objetiva, a coerência entre metáforas acontece por meio dos denominados “experiential gestalts”, que por sua vez são definidos por dimensões que emergem diretamente da nossa experiência, em parte, subjetiva:

Compreender uma conversa como um argumento implica ser capaz de sobrepor a estrutura multidimensional de parte do conceito de GUERRA à estrutura multidimensional de CONVERSA. Tais estruturas multidimensionais caracterizam os gestalts experienciais, que são formas de organizar experiências em conjuntos estruturadas. (...) Os gestalts multidimensionais são o que tornam a nossa experiência coerente. Experienciamos uma conversa como um argumento quando o gestalt de GUERRA encaixa nas nossas perceções e ações dessa mesma conversa. (...) As suas dimensões, por sua vez, são definidas diretamente por conceitos emergentes. Isto é, (...) (participantes, partes, etapas, etc.) são categorias que emergem naturalmente da nossa experiência. (Lakoff & Johnson, 1980, p. 81)^[Tradução livre de: “Understanding a conversation as being an argument involves being able to superimpose the multidimensional structure of part of the concept WAR upon corresponding structure CONVERSATION. Such multidimensional structures characterize experiential gestalts, which are ways of organizing experiences into structured wholes. (...) [M\]ultimdimensional gestalts is what makes our experience coherent. We experience a conversation as an argument when the WAR gestalt fits our perceptions and actions in the conversation. (...) Their dimensions, in turn, are defined in terms of directly emergent concepts. That is, (...) (participants, parts, stages, etc.) are categories that emerge naturally from our experience.”]

O facto da compreensão de uma metáfora estar intrinsecamente ligada com a experiência explica-nos a existência de interpretações diferentes para a dada realidade, por pessoas em contextos e culturas diferentes^[E até mesmo com línguas diferentes. Apenas podemos ser fluentes numa determinada língua quando compreendemos as metáforas que lhe são inerentes – moldarão as línguas a nossa forma de falar e pensar? Para além disso, aqui exprime-se um ponto importante e sobre o qual os autores muito se focam: a verdade não é nem objetiva, nem subjetiva – “Truth Is Based on Understanting” (Lakoff & Johnson, 1980, p. 179). Ou seja, a verdade será relativa ao nosso entendimento da realidade que, por sua vez, é estruturado metaforicamente pelo nosso sistema conceptual, sistema este que tem por base uma certa coerência objetiva de experiências subjetivas. Este ponto recordou-me frequentemente Thomas Kuhn em “A estrutura das revoluções científicas”, quando expõe que o paradigma vigente das ciências não é uma verdade absoluta. Perante a ideia de Lakoff e Johnson sobre a verdade, compreende-se que mudar a nossa verdade, ou os nossos paradigmas, implica mudar as “metaphor we live by”.]. Isto não só se aplica à forma como agimos e pensamos, mas também à forma como processamos sentimentos e emoções, matéria sobra a qual falamos maioritariamente (ou sempre) de modo metafórico. Ou seja, estando a metáfora na base do nosso sistema conceptual e modo de experienciar o mundo, encontramo-nos em posição de afirmar que a metáfora está intrinsecamente ligada à forma como nos relacionamos com o outro – seja ele um sujeito humano, ou um objeto artístico. Para além disso, tal como Scruton (1997) também refere, a metáfora pode ser um veículo para compreender o mundo através da imaginação, sendo que para Lakoff e Johnson estas serão as “novas metáforas”, aquelas que, por exemplo, a arte e a experiência estética procuram. Para além disso, os autores dizem-nos que as metáforas permitem-nos comunicar ao outro, ainda que parcialmente, experiências ainda não partilhadas – será este um dos propósitos da metáfora nova? Fará parte da arte a comunicação de uma experiência ainda não partilhada?

Dentro das “metaphors we live by” Lakoff e Johnson distinguem aquelas que são “metáforas novas” daquelas que são “metáforas convencionais”. As metáforas convencionais, as abordadas até então, estão cravadas na nossa cultura e experiência, ao mesmo tempo que são fruto de ambas – por essa razão, podem passar despercebidas ao eu coletivo e individual – e são intrínsecas ao nosso modo de pensar e agir. As metáforas novas, são, como o nome indica, criações das quais nos apercebemos e são fruto da imaginação e criatividade. Por um lado, podemos compreender que uma metáfora nova carrega em si e na sua compreensão ecos de metáforas convencionais e, por outro, uma vez que esta é capaz de dar um novo significado à nossa experiência, ao nosso passado, ao nosso presente e às nossas crenças, pode ela mesma vir a tornar-se numa metáfora estrutural para o sujeito^[“Such metaphors are capable of giving us a new understanding of our experience. Thus, they can give new meaning to our past, to our daily activity, and to what we know and believe. (…) We would like to suggest that new metaphors make sense of our experience in the same way conventional metaphor do: they provide coherent structure, highlighting some things and hiding others. (…) New metaphors have the power to create a new reality. This can begin to happen when we start to comprehend our experience in terms of a [new\] metaphor, and it becomes a deeper reality when we begin to act in terms of it. (…) Much of cultural change arises from the introduction of new metaphorical concepts and the loss of old ones. For example, the Westernization of cultures throughout the world is partly a matter of introducing the TIME IS MONEY metaphor into those cultures.” (Lakoff e Johnson, 1980, pp. 139–145).]. Em resumo, a metáfora nova cria novas realidades.

Para os autores, a definição de um dado conceito ou realidade por meio da metáfora, mais do que se conectar com as suas propriedades inerentes, conecta-se com as suas “propriedades interativas”, i.e., na forma como interagimos com um dado objeto ou realidade (Lakoff e Johnson, 1980). Se a experiência estética nos apresenta novos gestalts experienciais e abre caminho para outras coerências metafóricas e novas realidades, será relevante compreender como a nossa relação com um objeto artístico está dependente das suas propriedades interativas e como, por sua vez, estas propriedades interativas estão dependentes dos gestalts experienciais de cada um. Parece-me que a nossa relação com um objeto artístico se apoia na nossa experiência (nas nossas realidades, ou verdades) para, citando Kwastek, criar o seu “worldmaking”. Portanto, o worldmaking não existe por si só, existe sim na nossa relação metafórica com um aspirante a ele. Qual a grande diferença entre o worldmaking da obra interativa e o worldmaking das outras formas de arte? Se as outras formas de arte criam novas metáforas para comunicar ao outro uma realidade não partilhada, as obras interativas impelem a quem interage, público ou performer, a vivência de, pelo menos, parte dessa realidade. Por esta razão, a rede de metáforas da obra audiovisual interativa expande-se para meios que vão para lá do campo sonoro e/ou visual e do espaço: expande-se diretamente para o corpo e gesto do próprio sujeito, com todos os gestalts experienciais que lhe são inerentes^[Obras como Underneath the skin another skin de Patrícia J. Reis (2022) serão interessantes de ter em conta por acontecerem inteiramente dentro do corpo do sujeito: a componente visual é criada apenas dentro da mente do próprio, como resultado da interação com a interface: https://vimeo.com/179663062.].

As metáforas impregnadas nas obras interativas

Diretamente relacionado com as obras interativas, Donnarumma expõe três elementos que caracterizam o gesto nos Biosensing Digital Musical Instruments (BDMI, instrumentos que captam os biossinais do gesto humano, através de biossensores): agência, esforço e metáfora (Donnarumma, 2012). Apesar do artigo se referir apenas aos BDMI, é possível aplicar os conceitos de “intenção” e “metáfora” tal como o autor nos apresenta a qualquer sistema digital interativo, com gestos musicais, físicos e/ou visuais.

Quanto à agência, esta não só deve ser experienciada pelo performer^[Donnarumma refere-se a obras onde existe um performer para além do público, no entanto, neste ponto do texto conseguimos compreender que numa obra interativa que vive da interação do público, este é considerado um performer.](aquele que interage com o sistema), como entendida pelo público, e é capaz de dar ou tirar credibilidade à obra – pelo que deve ser possível estabelecer uma ligação entre o input e o output^[Segundo o autor, a agência de um dado gesto depende em larga escala do esforço aparente que lhe está associado; por sua vez, o esforço pode ser caracterizado como integrado (“what you see is what you get”) ou instrumental (esforço físico não percetível ao olho humano, e.g., batimento cardíaco, ondas cerebrais, entre outros). Uma vez que esta distinção apenas faz sentido nos BDMI, no presente texto inclui-se o esforço integrado na definição de agência.]. Quanto à metáfora, Donnarumma considera-a como a grande criadora de expressividade na obra, sendo que distingue dois tipos: incorporada, quando um elemento gestual se traduz de forma direta num elemento (por exemplo, aumentar uma dada frequência quando as mãos se elevam); e sincrética, quando elementos diferentes ou contraditórios se unem (por exemplo, quando o gesto é estático e o som é caótico). Para além do uso de um dos tipos de metáfora apresentados, a agência é requisito para que a obra funcione e, como tal, deve ser parte integrante da primeira.

Apesar de Donnarumma escrever o texto relativamente a obras musicais interativas, os conceitos enunciados podem ser aplicados a qualquer obra de arte. Por exemplo, na instalação sonora (fixa) Surviving the Impact of Rainsdrops, Jana Winderen (2022) preocupou-se demasiado em transportar-nos de forma literal para os ambientes subaquáticos por si gravados. Embora acusmática, esta instalação remete-nos para um imaginário que vai para além do som. Contudo, através dos oito altifalantes que constituem a instalação, ouvimos uma paisagem sonora simultaneamente literal e confusa: não chega a ser caótica, mas permanece dúbia; não chega a ser óbvia, mas não incita a interpretação. Para além disso, uma sala branca cheia de luz e uma disposição despida e pouco interessante dos altifalantes realçam o ambiente dúbio da composição sonora. A falta de qualquer tensão, de qualquer metáfora, ou até mesmo, arrisco, de qualquer intenção, impede-nos de chegar a um lugar com o qual a autora quer que nos relacionemos – lembremos a afirmação de Donnarumma que nos diz que a metáfora é a criadora de expressividade na obra e a agência, que considero diretamente relacionada com a intenção, é capaz de dar ou tirar credibilidade à obra.

Não obstante, as considerações do compositor sobre a metáfora entre o áudio e o visual (seja ele screen-based, ou um corpo em movimento), limitam-se à dicotomia sinónimo/antónimo. Nas Jornadas de Práticas de Investigação em Artes 2024, organizadas pela ESMAE e pelo CESEM, embora não se focando em obras interativas, a compositora Fátima Fonte abriu caminho para outro tipo de ligações entre os dois meios, que se concretizam naquilo que intitula de “música visível” (ESMAE / CESEM, 2024). Segundo a autora, a Música Visível é um tipo de criação que procura a ligação entre audição e visão numa dada obra através do “tom” e/ou das “formas de vitalidade”. Estes dois conceitos ligam som e componente visual para lá do binário empático/contraponto (outras palavras para metáfora incorporada/metáfora sincrética) e para lá da mera casualidade. Enquanto o tom se refere à atmosfera geral de uma obra, está relacionado com o afeto e pode ser amplo, ou ambíguo; as formas de vitalidade são mais complexas, referem-se ao movimento um dado evento e são uma resposta à pergunta “como?”^[Segundo Stern (2010), o autor que cunhou este termo, as formas de vitalidade são a forma como a mente humana compreende e perceciona uma dada ação ou ser vivo, sendo por isso parte integrante da experiência humana. A experiência da vitalidade de um dado evento acontece pela ligação (mental e intuitiva) entre o seu movimento, tempo, força, espaço e intenção. Para o autor, nós estamos em constante movimento físico, mental e emocional, pelo que as formas de vitalidade são fulcrais na relação com outros humanos em movimento.]. O contraponto livre de Michel Chion será uma outra forma de agrupar os momentos em que a relação entre a visão e a audição numa obra audiovisual vai para lá da lógica binária: “algumas reproduzem exatamente o código convencional, ao passo que outras, sem entrarem num desmentido formal da imagem, fazem deslizar a sua perceção noutro plano. A dissonância audiovisual é apenas um desfasamento invertido da convenção” (Chion, 1993/2011, p. 37).

Tom, formas de vitalidade e contraponto-livre estabelecem uma ligação indireta entre meios (e.g., sonoro e visual), mas não acrescentam um novo tipo de metáfora às enunciadas por Donnarumma. Em vez da metáfora se estabelecer diretamente de um meio para o outro, ambos se relacionam coerentemente, ou empaticamente, com uma mesma ideia ou movimento base – ou seja, com um terceiro elemento “extra-obra”^[Considere-se a expressão “extra-obra” como sinónimo de “extra-musical”, mas referente a obras que não contêm apenas elementos musicais.]. Isto será válido tanto para relações dentro do duo componente visual + componente sonora, como para combinações dentro do trio das obras audiovisuais interativas: componente visual + componente sonora + componente interativa. Este elemento “extra-obra” abre caminho para relações não literais e não contraditórias entre meios: chamemos-lhes apenas “relações coerentes”.

Pulse Room de Rafael Lozano-Hemmer (2006) é uma das instalações artísticas que mais contribuiu para a minha reflexão sobre o equilíbrio entre o processo interativo e o output artístico. Pulse Room consiste numa sala que se enche de trezentas lâmpadas que piscam, individualmente, conforme a pulsação de quem por ali passou. O resultado é uma imagem hipnótica, com ritmos visuais irregulares que se repetem em loop. Perante uma interface aparentemente simples, o seu propósito é claro, mas difícil de colocar por palavras. É uma metáfora por si só. O mais curioso de analisar é que, tal como o projeto de Mileece apresentado anteriormente, também este projeto vive numa tensão entre o real e o imaginado: as lâmpadas estão penduradas no tecto, tal como acontece com os candeeiros de qualquer sala (i.e., room), mas a forma de iluminar não é mais a óbvia do dia a dia^[ Não caio no ceticismo de considerar que todas as obras tenham de conter esta tensão para criar uma relação entre a obra e o público, mas talvez manter um dos pés na terra seja importante para voar. Pelo facto de uma metáfora nova conter em si ecos de metáforas estruturais, impregnadas na nossa experiência, evoca-se precisamente a ideia de que o real e o imaginado estão de mãos dadas na criação.]. Não obstante, uma obra como Pulse Room, embora aparentemente simples, faz-se constituir de várias camadas de relações metafóricas entre meios e conceito: a luz que pulsa conforme um sujeito singular; a luz singular que se torna anónima com o tempo e perante 300 luzes; a sala que é iluminada de forma frenética e não estática por corações anónimos; entre outras que autor e público poderão enunciar. Considero que todas estas metáforas serão coerentes com o facto de a luz de uma lâmpada numa sala, tal como o batimento cardíaco de alguém, terem a capacidade de ser algo “pequeno” e intimista, por vezes frágil. Ainda que exista um carácter literal na relação entre a interface de interação e o pulsar das lâmpadas, a tensão entre o real e o imaginado que atravessa o resultado visual é capaz de transportar a perceção da obra para lá do óbvio.

Nas sequelas de Pulse Room, Lozano-Hemmer preocupou-se em aumentar a grandeza da tecnologia, esgotando o significado do trabalho original – são exemplo Pulse Park, Pulse Spiral e Pulse Front. Mas tal como o cinema nos conta, raramente as sequelas são melhores que o original: o autor fascinou-se com a tecnologia e criou momentos capazes de deslumbrar pela sua dimensão, mas pouco pensados metaforicamente. Nestas versões da obra perdeu-se uma grande parte da tensão entre o real e o imaginado: a estrutura luminosa deixou de ser a lâmpada disposta conforme um candeeiro na nossa sala de estar, para ser uma espiral grandiosa ou focos que iluminam uma cidade. Nestes casos, a metáfora desfaz-se – e segue-lhe a relação com a obra. Talvez esta seja a verdadeira metáfora morta: a que se previa nova, mas que não só não ficou como uma convenção, como se perdeu ao ambicionar algo incompreensível do ponto de vista da experiência humana.

Uma breve reflexão sobre a obra audiovisual interativa

Para além das três componentes que constituem uma obra audiovisual interativa – áudio, visual e interatividade – existe o conceito, que será o “algo” ou o “outro” do autor, que se pode desdobrar em elementos “extra-obra”. Estas quatro dimensões relacionam-se entre si por meio da transmutabilidade ou outras técnicas, que embora tenham um carácter técnico, possuem um propósito estético. Este propósito estético é em si uma metáfora de algo; portanto, uma forma de evitar o fetichismo tecnológico que invade as exposições e concertos de obras interativas é prestando especial atenção à criação das metáforas que as constituem. É importante pensar as metáforas visando a coerência e tendo consciência que elas não são objetivas – vivem dentro da esfera de gestalts experienciais de quem se relaciona com a obra. Procuremos desta forma colocar estética e técnica lado a lado.

Esta consciência do papel das metáforas na obra audiovisual interativa leva a que a obra não se torne refém da tecnologia e que exista uma constante reflexão sobre o seu todo. Neste ponto será importante justificar o porquê do estudo das metáforas e não das analogias, como por exemplo Zbikowski (2017) faz quanto à relação entre o som e os elementos extramusicais de uma obra musical. Embora a analogia também se encontre no domínio da imaginação e, segundo o autor, esteja impregnada na nossa experiência corpórea da realidade (Zbikowski, 2017, p. 52), esta pertence ao domínio do raciocínio consciente: “uma comparação entre coisas que têm características semelhantes, normalmente usada para ajudar a explicar um princípio ou ideia” (Cambridge Dictionary, s.d.)^[Tradução livre de: “a comparison between things that have similar features, often used to help explain a principle or idea”.]. Segundo Zbikowski, a analogia é uma parte essencial do processo cognitivo que nos permite dar significado a uma metáfora. É certo que toda a metáfora linguística pode ser transformada numa analogia e vice-versa, bem como é certo que a analogia faz uso de metáforas e comparações, mas dizer “a árvore é uma bailarina”, que será o que tree-dimensional faz, é uma metáfora. Ou seja, embora possamos dissecar a metáfora presente numa analogia, a nossa perceção acontece sobre a primeira e, na maior parte das vezes, não precisamos de expor os argumentos para a compreender.

Para além de uma consciência das metáforas da obra interativa, será fulcral uma consciência do papel da interatividade na mesma e um consequente questionamento desse papel. A interatividade assume-se como algo que força a relação do sujeito com a obra – o público ou performer só contacta com a obra a 100% se decidir interagir com ela. Por isso, a interatividade deverá existir como relevante para a obra, quer seja uma interatividade real ou ilusória.

Estes pontos foram constantes ao longo da criação da componente prática do projeto, e como veremos tree-dimensional foi alvo de várias modificações técnicas e tecnológicas para alcançar o seu worldmaking interativo. Muitas vezes foi frustrante procurar soluções para o resultado pretendido, sobretudo perante a falta de tempo; no entanto, creio que este seja um caminho capaz de evitar que as obras caíam em exercícios meramente tecnológicos.

tree-dimensional

Uma nota de pré-programa: a vida e o tempo das árvores

“Embora qualquer criança saiba que as árvores são seres vivos, também sabe que elas são categorizadas como objetos” (Wohlleben, 2015/2016, p. 242)^[Tradução livre de: “Even though every schoolchild knows trees are living beings, they also know they are categorized as objects.”]

tree-dimensional é uma instalação audiovisual interativa que procura dar resposta à questão de pesquisa artística enunciada no capítulo introdutório – “Como ir além do fetichismo tecnológico na criação de obras audiovisuais interativas?”. Para isso, tree-dimensional é uma caixa de música que ocupa uma sala inteira, onde a bailarina se veste de folhas, quando as tem, sem nunca esconder o seu tronco rugoso, seja debaixo de sol ou de chuva. Esta instalação nasce da observação e do registo fotográfico regular de uma árvore ao longo de um ano, mais precisamente entre março de 2023 e março de 2024. Mas a árvore fotografada não é uma árvore qualquer: é a árvore que vejo todos os dias de manhã ao abrir a persiana; é a árvore que se mete entre a minha janela e a parede do prédio da frente (que triste seria a vista sem ela por ali); e é uma Liquidâmbar que vive intensamente todas as estações do ano através das suas cores (imagino eu, que sinto intensamente as estações através das suas cores).

Apercebi-me que há muito tempo que as mudanças da paisagem ao longo das estações do ano me fascinam. Os prédios da cidade são inanimados e as suas transformações devem-se à degradação ou reconstrução do que estava degradado. Por sua vez, as árvores, assim como todas as plantas, dão movimento à paisagem através das suas alterações cíclicas – e o fotografar de um ciclo anual permite-nos estar atentos às suas mudanças graduais, por vezes subtis. Cresci a ver a Serra da Estrela mudar de branco para verde e com programas de domingo que se “resumiam” a ir algures apanhar castanhas, ou ver as cerejeiras e as amendoeiras em flor. Mas é certo que existe sempre alguma imprevisibilidade no comportamento das árvores, mesmo naquelas que são por nós plantadas e cuidadas, pois não nos é possível controlar completamente como mudam de cor, quando mudam de cor, quando ficam despidas, como as suas raízes moldam o solo, ou para que lado crescem os seus ramos. Às vezes as cerejeiras não tinham flor. Ou seja, há algo de human-like na nossa interação com o mundo vegetal: apesar das nossas previsões, existe sempre um considerável grau de imprevisibilidade.

No entanto, é certo que prevemos melhor os movimentos das árvores em comparação com outros seres vegetais, como por exemplo as flores – e por isso conseguimos manter árvores perto de casas, ou casas nas árvores. Isto acontece porque, embora as árvores nos pareçam viver no mesmo tempo que nós, cumprindo ciclos de um ano, a verdade é que a sua vida acontece num outro tempo, de forma muito lenta:

A principal razão pela qual não compreendemos as árvores é porque elas são incrivelmente lentas. A sua infância e juventude duram dez vezes mais do que as nossas. A sua vida inteira dura pelo menos cinco vezes mais do que a nossa. Movimentos, como abrir as folhas ou crescer novos rebentos, levam semanas ou até meses. Devido a isto, parece-nos que as árvores são seres estáticos, apenas ligeiramente mais ativos do que as rochas. (Wohlleben, 2015/2016, p. 230)^[Tradução livre de: “The main reason we misunderstand trees, however, is that they are so incredibly slow. Their childhood and youth last ten times as long as ours. Their complete life-span is at least five times as long as ours. Active movements such as unfurling leaves or growing new shoots take weeks or even months. And so it seems to us that trees are static beings, only slightly more active than rocks.”]

Esta lentidão em que as árvores vivem tem consequências em todas as suas características. Por isso, devemos ter em atenção que os danos que provocamos a árvores podem ter consequências que só serão percetíveis passado muito tempo (no entanto, elas não deixam de existir). Esta noção do tempo lento das árvores, foi, como iremos perceber, uma questão central em tree-dimensional.

Tal como podemos imaginar o que é ser um morcego, também podemos imaginar o que é ser uma árvore através do que sabemos tanto cientificamente, como através das nossas interações com elas em diferentes lugares e momentos^[Já são conhecidas inúmeras características da forma de vida das árvores, sobretudo através da ciência: por exemplo, tal como as plantas, as árvores reagem com sinais elétricos a fatores externos como a luz, algo espelhado no trabalho de alguns artistas, como por exemplo Mileece (2014). Outra característica que considero interessante quanto às árvores, e que foi especialmente relevante para o projeto, é que estas apresentam um comportamento de hibernação durante o Inverno, ou seja, a sua vivência durante as estações do ano é mais diferenciada do que aquilo que o olho humano comum deteta:
  Rizzly bears hibernate and so do dormice. But trees? (...)The grizzly bear is a good candidate for comparison, because it follows a similar strategy to trees. (...) Of course, they don’t feed on blueberries or salmon, but they fuel themselves with energy from the sun, which they use to make sugar and other compounds they can hold in reserve. And they store these under their skin just like a bear. (...) Then they, too, must stop and shut down all activity. One reason for this is water. It must be liquid for the tree to work with it. If a tree’s “blood” freezes, not only does nothing work, but things can also go badly wrong. If wood is too wet when it freezes, it can burst like a frozen water pipe. This is the reason most species begin to gradually reduce the moisture content in their wood—and this means cutting back on activity—as early as July” (Wohlleben, 2015/2016, pp. 136–137).
  Será ainda interessante de referir que, segundo Stefano Mancuso (2017/2022), tendemos para pensar o funcionamento do mundo e das tecnologias que criamos segundo a vivência humana – por exemplo, todos os aparelhos eletrónicos tendem a funcionar como o humano, com um sistema central (cérebro) que controla todo o aparelho. No entanto, o autor refere que deveríamos considerar outras formas de operação, tendo por base o funcionamento de seres vivos que funcionam sem cérebro, como é o caso das plantas. Para além disto, estudar certas características das plantas, como a existência de memória, pode ainda ajudar-nos a descobrir mais sobre ao funcionamento da memória do ser humano.]. E tal como somos empáticos com outros seres humanos ao tentarmo-nos colocar no seu lugar e imaginar o que será viver um dado momento na sua pele, ainda que nos seja impossível viver na sua pele, também podemos ser empáticos com outras formas de vida. Este exercício de empatia, que considero necessário para quebrar a bolha de superioridade em que o ser humano tem tendência para viver, requer disponibilidade, sensibilidade e tempo de contacto. Ainda que não possamos conviver com todas as árvores do mundo, podemos estabelecer uma empatia pela forma de vida de todo o grupo através de um único elemento. Neste ponto será relevante referir novamente os projetos Pondering with Pines e Meetings with Remarkable and Unremarkable Trees de Annette Arlander (2023; 2020), por se preocuparem, precisamente, em fazer este exercício:

Enfatizar o individualismo é arriscado na nossa sociedade neoliberal capitalista atual, onde a importância do individualismo já é exagerada. No entanto, pode ser útil focar em árvores singulares, como um primeiro passo para descolonizar a nossa relação com a “natureza”. Como a falecida ecofeminista Val Plumwood (2003) apontou, o pensamento colonial tende a enfatizar uma diferença muito forte entre “nós” e “eles”, e a ver “eles” como todos iguais, estereotipados, não individualizados. Assim, prestar atenção a árvores específicas pode ajudar-nos a ver as árvores como formas de vida com as quais temos muito em comum, apesar das nossas inegáveis diferenças. (Arlander, 2020)^[Tradução livre de: “Emphasizing individualism is a risky strategy in our current neoliberal capitalist society, where the importance of individualism is exaggerated anyway. It can nevertheless be useful to focus on singular trees, as an important first step towards decolonizing our relationship with “nature”. As late ecofeminist Val Plumwood (2003) pointed out, colonial thinking tends to emphasize a very strong difference between “us” and “them”, and to see “them” as all alike, stereotypical, non-individualised. Thus, attending to particular trees might work as a way to help us see trees as life forms that we have much in common with, despite our undeniable differences.”]

Embora tree-dimensional seja sobre uma árvore específica, não pretende estabelecer uma relação com ela, mas sim com a memória e perceção dela que, embora cravada de forma explícita numa fotografia, é deformada e exagerada pelo tempo e pelo contexto em que nos encontramos. A sala expositiva e os objetos que a compõem não são o lugar onde a árvore se encontra, nesse lugar ela não roda. tree-dimensional é sobre aquela árvore que vive entre a minha janela e a do prédio da frente, mas não é aquela árvore, nem pretende sequer ser um retrato dela. Talvez pretenda, sim, ser uma ou várias metáforas sobre ela e com ela.

Memória descritiva – introdução

Cerca de duas vezes por mês, a árvore foi fotografada a toda à volta, apoiando um tripé no seu tronco – foram tiradas entre de 86 a 92 fotografias, sempre à mesma altura e distanciando o tripé cerca de 1cm em cada uma (segundo a fita métrica usada como guia). Posteriormente, as fotografias foram alinhadas de forma a criar um video em stop motion da árvore a rodar, vista debaixo. No total foram criados 22 vídeos, correspondentes a 22 dias diferentes da árvore e com uma média de 7 segundos cada (esta duração equivale a uma volta à árvore). Por fim, foram escolhidos 4 vídeos, um de cada estação do ano, para serem os vídeos principais da instalação.

Quando o público entra no espaço expositivo um silêncio habita a sala, apenas uma caixa com uma manivela e paredes de tronco de árvore está pousada no chão, enquanto alguns sons muito ténues se fazem ouvir, como se fossem ecos de algo que outrora esteve presente.

!educastAudio[https://educast.fccn.pt/vod/clips/hozyo2a69/desktop.mp4?locale=pt](Excerto dos sons ténues que se fazem ouvir quando não há interação e se dá o blackout – áudio em formato binaural, recomenda-se a audição com auscultadores).

A manivela do objeto é o motor da caixa de música do tipo realejo e assim que uma mão a começa a rodar, a caixa de música emerge: uma árvore espelhada roda no chão e em conjunto o seu som roda pelos altifalantes. Em suma, para cada um dos quatro vídeos principais existe uma composição sonora com cerca de 3 minutos, que funciona em loop – chamemos a estes conjuntos “dias principais”. Quando se deixa de rodar a manivela dá-se um blackout e voltamos ao silêncio que habita a sala. Assim que alguém começar a rodar de novo a manivela é acionado um novo dia principal, ou seja, o dia principal da instalação apenas é alterado quando acontece um blackout. Não obstante, durante a interação existem momentos em que surge a árvore num outro dia, numa imagem que se mistura com a imagem do dia principal (i.e., fazendo um blend entre as duas imagens) – ou seja, surgem sobre a árvore principal laivos visuais dela num dos outros 21 dias, com mais ou menos folhas, com um céu mais ou menos cinzento. Esta aparição, este laivo de um passado ou futuro, dura apenas alguns segundos e, para além da componente visual, adiciona também uma linha sonora à principal.

!educastVideo[https://educast.fccn.pt/vod/clips/2fujj31q7m/desktop.mp4?locale=pt](Sobreposição momentânea de árvores em dias diferentes – captado durante testes da instalação na blackbox da ESMAD — IPP em abril de 2024).

Em toda a instalação dá-se uma procura por aludir ao tempo lento das árvores, considerando-o uma característica fulcral destes seres vivos. Isto espelha-se nas várias componentes da obra, desde a manivela que não se permite a rodar muito rápido, à composição sonora que assenta num desenvolvimento lento, por vezes pouco percetível, do discurso musical e do seu material.

Memória descritiva – sobre a interface háptica

A caixa com uma manivela é a interface háptica que permite ao público interagir com a instalação e, tal como nas caixas de música do tipo realejo, o resultado existe conforme a interação do sujeito com esta. O seu mecanismo baseia-se no de um instrumento construído pela Digitópia Casa da Música, onde a rotação da manivela é detetada através de um encoder ótico.

Em tree-dimensional a manivela encaixa num varão roscado que roda por simpatia sempre que a manivela roda; no varão roscado encontra-se colocada uma roda com furos espaçados, que servem de input para o encoder ótico; e a roda com furos está encaixada entre as duas paredes do sensor, que detetam a passagem de luz e não passagem de luz de uma parede para a outra, enviando o valor ‘1’ quando existe passagem de luz (através de um furo) e enviando o valor ‘0’ quando não existe passagem de luz (cortada pela parte opaca da roda). Ou seja, a leitura do encoder ótico é uma sequência de ‘0 – 1’ que é recebida num M5StickC PLUS e enviada por OSC para o computador que corre o programa da instalação em Max MSP. No programa, sempre que um novo ‘1’ é detetado considera-se que existe rotação e, consequentemente, interação.

!educastVideo[https://educast.fccn.pt/vod/clips/18l4gji8qx/desktop.mp4?locale=pt](Demonstração visual do modo de interação com a interface – caixa de música do tipo realejo).

De forma a ser possível fazer a leitura da direção da rotação da manivela, a interface de tree-dimensional requer um segundo encoder ótico cujos furos da roda se encontram cerca de um terço do seu tamanho desfasados da roda do outro encoder. Para além do programa detetar a passagem de luz nos encoders, avalia em qual deles esta aconteceu primeiro: ou seja, caso a passagem de luz aconteça primeiro no encoder da direita, considera-se que a rotação acontece para a frente; caso a passagem de luz aconteça primeiro no encoder da esquerda, considera-se que a rotação acontece para trás. Importante será referir que o programa apenas considera a existência de movimento quando ocorre em simultâneo a passagem de luz nos dois encoders – algo possível através do terço de furo em comum. Quando o programa deteta luz, por exemplo, no encoder da direita e de seguida deteta que não existe passagem de luz em nenhum dos encoders, reinicia a leitura, pois pode ter sido alterada a direção da rotação da manivela antes de se ter chegado à parte comum do furo (ou seja, a meio do processo). Este facto é importante para que as mudanças de direção da manivela aconteçam de forma limpa e consistente – caso contrário, no exemplo dado, o encoder da direita ficaria preso como o primeiro com passagem de luz, independentemente de a direção ter sido alterada.

A manivela, tal como outras peças do mecanismo da interface, foi construída em PLA através de impressão 3D. Este é um material leve que não requer muito esforço para rodar, por isso o único esforço viria do cansaço do braço como consequência do movimento repetido. Contudo, as dimensões relativamente pequenas da manivela fazem com que esse cansaço tarde a chegar e seja possível rodar a manivela numa velocidade rápida. Deste modo, foi necessário adicionar alguma resistência ao mecanismo, de forma a prender o movimento do varão roscado. Para isto foram realizados vários testes, incluindo o replicar da solução do instrumento modelo da Digitópia. Chegou-se a um mecanismo que consiste em ter um segundo varão roscado na vertical, encostado ao varão principal, com uma borracha que cria fricção. Neste varão vertical está também uma placa de madeira encaixada, que cria fricção nas porcas colocadas a prender a borracha do varão principal. Para além da resistência física, esta placa de madeira confere uma maior perceção física do mecanismo, através do som, ainda que subtil, que as porcas fazem ao rodar sobre ela.

Memória descritiva – sobre a interação com a componente audiovisual

A música escrita para cada vídeo principal encontra-se no formato Ambisonics – 3ª ordem e contém três camadas. Apesar das três camadas funcionarem como um todo, a camada nº 1 também funciona sozinha (i.e., sem as restantes) e a camada nº 2 também funciona sem a existência da camada nº 3 (i.e., apenas em conjunto com a 1ª camada). A razão pela qual a composição está pensada desta forma prende-se com a componente interativa e de reprodução sonora. Apesar de existir através de meios eletrónicos (altifalantes, projetores, encoders e computadores a processar informação), tree-dimensional é uma obra sobre o mundo físico e natural e, por isso, a forma de interação deverá ser também ela física e natural ao ser humano. Em resumo, as camadas da música tornam-se audíveis e são reproduzidas conforme a velocidade da rotação da manivela; ou seja, caso a manivela esteja a rodar a uma velocidade muito lenta apenas ouvimos a primeira camada, caso a velocidade seja “média” ouvimos a primeira e a segunda camada e apenas a partir da velocidade normal ouvimos todas as camadas. Com a ideia de respeitar e aludir ao tempo lento das árvores, a instalação contraria as tentativas da manivela ser rodada demasiado rápido, ao não corresponder a esse movimento: o programa começa a oscilar entre dois frames e grânulos, como se de um erro se tratasse.

Os ficheiros das camadas sonoras são percorridos usando um patch de síntese granular, onde cada vez que é detetada rotação pelos encoders óticos (leitura da luz = ‘1’) é enviado um bang para um counter no Max MSP. Este counter aumenta ou diminui conforme a rotação e direção da manivela e os seus valores são mapeados para a leitura dos grânulos – o mesmo acontece com o vídeo, que é percorrido frame a frame. Durante a interação é adicionada uma quarta camada com sons percussivos muito curtos, de madeira a partir e a ranger, mapeados para serem tocados sempre que o counter passa por determinados valores. Como o patch de síntese granular torna o som um pouco fosco^[ por outras palavras: blur], por lhe retirar a precisão dos ataques, esta 4ª camada revela-se importante para conferir alguma precisão e detalhe à componente sonora^[Esta camada contém alguma aleatoriedade na sua reprodução. O mesmo acontece com a momentânea sobreposição de árvores.].

!educastAudio[https://educast.fccn.pt/vod/clips/2m319hohih/desktop.mp4?locale=pt](Excertos com a camada de sons crus evidenciada – áudio em formato binaural, recomenda-se a audição com auscultadores).

Por sua vez, a projeção está pensada para o chão de uma sala tipo blackbox e a pessoa que interage deve encontrar-se sentada no chão ou num banco baixo, ficando imersa na própria projeção. Este ângulo de projeção é algo não natural, sobretudo para este material visual e, visando assumir esta projeção não literal, a árvore é ainda espelhada, mantendo uma certa coerência visual, mas criando padrões caleidoscópicos na junção das duas imagens – assumindo-se assim a imagem como uma memória exagerada e deformada pelo tempo e contexto em que nos encontramos.

Em suma, tal como já referido, as características da interface criada para a instalação aproximam-na das caixas de música do tipo realejo, onde é clara a ligação entre o gesto e o resultado ouvido. Deste modo, a instalação torna-se performativa e interagir com ela é explorar as várias possibilidades, sobretudo sonoras, dos 3 minutos de música compostos sem nunca os ouvir completamente. É possível tanto parar num momento específico e sentir cada mudança de grânulo lentamente, como oscilar constantemente entre acelerações – pode ser, para quem o quiser, um processo de escuta e contemplação. Ao fim de alguns segundos sem interação a imagem faz fade-out e o som transforma-se lentamente num lugar e tempo que não é mais o da caixa de música, mas que a ela está ligado – no tal (quase) silêncio anteriormente enunciado.

As várias metáforas de tree-dimensional

tree-dimensional procura existir numa tensão entre o real e o imaginado, e o seu processo de criação aconteceu num constante questionamento sobre como relacionar os diferentes meios da obra: componente visual, componente sonora e interatividade. Porém, cingir as dimensões de tree-dimensional a estas três parece-me redutor. Será ainda relevante compreender como a parte não interativa (o blackout) se relaciona com a parte interativa e como todas as componentes da obra se relacionam com os elementos extra-obra principais: a caixa de música, o tempo das árvores e a vida das árvores nas diferentes estações do ano.

As bibliotecas de sons para as composições consistiram em samples crus e trabalhados de: madeira a partir e a ranger, folhas a mexer, várias caixas de música a tocar em simultâneo, objetos em movimentos rotativo, sintetizadores graves e agudos. Acredito que esta enumeração de fontes sonoras nos remeta de imediato para o imaginário de uma caixa de música cuja bailarina que roda é uma árvore. Talvez os sons criados com recurso a um sintetizador não entrem de forma tão imediata neste imaginário sugerido, mas a sua criação veio na sequência dos seguintes factos: as árvores, tal como outras plantas, reagem a fatores externos como a luz, emitindo sinais elétricos; as árvores transmitem informações umas às outras pelas suas raízes longas – algo conhecido como wood wide web (Wohlleben, 2015/2016, p. 11). Não pretendo fazer uma ligação literal destas afirmações aos sons sintetizados, mas sim imaginar que a oscilação de um sinal elétrico é tanto maior quanto a luz recebida pelas folhas e que se a wood wide web cantasse, teria linhas sonoras num timbre denso e num espectro grave, constituído por ondas sonoras longas como as raízes das suas árvores.

Deste modo, no que à relação imagem-som diz respeito, para além da ideia de rotação ser transversal a ambos os meios, a composição musical teve em consideração a estação do ano e o contexto da árvore no vídeo escolhido (e.g. quantidade de luz, nuvens, quantidade de folhas, cor das folhas). No entanto, para além de serem consideradas informações que a ciência nos dá, existe ainda um ponto de vista especulativo onde a árvore adquire sensações e estados de espírito, tal como os humanos, perante o seu contexto. Por exemplo, o dia principal “Inverno” é mais difuso no seu espectro sonoro que o dia principal “Verão”, onde se assume os sons das muitas folhas que se fazem ver na imagem. Esta é uma Liquidâmbar citadina, com as raízes presas num passeio, que ouve buzinas com regularidade – será uma árvore sob constante stress?^[Apesar de ainda estar pouco estudado, cientistas já comprovaram que as árvores e outras plantas emitem ultrassons quando estão sob stress e com pouca água (Alex Pono, 2014; Khait et al., 2023).] Por sua vez, o dia principal “Outono” assume-se lentamente melódico como as cores das folhas e como o seu cair, enquanto o dia principal “Primavera” assume com vigor os seus drones graves e agudos, como a luz que a faz voltar a florir.

Poderia analisar neste texto todas as metáforas inerentes à criação destas duas componentes, mas considero que o sujeito que interage impregna a sua própria experiência, as suas próprias metaphors we live by, na interpretação que tem da obra e, consequentemente na sua relação com a mesma. Embora a obra tenha sido criada segundo certas metáforas, admito que a relação sujeito-obra poderá ter metáforas impregnadas, e que estas expandem a rede de metáforas da obra audiovisual interativa diretamente para o corpo e gesto do próprio sujeito, com todos os gestalts experienciais que lhe são inerentes. Ainda assim, para que o objeto artístico consiga estimular a relação do sujeito consigo, é necessário que as suas metáforas se façam sentir nas intenções da interação sujeito-obra^[Ou nas palavras de Donnaruma, na “agência” da interação sujeito-obra.].

Por outro lado, alguns elementos da obra relacionam-se de forma indireta pelas anteriormente denominadas relações coerentes^[Conceito apresentado no terceiro capítulo, no seguimento de serem abordados o tom, formas de vitalidade e contraponto-livre.] e a ideia principal da obra – a caixa de música – é exemplo disto. A duração do vídeo de stop motion (c. de 7 segundos), é muito menor que a duração da componente sonora (cerca de 3 minutos) e, para além disso, todas as alterações da imagem se cingem ao movimento de rotação da árvore e às suas alterações naturais nesse caminho, ao passo que as alterações da componente sonora são constantes e constituem um discurso musical que se desenvolve no tempo. Sendo que para os cerca de três minutos de música a árvore roda cerca de 16 vezes, dá-se um desequilibro na quantidade de alterações, sendo que não existe, sequer, uma relação direta entre elas por meio da sincronia. Tal como se sucede nas caixas de música tradicionais.

!educastVideo[https://educast.fccn.pt/vod/clips/2eaf3m2qfd/desktop.mp4?locale=pt](Versão binaural do dia "Primavera" – exportação da timeline completa, a tempo normal e sem camadas audiovisuais extra; recomenda-se a audição com auscultadores).

!educastVideo[https://educast.fccn.pt/vod/clips/ekr3mpypy/desktop.mp4?locale=pt](Versão binaural do dia "Verão" – exportação da timeline completa, a tempo normal e sem camadas audiovisuais extra; recomenda-se a audição com auscultadores).

!educastVideo[https://educast.fccn.pt/vod/clips/2laz1xazxg/desktop.mp4?locale=pt](Versão binaural do dia "Outono" – exportação da timeline completa, a tempo normal e sem camadas audiovisuais extra; recomenda-se a audição com auscultadores).

!educastVideo[https://educast.fccn.pt/vod/clips/1q4id1b0ew/desktop.mp4?locale=pt](Versão binaural do dia "Inverno" – exportação da timeline completa, a tempo normal e sem camadas audiovisuais extra; recomenda-se a audição com auscultadores).

Por uma questão de tempo: do primeiro protótipo à versão final

tree-dimensional teve uma versão inicial criada entre março e julho de 2023 – chamemos-lhe “primeiro protótipo”. Esta primeira versão deu tempo para a obra criar algumas das suas premissas principais: a instalação como uma caixa de música no espaço; a interação através de uma interface háptica rotativa, que liga o gesto e sua velocidade com o conteúdo audiovisual; a procura por existir numa tensão entre o real e o imaginado. No entanto, as várias reflexões e compreensões sobre a vida das árvores foram o motor para as alterações entre o primeiro protótipo da instalação e a sua versão final.

As principais alterações aconteceram na componente sonora e na interface, ambas na sequência de se procurar aludir ao tempo lento das árvores. No primeiro protótipo a componente musical tinha apenas 30 segundos e o discurso musical desenvolvia-se num tempo demasiado rápido – ou seja, foi toda recriada na versão final, assumindo uma ideia de quase drone, que se desenvolve muito lentamente, dando a sensação de que existe movimento ao mesmo tempo que estamos suspensos. Quanto à interface, o protótipo usava um prato giratório de madeira com um sensor IMU de 6 eixos^[Inertial Measurement Unit (IMU) de 6 eixos combina um giroscópio de 3 eixos e um acelerómetro de 3 eixos. Este sensor mede a aceleração nas direções frente-trás, cima-baixo e direita-esquerda (x, y, z) e a velocidade angular (pitch, roll e yaw), sendo que neste projeto era utilizado o valor do yaw.], ativando a instalação conforme a rotação do prato, que faria lembrar, mais do que as caixas de música do tipo realejo, um disco de vinil. Embora este tipo de interação também fosse interessante, não tinha qualquer resistência e permitia uma rotação muito rápida com pouco esforço – era possível, inclusive, dar impulso ao prato e deixá-lo a rodar sozinho.

!educastVideo[https://educast.fccn.pt/vod/clips/1s2nw2c7ev/desktop.mp4?locale=pt](Documentação visual do primeiro protótipo da instalação tree-dimensional. Gravado na Blackbox da ESMAD — IPP em julho de 2023 – áudio em formato binaural, recomenda-se a audição com auscultadores).

Para além destas alterações, deu-se a introdução da sobreposição das árvores e uma melhoria de todo o programa base em Max MSP. Existiu ainda uma procura por melhorar a edição e criação dos vídeos de stop motion, pois, durante um teste prático na blackbox da Escola Superior de Media Artes e Design – IPP, foram detetados alguns problemas na leitura dos vídeos: por um lado tinham frames repetidos e, por outro, eram demasiado pesados, algo que causava problemas de leitura. Deste modo, foram testadas várias técnicas para uma maior fluidez da rotação e, por fim, chegou-se à solução de fazer uma interpolação de frames com recurso ao optical flow com inteligência artificial do software DaVinci Resolve. Ainda assim, o vídeo assume-se como uma rotação não perfeita, perante uma tecnologia que também não é perfeita, pelo que alguns saltos abruptos podem ser sentidos por olhos mais atentos ao detalhe.

As ativações performativas em forma aberta

As ativações performativas para tree-dimensional foram compostas numa procura por adicionar uma nova camada de interatividade à instalação, questionando a grande diferença entre a interatividade presente numa obra interativa que faz uso de um sistema computacional e a interatividade presente numa obra participativa viva. No seguimento desta ideia, a ativação assume-me não só como uma performance da soprano em cena com a instalação, onde é ela que ativa a instalação, mas sim como um momento em que o público, ao rodar a manivela da interface, interage não só com a instalação audiovisual, mas também com a performer. Ou seja, a performer assume-se como um elemento da própria instalação^[Será importante referir que as ativações de tree-dimensional foram criadas após uma sessão de experimentação de ideias com a soprano Beatriz Ramos. Ou seja, existiu um trabalho colaborativo na ideia base destas ativações.].

Foi composta uma ativação para cada um dos quatro dias principais, que, tal como a componente digital, estabelece relações metafóricas com a estação do ano e com o estado e contexto da árvore na imagem. O material musical das ativações tem a sua origem na componente sonora da árvore, desenvolvendo-a de forma independente, ao mesmo tempo que adiciona elementos textuais a esta (com exceção do dia “Outono”, que não comporta qualquer texto). As várias ativações estão compostas em forma aberta, funcionando como um guião para a performance onde constam as ideias base que devem ser exploradas de forma improvisada. O guião detalha o comportamento a seguir, para cada ativação, conforme a velocidade da manivela: normal ou lenta. Para cada velocidade são especificados movimentos do corpo, linhas melódicas e rítmicas, bem como a abordagem à componente textual. Quando o público procura rodar a manivela muito rápido, contrariando o tempo lento das árvores, tal como acontece com a componente digital da instalação, a performer contraria essa intenção. Para além das ativações para cada um dos dias principais, foi ainda composta uma ativação para o momento do blackout, que assume o mesmo tipo de conexões sonoras e temporais.

Ao mesmo tempo que se torna uma expansão física da árvore, que, tal como ela, atua conforme a rotação da manivela e o comportamento da componente audiovisual digital da instalação, a performer estabelece com o público uma interação human-like mais profunda, na medida em que assume uma imprevisibilidade maior em dados momentos. Por exemplo, nas ativações do dia “Primavera”, caso alguém permaneça muito tempo a interagir com a instalação, a performer deverá interromper a interação do sujeito com a interface e assumir por momentos o seu controlo. O corpo humano da instalação é, portanto, tanto parte do seu worldmaking, como algo estranho a ele. A performer assume o papel de ponte entre o mundo digital e físico, como se existisse entre cá e lá, e este é reforçado por momentos de interação direta com o público através do toque (como no exemplo já enunciado) e do olhar – por exemplo, no dia “Verão” a performer deve alternar entre olhar para a pessoa que interage com a interface e a árvore espelhada no chão.

Conclusão

Este projeto de mestrado procurou expor o excessivo foco tecnológico que autores e público apresentam perante obras artísticas que fazem uso de tecnologia, focando-se em especial nas obras audiovisuais interativas, e evidenciar o questionamento profundo da componente estética da obra, sobretudo durante a criação, como um caminho possível para contrariar o fetichismo tecnológico. Este fetichismo tecnológico afasta-nos de relações profundas e será parte de uma sociedade que grande parte das vezes não tem uma boa relação com a tecnologia – por isso, este questionamento do papel da tecnologia e do seu impacto na arte e sociedade continua a ser um tema com urgência. Ter como ponto de partida a questão de pesquisa artística “Como ir além do fetichismo tecnológico na criação de obras audiovisuais interativas?” procurou contribuir para essa urgência no campo da arte interativa, mais precisamente da música interativa, arte sonora e arte multimédia.

Ao questionar-se o conceito de interatividade, o conceito de obra interativa, a nossa relação com as obras de arte interativas e a forma como relacionamos os seus meios de forma estética e não meramente técnica, concluiu-se que a metáfora pode ter um papel preponderante durante a criação e a interpretação de um objeto artístico. Deste modo, as metáforas presentes numa dada obra são o que potenciam a imersão do sujeito na mesma e, consequentemente, a relação entre ambos – e entenda-se que a metáfora está presente em várias esferas: tanto entre o corpo do sujeito que interage e o worldmaking da obra através de uma interatividade relevante e human-like (que pode ser real ou ilusória), como entre os vários meios e conceitos que constituem o worldmaking que é percecionado. Sendo o nosso sistema conceptual apoiado em metáforas segundo as quais vivemos, estas definem a interpretação que fazemos de uma dada obra – ou seja, a experiência do sujeito tem um papel fundamental que expande a rede de metáforas da própria obra. Se a obra interativa exige ao sujeito que, passe a redundância, interaja com ela para ser percecionada, existe um forçar da relação entre ambos. Deste modo, a vivência da obra entre o real e o imaginado, é importante para que consigamos criar metáforas passíveis de potenciar a relação com a obra: i.e., as “metáforas novas” criadas pela arte devem conter, ou procurar, uma relação com os nossos gestalts experienciais.

A criação de tree-dimensional e das suas ativações performativas seguiram esta linha de pensamento, procurando questionar continuamente a relevância da interatividade e as várias metáforas que existem a priori nos vários planos que constituem a obra. Mas se as metáforas pressupõem gestalts experienciais, revelou-se necessário compreender melhor a vida das árvores e da árvore em frente à minha janela, para poder “falar” sobre ela(s). Não quer isto dizer que apenas quem conhece a árvore é passível de estabelecer uma relação com a obra, uma vez que posteriormente as suas metáforas (tal como a intenção e a agência) serão interpretadas pelo público e não apenas compreendidas.

Apesar do foco estético, não deixa de ser importante referir os diversos desafios técnicos que surgiram durante este percurso – desde o perceber como fotografar a árvore, à construção da interface mecânica e tecnologicamente. Deste modo, é importante referir que esta dissertação não pretende negar o papel da tecnologia nas obras de arte interativas, pretende, sim, evidenciar que a obra não pode ser refém da tecnologia e que o objetivo da obra não é tecnológico. Isto é algo que pode inclusive trazer mais desafios técnicos, pois se uma dada tecnologia não contribui para o pressuposto estético, deverá ser procurada outra solução.

Por fim, considero que este projeto de Mestrado teve um grande impacto nos meus percursos académico, artístico e pessoal. De certo modo, o seu resultado teórico e prático reflete o meu interesse em pensar e criar sobre a nossa relação e perceção do que nos rodeia, através da arte sonora e multimédia. Procurar compreender o nosso sistema conceptual, a criação artística tecnológica (interativa e não interativa) e a nossa relação com as obras de arte revela-se um chão, ou uma base, para continuar a refletir sobre outros temas, mais concretos, das vivências humanas. Durante este último ano tive a oportunidade de ter uma conversa com uma artista, Belisa Branças, em que considerámos que talvez a maior sorte de um artista seja, para o seu trabalho, poder pesquisar e aprender sobre diversos temas – na altura ela pesquisava sobre os conceitos de liberdade ao longo da História. Quanto a mim, penso que é isso que me tem feito continuar neste meio: não apenas o pesquisar sobre a tecnologia, porque é verdade que gosto de explorar as tecnologias, mas incluir essa pesquisa como parte de um caminho onde o seu término (ou as suas paragens) tem pouco de tecnológico, ou vai muito para lá da sua tecnologia. E penso que o fiz em tree-dimensional.

Bibliografia

Abramović, M. (2010). The artist is present. https://www.moma.org/calendar/exhibitions/964

Akers, M. (2012). Marina Abramovic: The Artist Is Present.

Alex Pono. (2014). The origin of sounds in water-stressed trees [video]. Youtube. https://youtu.be/uWL0EoZh09w?si=h9gkfDyxbzo42qIg

Arlander, A. (2020). Meet­ings with Re­mark­able and Un­re­mark­able Trees. https://www.uniarts.fi/en/projects/meetings-with-remarkable-and-unremarkable-trees/

Arlander, A. (2023). PONDERING WITH PINES. https://ponderingwithpines.com/

Borges, J. L. (2000). The Metaphor. Em C.-A. Mihailescu (Ed.), This craft of verse (pp. 21–41). Harvard University Press.

Buber, M. (2014). Eu e Tu (A. Morão & S. Favilas, Trad.). Paulinas. (Obra original publicada em 1923)

Buchanan, I. (2010). Commodity Fetishism. Em Dictionary of Critical Theory (1st ed., p. 278). Oxford University Press. https://doi.org/10.1093/acref/9780199532919.001.0001

Cambridge Dictionary. (s.d.). ANALOGY. Obtido 9 de Abril de 2024, de https://dictionary.cambridge.org/dictionary/english/analogy

Carvalho, R. (2018). S+V+M: RELATIONSHIPS BETWEEN THE SOUND, VISUAL AND MOVEMENT DOMAINS IN INTERACTIVE SYSTEMS [Universidade do Porto]. https://hdl.handle.net/10216/116201

Chion, M. (2011). A audiovisão: som e imagem no cinema(E. D. Duarte, Ed.; P. E. Duarte, Trad.; 1^a). texto&grafia. (Obra original publicada em 1993)

Dicionário infopédia da Língua Portuguesa. (2024a). Porto Editora – experiência. Porto: Porto Editora. https://www.infopedia.pt/dicionarios/lingua-portuguesa/experi%C3%AAncia

Dicionário infopédia da Língua Portuguesa. (2024b). Porto Editora – metáfora. Porto: Porto Editora. https://www.infopedia.pt/dicionarios/lingua-portuguesa/met%C3%A1fora

Donnarumma, M. (2012). Incarnated Sound in Music for Flesh II – defining gesture in biologically informed musical performance. Leonardo Electronic Almanac, 18(3), 164–175. https://www.leoalmanac.org/vol18-no3-touch-and-go/

Drummond, J. (2009). Understanding interactive systems. Em Organised Sound (Vol. 14, Número 2, pp. 124–133). https://doi.org/10.1017/S1355771809000235

Duarte, N. (2022). Introdução: O bezerro e outro, o fetichismo da mercadoria e o fetichismo da individualidade. Em Crítica ao fetichismo da individualidade. Editora Autores Associados Ltda. https://books.google.pt/books?id=y8xqEAAAQBAJ&printsec=frontcover&hl=pt-PT&source=gbs_ge_summary_r&cad=0#v=onepage&q&f=false

Ellen, R. (1988). Fetishism. Man, 23(2), 213. https://doi.org/10.2307/2802803

ESMAE / CESEM. (2024). JORNADAS DE PRÁTICAS DE INVESTIGAÇÃO EM ARTES. https://www.esmae.ipp.pt/noticias/jornadas-de-praticas-de-investigacao-em-artes-1

gnration. (2024). peter kutin & patrik lechner. https://www.gnration.pt/event/2024/peter-kutin-patrik-lechner/?doing_wp_cron=1712105288.2409839630126953125000

Heidegger, M. (1977). The Question Concerning Technology (W. Lovitt, Trad.). Em The Question Concerning Technology and Other Essays (pp. 3–35). GARLAND PUBLISHING, INC. (Obra original publicada em 1954)

Isaza M, M. (2014). Sonic Field. Mileece Petre, Music from Plants. https://sonicfield.org/mileece-petre-music-from-plants/

Jordà, S. (2007). Interactivity and live computer music. Em N. Collins & J. d’Escriván (Eds.), The Cambridge Companion to Electronic Music (pp. 89–106). Cambridge University Press.

Khait, I., Lewin-Epstein, O., Sharon, R., Saban, K., Goldstein, R., Anikster, Y., Zeron, Y., Agassy, C., Nizan, S., Sharabi, G., Perelman, R., Boonman, A., Sade, N., Yovel, Y., & Hadany, L. (2023). Sounds emitted by plants under stress are airborne and informative. Cell, 186(7), 1328-1336.e10. https://doi.org/10.1016/j.cell.2023.03.009

Kwastek, K. (2015). Audiovisual Interactive Art: From the Artwork to the Device and Back. Em D. Daniels & S. Naumann (Eds.), See this sound – Audiovisuology Essays (Vol. 2, pp. 582–605). Verlag Walther König.

Lakoff, G., & Johnson, M. (1980). Metaphors We Live By. The University of Chicago Press.

Levin, G. (2009). Audiovisual Software Art: A Partial History. Em D. Daniels, S. Naumann, & J. Thoben (Eds.), See this sound – Audiovisuology Compendium (pp. 273–284). Verlag der Buchhandlung Walther König.

Lozano-Hemmer, R. (2006). Pulse Room. https://www.lozano-hemmer.com/pulse_room.php

Mamedes, C. R. (2016). O processo interativo: reflexões sobre o gesto instrumental, participação e criação. Revista Vórtex, 4(2), 1–27. http://vortex.unespar.edu.br/mamedes_v4_n2.pdf

Mancuso, S. (2022). A Revolução das Plantas (M. Severo, Trad.). 11x17. (Obra original publicada em 2017)

Mileece. (2014). Mileece. Orbia. https://www.mileece.is/orbia

Nagel, T. (1974). What Is It Like to Be a Bat? The Philosophical Review, 83(4), 435–450.

Nicolas Bernier. (2013). frequencies (a) | nicolas bernier. Vimeo. https://vimeo.com/nicolasbernier/frequencies

Nussbaum, M. (2010). The Silent Crisis. Em Not for profit : why democracy needs the humanities (pp. 1–13). Princeton University Press.

Pennycook, B. (2008). Who will turn the knobs when I die? Organised Sound, 13(3), 199–208. https://doi.org/10.1017/S1355771808000290

Reis, P. J. (2022). X Body: Embodying the “Black Box”. Em M. Carvalhais, M. Verdicchio, L. Ribas, & A. Rangel (Eds.), The Book of X: 10 years of Computation, Communication, Aesthetics & X (pp. 111–120). i2ADS/CITTAR. https://doi.org/10.24840/978-989-9049-26-0

Ribas, L. (2012, Novembro 7). Sound-Image Relations and Dynamics in Digital Interactive Systems. 6th International Conference on Digital Arts – ARTECH. https://www.idmais.org/pubs/LuisaRibas/SIRDDIS-RIBAS-ARTECH12.pdf

Scruton, R. (1997). Imagination and Metaphor. Em The Aesthetics of Music (pp. 80–86). Oxford University Press. https://books.google.pt/books?id=Id7nCwAAQBAJ&printsec=frontcover&hl=pt-PT&source=gbs_ge_summary_r&cad=0#v=onepage&q&f=true

Spitzer, M. (2004). The Aristotelian Telescope. Em In Metaphor and Musical Thought (pp. 1–6). The University of Chicago Press.

Stade, T. (2021). Hands-off Interactive Storytelling in Cinematic Virtual Reality [Phd]. University of York.

Stern, D. (2010). Introducing Dynamic «Forms of Vitality». Em Forms of Vitality: Exploring Dynamic Experience in Psycology, the Arts, Psychotherapy, and Development (pp. 3–19). Oxford University Press.

Tate Museum. (s.d.-a). Interactive art. Obtido 9 de Abril de 2024, de https://www.tate.org.uk/art/art-terms/i/interactive-art

Tate Museum. (s.d.-b). Participatory art. Obtido 9 de Abril de 2024, de https://www.tate.org.uk/art/art-terms/p/participatory-art

Turing, A. M. (1950). Computing Machine and Intelligence. Mind, 49, 433–460.

Winderen, J. (2022). ‘SURVIVING THE IMPACT OF RAINDROPS’, SURFACE, INDEX OF ART AND TECHNOLOGY, MOSTEIRO DE TIBIAS, BRAGA. https://www.janawinderen.com/exhibitions/surviving-the-impact-of-raindrops-surface-index-of-art-and-technology-mosteiro-de-tibias-braga

Wohlleben, P. (2016). The Hidden Life of Trees (J. Billinghurst, Trad.). Greystone Books. (Obra original publicada em 2015).

Xygalatas, D. (2022). The Ritual Paradox. Em Ritual: How Seeminglt Senseless Acts Make Life Worth Living. Little, Brown Spark.

Zareei, M. H. (2020). Audiovisual Materialism. Organised Sound, 25(3), 362–371. https://doi.org/10.1017/S1355771820000321

Zareei, M. H., Mckinnon, D., Carnegie, D. A., & Kapur, A. (2016). Sound-based Brutalism: An emergent aesthetic. Organised Sound, 21(1), 51–60. https://doi.org/10.1017/S1355771815000370

Zbikowski, L. M. (2017). Music and Analogy. Em Foundations of Musical Grammar (pp. 26–52). Oxford Studies in Music Theory.