Áudio imersivo: entrevista com Rodrigo Meirellies

 

 

O que é som imersivo?

Podemos ir por vários caminhos, porque áudio imersivo é um termo bem genérico. Mas se a gente pegar nosso contexto de indústria e engenharia de áudio, e ligarmos áudio imersivo à tecnologia - e já vou falar que áudio imersivo não está exatamente ligado à tecnologia – podemos dizer que são formas de dar um passo à frente na experiencia do usuário. Seja no conteúdo audiovisual, seja na música, quando falamos tecnologicamente em áudio imersivo, estamos nos referindo às tecnologias que tentam dar um passo à frente em relação ao que era o surround. E o que é o áudio envolvente, o áudio surround? É uma experiência sonora em que somos capazes de escutar, como ouvintes ou espectadores, sons vindos da frente e de trás. Os sons (no audio surround) acontecem em torno do ouvinte, mas em um único eixo em termos de elevação. Quando nos referimos ao áudio imersivo, nos referimos também aos sons que vem de cima, sempre tentando se aproximar da experiência da vida real. Quando percebemos sons no mundo, sabemos que tem sons vindo de todas as direções. As tecnologias de áudio imersivo tentam também levar a precisão da origem das fontes sonoras como uma evolução na experiencia do usuário. Por exemplo: quando temos cinco canais, como no 5.1, sabemos que só tem cinco espaços no plano de audição de onde os sons podem vir, fora as frequências graves no subwoofer. Mas temos algumas posições limitadas. No áudio imersivo tem a abordagem de os sons não dependerem necessariamente de onde estão os canais de reprodução. Então há uma maior precisão na experiencia do usuário. Seja qual for a tecnologia, o áudio imersivo é uma forma de tentar levar ao ouvinte uma experiencia mais próxima da vida real dando um passo à frente em relação às tecnologias surround tradicionais.

 

 

O conceito de áudio imersivo pode ser aplicado aos formatos antigos, como Fantasaound, Dolby Surround, etc?

Isso é uma oportunidade para trazer uma discussão interessante: o áudio imersivo não depende de tecnologia. Se fecharmos o nosso escopo dentro das tecnologias da indústria e engenharia de áudio, quando falamos em áudio imersivo estamos nos referindo a essas novas tecnologias ou tendencias. O ambisonics, por exemplo, não é uma tecnologia nova, mas é uma tendencia e o pessoal está usando mais de formas interessantes. Só que o som imersivo não precisa, necessariamente, de uma tecnologia específica. Então você listou aí formatos tradicionais de surround, mas eu vou além. Uma coisa é o que a gente hoje, atualmente, classifica como tecnologia ideal de imersivo. Outra coisa é o som imersivo, uma experiencia audiovisual ou sonora imersiva. Isso pode ser feito com qualquer outro tipo de tecnologia. Temos vários exemplos de ouvintes que se sentem super imersos em determinados conteúdos e isso vai ser totalmente independente da tecnologia que foi usada para isso. Claro que com essas tecnologias a gente tenta amplificar os processos criativos para imergir o expectador/ouvinte. A imersão pode ser promovida de várias formas. Por exemplo: recentemente eu tive o prazer de escrever um artigo com dois colegas de som ´para cinema, o Rodrigo Carreiro e a Débora Opolsky , e a gente estava discutindo o filme O Som Do Silencio, que venceu o Oscar agora de melhor som. É uma experiencia super imersiva. São outras estratégias usadas ali para a imersão que vão de forma quase que completamente independente de vir uma mixagem 5.1, Dolby Atmos ou o que for. A imersão se dá pela narrativa, pela forma que o desenho de som é criado, de usar o ponto de escuta da personagem. Enfim, tem várias técnicas e várias expressões artísticas que podem ser usadas para causar uma imersão. Isso sempre foi uma busca do artista. Até para além do artista sonoro. A possibilidade de cativar a pessoa que aprecia essa obra de arte de uma forma que essa pessoa se sente imersa naquela história sempre foi uma experimentação do artista. Não que seja sempre o objetivo artístico, mas é uma possibilidade que sempre foi interessante de ser explorada. Quantas vezes a gente não se sente imerso apenas observando um quadro? Isso vai além do som inclusive, porque a imagem não está nem em movimento. Então sim, você pode ter uma experiencia imersiva com as tecnologias que você citou e ir além. Pode ter uma experiencia imersiva com qualquer tecnologia. Pode ter um filme em mono completamente imersivo.  Isso vai totalmente além da questão da tecnologia.

 

 

Desde quando se fala em audio imersivo?

Em cinema, claro que isso começou a ser muito falado depois do Dolby Atmos, DTSX e o próprio IMax, que não tem nenhuma inovação significativa em termos de mixagem de som, mas começou a ser vendido com uma experiencia imersiva. E depois, quando você fala em TV dgital tendo o 5.1. Então começamos a falar sobre o que podemos ter com 5.1 em TV, o que é outra discussão super polêmica, porque ninguém tem home theatre em casa. Depois você tem os games. O videogame é uma experiencia imersiva por natureza. É uma das únicas formas (de consumir audiovisual) em que temos pessoas em frente à televisão no ponto perfeito de audição centralizado, prestando atenção e jogando, curtindo a experiência sonora às vezes com fones de audio 3D. Desde o 5.1, uma pessoa jogando videogame, até a forma com que ela reage, a postura dela com relação ao conteúdo, é totalmente diferente de uma pessoa assistindo a um streaming, um Netflix, uma TV. A forma como a pessoa consome aquele conteúdo é diferente. Por natureza já é imersivo. Se a gente pensa em música... As pessoas ouviam em casa, nos toca discos, aí vem os CD players de carro, as pessoas passaram a escutar música dentro do carro, hoje em dia todo mundo escuta música de fone, e aí agora está ficando mais popular o Dolby Atmos music.

 

 

O áudio imersivo se desenvolveu mais por causa de game?

Na minha opinião - sem respaldo cientifico, porque deve ter muita gente pesquisando isso: como que as tecnologias começaram a ser usadas - a questão do gamer é interessante mas não é definitiva para fazer todo um mercado, principalmente na perspectiva do criador de conteúdo. Gosto de estabelecer essa perspectiva de quem usa essas possibilidades criativas para contar histórias ou criar obras de arte. O videogame é interessante. A imersão do videogame é uma imersão bem significativa e claro que muitas pessoas que gostam desse tipo de imersão querem ter uma outra mídia que elas consomem. A pessoa que consome TV, a pessoa que vai ao cinema, a pessoa que cria conteúdo para TV, a pessoa que cria conteúdo para cinema, ela só vai criar e consumir (audio imersivo) quando para aquela mídia for uma verdade. Mas para acontecer de ter uma tecnologia de áudio imersivo adotada em grande escala por salas de cinema, por plataformas de streaming... Isso pode ter até uma inspiração em games, mas isso só se torna em grande escala, só se torna possível quando faz sentido para aquele tipo de mídia, aquele tipo de criador e para aquele tipo de consumidor de conteúdo. E acho que pode ter uma inspiração em games, claro. As áreas se falam muito. Então, por exemplo, o ambisonics, que é uma tecnologia muito útil para games, para realidade virtual, para novas mídias, realidade aumentada... ela se torna útil também para TV, por exemplo. Então tem a inspiração, mas, para mim, só faz sentido quando dentro daquela mídia tem o sentido criativo e narrativo, e tanto o criador como consumidor desse conteúdo enxergam esse sentido. Foi o que aconteceu no cinema, na TV e está acontecendo em música.

 

 

Já trabalhou com ferramentas de áudio imersivo?

Sim. Felizmente, na Globo, tivemos várias oportunidades de trabalhar em “primeiras vezes”, digamos assim. Primeira vez em que foi feito streaming ao vivo em Dolby Atmos, primeira mixagem feita para sala grande de cinema feita no Brasil, enfim... Na época em que eu coordenava a parte de produção de áudio do Projac tive a oportunidade de participar de projetos em várias vertentes. Isso que foi interessante observar de perto, não só o Dolby Atmos como o MPeg H, a evolução dessas tecnologias e a adesão dessas tecnologias pela TV aberta e streaming também. Com Dolby Atmos, eu tive a oportunidade de trabalhar em diversos eventos ao vivo, em diferentes gêneros. Teve ao vivo em música como foi o Rock in Rio, ao vivo em linha de shows como foi o carnaval, ao vivo em esportes e em dramaturgia também. Isso só acontece quando vários cérebros estão unidos tentando criar uma coisa nova, que foi o que aconteceu quando trabalhamos na Globo em parceria com a Dolby principalmente. Mas esse é o ponto que eu gostaria de ressaltar: a tecnologia só faz sentido se tiver sentido criativo. Se fizer sentido para o espectador, para o usuário final. Essas experiências da Globo só foram sucesso porque as duas pontas do processo aderiram e viram sentido criativo naquilo. Numa ponta o artístico, o criador do conteúdo... Pode ser o diretor artístico, o produtor executivo, seja quem for. Quem cria o conteúdo tem que ver um sentido em usar esse tipo de tecnologia. E foi o que aconteceu. Teve o grande exemplo de Deus Salve o Rei (novela), que o diretor Fabricio Mambertti entendeu o que era a tecnologia, viu sentido naquilo para contar a história e aí, numa linha de evolução, já estava apaixonado pela tecnologia querendo fazer com ela.  Calhou que a estreia foi feita em várias salas de cinema em Dolby Atmos espalhada pelo Brasil. Fizemos também uma versão streaming para mostrar essas histórias, como é essa experiência em soundbar. Quando isso faz sentido para quem cria o conteúdo é o que vale. E na outra ponta também, faz sentido para o expectador? É uma coisa que a pessoa vai precisar de um home theatre em casa, complexo pra caramba de instalar, e não vai conseguir, que é cara, que ninguém tem paciência pra configurar? É uma coisa que a pessoa vai ouvir o valor, vai ver a diferença? Então é assim: tem que fazer sentido também para o espectador.

 

 

Qual é, afinal, a diferença do áudio 3D para o estéreo?

Temos que entender o que é o audio 3D: Audio tridimensional... O Audio bidimensional seria o azimuth e a distância, né? Basicamente a experiencia estéreo é bidimensional, porque a gente sente o audio próximo e longe, e também tem esquerda e direita. Temos essas duas dimensões de trabalho de mixagem para posicionar os elementos sonoros de acordo com a experiencia do ouvinte. O áudio surround também é bidimensional. A única diferença é que a gente consegue posicionar determinados sons atrás do ouvinte. O áudio tridimensional pode gerar uma terceira dimensão que é a elevação. Então a gente também consegue colocar o som acima do ouvinte e, dependendo da tecnologia, abaixo dele. Ou seja, a gente tem um eixo de elevação aí que não é explorado nem no estéreo, nem no 5.1, nem nas tecnologias tradicionais do surround. Se você fala em áudio tridimensional como o que tem essas três dimensões, a diferença já está bem estabelecida. Mas também tem a experiencia binaural. Essa é uma experiencia com fone que você, de acordo com simulações das características do ouvido e da parte externa da orelha, faz com que a gente tenha essa percepção tridimensional mesmo com fone. Tem inúmeras possibilidades de criar esse áudio, seja gravando com um microfone binaural, seja usando processamentos para simular o audio binaural, que pode ser inclusive um dos deliverys da sua mixagem de audio imersivo. Os games usam muito a saída binaural como experiencia final.

 

 

 

Há diferenças na forma de trabalhar com áudio imersivo em 2D ou 3D na hora de gravar e mixar?

Em termos de gravar não precisa ter diferença. Você consegue ter uma mixagem tridimensional, ou imersiva - como quiser chamar -sem precisar mudar nada na sua gravação. Você pode ter um microfone gravando uma voz e na minha mixagem posso decidir colocar a voz na esquerda ou direita na mixagem tradicional estéreo. Na mixagem tridimensional, o mesmo conceito, só que com mais possibilidades.  Você não mudou a gravação; usou um microfone, uma voz, e na mixagem usa o pan para colocar na esquerda ou direita. Na mixagem imersiva, do Dolby Atmos, você tem, por exemplo, uma voz, um microfone, um arquivo de áudio com esses canais e esse arquivo você pode posicionar os elementos em torno do ouvinte, e não mudou nada na gravação. Mas, da mesma forma que no estéreo, quando você tem a possibilidade de usar um microfone estéreo, tem formas de captação que ajudam a ter a experiência imersiva. Uma delas é a captação binaural, que gera, para fones de ouvido, uma experiencia bem interessante. Uma outra forma é a captação com ambisonics, que é um tipo de técnica bem antiga na qual se usa um tipo de captação que você consegue decodificar na pós-produção e transformar isso em vários formatos diferentes, um deles utilizando também a elevação. O ambisonics é um formato de captação que leva em consideração também a elevação. E tem outras técnicas de captação sem ser ambisonics que você pode usar para fazer uma captação de elevação. Mas obviamente isso faz sentido para ambientes. Sempre faz sentido quando você quer registrar determinado som de uma forma tridimensional. Na minha experiência, na grande maioria dos casos, o que produz o interesse para o ouvinte no audiovisual é o posicionamento de fontes sonoras mono em torno do ouvinte. Isso gera uma experiencia bem interessante.

 

 

Então faz mais diferença na mixagem

Sim, faz diferença. Precisa escutar o que se propõe a fazer. Então se é para uma sala de cinema, tem que escutar em uma sala de mixagem maior, com esses auto-falantes vindo do teto... Você não precisa ter necessariamente o mesmo número de caixas acústicas de uma sala grande de cinema, mas precisa ter uma certa distribuição que faça com que você tenha uma referência. Porque para mixar é isso, você tem que ter uma referência de como vai ser a experiência do ouvinte. Então se é cinema, uma tecnologia de audio imersivo, se é Dolby Atmos, tem que ter toda aquela história de certificação da Dolby, etc, etc. E para Dolby Atmos é diferente do Dolby Digital, por exemplo. Então se você está fazendo uma mixagem para fone, seu ouvinte vai escutar 99% das vezes com fone, é interessante você ter uma sala de mixagem com caixas para streaming, com os formatos usados nessas mídias, enfim... Se você mixa para Dolby Atmos e uma de suas experiências é um home theatre com caixa no teto, ou um soundbar imersivo, ou um cinema com caixas no teto, precisa ter uma sala assim para mixar. Se você quer fazer uma experiência ambisonics de segunda ou terceira ordem com caixas ao invés de fone, você precisa ter uma sala específica para mixar.

 

 

E como fica a experiencia do consumidor final nos novos formatos? Como superar o fracasso comercial de formatos anteriores, que exigiam muitas caixas e configurações relativamente complexas para o consumidor comum?

Para mim essa é a pergunta principal do áudio imersivo, e eu acho que esse é o grande salto evolutivo que as tecnologias estão apresentando hoje, e esse foi o motivo que eu aderi e investi muito do meu tempo pesquisando e criando conteúdos nessas tecnologias. Eu passei pela experiencia de adotar o 5.1 em TV digital sabendo que era muito difícil para o consumidor aderir, então foi uma experiência meio que frustrante, né? Porque você faz mixagens lindas e maravilhosas com a equipe, e todos ficam felizes: direção, as pessoas envolvidas na própria mixagem... Enfim... Mas aquilo não sai desse mundo do criador do conteúdo. O espectador não ouve. No Brasil principalmente é uma porcentagem muito pequena das pessoas que realmente escutavam as mixagens que a gente fazia pra TV aberta em 5.1. Em cinema já não. As salas de cinema são em 5.1. Claro que tem outra discussão, da qualidade dessa reprodução nas diferentes salas possíveis, etc. Mas você pega um mercado mais independente, nem todas as opções de conteúdo vão ser 5.1... enfim. Então o 5.1 sempre tinha essa frustração de ninguém está ouvindo isso como deveria. E também tinha todas as questões de compatibilidade, de downmix, etc. Bom, no caso das tecnologias de audio imersivo, de uma forma bastante inteligente eles se propõem a resolver essa questão porque... primeiro, vou falar da experiência que eu tive mixando em Atmos. É uma mixagem que você renderiza a mixagem para diferentes experiências. Então essa questão do downmix, de fazer uma versão em estéreo, escutar a versão em estéreo, você tem a possibilidade de mixar atmos e fazer diversas versões bem confiáveis, bem positivas em relação à qualidade da versão estéreo. Isso já ajuda muito na ponta de quem mixa. Mas da parte do espectador, você não necessariamente precisa ter um home theatre para fazer o negócio funcionar. Por exemplo, uma mixagem que foi feita pensando em streaming 7.1.4, você não precisa ter um 7.1.4 com um 7.1 tradicional mais 4 caixas no teto. Você pode ter um soundbar, que é uma barra que faz com que as reflexões do teto da sua casa gerem esses canais surround, que seriam os canais de cima.  Essa mesma mixagem codificada em Atmos pode ser decodificada para fone. se você tiver o decoder, pode decodificar essa mixagem pra fone e ter uma experiencia binaural. Então toda essa questão de ter que montar um home theatre, isso não precisa. Por isso que o pessoal de música está aderindo também, porque ninguém vai parar de escutar musica na rua, correndo, malhando, que é a forma como as pessoas consomem musica hoje em dia, pra sentar em frente de um home theatre ou soundbar. Mas se isso começa a partir do habito de agora, a pessoa escuta no fone uma coisa diferente, e ai vem o soundbar com outra versão, isso já gera um desenvolvimento bem interessante. Então o ouvinte final do streaming pode escutar da forma que quiser.