Jeroen Snik is een ervaren 3D-animator bij Redrum, een van de grootste film- en animatiestudios van Nederland. Sandipan Nath is mediakunstenaar, in 2020 afgestudeerd aan KABK. Met de regeling Bouwen aan talent van het Stimuleringsfonds creatieve industrie ontwikkelen ze een innovatieve technologie om live-filmopnames te koppelen aan een realistische surround sound. De uitkomst van dit multidisciplinaire praktijkonderzoek experiment moet een interactieve installatie voor musea worden.
Synchronisatie van beeld, geluid én real time interactie
‘Let op, mijn bewegingen zie je meteen op het scherm’, zegt 3D-animator Jeroen Snik (36 jaar), terwijl hij rondloopt voor een camera op statief. Inderdaad zweeft een stralende ster van links en rechts naar boven en onder op het grote beeldscherm in de meeting room van filmproducent Redrum. De digitale ster hangt voor een wolkendek boven een fictief berglandschap. Het oogt als een computerspel maar is een simulatie van hoe museumbezoekers straks een interactieve installatie beleven, vertelt Snik. ‘Die bezoeker staat dan voor een scherm waarop hij zichzelf ziet afgebeeld in een digitaal landschap. De lichaamsbewegingen worden gevolgd door deze digitale afbeelding.’ In dit geval is dat een ster boven de wolken, straks wellicht een matroos in een zeventiende-eeuws VOC-schip.
Om een realistische ervaring te creëren is het essentieel dat ook het geluid meebeweegt over omringende luidsprekers, zegt sonic researcher Sandipan Nath (30 jaar). Deze geluidsbewegingen zijn vooralsnog alleen zichtbaar als pulserende cirkels op het beeldscherm van zijn laptop; elke cirkel markeert een luidspreker. ‘Dat geluid moet zich niet alleen verplaatsen over de luidsprekers maar ook veranderen van volume én toonhoogte. Als geluid dichterbij komt, wordt namelijk ook de frequentie hoger. Dit zogenoemde dopplereffect moet worden gesynchroniseerd met de bewegingen van de gebruiker’, aldus Nath. Deze synchronisatie van beeld, geluid én real time bewegingen van een persoon is waaraan het gelegenheidsduo de afgelopen drie maanden werkte in het kader van de regeling Bouwen aan talent. ‘Feitelijk maken we een virtual reality ervaring zonder zo’n moeilijke bril.’
Slimme 3D-camera
Het onderzoeksproject van Snik en Nath vergt vooralsnog inlevingsvermogen van de toekomstige gebruikers – ook van de beeld- en geluidskunstenaars zelf trouwens. ‘We weten immers nog niet waar deze multimediale installatie komt te staan of in welk verhaal de gebruiker terecht komt.’ Bovendien bestaat de software om deze verschillende data te koppelen niet. ‘Dat maakt dit experiment zelfs voor ons wat abstract’, zegt Snik. Gelukkig is de apparatuur vertrouwd voor de twee professionals; een slimme 3D-camera om lichaamsbewegingen vast te leggen, een supersnelle laptop om de geluidsequentie te berekenen en een computer met de veelgebruikte software Unreal Engine om de animaties te maken. Snik: ‘De crux is om de juiste connecties te maken.’
Beeld en geluid hebben de twee inmiddels gesynchroniseerd maar nu komt de verfijning. ‘De animatie reageert nu nog alleen als de gebruiker zich verplaatst. Maar we willen dat de surround sound ook wordt geactiveerd door bijvoorbeeld alleen met de armen te zwaaien. Bij elke beweging hoort dan een andere soundscape.’ Nath, lachend: ‘De enige manier om daar achter te komen is een 3D-animator en een sonic researcher in één ruimte op te sluiten.’
Jeroen Snik is een ervaren 3D-animator bij Redrum, een van de grootste film- en animatiestudios van Nederland. Sandipan Nath is mediakunstenaar, in 2020 afgestudeerd aan KABK. Met de regeling Bouwen aan talent ontwikkelen ze een innovatieve technologie om live-filmopnames te koppelen aan een realistische surround sound. De uitkomst van dit multidisciplinaire praktijkonderzoek experiment moet een interactieve installatie voor musea worden.
‘Let op, mijn bewegingen zie je meteen op het scherm’, zegt 3D-animator Jeroen Snik (36 jaar), terwijl hij rondloopt voor een camera op statief. Inderdaad zweeft een stralende ster van links en rechts naar boven en onder op het grote beeldscherm in de meeting room van filmproducent Redrum. De digitale ster hangt voor een wolkendek boven een fictief berglandschap. Het oogt als een computerspel maar is een simulatie van hoe museumbezoekers straks een interactieve installatie beleven, vertelt Snik. ‘Die bezoeker staat dan voor een scherm waarop hij zichzelf ziet afgebeeld in een digitaal landschap. De lichaamsbewegingen worden gevolgd door deze digitale afbeelding.’ In dit geval is dat een ster boven de wolken, straks wellicht een matroos in een zeventiende-eeuws VOC-schip.
Om een realistische ervaring te creëren is het essentieel dat ook het geluid meebeweegt over omringende luidsprekers, zegt sonic researcher Sandipan Nath (30 jaar). Deze geluidsbewegingen zijn vooralsnog alleen zichtbaar als pulserende cirkels op het beeldscherm van zijn laptop; elke cirkel markeert een luidspreker. ‘Dat geluid moet zich niet alleen verplaatsen over de luidsprekers maar ook veranderen van volume én toonhoogte. Als geluid dichterbij komt, wordt namelijk ook de frequentie hoger. Dit zogenoemde dopplereffect moet worden gesynchroniseerd met de bewegingen van de gebruiker’, aldus Nath. Deze synchronisatie van beeld, geluid én real time bewegingen van een persoon is waaraan het gelegenheidsduo de afgelopen drie maanden werkte in het kader van de regeling Bouwen aan talent. ‘Feitelijk maken we een virtual reality ervaring zonder zo’n moeilijke bril.’
slimme 3D-camera
Het onderzoeksproject van Snik en Nath vergt vooralsnog inlevingsvermogen van de toekomstige gebruikers – ook van de beeld- en geluidskunstenaars zelf trouwens. ‘We weten immers nog niet waar deze multimediale installatie komt te staan of in welk verhaal de gebruiker terecht komt.’ Bovendien bestaat de software om deze verschillende data te koppelen niet. ‘Dat maakt dit experiment zelfs voor ons wat abstract’, zegt Snik. Gelukkig is de apparatuur vertrouwd voor de twee professionals; een slimme 3D-camera om lichaamsbewegingen vast te leggen, een supersnelle laptop om de geluidsequentie te berekenen en een computer met de veelgebruikte software Unreal Engine om de animaties te maken. Snik: ‘De crux is om de juiste connecties te maken.’
Beeld en geluid hebben de twee inmiddels gesynchroniseerd maar nu komt de verfijning. ‘De animatie reageert nu nog alleen als de gebruiker zich verplaatst. Maar we willen dat de surround sound ook wordt geactiveerd door bijvoorbeeld alleen met de armen te zwaaien. Bij elke beweging hoort dan een andere soundscape.’ Nath, lachend: ‘De enige manier om daar achter te komen is een 3D-animator en een sonic researcher in één ruimte op te sluiten.’
‘Het is verrijkend om naast autonome kunst aan een gebruiksvriendelijke toepassing van technologie te werken.’
Sandipan Nath
Non-verbale communicatie
Het duo werkt ongeveer twee dagen per week aan dit praktische experiment. Deels online – ‘het is allemaal digitaal tenslotte’. Maar liever zitten ze naast elkaar op het kantoor van Redrum. Dan kun je sneller reageren op elkaar. ‘Juist non-verbale communicatie is onmisbaar voor de creatieve chemie.’ Beiden hebben een specifieke inbreng in het project. ‘Sandipan kan met zijn software een geluidsdocument gelijk schakelen aan livebeelden. Daar hebben wij geen ervaring mee.’ Omgekeerd was het voor de zelfstandige mediakunstenaar een verademing om te werken met de hightech apparatuur van Redrum. ‘Het zou niet eens in mij zijn opgekomen om mijn software te koppelen aan de livebeelden van een 3D-camera.’
Wat voor Nath ook meespeelt is de zakelijke insteek van een geavanceerd filmbedrijf als Redrum, dat veertig werknemers in dienst heeft en reclames, animaties, en educatieve en culturele films produceert. ‘Het is verrijkend om naast autonome kunst aan een gebruiksvriendelijke toepassing van technologie te werken. De ervaring van de gebruiker weegt daarbij zwaarder dan de intenties van de maker. Het is toch minder persoonlijk.’
In-house academie voor filmtalent
Redrum is gehuisvest in een voormalige legerkazerne in Ede die is getransformeerd in een creatieve hub en stoere woonlofts. In de langgerekte bedrijfsruimte staan tafels vol iMacs en flipovers met scripts. ‘Voor ons was deze samenwerking met een jong talent de eerste kennismaking met het Stimuleringsfonds Creatieve Industrie’, zegt medeoprichter Carlijn Pluijmakers Emmen. ‘Wij besteden weliswaar veel aandacht aan training en innovatie, onder meer met onze eigen Reducations, een in-house academie voor filmtalent. Juist jonge makers brengen frisse inspiratie of de laatste technologische snufjes mee. Daarbij kijken we zoveel mogelijk naar andere disciplines, zoals muziek of installatiekunst. Als bedrijf dat voortdurend inzet op innovatie is deze kennisuitwisseling cruciaal.’
Hoewel de twee deelnemers van Bouwen aan talent beiden elk een specifieke expertise inbrengen – beeld bij Snik, geluid bij Nath – delen ze een achtergrond waarin kunst en techniek samenkomen. Snik verruilde zijn studie Werktuigbouwkundige aan de TU Eindhoven voor een succesvolle carrière als internationaal dj/producer onder de artiestennaam Icicle: ‘Ik maakte al videoclips maar toen mijn dj-werk stilviel door de coronapandemie heb ik mij volledig op digitale animaties gestort.’ De in India geboren Nath verhuisde naar Den Haag voor zijn studie Industrial Design aan de KABK. ‘Uiteindelijk heb ik samengewerkt met mijn vrienden van het Art Science-programma, waarbij je als ontwerper leert samenwerken met andere disciplines als wetenschap of beeldende kunst, in mijn geval sonologie.’ Hij studeerde in 2020 af met een installatie Interference 53°N,42°E, waarbij de gebruiker de geluidsoverlast van zeeschepen en booreilanden op de Noordzeebodem zintuigelijk ervaart. ‘Er zat alleen geen beeld bij.’
‘De culturele sector biedt meer vrijheid dan een commerciële opdracht.’
Jeroen Snik
Commerciële beurspresentatie. en popfestivals
Het doel van het experiment is niet het ontwerpen van een concrete installatie maar de ontwikkeling van een multimediale template die kan dienen als uitgangspunt voor verschillende toepassingen, zegt Snik. Voor de proof of concept is specifiek gekozen voor een museale setting. De culturele sector biedt volgens hem nu eenmaal meer vrijheid dan een commerciële opdracht. ‘Maar wie weet kan deze techniek straks worden toegepast op popfestivals of zelfs een commerciële beurspresentatie.’
Een helder eindpunt heeft het onderzoek daarom niet. De animatiesoftware en ook hardware zoals de 3D-camera verbeteren zich voortdurend en maken daarmee nieuwe toepassingen mogelijk. ‘Wat als de gebruiker het verhaal waarin hij zich begeeft wil aanpassen met spraakbesturing? Of misschien is er geen 3D-camera meer nodig omdat er haptic gloves worden gedragen, handschoenen die de handbewegingen omzetten in computercommando’s’, verkent Snik potentiële mogelijkheden. Nath vult aan: ‘Deze handschoenen kunnen ook fysieke druk uitoefenen waardoor het voelt alsof je echt iets oppakt.’ Maar uiteindelijk draait het niet om de technologie, daarover zijn de twee creatieven het eens. ‘Wij willen een zintuigelijke ervaring creëren.’
Bouwen aan Talent
Met Bouwen aan talent biedt het Stimuleringsfonds Creatieve Industrie startende ontwerpers en makers de mogelijkheid om over een periode van drie maanden samen met ervaren bureaus te werken aan actuele vraagstukken en ontwerpopgaven. Om de samenwerkingen tot stand te brengen, zet het fonds open oproepen uit. Het doel van de oproepen is de aansluiting van startende ontwerpers en makers met het werkveld te versterken en het werkveld op zijn beurt te ondersteunen door extra ruimte te creëren voor verdiepend onderzoek en experiment. Zo wil het fonds bijdragen aan het versterken van de kennis en ervaring en het netwerk en ondernemerschap van starters.