Kunstmatige intelligentie in video

Kunstmatige intelligentie of in beter Nederlands artificial intelligence, afgekort ook wel AI genoemd, is langzaam maar zeker met een opmars bezig. Hoewel het wel degelijk al een tijd lang in ons dagelijks leven is verwikkeld, hebben we misschien nog niet echt door hoeveel we er gebruik van maken. Denk bijvoorbeeld aan de zoekresultaten van Google, een navigatiesysteem dat een snellere route heeft berekend of Spotify dat bij-jou-passende muziek aanbiedt. Naast deze alledaagse toepassingen neemt de toepasbaarheid van kunstmatige intelligentie in rap tempo toe. Hoe kan AI in video gebruikt worden?

Wat is kunstmatige intelligentie?

Kunstmatige intelligentie is simpel gezegd nagebootste intelligentie door systemen of machines. Deze machines zijn daarnaast in staat om op basis van de verzamelde informatie zichzelf te corrigeren en te verbeteren. Het verwerken van deze informatie om het vervolgens toe te kunnen passen wordt ook wel ‘machine learning’ genoemd.

Voorbeelden hiervan zijn mediadiensten, die op basis van jouw keuzes, andere content aanbieden die jou misschien ook interesseren. Netflix geeft bijvoorbeeld films en series aan die passen bij hetgeen wat je al bekeken hebt.
Nu het iets duidelijker is wat kunstmatige intelligentie is, staat hieronder welke mogelijkheden er zijn in video, audio en animatie.

Kunstmatige intelligentie - Netflix, because you watched
Netflix geeft je suggesties op basis van wat je hebt gekeken.

Het bewerken van audio

Als filmmaker of videograaf komt het wel eens voor dat je in een situatie terechtkomt waarin de audio niet optimaal is. Bijvoorbeeld bij het opnemen van een interview waarop op de achtergrond een airco-systeem staat te zoemen. Natuurlijk heb je dan weer net de pech dat de airco niet uitgezet kan worden en dit echt de enige locatie waar gefilmd kan worden… komt wel eens voor, dikke pech!
Het is zeker niet ideaal, maar je gaat toch het interview toch maar opnemen met de wetenschap dat er software is die ongewenste geluiden kan filteren.

Tegenwoordig hebben de professionele videobewerkingssoftware (Final Cut Pro, Premiere Pro en Davinci Resolve) wel tools waarmee geluiden onderdrukt of zelfs helemaal weggefilterd kunnen worden. Het filteren van ruis wordt ook wel ‘noise reduction’ genoemd. Met een paar klikken leert deze tool op welke geluidsfrequentie het meeste ruis is en kan op die manier heel specifiek alleen het ruis wegfilteren.

Een handige tool voor filmmakers en videografen als onverhoopt de audio niet optimaal is, maar het kan nog gekker. Met de software van Koe Recast kan stemgeluid worden aangepast naar een volledig andere stem zonder dat het de karakteristieken van het audiofragment verliest.

Kunstmatige intelligentie in video

Het voorbeeld van Koe Recast komt in de buurt van ‘deep fakes’. De nepvideo’s die rondgaan op internet waarbij een persoon in de video is verwisseld met een ander persoon. De video’s, die met behulp van kunstmatige intelligentie tot stand komen, zijn nauwelijks echt te onderscheiden. De toepassing van deze techniek is interessant en leuk, maar ook gevaarlijk aangezien de inhoud van de video schadelijk kan zijn voor de persoon in de video (die dus eigenlijk niet in de video zit).

De techniek en de toepasbaarheid blijven door ontwikkelen en een van die toepassingen is het text2image, oftewel met tekst een afbeeldingen creëren. Dat klink even interessant als dat het is. Bijvoorbeeld met DALL·E 2 kun je een afbeeldingen creëren aan de hand van steekwoorden. De volgende afbeelding is gecreëerd op basis van: “A videocamera that looks like a lion”.

Kunstmatige intelligentie in video
Afbeelding gecreëerd met kunstmatige intelligentie.

Het resultaat is indrukwekkend, maar dit is ‘nog maar’ een afbeelding. Hoe zit het met video? Ook voor het bewerken van videoproducties is er software dat werkt met kunstmatige intelligentie. Wij, Lionatwork, werken met Davinci Resolve van Blackmagic Design. Dit programma is ook begonnen als software voor kleurcorrecties, maar tegenwoordig kan hier ook in gemonteerd worden.

Magic mask in Davinci Resolve, bron: frame.io

Voor het monteren heeft Davinci Resolve een aantal hulpmiddelen die gebruiken maken van kunstmatige intelligentie. In de afbeelding hierboven is te zien dat met het hulpmiddel ‘Magic Mask’ een persoon of object geselecteerd kan worden door middel van een streep over het object te trekken. De software berekend dan zelf wat wel en niet onderdeel is van het object.
Daarnaast heeft Davinci Resolve andere hulpmiddelen, zoals ‘object removal’ waarmee objecten uit een videobeeld gefilterd kunnen worden en ‘face refinement’ waarmee gezichten geretoucheerd kunnen worden. Het programma herkent zelf gezichten en met een aantal klikken kunnen donkere wallen weggewerkt worden.

Deze hulpmiddelen worden achteraf, nadat de videobeelden gefilmd zijn, toegepast. Maar er is ook software waarmee video’s gemaakt kunnen worden. Ik stuitte eens op een advertentie van Synthesia en was meteen geïnteresseerd. Met deze software wordt getypte text omgezet naar gesproken beeld. Dat is al vrij bijzonder, maar het wordt nog indrukwekkender als je een persoon in beeld jouw tekst ziet uitspreken, waarbij de lippen en mondbewegingen synchroon lopen met de tekst. Als je vervolgens een ander persoon aanklikt – je kunt kiezen uit meer dan 70 personen – spreekt deze persoon ook synchroon de tekst in. Volgens eigen zeggen is deze techniek van Synthesia geschikt om traningsvideo’s, how-to video’s en explainer video’s te maken. Hier zou dan geen videograaf/cameraman voor nodig zijn, wat dan weer scheelt in de kosten. Wat dat betreft is het voor mij te hopen dat de techniek nog wat te wensen overlaat.

AI is here to stay

Dat kunstmatige intelligentie een blijvertje is, staat wel vast. Steeds meer producten, diensten en systemen werken met behulp van AI. Dat we dagelijks zoveel te maken hebben met systemen die voor ons denken maakt ons leven een stukje makkelijker. Daarbij laat ik de discussie of het goed is dat apparaten voor ons denken even in het midden. Dat ook video en andere media steeds meer gebruik maakt van kunstmatige intelligentie vind ik interessant. Als videograaf maak ik dankbaar gebruik van de hulpmiddelen die de bewerkingssoftware met zich meebrengt.

Dat software nu ook al voor een deel het werk van een videograaf overneemt, is natuurlijk minder goed nieuws. Toch is maken van een bedrijfsfilm of een aftermovie nog steeds ‘mensenwerk’.

Waar het gebruik en toepasbaarheid van kunstmatige intelligentie ophoudt moeten we afwachten, maar dat in de komende jaren alleen maar toe zal nemen staat als een paal boven water. Wie weet voor moois, interessants en gevaarlijks het ons zal brengen.

Meer weten kunstmatige intelligentie en andere processen bij het maken van een videoproductie? Neem gerust contact op via info@lionatwork.nl