Interview KI-Songfestival: "Kill the system, we want revolution"
Laatste aanpassing: 26-11-2020
Dit stuk, geschreven door Robin Wacanno en Mund Vetter, komt uit Cavia 56 - Het Grote VIA-vakantieboek. De Cavia is hét blad van via en wordt eens per kwartaal uitgebracht. Zou jij ook wel eens een stuk willen schrijven voor de cavia? Kijk dan gauw op de commissie-pagina voor de mogelijkheden.
Ook het Eurovisie Songfestival viel dit jaar ten prooi aan het coronavirus. Dit gemis werd in mei gelukkig opgevuld door het zogenaamde KI-songfestival. Bij dit songfestival was het de bedoeling dat ploegen uit verschillende landen met behulp van KI een liedje zouden maken, welke vervolgens het vervolgens tegen elkaar zouden opnemen. Masterstudente Artificial Intelligence en actief via-lid Janne Spijkervet creëerde samen met Willie Wartaal een nummer voor dit KI-songfestival. Hoe komt zo'n unieke samenwerking tot stand en hoe verliep het muziekmaakproces van idee tot eindproduct? Wij hebben de mogelijkheid gehad Janne te interviewen over haar deelname aan het Songfestival.
Janne Spijkervet, masterstudente Artificial Intelligence
Al vanaf jongs af aan is Janne bezig met het maken van muziek. Op haar achtste begon ze met drumles en deed dat een paar jaar. Ze kwam echter tot de conclusie dat ze de 'harde geluiden' die uit het drumstel kwamen niet zo fijn vond. Op haar elfde ging ze daarom net als haar zusje op pianoles. Ze nam, beetje bij beetje, de uren van haar zusjes pianoles over en merkte tijdens deze lessen dat ze het letterlijk overspelen van bladmuziek niet zo interessant vond. Als ze een etude van Chopin moest spelen, begon ze na een paar maten met improviseren, tot groot ongenoegen van haar pianoleraar, welke uiteindelijk werd vervangen door één die het geïmproviseer wel aanmoedigde.
Deze drang tot het zelf bedenken van muziek wekte haar interesse in de computer, waarmee ze met behulp van het programma Logic en haar keyboard een muziekstuk kon creëren met een compleet orkest. Op haar veertiende deed ze mee aan een componeerwedstrijd waarvoor ze een stuk schreef met maar liefst vijftien instrumenten. Ze belandde in de finale van die wedstrijd, die ze helaas niet won, en merkte daardoor dat componeren toch wel 'heel gaaf' was om te doen. Ze besloot om naast haar middelbare school het conservatorium in de richting muziektheorie en -compositie te gaan doen.
Na haar middelbare school begon ze aan een bachelor media-compositie. Ze leerde daar muziek schrijven voor films en reclames, maar ze kreeg ook les in het programmeren van audio-applicaties. Voor haar scriptie over kunstmatige intelligentie en compositie schreef ze een algoritme dat zelf koorstukken kon componeren op basis van de de koralen en koorstukken van Bach. Meer leren over kunstmatige intelligentie wilde ze wel. In 2017 maakte ze dus een 'gekke' overstap naar de pre-master Artificial Intelligence van 'onze' UvA. De vakken Lineaire algebra en Logica waren zwaar, maar gelukkig trok het het goede onderwijs van Leo Dorst haar er doorheen. Na een jaar hard werken kon ze daarom eindelijk beginnen aan de master Artificial Intelligence. Die ze nu bijna heeft afgerond.
Janne’s betrokkenheid bij het Songfestival gebeurde eigenlijk op basis van een toevallige samenkomst van omstandigheden. Zij was samen met haar beoogde scriptiebegeleider Ashley Burgoyne, een docent en onderzoeker aan de UvA en zelf uiteindelijk ook deel van Janne’s team, aanwezig bij een jaarlijkse conferentie die georganiseerd wordt door ISMIR (International Society for Music Information Retrieval). Op deze conferentie komen mensen die onderzoek doen naar toepassingen binnen het raakvlak tussen muziekwetenschappen en informatiewetenschappen uit verschillende landen samen. Op de conferentie was de regisseur van het KI-songfestival van de VPRO om mensen, voornamelijk onderzoekers die geïnteresseerd waren in muziekgeneratie, te scouten voor deelname aan de wedstrijd. Door deze regisseur werd Janne en haar scritpiebegleider gevraagd om mee te doen. Zo werd een team van de UvA met Janne als belangrijk onderdeel betrokken bij een uniek muzikaal en computationeel project.
Naast een uitzending van een finale van het evenement was de VPRO ook van plan om een reeks korte YouTube-video’s te maken waarin het proces van het maken van het liedje van Janne’s team werd gevolgd. Deze filmpjes zijn hier te bekijken.
Het maken van een liedje (met kunstmatige intelligentie)
Een liedje bestaat meestal uit een aantal onderdelen, waarvan de liedtekst, welke natuurlijk ook ingezongen moest worden, en de instrumentale begeleiding het belangrijkste zijn. Binnen de opzet van het Songfestival was het de bedoeling dat bij het maken van beide onderdelen kunstmatige intelligentie als gereedschap gebruikt zou worden.
De taak van Janne binnen haar team was het trainen van een taalmodel dat in staat zou zijn liedteksten te genereren. Als basis werd het bestaande GPT 2 van OpenAI. Hoewel dit model zoals overgenomen in principe al teksten zou kunnen genereren, zat er nog veel werk in om er daadwerkelijk bruikbare liedteksten uit te krijgen. Het model was getraind op een algemene dataset van Engelse teksten die van het internet waren verzameld, en hiermee kon het model een algemeen ‘begrip’ van de Engelse taal ontwikkelen. Om het model voor de specifieke taak van liedtekstgeneratie te kunnen gebruiken moest het ook worden gefinetuned en dus verder worden getraind op een dataset van specifiek liedteksten. Het model dat Janne uiteindelijk trainde, en de bijbehorende front-end zijn in deze Git-repo te vinden: https://github.com/Spijkervet/gpt-2-lyrics.
Het model kwam uiteindelijk met een uitvoer die hier te lezen is. Het eerste gedeelte kon zonder aanpassingen worden gebruikt als tekst voor het lied. In deze ruwe data die uit het algoritme kwam zijn een aantal interessante dingen te zien. Allereerst heeft het programma uit de trainingsdata bepaalde meta-aanwijzingen gehaald en ook in de uitvoer verwerkt. Een mooi voorbeeld hiervan is het volgende stuk:
"
[robot voice]
Kill the government
Kill the system
"
Het model heeft dus blijkbaar geleerd dat coupletten met zulke instructies kunnen beginnen. Deze instructie is uiteindelijk ook overgenomen in het liedje. Iets anders dat opvalt aan de uitvoer van het programma is de tamelijk anarchistische aard van de tekst. Dit kwam al naar voren in het fragment hierboven, maar er zijn nog veel meer voorbeelden van in de tekst te vinden.
Voor het maken van de instrumentale begeleiding van het lied was een ander lid van het team, Arran Lyon, ook student aan de UvA, verantwoordelijk. Het algoritme dat hij voor een eerder project had ontwikkeld is getraind op een dataset van MIDI-versies van liedjes, onder andere afkomstig van het Eurovisie Songfestival. Op basis van deze trainingsdata kan het algoritme vervolgens zogenaamde muzikale frases (korte reeksen van noten) genereren. Het is dus niet zo dat er uit dit programma na de druk op een knop meteen een volledig liedje kwam rollen. Het leverde enkel de bouwstenen waarmee later een daadwerkelijke instrumentale track gemixt kon worden.
Uit de berg gegenereerde melodietjes moesten natuurlijk nog wel geschikte kandidaten geselecteerd worden. Ook hier kwam kunstmatige intelligentie bij kijken. De eerder genoemde docent en onderzoeker Ashley Burgoyne, die zelf onderzoek doet naar het herkenning of een liedje ‘catchy’ is met behulp van algoritmes, had hiervoor een programma met de toepasselijke naam Catchy voor ontwikkeld. Door dit programma te trainen op Songfestival-liedjes die in het verleden goed hadden gescoord, hoopte het team melodietjes te kunnen selecteren die op hun beurt ook de bouwstenen zouden kunnen worden voor een succesvol Songfestival-nummer.
Een unieke samenwerking
Op deze melodieën en de door Janne gegenereerde liedtekst ontbrak alleen nog maar een vocaal. De rapper Willie Wartaal was daarvoor verantwoordelijk. Zijn deelname, of van een menselijke zanger in het algemeen, lag in het begin echter nog niet in het vooruitzicht; het plan was namelijk om ook het zingen met behulp van kunstmatige intelligentie te doen. Het bleek alleen dat deze techniek nog teveel in de kinderschoenen stond. Janne: "Een algoritme laten zingen dat is eigenlijk nog van de zotte nu. Dat is best wel moeilijk." Ook zou een menselijke zanger kunnen bijdragen aan de bekendheid van het project en de videoserie. Gelukkig had de VPRO nog 'een potje geld' en dus kon er een grote artiest worden aangetrokken. Naast Willie Wartaal stond bijvoorbeeld MEROL ook op de shortlist. De keus viel uiteindelijk op Willie Wartaal. Janne met haar achtergrond in de compositie mocht met hem in de studio gaan zitten.
Samenwerken in de studio met 'Ollie' - "Hij heet trouwens Olivier, dus ik noem hem eigenlijk altijd Ollie" - was heel bijzonder. De samenwerking begon op Science Park. Zonder dat iemand het doorhad liep een van de grootste rappers van Nederland door Science Park, langs de via-kamer, naar het robotlab, waar hij en Janne van een mengeling van melodieën, baslijnen en akkoorden, terwijl naast hen de wetenschappers hard aan het werk waren, een track moesten samenstellen.
Willie Wartaal had overigens gemengde gevoelens over het het algoritme. Aan de ene kant zag hij kunstmatige intelligentie als een soort van huisdiertje dat je wat data voert en dan ideeën voor je genereert. Aan de andere kant vond hij het moeilijk dat hij als kunstenaar niet aan het roer kon staan van zijn werk. Je geeft een algoritme wat invoer, maar je hebt geen idee wat er uit komt. Voor het songfestival had Willie Wartaal dat roer dus niet in handen; het algoritme moest volledig de baas zijn. De tekst die uit de computer kwam paste gelukkig redelijk in het hip-hop straatje van Willie Wartaal. Zo werd voorkomen dat hij een cliché songfestival-liedje moest gaan zingen.
Janne maakte vervolgens van de melodieën die waren uitgekozen op Science Park, thuis twee instrumentale demo-tracks. Dit werden twee heel verschillende liedjes. Willie Wartaal koos resoluut niet voor Janne's favoriete track. Janne kon deze beslissing wel begrijpen. Haar favoriete versie, welke hier te beluisteren is, liet weliswaar beter zien wat voor rare dingen een algoritme doet, maar was simpelweg te moeilijk voor Willie Wartaal om , in de beperkte tijd die ze hadden, zijn vocalen op te zetten. Na de bijdrage van Willie Wartaal, was het liedje af. Klaar om beoordeeld te worden.
De competitie
Nadat ieder team zijn liedje had gemaakt moesten deze natuurlijk beoordeeld worden. Deze beoordeling bestond uit het gemiddelde van een jurycijfer en een publiekscijfer. Het team van Janne eindigde uiteindelijk op de derde plaats. Over dit resultaat was zij zelf erg tevreden, ook omdat ze zelf meer waarde hecht aan het jurycijfer. Op basis van enkel dit jurycijfer zouden zij samen met Australië zelfs op een gedeelde tweede plek zijn geëindigd. De live-uitzending van de uitslagenavond is via deze link op YouTube te bekijken. Een aantal van de andere inzendingen zijn in deze afspeellijst te beluisteren.
De live-uitzending van de uitslagenavond is via deze link op YouTube te bekijken. Een aantal van de andere inzendingen zijn in deze afspeellijst te beluisteren.
Van de andere inzendingen vond Janne vooral het liedje van het Duitse team ‘Databots x Portrait XO’ goed. Voor alle facetten van het liedje van dit team werd kunstmatige intelligentie ingezet, en hierdoor was heel weinig menselijke interventie nodig. Dit alles maakte wel dat het liedje wat meer experimenteel klonk en minder als een standaard Songfestival-liedje, maar het diende hiermee wel als een mooi voorbeeld van wat er met kunstmatige intelligentie allemaal mogelijk is op het gebied van machinale muziekgeneratie.
Terugkijkend op haar deelname zijn er ook punten waarvan Janne denkt dat deze toch beter anders hadden gekund. Een belangrijk voorbeeld hiervan is het samenstellen van de dataset(s) voor het trainen van de modellen. Voor het melodiegeneratiemodel was nu gebruikgemaakt van een dataset van nummers die langskwamen bij het songfestival, en ook algemene popnummers. Het model was echter niet getraind op een anti-corpus met liedjes die juist niet goed zouden werken.
Janne hoopt dat het KI-songfestival in de toekomst vaker georganiseerd zal gaan worden. Ze heeft erg genoten van haar deelname en ziet het evenement als een nuttig platform. Door de samenwerking tussen de VPRO en onderzoeksgroepen kan een inhoudelijk zwaar onderwerp als de ontwikkeling en toepassing van kunstmatige intelligentie op een aantrekkelijke manier aan een breder publiek worden getoond.