Hoe audioanalyse werkt bij Spotify
Wanneer een track wordt geüpload naar Spotify via een distributeur, gaat het door een geautomatiseerde audioanalysepijplijn. Het systeem verwerkt de rauwe waveform en extraheert tientallen meetbare kenmerken.
De kerntechnologie is convolutionele neurale netwerken (CNN's), hetzelfde type machine-learning-modellen gebruikt voor beeldherkenning. In plaats van pixels te analyseren, analyseren Spotify's CNN's spectrogrammen, wat visuele representaties van geluidsfrequenties over tijd zijn.
Het CNN leert patronen detecteren in deze spectrogrammen: sterke drumbeats en synthesizers suggereren elektronische of dansmuziek; relaxte akoestische-gitaarpatronen indiceren folk- of singer-songwriter-genres; complexe harmonische structuren kunnen jazz of klassiek signaleren.
De audiofeatures die Spotify extraheert
Spotify's API exposeert 13 audiofeatures voor elke track. Dit zijn de bouwstenen die het algoritme gebruikt om sonische vergelijkbaarheid te meten.
Ritme- en tempofeatures
| Feature | Definitie | Bereik |
|---|---|---|
tempo |
Geschatte beats per minuut (BPM) | 0–250 |
time_signature |
Beats per maat (3/4, 4/4, etc.) | 1–7 |
danceability |
Hoe geschikt voor dansen gebaseerd op tempo, ritmestabiliteit, beatsterkte | 0,0–1,0 |
Danceability is niet alleen tempo. Een 120-BPM-track met onregelmatige ritmes scoort lager dan een 100-BPM-track met een gestage groove.
Energie- en intensiteitsfeatures
| Feature | Definitie | Bereik |
|---|---|---|
energy |
Perceptuele meting van intensiteit en activiteit | 0,0–1,0 |
loudness |
Totale luidheid in decibels (dB) | -60 tot 0 dB |
Energy combineert meerdere signalen: dynamisch bereik, waargenomen luidheid, timbre, onset rate (hoe vaak nieuwe geluiden starten) en totale entropie. Deathmetal scoort hoog; een Bach-prelude scoort laag.
Tonale features
| Feature | Definitie | Bereik |
|---|---|---|
key |
Het tonale centrum van de track | 0–11 (C=0, C#=1, etc.) |
mode |
Majeur (1) of mineur (0) | 0 of 1 |
Deze features helpen het algoritme tracks groeperen met compatibele harmonische structuren, zodat Radio en Autoplay ertussen kunnen bewegen zonder een schokkende toonsoortverandering.
Stemming- en karakterfeatures
| Feature | Definitie | Bereik |
|---|---|---|
valence |
Muzikale positiviteit (vrolijk versus verdrietig) | 0,0–1,0 |
acousticness |
Vertrouwen dat de track akoestisch is | 0,0–1,0 |
instrumentalness |
Voorspelt of de track geen vocalen heeft | 0,0–1,0 |
speechiness |
Aanwezigheid van gesproken woorden | 0,0–1,0 |
liveness |
Waarschijnlijkheid dat de track live werd uitgevoerd | 0,0–1,0 |
Valence is bijzonder belangrijk voor stemming-gebaseerde aanbevelingen. Een hoog-valence-track (0,8+) klinkt vrolijk of euforisch. Een laag-valence-track (0,2 of lager) klinkt verdrietig, melancholisch of boos.
Hoe audiofeatures aanbevelingen beïnvloeden
Audioanalyse lost het cold-start-probleem op. Wanneer een nieuwe artiest zijn eerste track uploadt, hebben ze geen luistergeschiedenis of collaborative-filtering-data. Maar de audiofeatures zijn onmiddellijk beschikbaar.
Hier is hoe elk algoritmisch oppervlak audioanalyse gebruikt:
Radio en Autoplay
Wanneer Radio een wachtrij genereert gebaseerd op een seedtrack, is audiovergelijkbaarheid het primaire signaal. Het algoritme vindt tracks met vergelijkbare:
- Tempo (binnen een redelijk bereik voor soepele overgangen)
- Energieniveau (om de sessie-intensiteit te behouden)
- Toonsoort en mode (voor harmonische compatibiliteit)
- Valence (om de emotionele toon te bewaren)
Dit is waarom een Radio-station geseed vanuit een hoogenergie-elektronische-track niet plotseling een trage akoestische ballad invoegt, zelfs als beide nummers genretags delen.
Discover Weekly
Discover Weekly gebruikt primair collaborative filtering, maar audioanalyse fungeert als tiebreaker. Wanneer meerdere kandidaattracks vergelijkbare luisteroverlap-scores hebben, prefereert het algoritme die met audiofeatures het dichtst bij je bestaande smaakprofiel.
Wat artiesten kunnen leren van audiofeatures
Je kunt niet controleren hoe Spotify je audio analyseert. Maar deze features kennen vertelt je hoe het algoritme je muziek hoort, en met welke tracks het de jouwe zal groeperen.
Je track's audiofeatures checken
Tip Derde-partij-tools kunnen je track's audiofeatures ophalen van Spotify's API. Zoek diensten die je een Spotify-track-URL laten invoeren en de featurewaarden retourneren.
Waar naar te kijken:
- Consistente features over je catalogus helpen het algoritme je muziek clusteren. Als je tracks wild variëren in energie, tempo en valence, heeft het algoritme meer moeite te voorspellen wie ze zal waarderen.
- Features die matchen met je doelpubliek verbeteren Radio-plaatsing. Als je sound hoogenergetisch en dansbaar is, zijn je tracks waarschijnlijker te verschijnen in workout- en feest-georiënteerde Radio-sessies.
Het introprobleem
Audioanalyse onderzoekt de volledige track, maar luistergedrag wordt zwaar beïnvloed door de eerste 30 seconden. Als je intro andere kenmerken heeft dan de rest van het nummer (een rustige ambient-intro voor een luide drop), kunnen de audiofeatures niet reflecteren wat luisteraars eerst ervaren.
Dit kan een mismatch creëren: het algoritme beveelt je track aan gebaseerd op totale energie, maar luisteraars skippen omdat het intro niet matcht met hun verwachtingen. Je intro optimaliseren is een aparte vaardigheid van je totale audioprofiel optimaliseren.
Beperkingen van audioanalyse
Audioanalyse is krachtig, maar het heeft blinde vlekken:
Culturele context ontbreekt. Het algoritme weet dat je track hoge energie en een 128-BPM-tempo heeft, maar het weet niet dat de lyrics refereren aan een specifiek cultureel moment of dat de productiestijl een bepaald tijdperk oproept.
Vergelijkbare sounds zijn niet hetzelfde als vergelijkbare publieken. Twee tracks kunnen bijna identieke audiofeatures hebben maar compleet verschillende luisteraars aanspreken. Audioanalyse vindt sonische buren, geen publieksburen.
Genre wordt afgeleid, niet verklaard. Spotify gebruikt je distributeur-verstrekte genretags, maar audioanalyse kan ze overschrijven als de sonische kenmerken niet matchen. Een track getagd als "hiphop" die klinkt als akoestische folk kan in plaats daarvan worden aanbevolen aan folkmuisteraars.
De rol van audio in het bredere algoritme
Audioanalyse is één van drie hoofddatabronnen die het Spotify-algoritme gebruikt:
| Databron | Wat het vastlegt | Best voor |
|---|---|---|
| Collaborative filtering | Luisterpatronen over gebruikers | Publiksoverlap vinden |
| Natuurlijke-taalverwerking | Lyrics, afspeellijsttitels, webvermeldingen | Culturele context begrijpen |
| Audioanalyse | Sonische kenmerken van de waveform | Sonisch vergelijkbare tracks vinden |
Voor gevestigde artiesten domineert collaborative filtering. Voor nieuwe artiesten draagt audioanalyse meer gewicht omdat er geen luistergeschiedenis is om te analyseren.
Het doel is muziek uitbrengen met duidelijke, consistente audiokenmerken terwijl je een geëngageerde luisteraarsbasis bouwt. Audioanalyse laat je ontdekken; engagementsignalen bepalen of je aanbevolen blijft worden.