Spring til indhold

Dynamoi-læring

Spotify-lydanalyse: CNN'er og de 13 lydfeatures

Spotify bruger convolutional neural networks til at udtrække 13 lydfeatures fra rå bølgeformer. Disse driver Radio, Autoplay og cold-start-anbefalinger for nye udgivelser.

How-to-guide 5 min. læsning
A paper craft diorama showing a sound wave entering a machine and becoming data dials for energy and valence.

Nøgletagaway

Spotify bruger convolutional neural networks (CNN'er) til at analysere spektrogrammer af rå lydbølgeformer og udtrække 13 målbare features per track, inklusive tempo, energi, valence, danceability og toneart. Disse features driver Radio og Autoplay ved at finde sonisk kompatible naboer, og de løser cold start-problemet for nye kunstnere uden lyttehistorik. For Discover Weekly fungerer lydanalyse som tiebreaker når kandidattracks deler lignende kollaborative filtreringsscores.

Hvordan lydanalyse virker hos Spotify

Når et track uploades til Spotify gennem en distributør, går det gennem en automatiseret lydanalysepipeline. Systemet behandler den rå bølgeform og udtrækker dusinvis af målbare karakteristika.

Kerneteknologien er convolutional neural networks (CNN'er), den samme type machine-learning-modeller brugt til billedgenkendelse. I stedet for at analysere pixels analyserer Spotifys CNN'er spektrogrammer, som er visuelle repræsentationer af lydfrekvenser over tid.

CNN'et lærer at detektere mønstre i disse spektrogrammer: stærke trommebeats og synthesizere antyder elektronisk eller dansemusik; dæmpede akustiske guitarmønstre indikerer folk- eller singer-songwriter-genrer; komplekse harmoniske strukturer kan signalere jazz eller klassisk.

Lydfeatures Spotify udtrækker

Spotifys API eksponerer 13 lydfeatures for hvert track. Disse er byggestenene algoritmen bruger til at måle sonisk lighed.

Rytme- og tempofeatures

Feature Definition Område
tempo Estimerede beats per minute (BPM) 0-250
time_signature Beats per takt (3/4, 4/4 osv.) 1-7
danceability Hvor egnet til dans baseret på tempo, rytmestabilitet, beat-styrke 0,0-1,0

Danceability er ikke kun tempo. Et 120 BPM-track med uregelmæssige rytmer scorer lavere end et 100 BPM-track med en stabil groove.

Energi- og intensitetsfeatures

Feature Definition Område
energy Perceptuelt mål af intensitet og aktivitet 0,0-1,0
loudness Samlet loudness i decibel (dB) -60 til 0 dB

Energy kombinerer flere signaler: dynamisk område, opfattet loudness, klangfarve, onset-rate (hvor ofte nye lyde starter) og samlet entropi. Death metal scorer højt; en Bach-præludium scorer lavt.

Tonale features

Feature Definition Område
key Det tonale centrum af tracket 0-11 (C=0, C#=1 osv.)
mode Dur (1) eller mol (0) 0 eller 1

Disse features hjælper algoritmen med at gruppere tracks med kompatible harmoniske strukturer, så Radio og Autoplay kan bevæge sig mellem dem uden et forstyrrende toneartsskift.

Stemnings- og karakterfeatures

Feature Definition Område
valence Musikalsk positivitet (glad vs trist) 0,0-1,0
acousticness Tillid til at tracket er akustisk 0,0-1,0
instrumentalness Forudsiger om tracket ikke har vokal 0,0-1,0
speechiness Tilstedeværelse af talte ord 0,0-1,0
liveness Sandsynlighed for at tracket blev opført live 0,0-1,0

Valence er særligt vigtig for stemningsbaserede anbefalinger. Et høj-valence-track (0,8+) lyder muntert eller euforisk. Et lav-valence-track (0,2 eller under) lyder trist, melankolsk eller vredt.

Hvordan lydfeatures påvirker anbefalinger

Lydanalyse løser cold start-problemet. Når en ny kunstner uploader deres første track, har de ingen lyttehistorik eller kollaborativ filtreringsdata. Men lydfeatures er tilgængelige øjeblikkeligt.

Sådan bruger hver algoritmisk overflade lydanalyse:

Radio og Autoplay

Når Radio genererer en kø baseret på et frø-track, er lydlighed det primære signal. Algoritmen finder tracks med lignende:

  • Tempo (inden for et rimeligt område for glatte overgange)
  • Energiniveau (for at opretholde sessionens intensitet)
  • Toneart og mode (for harmonisk kompatibilitet)
  • Valence (for at bevare den følelsesmæssige tone)

Dette er hvorfor en radiostation seeded fra et højenergi-elektronisk track ikke pludselig indsætter en langsom akustisk ballade, selvom begge sange deler genretags.

Discover Weekly

Discover Weekly bruger primært kollaborativ filtrering, men lydanalyse fungerer som tiebreaker. Når flere kandidattracks har lignende lytteoverlap-scores, favoriserer algoritmen dem med lydfeatures tættest på din eksisterende smagsprofil.

Hvad kunstnere kan lære af lydfeatures

Du kan ikke kontrollere hvordan Spotify analyserer din lyd. Men at kende disse features fortæller dig hvordan algoritmen hører din musik, og hvilke tracks den vil gruppere dine med.

Tjek dit tracks lydfeatures

Tip Tredjepartsværktøjer kan hente dit tracks lydfeatures fra Spotifys API. Led efter tjenester der lader dig indtaste en Spotify-track-URL og returnere featureværdierne.

Hvad du skal kigge efter:

  • Konsistente features på tværs af dit katalog hjælper algoritmen med at klynge din musik. Hvis dine tracks varierer vildt i energi, tempo og valence, har algoritmen sværere ved at forudsige hvem der vil nyde dem.
  • Features der matcher dit målpublikum forbedrer Radio-placering. Hvis din lyd er højenergisk og dansebar, er dine tracks mere tilbøjelige til at dukke op i trænings- og festorienterede Radio-sessioner.

Intro-problemet

Lydanalyse undersøger hele tracket, men lytteradfærd påvirkes tungt af de første 30 sekunder. Hvis dit intro har forskellige karakteristika end resten af sangen (et stille ambient-intro før et højt drop), afspejler lydfeatures muligvis ikke hvad lyttere oplever først.

Dette kan skabe et mismatch: algoritmen anbefaler dit track baseret på samlet energi, men lyttere skipper fordi introet ikke matcher deres forventninger. At optimere dit intro er en separat færdighed fra at optimere din samlede lydprofil.

Lydanalysens begrænsninger

Lydanalyse er kraftfuld, men den har blinde vinkler:

Kulturel kontekst mangler. Algoritmen ved at dit track har høj energi og et 128 BPM-tempo, men den ved ikke at teksterne refererer til et specifikt kulturelt øjeblik eller at produktionsstilen fremkalder en bestemt æra.

Lignende lyde er ikke det samme som lignende publikummer. To tracks kan have næsten identiske lydfeatures men appellere til helt forskellige lyttere. Lydanalyse finder soniske naboer, ikke publikumsnaboer.

Genre udledes, erklæres ikke. Spotify bruger dine distributørleverede genretags, men lydanalyse kan overrule dem hvis de soniske karakteristika ikke matcher. Et track tagget som "hip-hop" der lyder som akustisk folk kan blive anbefalet til folk-lyttere i stedet.

Lydens rolle i den bredere algoritme

Lydanalyse er en af tre hoveddatakilder Spotify-algoritmen bruger:

Datakilde Hvad den fanger Bedst til
Kollaborativ filtrering Lyttemønstre på tværs af brugere Finde publikumsoverlap
Naturlig sprogbehandling Tekster, playlistetitler, webomtaler Forstå kulturel kontekst
Lydanalyse Soniske karakteristika af bølgeformen Finde sonisk lignende tracks

For etablerede kunstnere dominerer kollaborativ filtrering. For nye kunstnere bærer lydanalyse mere vægt fordi der ikke er nogen lyttehistorik at analysere.

Målet er at udgive musik med klare, konsistente lydkarakteristika mens du bygger en engageret lytterbase. Lydanalyse får dig opdaget; engagementssignaler bestemmer om du bliver ved med at blive anbefalet.