Hoppa till innehåll

Dynamoi-lärande

Spotify-ljudanalys: CNN:er och de 13 ljudfunktionerna

Spotify använder konvolutionella neurala nätverk för att extrahera 13 ljudfunktioner från råa vågformer. Dessa driver Radio, Autoplay och cold-start-rekommendationer för nya releases.

Hur-man-gör-guide 5 min läsning
A paper craft diorama showing a sound wave entering a machine and becoming data dials for energy and valence.

Nyckelinsikt

Spotify använder konvolutionella neurala nätverk (CNN:er) för att analysera spektrogram av råa ljudvågformer och extrahera 13 mätbara funktioner per spår, inklusive tempo, energi, valens, dansbarhet och tonart. Dessa funktioner driver Radio och Autoplay genom att hitta soniskt kompatibla grannar, och de löser cold-start-problemet för nya artister utan lyssningshistorik. För Discover Weekly fungerar ljudanalys som tiebreaker när kandidatspår delar liknande kollaborativa filtreringspoäng.

Hur ljudanalys fungerar på Spotify

När ett spår laddas upp till Spotify genom en distributör går det genom en automatiserad ljudanalyspipeline. Systemet bearbetar den råa vågformen och extraherar dussintals mätbara egenskaper.

Kärntekniken är konvolutionella neurala nätverk (CNN:er), samma typ av maskininlärningsmodeller som används för bildigenkänning. Istället för att analysera pixlar analyserar Spotifys CNN:er spektrogram, som är visuella representationer av ljudfrekvenser över tid.

CNN:n lär sig att detektera mönster i dessa spektrogram: starka trumslag och syntheziser antyder elektronisk eller dansmusik; milda akustiska gitarrmönster indikerar folk- eller singer-songwriter-genrer; komplexa harmoniska strukturer kan signalera jazz eller klassiskt.

Ljudfunktionerna Spotify extraherar

Spotifys API exponerar 13 ljudfunktioner för varje spår. Dessa är byggstenarna algoritmen använder för att mäta sonisk likhet.

Rytm- och tempofunktioner

Funktion Definition Område
tempo Uppskattade slag per minut (BPM) 0–250
time_signature Slag per takt (3/4, 4/4, etc.) 1–7
danceability Hur lämplig för dans baserat på tempo, rytmstabilitet, slagstyrka 0,0–1,0

Danceability är inte bara tempo. Ett 120 BPM-spår med oregelbundna rytmer poängsätts lägre än ett 100 BPM-spår med ett stadigt groove.

Energi- och intensitetsfunktioner

Funktion Definition Område
energy Perceptuellt mått på intensitet och aktivitet 0,0–1,0
loudness Övergripande loudness i decibel (dB) -60 till 0 dB

Energy kombinerar flera signaler: dynamiskt omfång, upplevd loudness, klangfärg, onset-frekvens (hur ofta nya ljud börjar) och övergripande entropi. Death metal poängsätts högt; en Bach-preludium poängsätts lågt.

Tonala funktioner

Funktion Definition Område
key Spårets tonala centrum 0–11 (C=0, C#=1, etc.)
mode Dur (1) eller moll (0) 0 eller 1

Dessa funktioner hjälper algoritmen gruppera spår med kompatibla harmoniska strukturer, så Radio och Autoplay kan röra sig mellan dem utan ett störande tonartsbyte.

Stämning- och karaktärsfunktioner

Funktion Definition Område
valence Musikalisk positivitet (glad vs ledsen) 0,0–1,0
acousticness Förtroende att spåret är akustiskt 0,0–1,0
instrumentalness Förutsäger om spåret saknar vokaler 0,0–1,0
speechiness Närvaro av talade ord 0,0–1,0
liveness Sannolikhet att spåret framfördes live 0,0–1,0

Valence är särskilt viktig för stämningsbaserade rekommendationer. Ett högt-valens-spår (0,8+) låter glatt eller euforiskt. Ett lågt-valens-spår (0,2 eller lägre) låter sorgligt, melankoliskt eller argt.

Hur ljudfunktioner påverkar rekommendationer

Ljudanalys löser cold-start-problemet. När en ny artist laddar upp sitt första spår har de ingen lyssningshistorik eller kollaborativ filtreringsdata. Men ljudfunktionerna är tillgängliga omedelbart.

Här är hur varje algoritmisk yta använder ljudanalys:

Radio och Autoplay

När Radio genererar en kö baserat på ett fröspår är ljudlikhet den primära signalen. Algoritmen hittar spår med liknande:

  • Tempo (inom ett rimligt område för mjuka övergångar)
  • Energinivå (för att bibehålla sessionens intensitet)
  • Tonart och modus (för harmonisk kompatibilitet)
  • Valens (för att bevara den emotionella tonen)

Detta är varför en Radio-station frödd från ett högenergispår inte plötsligt kommer sätta in en långsam akustisk ballad, även om båda låtarna delar genre-taggar.

Discover Weekly

Discover Weekly använder primärt kollaborativ filtrering, men ljudanalys fungerar som tiebreaker. När flera kandidatspår har liknande lyssningsöverlappspoäng favoriserar algoritmen de med ljudfunktioner närmast din befintliga smakprofil.

Vad artister kan lära sig från ljudfunktioner

Du kan inte kontrollera hur Spotify analyserar ditt ljud. Men att känna till dessa funktioner berättar hur algoritmen hör din musik, och vilka spår den kommer gruppera dina med.

Kontrollera ditt spårs ljudfunktioner

Tip Tredjepartsverktyg kan hämta ditt spårs ljudfunktioner från Spotifys API. Leta efter tjänster som låter dig ange en Spotify-spår-URL och returnera funktionsvärdena.

Vad du ska leta efter:

  • Konsistenta funktioner över din katalog hjälper algoritmen klustra din musik. Om dina spår varierar vilt i energi, tempo och valens har algoritmen svårare att förutsäga vem som kommer gilla dem.
  • Funktioner som matchar din målpublik förbättrar Radio-placering. Om ditt ljud är högenergiskt och dansbart är dina spår mer sannolika att dyka upp i tränings- och festorienterade Radio-sessioner.

Introproblemet

Ljudanalys undersöker hela spåret, men lyssnarbeteende påverkas hårt av de första 30 sekunderna. Om ditt intro har olika egenskaper än resten av låten (ett tyst ambient-intro före ett högt drop) kanske ljudfunktionerna inte återspeglar vad lyssnare upplever först.

Detta kan skapa en mismatch: algoritmen rekommenderar ditt spår baserat på övergripande energi, men lyssnare skippar eftersom intronet inte matchar deras förväntningar. Att optimera ditt intro är en separat färdighet från att optimera din övergripande ljudprofil.

Begränsningar i ljudanalys

Ljudanalys är kraftfullt, men den har blinda fläckar:

Kulturell kontext saknas. Algoritmen vet att ditt spår har hög energi och ett 128 BPM-tempo, men den vet inte att texterna refererar till ett specifikt kulturellt ögonblick eller att produktionsstilen frammanar en viss era.

Liknande ljud är inte samma som liknande publiker. Två spår kan ha nästan identiska ljudfunktioner men tilltala helt olika lyssnare. Ljudanalys hittar soniska grannar, inte publikgrannar.

Genre är härledd, inte deklarerad. Spotify använder dina distributör-tillhandahållna genre-taggar, men ljudanalys kan åsidosätta dem om de soniska egenskaperna inte matchar. Ett spår taggat som "hip-hop" som låter som akustisk folk kan rekommenderas till folklyssnare istället.

Ljudets roll i den bredare algoritmen

Ljudanalys är en av tre huvuddatakällor som Spotify-algoritmen använder:

Datakälla Vad den fångar Bäst för
Kollaborativ filtrering Lyssningsmönster över användare Att hitta publiköverlapp
Naturlig språkbehandling Texter, spellisttitlar, webbnämnanden Att förstå kulturell kontext
Ljudanalys Soniska egenskaper i vågformen Att hitta soniskt liknande spår

För etablerade artister dominerar kollaborativ filtrering. För nya artister bär ljudanalys mer vikt eftersom det inte finns någon lyssningshistorik att analysera.

Målet är att släppa musik med tydliga, konsistenta ljudkarakteristika samtidigt som man bygger en engagerad lyssnarbas. Ljudanalys får dig upptäckt; engagemangssignaler avgör om du fortsätter rekommenderas.