Hopp til innhold

Dynamoi-læring

Spotify-lydanalyse: CNN-er og de 13 lydfeuturene

Spotify bruker konvolusjonelle nevrale nettverk for å trekke ut 13 lydfeuturer fra rå bølgeformer. Disse driver Radio, Autoplay og kaldstart-anbefalinger for nye utgivelser.

Hvordan-guide 5 min lesing
A paper craft diorama showing a sound wave entering a machine and becoming data dials for energy and valence.

Nøkkelpunkt

Spotify bruker konvolusjonelle nevrale nettverk (CNN-er) for å analysere spektrogrammer av rå lydbølgeformer og trekke ut 13 målbare feuturer per låt, inkludert tempo, energi, valens, dansbarhet og toneart. Disse feuturene driver Radio og Autoplay ved å finne sonisk kompatible naboer, og de løser kaldstartproblemet for nye artister uten lyttingshistorie. For Discover Weekly fungerer lydanalyse som en tiebreaker når kandidatlåter deler lignende kollaborative filtreringsscorer.

Hvordan lydanalyse fungerer hos Spotify

Når en låt lastes opp til Spotify gjennom en distributør, går den gjennom en automatisert lydanalysepipeline. Systemet prosesserer den rå bølgeformen og trekker ut dusinvis av målbare karakteristikker.

Kjerneteknologien er konvolusjonelle nevrale nettverk (CNN-er), samme type maskinlæringsmodeller brukt for bildegjenkjenning. I stedet for å analysere piksler analyserer Spotifys CNN-er spektrogrammer, som er visuelle representasjoner av lydfrekvenser over tid.

CNN-en lærer å detektere mønstre i disse spektrogrammene: sterke trommeslag og synthesizere antyder elektronisk eller dansemusikk; dempede akustiske gitarmønstre indikerer folk- eller singer-songwriter-sjangere; komplekse harmoniske strukturer kan signalisere jazz eller klassisk.

Lydfeuturene Spotify trekker ut

Spotifys API eksponerer 13 lydfeuturer for hver låt. Dette er byggeklossene algoritmen bruker for å måle sonisk likhet.

Rytme- og tempofeuturer

Feature Definisjon Område
tempo Estimerte slag per minutt (BPM) 0–250
time_signature Slag per takt (3/4, 4/4, osv.) 1–7
danceability Hvor egnet for dansing basert på tempo, rytmestabilitet, slagstyrke 0,0–1,0

Danceability er ikke bare tempo. En 120 BPM-låt med uregelmessige rytmer skårer lavere enn en 100 BPM-låt med en jevn groove.

Energi- og intensitetsfeuturer

Feature Definisjon Område
energy Perseptuell måling av intensitet og aktivitet 0,0–1,0
loudness Total loudness i desibel (dB) -60 til 0 dB

Energy kombinerer flere signaler: dynamisk område, oppfattet loudness, timbre, onset-rate (hvor ofte nye lyder starter) og total entropi. Death metal skårer høyt; en Bach-preludium skårer lavt.

Tonale feuturer

Feature Definisjon Område
key Det tonale sentrum av låten 0–11 (C=0, C#=1, osv.)
mode Dur (1) eller moll (0) 0 eller 1

Disse feuturene hjelper algoritmen å gruppere låter med kompatible harmoniske strukturer, så Radio og Autoplay kan bevege seg mellom dem uten en skarp toneartsendring.

Stemnings- og karakterfeuturer

Feature Definisjon Område
valence Musikalisk positivitet (glad vs trist) 0,0–1,0
acousticness Tillit at låten er akustisk 0,0–1,0
instrumentalness Predikerer om låten ikke har vokal 0,0–1,0
speechiness Tilstedeværelse av talte ord 0,0–1,0
liveness Sannsynlighet at låten ble fremført live 0,0–1,0

Valence er spesielt viktig for stemningsbaserte anbefalinger. En høy-valens-låt (0,8+) høres munter eller euforisk ut. En lav-valens-låt (0,2 eller under) høres trist, melankolsk eller sint ut.

Hvordan lydfeuturer påvirker anbefalinger

Lydanalyse løser kaldstartproblemet. Når en ny artist laster opp sin første låt, har de ingen lyttingshistorie eller kollaborative filtreringsdata. Men lydfeuturene er tilgjengelige umiddelbart.

Her er hvordan hver algoritmisk flate bruker lydanalyse:

Radio og Autoplay

Når Radio genererer en kø basert på en seed-låt, er lydlikhet det primære signalet. Algoritmen finner låter med lignende:

  • Tempo (innen et rimelig område for glatte overganger)
  • Energinivå (for å opprettholde øktens intensitet)
  • Toneart og modus (for harmonisk kompatibilitet)
  • Valens (for å bevare den emosjonelle tonen)

Dette er hvorfor en Radio-stasjon seedet fra en høy-energi-elektronisk låt ikke plutselig vil sette inn en langsom akustisk ballade, selv om begge sanger deler sjanger-tags.

Discover Weekly

Discover Weekly bruker primært kollaborativ filtrering, men lydanalyse fungerer som en tiebreaker. Når flere kandidatlåter har lignende lyttingsoverlapp-scorer, favoriserer algoritmen de med lydfeuturer nærmest din eksisterende smaksprofil.

Hva artister kan lære fra lydfeuturer

Du kan ikke kontrollere hvordan Spotify analyserer lyden din. Men å kjenne disse feuturene forteller deg hvordan algoritmen hører musikken din, og hvilke låter den vil gruppere dine med.

Sjekke låtens lydfeuturer

Tips Tredjepartsverktøy kan dra låtens lydfeuturer fra Spotifys API. Se etter tjenester som lar deg oppgi en Spotify-låt-URL og returnere feature-verdiene.

Hva å se etter:

  • Konsistente feuturer på tvers av katalogen din hjelper algoritmen å klynge musikken din. Hvis låtene dine varierer vilt i energi, tempo og valens, har algoritmen vanskeligere for å forutsi hvem som vil like dem.
  • Feuturer som matcher målpublikummet ditt forbedrer Radio-plassering. Hvis lyden din er høy-energi og dansbar, er låtene dine mer sannsynlige å dukke opp i trenings- og festorienterte Radio-økter.

Intro-problemet

Lydanalyse undersøker hele låten, men lytteratferd påvirkes tungt av de første 30 sekundene. Hvis introen din har forskjellige karakteristikker enn resten av sangen (en rolig ambient-intro før et høyt drop), kan lydfeuturene ikke reflektere hva lyttere opplever først.

Dette kan skape en mismatch: algoritmen anbefaler låten din basert på total energi, men lyttere skipper fordi introen ikke matcher deres forventninger. Å optimalisere introen din er en separat ferdighet fra å optimalisere din totale lydprofil.

Begrensninger av lydanalyse

Lydanalyse er kraftig, men den har blinde flekker:

Kulturell kontekst mangler. Algoritmen vet at låten din har høy energi og et 128 BPM-tempo, men den vet ikke at tekstene refererer til et spesifikt kulturelt øyeblikk eller at produksjonsstilen fremkaller en bestemt æra.

Lignende lyder er ikke det samme som lignende publikummer. To låter kan ha nesten identiske lydfeuturer men appellere til helt forskjellige lyttere. Lydanalyse finner soniske naboer, ikke publikumsnaboer.

Sjanger er utledet, ikke erklært. Spotify bruker dine distributør-leverte sjanger-tags, men lydanalyse kan overstyre dem hvis de soniske karakteristikkene ikke matcher. En låt tagget som «hip-hop» som høres ut som akustisk folk kan bli anbefalt til folk-lyttere i stedet.

Rollen av lyd i den bredere algoritmen

Lydanalyse er én av tre hoveddatakilder Spotify-algoritmen bruker:

Datakilde Hva den fanger Best for
Kollaborativ filtrering Lyttingsmønstre på tvers av brukere Å finne publikumsoverlapp
Naturlig språkprosessering Tekster, spillelistetitler, nettomtaler Å forstå kulturell kontekst
Lydanalyse Soniske karakteristikker av bølgeformen Å finne sonisk lignende låter

For etablerte artister dominerer kollaborativ filtrering. For nye artister bærer lydanalyse mer vekt fordi det ikke finnes lyttingshistorie å analysere.

Målet er å utgi musikk med klare, konsistente lydkarakteristikker mens du bygger en engasjert lytterbase. Lydanalyse får deg oppdaget; engasjementssignaler avgjør om du fortsetter å bli anbefalt.