Musiikin teoria ja säveltäminen ›

MarkusB: Onpas hauska huomata, että neuroverkot on tulleet musiikin puolelle. Klezbergin verkko tuottanee (ja oppii) siis musiikkia nuoteista (midi-data tms.). You tubessa oli myös "säveltäviä" neuroverkkoja, mutta ilmeisesti olivat opetelleet musaa kuuntelemalla (eli signaalin kautta). Musa oli paljon alkeellisempaa kuin tuo Klezbergin.
 
Sen verran haluaisin tietää, että oletko todella koodannut itse nuo verkot vai onko tuohon valmisohjelma? Meinaan että vaatii jo reilusti työtä ja osaamista pelata noiden algoritmien kanssa.
 
Tuolla aloituspostauksessa kerroin että "Tämä systeemi mulla tässä käytössä http://www.hexahedria.com/2015/08/0 sic-with-recurrent-neural-networks/". Eli pohjalla valmis RNN-pohjainen toteutus, johon syötin nuo Bachin koraalit niin että transponoin ne kaikki samaan sävellajiin. Alkuperäinen systeemin pitäisi kyllä toimia myös eri sävellajeissa olevalla materiaalilla, mutta minusta vaikutti että parempaa jälkeä syntyy kun opetusaineisto on yhdessä sävellajissa.
 
Syksystä alkaen olen vasta puuhannut näiden neuroverkkojen kanssa. Enimmäkseen opiskellut ja kokeillut valmiiden toteutusten pohjalta, ja enemmän kuvapuolella (neural-style). Pientä sovittamista ja muutoksia olen tehnyt, vähitellen alkaa päästä enemmän sisälle. Nykyään on melkoisen tehokkaita ympäristöjä (caffe, torch, theano, keras) rakentaa neuroverkkoja valmiista palikoista, kouluttaa niitä ja testailla kuinka ne käyttäytyvät. Koodaaminen tapahtuu jo aika korkealla tasolla ja lopputuloksen kannalta ratkaisevinta on se verkon opettaminen, millä matskulla ja kuinka. Ja tietysti verkon rakenteen valinnat vaikuttavat paljon.
 
Kiinnostaisi kyllä käydä myös audion kimppuun, selvittelin sitä vähän syksyllä, mutta en löytänyt silloin sopivaa "työkaluboksia". Sinänsä säveltämiseen tämmöinen symbolinen taso on oikea. Audiona voisi taas kokeilla jotain enemmän prosessointityyppistä juttua.
 
PS. Tässä mielenkiintoinen kirjoitus RNN-verkkojen toimivuudesta http://karpathy.github.io/2015/05/21/rnn-effectiveness/ . Tuntuvat oppivan aika tehokkaasti erilaisten sarjojen (teksti, tietokoneohjelma jne) formaalit piirteet.