Musiikin teoria ja säveltäminen ›

Onpas hauska huomata, että neuroverkot on tulleet musiikin puolelle. Klezbergin verkko tuottanee (ja oppii) siis musiikkia nuoteista (midi-data tms.). You tubessa oli myös "säveltäviä" neuroverkkoja, mutta ilmeisesti olivat opetelleet musaa kuuntelemalla (eli signaalin kautta). Musa oli paljon alkeellisempaa kuin tuo Klezbergin.
 
Sen verran haluaisin tietää, että oletko todella koodannut itse nuo verkot vai onko tuohon valmisohjelma? Meinaan että vaatii jo reilusti työtä ja osaamista pelata noiden algoritmien kanssa.

MarkusB: Onpas hauska huomata, että neuroverkot on tulleet musiikin puolelle. Klezbergin verkko tuottanee (ja oppii) siis musiikkia nuoteista (midi-data tms.). You tubessa oli myös "säveltäviä" neuroverkkoja, mutta ilmeisesti olivat opetelleet musaa kuuntelemalla (eli signaalin kautta). Musa oli paljon alkeellisempaa kuin tuo Klezbergin.
 
Sen verran haluaisin tietää, että oletko todella koodannut itse nuo verkot vai onko tuohon valmisohjelma? Meinaan että vaatii jo reilusti työtä ja osaamista pelata noiden algoritmien kanssa.
 
Tuolla aloituspostauksessa kerroin että "Tämä systeemi mulla tässä käytössä http://www.hexahedria.com/2015/08/0 sic-with-recurrent-neural-networks/". Eli pohjalla valmis RNN-pohjainen toteutus, johon syötin nuo Bachin koraalit niin että transponoin ne kaikki samaan sävellajiin. Alkuperäinen systeemin pitäisi kyllä toimia myös eri sävellajeissa olevalla materiaalilla, mutta minusta vaikutti että parempaa jälkeä syntyy kun opetusaineisto on yhdessä sävellajissa.
 
Syksystä alkaen olen vasta puuhannut näiden neuroverkkojen kanssa. Enimmäkseen opiskellut ja kokeillut valmiiden toteutusten pohjalta, ja enemmän kuvapuolella (neural-style). Pientä sovittamista ja muutoksia olen tehnyt, vähitellen alkaa päästä enemmän sisälle. Nykyään on melkoisen tehokkaita ympäristöjä (caffe, torch, theano, keras) rakentaa neuroverkkoja valmiista palikoista, kouluttaa niitä ja testailla kuinka ne käyttäytyvät. Koodaaminen tapahtuu jo aika korkealla tasolla ja lopputuloksen kannalta ratkaisevinta on se verkon opettaminen, millä matskulla ja kuinka. Ja tietysti verkon rakenteen valinnat vaikuttavat paljon.
 
Kiinnostaisi kyllä käydä myös audion kimppuun, selvittelin sitä vähän syksyllä, mutta en löytänyt silloin sopivaa "työkaluboksia". Sinänsä säveltämiseen tämmöinen symbolinen taso on oikea. Audiona voisi taas kokeilla jotain enemmän prosessointityyppistä juttua.
 
PS. Tässä mielenkiintoinen kirjoitus RNN-verkkojen toimivuudesta http://karpathy.github.io/2015/05/21/rnn-effectiveness/ . Tuntuvat oppivan aika tehokkaasti erilaisten sarjojen (teksti, tietokoneohjelma jne) formaalit piirteet.

Eihän se koodaaminen itsessään olekaan ainoa tärkeä asia. Neuroverkkosi tekemät koraalit oli tosiaan ihan järkevän kuuloisia. Ehkä en heti erehtyisi luulemaan Bachin säveltämäksi, mutta kuitenkin ihan selvästi tyylilaji kävi ilmi. Se näytti tekevän hassuja harmoniakulkuja välillä. Siitä ehkä tunnistaisi ihmisen ja koneen eron vielä.
 
Eräällä kurssilla käsiteltiin aikoinaan noita neuroverkkoja. Pohdimme sitten sitä, että mikä on ihmisaivojen ja tietokoneen perimmäinen ero. Täytyy sanoa, että niiden kahden erottelu ei ole välttämättä helppoa. Moni esimerkiksi kokee että luova työ kuten säveltäminen on jotain korkeamman tason työtä, mihin tietokone ei kykene. Neuroverkot ja niiden oppimiskyky kuitenkin jäljentää ihmisaivojen toimintaa oppimalla asioita.
 
Jokin aika sitten oli lehdessä juttua neuroverkko-ohjelmasta, joka oli suorittanut lääkiksen ja erikoistunut syöpädiagnooseihin. Se pystyi opettelemaan ympäri maailman esiintyneitä syöpätyyppejä geenitasolla ja kehittämään kuhunkin tyyppiin sopivia hoitoja. Se pystyi prosessoimaan dataa ihan eri tasolla kuin paraskaan lääkäri.
 
Tietokoneita käytetään nytkin jo musan tekemiseen. En ihmettelisi jos tulevaisuudessa ne auttaisivat sävellystyössäkin.

MarkusB:
Jokin aika sitten oli lehdessä juttua neuroverkko-ohjelmasta, joka oli suorittanut lääkiksen
 
Tuo on kyllä hypeä...
 
ja erikoistunut syöpädiagnooseihin. Se pystyi opettelemaan ympäri maailman esiintyneitä syöpätyyppejä geenitasolla ja kehittämään kuhunkin tyyppiin sopivia hoitoja. Se pystyi prosessoimaan dataa ihan eri tasolla kuin paraskaan lääkäri.
 
Mutta tässä on varmaankin perää. Neuroverkot oppivat todella hyvin ja ihmistä tarkemmiksi kun pitää hahmottaa aineistoa ja tehdä siitä päätelmiä. Kuitenkin aina on kysymys jostakin rajallisesta ongelmasta.

Tällaiseen tuli törmättyä:
 
https://soundcloud.com/deepjazz-ai
 
Eli tekoäly duunailee pianojazzia Pat Methenyn pohjalta.