| Aihe: Neuroverkko tuottaa koraalia? | |
|---|
 Klezberg
16.02.2016 12:21:47 (muokattu 16.02.2016 13:38:33) | |
|
Olen tässä tehnyt erilaisia kokeiluja neuroverkkojen kanssa. Nyt neuroverkko on opiskelemassa Bachin koraaleja ja tässä vaiheessa tuottaa itse tämmöistä
http://freygish.com/music/biaxial2500comp.mp3
Mitä tuosta nyt sanoisi? Onhan se jotain oppinut, mutta enemmänkin jatkamaan eteenpäin kuin pyrkimään päämääriin. Ja jatkaahan, jatkaa, loputtomiin.
Tämä systeemi mulla tässä käytössä http://www.hexahedria.com/2015/08/0 … sic-with-recurrent-neural-networks/
Postasin tänne enkä tietokonepuolelle, koska tässä kiinnostaa lähinnä mitä neuroverkko hahmottaa midinä saamastaan nuottiaineistosta.
PS. Itseäni kiusaa erityisesti 0:53 kohdalla, siinä olisi ollut sopiva loppu.
Tulee soiteltua mitä milloinkin jotenkin sinne päin milloin milläkin soittimella. | |
jatkamaan eteenpäin
Tuossa on koko asian ydin. Aistinvaraiset ilmiöt on äärimmäisen ongelmallista mallintaa mihinkään algoritmiin. Siksi voidaan tehdä digitaalinen mallinnus esimerkiksi urkujen soundille, mutta urkusävellykselle algoritmin tekeminen, miksi ikinä sitä (muistiesitystä) kutsutaankin, on mielestäni vielä toistaiseksi mahdotonta. | Klezberg
16.02.2016 14:31:49 (muokattu 16.02.2016 20:53:15) | |
|
nisumaka: Tuossa on koko asian ydin. Aistinvaraiset ilmiöt on äärimmäisen ongelmallista mallintaa mihinkään algoritmiin. Siksi voidaan tehdä digitaalinen mallinnus esimerkiksi urkujen soundille, mutta urkusävellykselle algoritmin tekeminen, miksi ikinä sitä (muistiesitystä) kutsutaankin, on mielestäni vielä toistaiseksi mahdotonta.
Neuroverkoilla ei toisaalta ole samaa rajoitusta kuin algoritmeilla. Kehittäjän ei tarvitse mallintaa algoritmeiksi sitä mitä on hakemassa. Syvät, lukuisista päällekkäisistä kerroksista muodostuvat neuroverkot pystyvät suoraan aineiston perusteella oppimaan yllättäviä asioita. Alemmat kerrokset hahmottavat alemman tason piirteitä ja ylemmän tason kerrokset muodostavat näiden perusteella abstraktioita. Kehitys kuvien tulkinnan puolella on viime aikoina ollut melkoista, hämmentävääkin. Kuvapuolella neuroverkkojen rakenteeseen on otettukin mallia mm. silmän toiminnasta ja näköhavainnon käsittelystä pikseleistä havainnoiksi. Mitä sitten musiikkiin tulee, niin se mitä nyt olen näiden verkkojen kanssa leikkinyt viimeiset puoli vuotta, osoittaa kyllä sen että musiikin ajallinen aspekti mutkistaa asioita melkoisesti kuvaan verrattuna.
Tämä tässä käyttämäni systeemi toimii midin tasolla, lukee aineiston miditiedostoista jotka on transponoitu kaikki etumerkittömään sävellajiin, ja tuottaa myös miditiedoston. Urkujen ääni tulee mukaan vasta sen jälkeen.
Joku oli muuten ehdottanut, että josko tuo oppisi paremmin hakeutumaan päämäärään, jos sävellykset annettaisiin sille opittavaksi takaperin käännettynä. Nyt se lähinnä oppii jatkamaan eteenpäin, johtuen tuommoisen muistilla varustetun neuroverkon rakenteesta.
Ja mun tavoitteena ei ole sävellysten tekeminen neuroverkolla, vaan selvitellä miten ne toimivat ja mihin ne pystyvät. Jotenkin panee ajatusmallit kokonaan uusiksi kun pitää heittää algoritmit ja proseduraalinen ajattelu romukoppaan. Ja pointti ei ole siinä pärjääkö ihmiselle (ei kiinnosta) vaan katsoa missä onnistuu ja missä ei.
Tää voisi olla myös jonkinlaista jatkoa keskustelulle algoritmisestä säveltämisestä täällä erityisesti jäsen Levesinetin kanssa joskus viitisen vuotta sitten: https://muusikoiden.net/keskustelu/posts.php?c=39&t=183783&o=20 . Näyttää lähteneen rönsyämään sointukaavoista. Sointukulkuja opettaisinkin mielelläni neuroverkolle jos olisi valmista lähtötietoa (mahdollisimman paljon eri kappaleiden sointukulkuja koneella käsiteltävässä muodossa).
Tulee soiteltua mitä milloinkin jotenkin sinne päin milloin milläkin soittimella. | Klezberg
16.02.2016 16:05:52 (muokattu 16.02.2016 18:34:37) | |
|
Sitten on vielä se että neuroverkon opetus on tehokkainta kun käytettävissä on hyvä materiaali ja sitä vastaavat halutut tulokset. Kuvantunnistuksessa on näin, kun vain kerätään koko joukko kuvia ja niille tiedot mitä niistä halutaan tunnistaa. Näin oppiminen tapahtuu ohjatusti, verkko oppii onnistumisen ja virheiden kautta. Näin opetetun verkon käyttö ei rajoita vain kuvantunnistukseen, vaan niitä on viime aikoina onnistuneesti käytetty kuvien luomiseen myös.
Musiikin kanssa on vaikeampi. Jos verkko oppii vain hahmottamaan sekvenssejä, se ei opi muuta kuin generoimaan loputonta sekvenssiä. Ihan samoin kuin kuvien kanssa, opetusdatan pitäisi mennä abstraktimmalle tasolle, vaatia verkkoa tunnistamaan musiikin rakenteita.
Tulipahan nyt vain mieleen.
PS. Toisaalta kun panin vastaavanlaisen neuroverkon opettelemaan Kalevalan, niin se oppi kokoamaan kirjaimista sanoja ja sanoista melko hyviä kalevalamittaisia rivejä, vaikkei juoni oikein kantanut sitä pidemmälle. Jos vertaa yksittäisiä nuotteja kirjaimiin, niin vastaavasti luulisi verkon oppivan tuottamaan n tahdin jaksoja. Luulen että tässä nyt kokeilemassani ratkaisussa haittaa se että se opiskelee aineiston satunnaisina 8 tahdin jaksoina. Oletan että tekijä on siinä ajatellut estää ettei verkko vain opettele ulkoa yksittäistapauksia, joita sitten toistaa, vaan joutuu pakostakin yleistämään. Tulipa taas idea.
Mutta, jos asia ei sovi tänne, niin voidaan myös jatkaa fb-ryhmässä "Neuroverkot ja luova toiminta".
Tulee soiteltua mitä milloinkin jotenkin sinne päin milloin milläkin soittimella. | |
Klezberg: Mitä tuosta nyt sanoisi?
Mitä täällä oikein tapahtuu? Hei, tuohan kuulostaa älykkäältä. Olet kehittänyt jännää softaa. Nyt kyllä oikeasti hiukan harmittaa etten ole rakennellut neuroverkkoja 12 vuoteen. Tosin dynaamisista takaisinkytkentäisistä minulla ei ollutkaan paljon kokemusta.
Viime aikoina olen harrastanut englannin- ja ranskankielisten laulujen säveltämistä ja miettinyt sitä, miten runosta tai lyriikasta alkaa syntyä musiikkia.
Klezberg: Tää voisi olla myös jonkinlaista jatkoa keskustelulle algoritmisestä säveltämisestä
Olipa kerran Fennoskandian algoritmisen hissimusiikin johtava nettiradioasema... Sointukulkuskeemojen kirjoittelu oli kyllä opettavaista säveltämisen kannalta. | |
levesinet: Mitä täällä oikein tapahtuu? Hei, tuohan kuulostaa älykkäältä. Olet kehittänyt jännää softaa. Nyt kyllä oikeasti hiukan harmittaa etten ole rakennellut neuroverkkoja 12 vuoteen. Tosin dynaamisista takaisinkytkentäisistä minulla ei ollutkaan paljon kokemusta.
Tänä päivänä on uskottomattoman paljon hyviä työkaluja, isonkin neuroverkon voi rakentaa tuosta vain ja jos on sopivaa opetusaineistoa, myös kouluttaa sen. Varsinkin kuvantunnistuksen puolelle todella paljon työkaluja. Kuvajuttujen kanssa mä enimmäkseen teenkin kokeiluja.
Täähän ei ollut mun tekemää softaa, kutakuinkin valmis systeemi jota kokeilin omalla datalla.
Olipa kerran Fennoskandian algoritmisen hissimusiikin johtava nettiradioasema... Sointukulkuskeemojen kirjoittelu oli kyllä opettavaista säveltämisen kannalta.
Multa varmaan löytyisi ne kaikki matskut edelleen jostain, voisi panna sen uudestaan pystyyn joksiksin aikaa.
Tulee soiteltua mitä milloinkin jotenkin sinne päin milloin milläkin soittimella. |  EP
20.02.2016 20:13:40 | |
|
levesinet:
..Viime aikoina olen harrastanut englannin- ja ranskankielisten laulujen säveltämistä ja miettinyt sitä, miten runosta tai lyriikasta alkaa syntyä musiikkia..
Hienoa, runoista ja lyyriikasta olen minäkin aina ollut kiinnostunut ja sen säveltämisestä.
Musiikki on ihmisen ja luonnon luomaa ja nimenomaan luovaa taidetta, ei ohjelmointia. UGH!! ..piste! | |
EP: Hienoa, runoista ja lyyriikasta olen minäkin aina ollut kiinnostunut ja sen säveltämisestä.
Musiikki on ihmisen ja luonnon luomaa ja nimenomaan luovaa taidetta, ei ohjelmointia. UGH!! ..piste!
Mun mielestä tämmönen touhu on
a) hiton mielenkiintoista
b) suoraa ja loogista jatkoa esim. sarjallisuudelle
LamaAjanElvis: homochatin pitäisi olla edelleen homochat mutta ilman sanaa homo ja chat, mutta lisättynä homoyhteisön hyväksymänä sanat homo ja chat | |
Vessajono: Mun mielestä tämmönen touhu on
a) hiton mielenkiintoista
b) suoraa ja loogista jatkoa esim. sarjallisuudelle
Näin on. Odotan mielenkiinnolla jatkoa tälle, vaikkei itsellä olekaan mitään merkittävää lisättävää.
Outo luku on luonnollinen luku, joka on runsas mutta ei puolitäydellinen. | levesinet
21.02.2016 00:14:55 (muokattu 21.02.2016 01:31:36) | |
|
EP: Musiikki on ihmisen ja luonnon luomaa ja nimenomaan luovaa taidetta, ei ohjelmointia. UGH!! ..piste!
Säveltäminen muistuttaa paljon ohjelmointia. Siinä vaan kirjoitetaan käskyt esittäjille eikä tietokoneen prosessorille.
Sitten on metasäveltäminen eli kehitetään sääntöjä joiden pohjalta lopullinen matalan tason säveltäminen tapahtuu. Keksitään ylemmän tason ilmaisukeinoja. Albertin basso on metasäveltämistä. Nopan heittäminen on metasäveltämistä. Ja metasäveltäminen on musiikkiteknologiaa. Se voi nopeuttaa säveltämistä mutta se ei lisää musiikin arvoa, pikemminkin päinvastoin.
Kun W. A. Mozart, jota inhoan melkein yhtä paljon kuin Megatherium Sibeliusta, kirjoitteli Albertin bassoa ja heitteli noppaa,
https://en.wikipedia.org/wiki/Musikalisches_W%C3%BCrfelspiel
niin hän harrasti musiikkiteknologiaa. Musiikkiteknologialla voi tuottaa paljon tietynlaisia sonaatteja, jotenkin absoluuttista musiikkia, joka ei liity mihinkään ulkomusiikilliseen. Siis semanttisesti köyhää kamaa. Mozart ja kumppanit tuottivat niin paljon tietynlaisia sonaatteja, että niiden pohjalta voidaan tehdä tietokoneohjelmia, jotka tuottavat moninkertaisen määrän lisää samantyylisiä sonaatteja. Sellainen musiikkikappale ei säilytä korkeaa kulttuurillista arvoa. Joku voi tykätä siitä taustamusiikkina. Taustamusiikkiahan se algoritmisesti tuottamani hissibossanovakin oli. Vähän niin kuin elementtirakentaminen versus perinteinen kivitalo. Nopeaa ja teollista ja halpaa. Höh.
Minulla on nolla levyä Mozartia ja pidän sitä oikeana määränä, vaikka tuo teki teoksia vakavammallakin asenteella. Toisaalta olin valmis maksamaan yli 500 euroa yhdestä Chabrierin orkesteripartituurista, josta vain muutamat asiat oikeasti viehättävät minua. Tällainen käytös liittyy kulttuuri-identiteettiin. Musiikkia on vaikea mitata rahassa. Harmi että musiikkia joudutaan mittaamaan rahassakin.
Minulle musiikki on oleellisesti intohimoinen vapaa-ajan ilmiö ja hyvän musiikin historia alkaa napolilaisista lauluista (Cottrau: Passatempi musicali, 1824). Passatempi viittaakin ajanvietteeseen. Ne kuulostavat aivan tuoreilta ja raikkailta korvaani, kun niitä soitetaan tämän päivän jousilla, mandoliineilla, kitaroilla ym. akustisilla soittimilla.
https://www.youtube.com/watch?v=52OXuhYVVBk
Napolilaisesta laulusta tuli instituutio. Se oli vuorovaikutuksessa kevyiden oopperoiden aarioiden kanssa. Santa Lucian (taas Cottraun julkaisema, 1849) upea melodia leikittelee jatkuvasti pidätyksillä ja epäilen varsinkin kertosäkeen toisen tahdin vaikuttaneen merkittävästi lisäsekstin muuttumiseen konsonanssiksi. Minä en kuule siinä mitään subdominanttia vaan lepotehon ja melodiassa nautinnollisen kuudennen asteen sävelen (edit: jota ei enää jakseta purkaa viidennelle asteelle). Ranskalaiset impressionistit sitten alkoivat systemaattisemmin jättää purkamatta sekstejä ja suuria septimejä. Ravel luonnehti niitä purkamattomiksi pidätyksiksi mutta nythän meillä on...
Vessajono: suoraa ja loogista jatkoa esim. sarjallisuudelle
...wieniläisten nopanheittäjien toisen koulukunnan (Haydn ja Mozart edustivat nopanheiton 1. koulukuntaa) turmiollisesta vaikutuksesta ollut länsimaisen taidemusiikin kriisitila, niin että rinnalle on kehittynyt jazzin teoria. Ja jazzin historian tuntijat ovat varmasti tietoisia impressionismin vaikutuksesta jazzin syntyyn. Toisaalta Waldteufel teki kevyitä valsseja ja viljeli kliseiden (line cliché) kaltaisia melodialinjoja, joissa noita melko konsonantteja sekstejä ja suuria septimejä esiintyy paljon. Pisteenä i:n päälle vanhoilliset musiikkiteoreetikot alkoivat luonnehtia uusia tärkeitä harmonian ilmiöitä, joita eivät osanneet selittää, epäfunktionaaliseksi harmoniaksi.
Minua kiinnostaa nimenomaan tämä epäfunktionaalinen harmonia, koska se juuri toimii, toisin kuin tiukan duurimollitonaalinen determinismi, joka on semanttisesti köyhää, absoluuttisempaa, sieluttomampaa, arkkitehtuuria, formalismia. Sävelrivien ja sarjallisuuden kanssa sillä ei ole mitään tekemistä.
Yritän kai sanoa, että neuroverkot ovat kiinnostavia mutta koen että maailmassa on rajallinen määrä kiinnostavaa musiikkia ja siitä ei saa helposti opetusaineistoa keinotekoiselle neuroverkolle joka sitten oppisi semantiikkaakin ja loisi siitä jotain arvokasta. Erik Satien huonekalumusiikkia varmaan pystyisikin imitoimaan - Satiehan teki vakavissaan taustamusiikkia, mikä oli siihen aikaan vähän erikoista. | EP
21.02.2016 02:13:52 | |
|
Vessajono: Mun mielestä tämmönen touhu on
a) hiton mielenkiintoista
b) suoraa ja loogista jatkoa esim. sarjallisuudelle
Kyllä, muualla kun musiikissa.
Ohjelmoitu kyllä on.. | |
Vessajono: Mun mielestä tämmönen touhu on
a) hiton mielenkiintoista
b) suoraa ja loogista jatkoa esim. sarjallisuudelle
Jos sävelten liikkeiden mekaniikka on sitä mitä se kussakin tyylissä on niin miksei annettaisi koneidenkin kokeilla moista? Itsekin olen sangen innoissani tästä.
Kuka muistaa sen turkkilaisen jampan joka pisti koneen tekemään fuugia tjsp?
"Thank you for the music, white boy". 6-stroke troll #1 | |
levesinet:
Yritän kai sanoa, että neuroverkot ovat kiinnostavia mutta koen että maailmassa on rajallinen määrä kiinnostavaa musiikkia ja siitä ei saa helposti opetusaineistoa keinotekoiselle neuroverkolle joka sitten oppisi semantiikkaakin ja loisi siitä jotain arvokasta. Erik Satien huonekalumusiikkia varmaan pystyisikin imitoimaan - Satiehan teki vakavissaan taustamusiikkia, mikä oli siihen aikaan vähän erikoista.
Mielenkiintoinen kokeilu voisi olla synnyttää sinun bossanovageneraattorilla aineisto, jolla kouluttaa neuroverkon.
Tulee soiteltua mitä milloinkin jotenkin sinne päin milloin milläkin soittimella. | Klezberg
21.02.2016 10:51:11 (muokattu 21.02.2016 11:04:06) | |
|
EP: Kyllä, muualla kun musiikissa.
Enimmäkseen mä tutkinkin näitä kuvapuolella, kts. http://liipetti.net/erratic/
Musiikin puolella mä teen selvä eron tällaisten kokeiluiden ja mun oman musantekemisen kanssa, jälkimmäisestä on juttua täällä http://freygish.com/harmoska
Neuroverkkoihin mä suhtaudun kokeilijan ja keksijän otteella. Jännä nähdä mitä ne ne tekevät, mittaamatta lopputulosta omilla esteettisillä arvostuksilla. Toisaalta kuvapuolella mä alan hiukan saada neuroverkkoja hallintaan sillä lailla että voin käyttää sitä jonkinlaisena seuraavan sukupolven kuvakäsittelyn välineenä. Siinäkin on valtavasti työtä, kun ne ovat niin mutkikkaita ja kokeiltavaa on paljon.
Tulee soiteltua mitä milloinkin jotenkin sinne päin milloin milläkin soittimella. | Klezberg
21.02.2016 11:13:49 (muokattu 21.02.2016 11:46:15) | |
|
levesinet: Musiikkiteknologialla voi tuottaa paljon tietynlaisia sonaatteja, jotenkin absoluuttista musiikkia, joka ei liity mihinkään ulkomusiikilliseen. Siis semanttisesti köyhää kamaa. Mozart ja kumppanit tuottivat niin paljon tietynlaisia sonaatteja, että niiden pohjalta voidaan tehdä tietokoneohjelmia, jotka tuottavat moninkertaisen määrän lisää samantyylisiä sonaatteja. Sellainen musiikkikappale ei säilytä korkeaa kulttuurillista arvoa. Joku voi tykätä siitä taustamusiikkina. Taustamusiikkiahan se algoritmisesti tuottamani hissibossanovakin oli. Vähän niin kuin elementtirakentaminen versus perinteinen kivitalo. Nopeaa ja teollista ja halpaa. Höh.
Tämä liippaa läheltä sitä kuinka neuroverkoilla viime kesän jälkeen on joka puolella luotu kuvia joissa yhdistetään valokuvan sisältö jonkin tunnetun maalauksen "tyyliin". Voi hetken näyttää kiinnostavalta, kuten kun itse tein sarjan jossa sama kuva Tuusulanjärveltä toistui eri maalauksista lainatussa "tyyliasussa". Mutta miljoona plagiaattia Munchin Huudosta ei ole enää kivaa eikä kiinnostavaa, vaan nimenomaan teollista ja halpaa.
Itse haen kuvan puolella tuoreita tapoja tuohon, kuten topografikartan "tyyliasun" yhdistäminen kaupunkimaisemiin. (Laitan tyylin/tyyliasun lainausmerkkeihin koska verkko ei tietenkään tavoita taitelijan tyyliä, ei edes yksittäisen työn tyyliä siinä mielessä mikä tekee siitä ainutlaatuisen. Se mitä verkko tänä päivänä tyylin nimellä hahmottaa on tiettyjä kuvassa toistuvia piirteitä, mutta sekään ei ole ihan vähän.)
Tulee soiteltua mitä milloinkin jotenkin sinne päin milloin milläkin soittimella. | |
Klezberg: Mielenkiintoinen kokeilu voisi olla synnyttää sinun bossanovageneraattorilla aineisto, jolla kouluttaa neuroverkon.
No siitä vaan. Se jäi aika naiiviksi. Melodiapuoli jäi melkein kokonaan miettimättä. Neuroverkko voisi kyllä tehdä mielenkiintoisia yleistyksiä ohi Perllillä koodatun kieliopin. Voin lähettää viimeisimmän version skriptistä, jos haluat. Se tosin ei paljon poikkea siitä, mitä käytit nettiradiossa. | Klezberg
21.02.2016 17:34:52 (muokattu 21.02.2016 17:35:38) | |
|
levesinet: No siitä vaan. Se jäi aika naiiviksi.
Aika täydestä menevää hissimusiikkia kuitenkin.
Melodiapuoli jäi melkein kokonaan miettimättä. Neuroverkko voisi kyllä tehdä mielenkiintoisia yleistyksiä ohi Perllillä koodatun kieliopin. Voin lähettää viimeisimmän version skriptistä, jos haluat. Se tosin ei paljon poikkea siitä, mitä käytit nettiradiossa.
Tuo nyt oli yksi idea aika monen muun joukossa, ei ehkä mene heti toteutukseen. Mutta eihän sitä koskaan tiedä.
Siinä webbiradiossa oli kumma ongelma silloin, jos muistat. Ääni nytkähti pois rytmistä kummallisesti. En muista missä kohtaa ketjua se tapahtui, sehän oli aikamoinen prosessi. Sun perl-skripti teki jotain, siitä sitten miditiedosto jollain, se ääneksi mp3-tiedostoon ja sitten se striimattiin maailmalle. Nyt mulla olisi paljon parempi striimausratkaisu ainakin.
Tulee soiteltua mitä milloinkin jotenkin sinne päin milloin milläkin soittimella. | |
Klezberg: Sun perl-skripti teki jotain, siitä sitten miditiedosto jollain
LilyPond
Virhe! Tyhjä tai liian lyhyt kirjoitus! | Klezberg
21.02.2016 18:59:16 (muokattu 21.02.2016 19:29:52) | |
|
Neuroverkko on ollut taas jonkin aikaa jatkokoulutuksessa, samalla Bachin matskulla. Nyt se soitti tämmöisen.
http://freygish.com/music/biaxial3900b.mp3
Tässä toinen, alkupuolella ainakin kivoja juttuja: http://freygish.com/music/biaxial4100a.mp3
Tulee soiteltua mitä milloinkin jotenkin sinne päin milloin milläkin soittimella. | |
Tässä kirjoitus jossa joku on opettanut neuroverkolle vajaat 30000 kansansävelmää abc-notaatiossa. Neuroverkko on periaatteessa sama jolle itse syötin Kalevalan, siis varsinaisesti tarkoitettu merkeistä koostuvan tekstin käsittelyyn, ja sitähän abc-notaatio muodollisesti onkin. Paperi sisältää pari nuottiesimerkkiä.
http://ismir2015.uma.es/LBD/LBD13.pdf
Tulee soiteltua mitä milloinkin jotenkin sinne päin milloin milläkin soittimella. | | « edellinen sivu | seuraava sivu » | |
|---|
|
|
