Tietokoneet ja musiikkiohjelmat ›

Ymmärrän vielä etäisesti että esim. EQ-sovellutuksissa saattaisi ehkä olla jotain järjellistä hyötyä saavutettavissa koneoppimisalgoritmeilla. Miksatessa vaikkapa, jos käyttäjällä on joku tietty tavoite mielessä tietynlaisten materiaalien kanssa ja halu saada asiat kuulostamaan tietynlaisen materiaalin kanssa yleensä tietynlaiselta. Oppiva systeemi voisi työstettävästä musiikista osata vähän päätellä että mitä ollaan hakemassa ja mihin ollaan aiemman perusteella ehkä menossa. Jos käyttäjä tekisi uudenlaisia valintoja niin systeemi voisi suhtautua niihin uusina mahdollisuuksina ja jatkossa taas analysointiensa perusteella tietyissä tilanteissa hienosäätää menoa valmiiksi siihen suuntaan josta on suurin määrä aiempaa kokemusta.
 
Tästä aiheesta on itselläni vain hyvin etäinen mielikuva, koska ensinnäkin tekoäly ja koneoppiminen ovat käsitteinä monesti hyvin häilyviä. Kyseisiä sanoja on käytetty aika lepsusti sellaistenkin järjestelmien yhteydessä, joissa on todellisuudessa kyse ihan vaan perinteisestä suoraviivaisesta analytiikkapohjaisesta toiminnasta jossa havaintoihin reagoidaan ennalta määritellyillä tavoilla, mutta toiminta ei jatkojalostu vaan pysyy samana. Noiden oppivien juttujen pitäisi olla siis jotain muuta, vuorovaikutusellisempaa.
 

 
Sähköpostiin tuli tänään Acustica Audio Cola mainos:
https://www.acustica-audio.com/store/products/cola
 
"EXPERIMENTAL APPROACH - From Sampling hardware to sampling people through Deep Learning
 
With Cola, we have introduced a first-of-its-kind in AI-based approaches to mixing. Unlike other companies, who classify audio content (violins, drums, vocals etc.) with the aim of implementing an auto-mix functionality of the software, we have chosen a completely different approach.
 
We decided to 'sample' the engineer and his or her approach to working on a track. Every mixing move is learned by the plugin based on both the audio material and the personal preference of the engineer using it.
This is achieved using a method based on Deep Learning technology, which allows us to literally teach the plugin the 'secret moves' of a pro. This is all about the style and unique creative approach of every great engineer and not about creating fixed 'presets'. This means the plugin will react differently according to what it 'hears', based on what it has learned from the engineer who has used it.
 
For Cola, we sat down with Vox-Ton's head engineer Francesco Donadello, and let him use it on some orchestral recordings, whereas we had some fun on the subgroups of some of our mixes. So we basically taught Cola how we do things, in other words, what we like to hear in a mix. Most adjustments were subtle as the material was already pretty balanced but we will definitely try a more aggressive approach to these 'lessons' in the future.
 
This new tech might not 'immediately' give you the best results - your approach could in fact be the opposite of what some engineers like to do - but it will certainly give you a new perspective on how different people mix the same material.
 
Of course, this new technology is still in its infancy, we are still working on it, but the first results are very promising indeed. Stay tuned for more."
 

 
Onko tuossa mielestänne järjen hiventäkään? Itselleni jäi melko epäselväksi tuo kokonaisuus. Siis systeemiä on koulutettu valmiiksi, ja nuo muiden ruuvailut voi nähdä uudenlaisena perspektiivinä? Ja kun käyttäjä ruuvailee sitten itse potikoita niin ajan myötä "plugin will react differently according to what it 'hears', based on what it has learned from the engineer who has used it". Olisi mielenkiintoista tietää miten tuo reagoimisen muutos ilmenee plugarin toiminnassa käytännössä. Säädöt reagoivat erilaisella kurvilla kun potikkaa kääntää, vai mitenköhän. Käyttöliittymä on tuollainen analoginen kauttaaltaan niin ei pysty ainakaan näyttämään graafisesti mitään käyriä ja vaihtoehtoisia käyriä että mikä muuttuu ja missä. Kuulolla ja kuulemattomuudella siinä ilmeisesti pelataan.

Tuli vastaan tuollainen hermoverkkoihin perustuva suomalainen (Aalto-yliopiston) projekti Githubissa (JUCE:a käyttäen koodailtu):
 
https://github.com/damskaggep/WaveNetVA
 
Tuolla on ilmeisesti joidenkin pedaalien mallinnokset valmiina, lisää pedaali- ja vahvistinmallinnoksia voi tehdä itse. Mallit on esitetty JSON:ina (aika isoja kun ASCII-muotoista dataa). Ilmeisesti Neural DSP käyttää jotain samantyylistä lähestymistapaa softassaan.
 
Tuolla demoa, aika vakuuttavalta kuulostaa:
http://research.spa.aalto.fi/publications/papers/smc19-black-box/
 
Aliasointihan tuossa menetelmässä on suurin ongelma, ja tietty prosessoritehon tarve.
 
(edit) Tuosta toteutuksesta ilmeisesti kuitenkin puuttuu se oleellisin osa eli itse mallinnos:
 
"The C++ implementation of the deep neural network does not currently support model training. Instead, the models are trained using the Tensorflow library. The model hyperparameters and the values of the learned convolution kernels and biases are stored to a JSON file. The trained models can then be loaded to the C++ "
 
Tuossa projektissa ilmeisesti myös mallinnettiin Blackstart HT-5 ja Mesa 5:50 kombojakin:
https://www.mdpi.com/2076-3417/10/3/766 (pdf)
 
Demot:
http://research.spa.aalto.fi/publications/papers/applsci-deep/