🚀 go-pugleaf

On Thursday, April 18, 2013 5:35:15 PM UTC+2, Edek wrote:

> No bo nie mam zbyt wysokiego mniemania o NN w sensie ogólnym. 
Ach to o to chodziło :) Mnie strasznie wkurza propaganda SSN. Czasami
można odnieść wrażenie, że naprawdę programista jedzie na wakacje, a w 
tym czasie sieć neuronowa pisze za niego program. W praktyce należy
spodziewać się że będzie odwrotnie i rozwiązanie na bazie SSN będą
wymagały większego nakładu pracy, nie wspomniawszy o klastrach 
obliczeniowych do treningu i eksperymentów. Niemniej jestem entuzjastą
rozwiązań w których sztuczna sieć neuronowa pełni jakąś pomocniczą rolę.


> Jak to mówią ludzie z front-office, fajnie działają, ale nie da się 
> tego sprzedać, bo to black-box - na pytanie "jak to działa w konkretnym
> przypadku" można rybkę szczelić.
Racja, a to zaledwie wierzchołek góry lodowej problemów SSN. Trudno (bardzo
trudno) na bazie wyuczonej sieci wywnioskować jaki ona w istocie realizuje
algorytm, kiedy ten algorytm zadziała, a kiedy zawiedzie. Nawet gdy sieć ma
niezbyt dużo połączeń/wag to trudno jest się uczyć od wyuczonej sieci. Od 
wielu innych metod uczenia maszynowego można się czegoś dowiedzieć niczym 
od nauczyciela. 

A czy fajnie działają? Nie wiem czy tak fajnie... W moich szachach działają
rewelacyjnie, ale opracowanie i implementacja choćby algorytmy 
przygotowującego dane zajęło mi wiele wiele miesięcy, jeśli nie lat. Jak 
dam tak po prostu dane z gier, czy dane graczy do uczenia, to mam 
powiedzmy 90% szans na całkowicie bezsensowny efekt i jakieś 10% na efekt
kiepski :) Tak więc rola sieci neuronowej w tej całej zabawie jest 
marginalna, rewelacyjne działanie wynika z tzw "dodatków" które 
okazują się najważniejsze.


> Dodatkowo NN to artefakt ideologii AI, gdzie mapowanie mózgu przesłania
> mapowanie umysłu, a tu już się kłania lingwistyka.
Hmmm nie wiem :) Ja stawiam (wiem że kontrowersyjną) hipotezę, że mózg to 
antena, analogiczna jak oczy, czy uszy.

> Praktycznie ja najpierw zrobiłem typowe NN, gdzie zrównoleglanie było
> banalne, a potem zrobiłem coś takiego:
Typowe, warstwowe, jednoprzebiegowe sieci powinny się zrównoleglać
prawie liniowo. W przypadku bardziej skomplikowanych sieci, można
zrównoleglać obliczanie błędu i/albo gradientu.


> I to już zaczęlo mnie uczyć kombinowania w programowaniu gpu. Naprawdę
> trzeba się namęczyć.
Gdy się rozważa siedząc w wygodnym fotelu, to nie wydaje się trudne, ale
w praktyce... wierzę że jest co tuningować przez długie tygodnie.

Pozdrawiam