🚀 go-pugleaf

W dniu wtorek, 23 kwietnia 2013 20:54:36 UTC+2 użytkownik Edek napisał:
> Dnia Tue, 23 Apr 2013 03:13:42 -0700 po głębokim namyśle M.M. rzekł:
> > Przyjąłem więc założenie, że sieć popełni błędy w jakiś sposób
> > "adekwatne" do usterek w jej wyuczeniu. Ta adekwatność intuicyjnie
> > wydaje się uzasadniona,
> > ale ściśle nie potrafię tego uzasadnić.
> Zostawiłem cytując tylko ten fragment, bo pięknie oddaje "naturę"
> sieci :)
Właśnie. Wydaje się, że im większy zbiór uczący, tym lepiej,
ale tak nie jest. Algorytm budowania zbioru uczącego jakoś dziwnie
działa. Gdy algorytm zbuduje mały zbiór, to sieć się na nim dobrze uczy, a 
gdy zbuduje duży, to uczy się źle - powinno być odwrotnie. Nie zrozumiałem
nigdy dlaczego tak się dzieje. Można powiedzieć, że są złe rozkłady danych
uczących w dużym zbiorze, ale to mi w niczym nie pomaga :)


> W uczenie algorytmów trzeba zawsze włożyć sporo pracy. Mi się tylko
> nie podoba zbytnio skutek: no, ta sieć wyszła lepiej od innych 
> (ale "dlaczego" to mam blade pojęcie i kilka hipotez...).
Czyli nie zadowala Ciebie ogólne uzasadnienie, że sieć się dopasowała
do danych uczących, a potem jeszcze okazało się, że ładnie 
dopasowała się do danych spoza zbioru uczącego. Też bym chciał 
wiedzieć dlaczego sieć dobrze/źle działa, jakie znaczenie jest
każdej wagi, każdej funkcji aktywacji, itd. Jedak mnie bardziej
denerwuje, że poza przypadkiem sieci z neuronami liniowymi, nie
mogę w rozsądnym czasie znaleźć globalnego minimum.


> Do minimalizacji, tu różnicy pomiędzy funkcją modelowaną a modelem
> (niegdy nie pamiętam tego słowa... ;), nadają się bardzo dobrze.
Bardzo dobrze, za wyjątkiem gdy sieć ma się wyuczyć koszmarnie
skomplikowanej funkcji, danych jest ogrom, jedna epoka trwa bardzo długo, a 
po miesiącu uczenia okazuje się, że algorytm uczący utknął w płytkim
minimum lokalnym. Po miesiącu uczenia może też okazać się, że zbiór 
uczący był niereprezentatywny... zresztą nigdy nie wiadomo
na 100% jaka jest prawdziwa przyczyna niepowodzenia sieci :)

> > dla danych wejściowych. I co począć? Jak mam wyuczyć sieć poprawnego
> > wyjścia? :)
> 
> Czy aby, jeżeli to jest możliwe, czyżby jednak, jeżeli dobrze się
> domyślam, masz na myśli klasyfikację i Kohonena? 
Mam na myśli pewien proces. Przebieg procesu zależy od wielu bardzo
skomplikowanych czynników, nie mogę ich zmierzyć. W danych uczących
też nie mam pomiarów. Mogę potraktować wszystkie czynniki 
jako wypadkową wielu czynników - czyli wiele czynników mogę 
zamienić na jeden. Muszę zrobić sieć, która na podstawie przebiegu 
procesu, powie jaką wartość ma wypadowa - a tej wypadkowej nie mam w
danych. Coś jakbym miał powiedzieć jaką pojemność ma silnik samochodu
na podstawie jego prędkości, nie mając pewności czy kierowca wciska
gaz do dechy, czy jedzie pod wiatr, pod górkę, jakie wlał paliwo, jaki ciężki 
wiezie ładunek i jaką efektywność ma silnik - tyle że trudniejsze :)


> Poza tym widzę, że
> wybraliśmy inną literaturę. Naprawdę sieci z funkcją ciągłą dobrze
> minimalizują ale mają mniejszą gęstość entropii (w luźnym tłumaczeniu).
Zgadzam się że dobrze minimalizują, ale w prostych zadaniach i w łatwych
funkcjach.


> No nie łączy się każdy neuron z każdym neuronem następnego layera,
> tylko do tych w pobliżu. Gdy jest każdy z każdym jest strasznie dużo
> linków do przemielenia - po co. No i stosunek liczby linków do liczby
> neuronów bardzo szybko rośnie wraz z wymiarami layerów gdy jest "każdy z 
> każdym" w klasycznej sieci z layerami 2d.
Teraz rozumiem. Tu z kolei pojawia się problem z wyborem połączeń do
usunięcia :)


> Spytaj Bartka ;)
Bartek gadaj ;)



> Inteligencja jest w kulturze i języku. 
Na pewno inteligencja przejawia się poprzez język i kulturę. Czasami 
zachodzę w głowę, jaka jest natura inteligencji. Wtedy uderza mnie 
prostota mózgu w stosunku do niezwykłych możliwości jakie posiadają 
ludzie, a zwierzęta przecież też. Mózg to tylko kilka garści białka i 
kilka powtarzających się półfabrykatów. Neurony wykazują do siebie 
duże podobieństwo - ciekawe jak prosty jest  wzór fraktalny na budowę 
mózgu. Według współczesnej wiedzy, wzór ten nie może być bardziej skomplikowany, niż większy lub mniejszy kawałek kodu genetycznego - a 
ludzki (cały) genom to raptem tyle informacji, co mieści jedna płyta CD. 

Jeśli genom jest za prosty, jeśli siatka neuronów jest za prosta, to
inteligencja musi polegać na czymś innym. Podobne zarzuty mam wobec
ewolucji. Jeśli czasu i powierzchni na tej planecie było mało w stosunku
do niesamowitych możliwości jakie osiągnęli ludzie, to może ewolucji (jako
algorytmu genetycznego) nie było, a działał po prostu szereg cech materii.


> My się pod względem sporej
> części genów i struktury mózgu nie różnimy - ok, powiedzmy że mam
> na myśli samego siebie tak dla bezpieczeństwa dyskusji ;) - od 
> ludzi, którzy po raz pierwszy powiedzieli "Małpa kamień won!".
Często słyszę taki sam pogląd. Jakby ówczesne dzieci posłać do
dzisiejszej szkoły, to podobno by miał przeciętne osiągnięcia. Mnie 
raczej zainteresowało działanie mózgu, bez względu na to jaki on jest 
dziś, a jaki był 10tys lat temu. Czy na pewno działanie mózgu to 
przesyłanie sygnałów chemiczno elektrycznych, czy może rola mózgu to 
jeszcze jakaś komunikacja z czymś?



> W lingwistyce w zasadzie wszystkie podstawowe struktury myślenia 
> abstrakcyjnego są rozwinięte na gruncie przestrzeni i obiektów - stąd
> też w I klasie podstawówki uczymy się o podmiocie i orzeczeniu,
Właśnie, mnie się wydaje, że mózg jako 1-2kg białka nie jest w stanie
się takich rzeczy wyuczyć. Wydaje się to za trudne, dlatego myślę, że
mózg ma jeszcze jakieś wspomaganie.


> czyli "kamieniu łupanym". Od czasu ludzi pierwotnych rozwinęła się
> bardziej wiedza i kultura niż nasze mózgi. Mamy też dłuższe życie
> i lepsze zdrowie - więcej czasu na rozwijanie szachów i picie kawy ;)
Jutro niedziela... usiądę w fotelu, zrobię sobie kawę i pomyślę nad 
uczeniem szachów metodami opartymi o prawdopodobieństwo (jakiś bayes 
czy coś), a nie sieciami neuronowymi :D


Pozdrawiam