🚀 go-pugleaf

Dnia Tue, 23 Apr 2013 03:13:42 -0700 po głębokim namyśle M.M. rzekł:

> Przyjąłem więc założenie, że sieć popełni błędy w jakiś sposób
> "adekwatne" do usterek w jej wyuczeniu. Ta adekwatność intuicyjnie
> wydaje się uzasadniona,
> ale ściśle nie potrafię tego uzasadnić.

Zostawiłem cytując tylko ten fragment, bo pięknie oddaje "naturę"
sieci :)

> Uważam że generalnie tak jest w stosowaniu SSN, czyli kupa trudnych
> problemów do rozwiązania.

W uczenie algorytmów trzeba zawsze włożyć sporo pracy. Mi się tylko
nie podoba zbytnio skutek: no, ta sieć wyszła lepiej od innych 
(ale "dlaczego" to mam blade pojęcie i kilka hipotez...).

> Dużo zależy od tego jaką analizę chcą przeprowadzić. Jakiś czas temu
> miałem dużo bardzo niepewnych danych. Chciałem się dowiedzieć czegoś o
> rozkładach. Napisałem na kolanie aproksymator, a jako funkcji
> aproksymującej użyłem krzywej łamanej. Krzywa łamana ma dużą swobodę w
> aproksymacji,
> równie dobrze może wyjść totalna sieczka, co jakiś elegancki kształt
> potwierdzający przypuszczenia intuicyjne. Nic nie stoi na przeszkodzie,
> aby sieci neuronowej użyć jako takiego aproksymatora, a potem chociażby
> odrysować przy jej pomocy jakiś wykres i się czegoś nauczyć. Być może
> jest jeszcze kilka innych sprytnych sposobów uczenia się od wytrenowanej
> sieci, ale na podstawie analizy wartości wag i połączeń w dużej sieci to
> bym nie chciał się uczyć od sieci :)

Do minimalizacji, tu różnicy pomiędzy funkcją modelowaną a modelem
(niegdy nie pamiętam tego słowa... ;), nadają się bardzo dobrze.

> Ja stawiam 50 dolców na wersję trzecią.

Ja czasami też stawiam na wersję nr 3.

> Czy ja wiem... funkcję skokową można dowolnie dobrze aproksymować
> funkcją ciągłą - ale to teoria. Ja w praktyce napotykam na zupełnie inne
> problemy niż opisywane w literaturze. Np. teraz stanąłem przed zadaniem
> wyuczenia sieci (własciwie to dowolnego aprosymatora, niekoniecznie
> sieci) na danych nie zawierających wyjścia :) Mam dane wejściowe, a nie
> mam danych wyjściowych, nikt nawet nie umie oszacować jakie są wyjścia
> dla danych wejściowych. I co począć? Jak mam wyuczyć sieć poprawnego
> wyjścia? :)

Czy aby, jeżeli to jest możliwe, czyżby jednak, jeżeli dobrze się
domyślam, masz na myśli klasyfikację i Kohonena? Poza tym widzę, że
wybraliśmy inną literaturę. Naprawdę sieci z funkcją ciągłą dobrze
minimalizują ale mają mniejszą gęstość entropii (w luźnym tłumaczeniu).

>> Powiedzmy: 3 layery 100x100 mają 3e4 linków. Layery 1000x1000 już 3e6.
>> Wygląda mi to na straszną marnację mocy obliczeniowej i przy okazji
>> wcale nie odpowiada naturze. Więc jeżeli takie layery mają 2 wymiary,
>> to zrobiłem neurony mające kształt, powiedzmy dla layerów 100x100
>> nauron miałby {x -3:7,y -10:10} - jak kolejny neuron jest "w kształcie"
>> połączenie jest. Od razu zrobiło się luźniej.
> Nie kumam.

No nie łączy się każdy neuron z każdym neuronem następnego layera,
tylko do tych w pobliżu. Gdy jest każdy z każdym jest strasznie dużo
linków do przemielenia - po co. No i stosunek liczby linków do liczby
neuronów bardzo szybko rośnie wraz z wymiarami layerów gdy jest "każdy z 
każdym" w klasycznej sieci z layerami 2d.

No i implementacja takiej banalnej sieci to nie uczenie się cudy.

> Gdzieś mam (zabawowy) projekt sieci neuronowej do rozpoznawania liczb
> pierwszych :) Ciekawe ile trzeba nieuronów/wag do prawidłowego
> rozpoznawania wszystkich liczb pierszych nie większych niż N :D

Spytaj Bartka ;)

>>>> Dodatkowo NN to artefakt ideologii AI, gdzie mapowanie m�zgu
>>>> przes�ania mapowanie umys�u, a tu ju� si� k�ania
>>>> lingwistyka.
>>> Hmmm nie wiem :) Ja stawiam (wiem �e kontrowersyjn�) hipotez�,
>>> �e m�zg to antena, analogiczna jak oczy, czy uszy.
> 
>>Yyyy... a powiesz co przez to rozumiesz?
> Czasami lubię wymyślać dziwne tezy, abym potem był zmuszony do ich
> bronienia :D
> 
> Gdy badacz obserwuje drzewo rosnące przed nim, to aby je zbadać, zajmuje
> się drzewem, a w żadnym razie nie wydłubuje sobie oczu i nie zagląda do
> ich środka :) Gdy badacz słyszy dźwięk upadającego kamienia i chce się o
> nim czegoś dowiedzieć, to zajmuje się kamieniem, a nie swoimi uszami.
> Podobnie jest z bodźcami węchowymi, dotykowymi, smakowymi. A gdy badać
> ma zajmować się wspomnieniami, wyobrażeniami, skojarzeniami, snami,
> przemyśleniami, to nagle ma się włamywać do wnętrza neuronów, a nie
> szukać źródła gdzieś na zewnątrz. Podejrzany brak konsekwencji :D
> 
> Po drugie jak to możliwe żeby w 1-2kg materii dało się zbudować tak
> niezwykły komputer? Mało tego, jak da się zakodować w tak małej ilości
> informacji genetycznej wzór na powstawanie mózgu? Jeśli jest to
> niemożliwe, to inteligencja jest gdzieś poza neuronami.

Inteligencja jest w kulturze i języku. My się pod względem sporej
części genów i struktury mózgu nie różnimy - ok, powiedzmy że mam
na myśli samego siebie tak dla bezpieczeństwa dyskusji ;) - od 
ludzi, którzy po raz pierwszy powiedzieli "Małpa kamień won!".
W lingwistyce w zasadzie wszystkie podstawowe struktury myślenia 
abstrakcyjnego są rozwinięte na gruncie przestrzeni i obiektów - stąd
też w I klasie podstawówki uczymy się o podmiocie i orzeczeniu,
czyli "kamieniu łupanym". Od czasu ludzi pierwotnych rozwinęła się
bardziej wiedza i kultura niż nasze mózgi. Mamy też dłuższe życie
i lepsze zdrowie - więcej czasu na rozwijanie szachów i picie kawy ;)

-- 
Edek