Sztuczne sieci neuronowe. Dynamika nieliniowa i chaos. Wydanie 3 uaktualnione (2014) - Rob.pdf

SZTUCZNE SIECI NEURONOWE SZTUCZNE SIECI NEURONOWE-ok-tytu1 1 2014-10-16 15:22:26Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

Dynamika nieliniowa i chaos Robert A. Kosiński SZTUCZNE SIECI NEURONOWE Wydawnictwo WNT SZTUCZNE SIECI NEURONOWE-ok-tytu3 3 2014-10-16 15:22:27 Wydanie trzecie uaktualnione Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

Opiniodawcy I wydania Prof. dr hab. Włodzisław Duch Prof. dr hab. inż. Stanisław Paszkowski Redaktorzy Lilianna Szymańska, Olga Nesteruk Okładkę i strony tytułowe projektowała Barbara Ćwik Zdjęcie na okładce © iStock.com/GuidoVrola Redaktor techniczny Grażyna Miazek Korekta Mirosława Onopiuk, Gabriela Szpunar Skład i łamanie Oficyna Wydawnicza MH © Copyright for the Polish edition by Wydawnictwo WNT Warszawa 2007, 2014 All Rights Reserved Printed in Poland Wydawnictwo WNT sp. z o.o. 00-634 Warszawa, ul. Jaworzyńska 4 tel. 22 240 40 20, e-mail: wnt@wnt.pl www.wnt.pl ISBN 978-83-7926-221-2 SZTUCZNE SIECI NEURONOWE-ok-tytu4 4 2014-10-16 15:22:27 Książka, którą nabyłeś, jest dziełem twórcy i wydawcy. Prosimy, abyś przestrzegał praw im przysługujących. Jej zawartość możesz udostępnić nieodpłatnie osobom bliskim lub osobiście znanym. Jednak nie publikuj jej w Internecie. Jeśli cytujesz jejfragmenty,niezmieniajichtreściikonieczniezaznacz,czyjetodzieło. A kopiując jej część, rób to jedynie na użytek osobisty. Szanujmy cudzą własność i prawo. Więcej na www.legalnakultura.pl Polska Izba Książki e-ISBN 978-83-7926- - Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

SPIS TREŚCI PRZEDMOWA 9 PODZIĘKOWANIA 11 1 WSTĘP 13 2 PODSTAWOWE WŁAŚCIWOŚCI UKŁADU NERWOWEGO CZŁOWIEKA 18 2.1. Wiadomości wstępne 18 2.2. Budowa i działanie neuronu 20 2.3. Sieć neuronowa 26 2.4. Właściwości pamięciowe mózgu 29 2.5. Metody badania sieci neuronowych 31 3 MODELOWANIE NEURONU I SIECI NEURONOWEJ 33 3.1. Modele pojedynczego neuronu 33 3.2. Opis neuronu z uwzględnieniem szumu 37 3.3. Sztuczna sieć neuronowa 39 4 EWOLUCJA CZASOWA SZTUCZNYCH SIECI NEURONOWYCH 42 4.1. Działanie sieci neuronowej 42 4.2. Podstawowe rodzaje dynamiki sztucznych sieci neuronowych 46 4.3. Porównanie dynamiki biologicznych i sztucznych sieci neuronowych 48 4.4. Funkcja energetyczna sieci 48 4.5. Krajobraz energetyczny sieci 51 4.6. Porównanie efektywności różnych rodzajów dynamiki sieci 53 Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

6 SPIS TREŚCI 5 SIECI NEURONOWE HOPFIELDA 56 5.1. Model Hopfielda 56 5.2. Opis właściwości pamięciowych sieci neuronowej 58 5.3. Właściwości pamięciowe sieci Hopfielda 59 5.4. Stabilność zapamiętanych wzorców 62 5.5. Połączenia synaptyczne z szumem 65 5.6. Sieci z rozrzedzeniem połączeń synaptycznych 66 5.7. Sieci z połączeniami synaptycznymi ograniczonymi 68 5.8. Zapamiętywanie wzorców skorelowanych 71 5.9. Oszacowanie pojemności pamięciowej sieci neuronowej człowieka 73 6 SIECI NEURONOWE KOMÓRKOWE 74 6.1. Wiadomości wstępne 74 6.2. Struktura i dynamika sieci 74 6.3. Zastosowania sieci komórkowych 77 6.4. Właściwości pamięciowe sieci komórkowych 80 7 MECHANIKA STATYSTYCZNA SIECI NEURONOWYCH 84 7.1. Wiadomości wstępne 84 7.2. Układy magnetyczne 84 7.3. Opis ewolucji czasowej sieci neuronowej 92 7.4. Teoria pola średniego dla modelu Hopfielda 94 7.5. Obliczenie energii swobodnej modelu Hopfielda 101 7.6. Pojemność pamięciowa sieci Hopfielda 103 8 WYBRANE METODY BADANIA NIELINIOWYCH UKŁADÓW DYNAMICZNYCH 110 8.1. Nieliniowe układy dynamiczne i chaos 110 8.2. Ogólny opis układów nieliniowych 112 8.3. Atraktory układów nieliniowych 113 8.4. Przekroje Poincarégo 114 8.5. Wykładniki Lapunowa 115 8.6. Transformata Fouriera i widmo mocy 117 8.7. Diagramy przestrzenno-czasowe 118 8.8. Entropia wzorca 121 8.9. Odchylenie średnie i aktywność neuronów 123 8.10. Drogi do chaosu 124 8.11. Stany przejściowe 128 Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

7SPIS TREŚCI 9 DYNAMIKA NIELINIOWA SIECI NEURONOWYCH 130 9.1. Wiadomości wstępne 130 9.2. Dynamika małych sieci 131 9.3. Łańcuch neuronów 134 9.4. Sieć komórkowa z pobudzeniem 142 9.5. Rezonans stochastyczny 150 10 ZASTOSOWANIA CHAOTYCZNYCH UKŁADÓW NEURONOWYCH 156 10.1. Właściwości pamięciowe sieci chaotycznych 156 10.2. Modelowanie zjawisk fizycznych w układach złożonych 164 10.3. Optymalizacja w sieciach chaotycznych 170 11 PRZYKŁAD ZASTOSOWANIA SIECI KOMÓRKOWYCH – SYSTEM ANALIZY BEZPIECZEŃSTWA 177 11.1. Bezpieczeństwo pracy robota 177 11.2. System analizy bezpieczeństwa 179 11.3. Układ sieci komórkowych do ekstrakcji cech 182 11.4. Lokalizacja położenia ramienia robota 184 11.5. Oprogramowanie systemu 186 12 MÓZG A SZTUCZNE SIECI NEURONOWE 188 LITERATURA 193 SKOROWIDZ 201 Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

PRZEDMOWA W książce zaprezentowano podstawy sztucznych sieci neuronowych, w tym ich opis metodami mechaniki statystycznej. W pierwszej części nieco poszerzono informacje o właściwościach i działaniu mózgu oraz sieci nerwowej człowieka, ponieważ na tej wiedzy opiera się tworzenie sztucznych układów neuronowych. Następnie przedstawiono opis sieci neuronowych metodami mechaniki statystycz- nej oraz omówiono ich właściwości dynamiczne, przy czym uwzględniono ich czasową ewolucję chaotyczną. Zamieszczono także stosunkowo nowe zagad- nienia, takie jak rezonans stochastyczny i zastosowania sieci chaotycznych. Przy pisaniu książki Autor korzystał z wyników badań nad sztucznymi siecia- mi neuronowymi, prowadzonych w Zakładzie Ferromagnetyzmu i Przemian Fazo- wych Politechniki Warszawskiej, oraz z materiałów do wykładu „Wstęp do Fizyki Sztucznych Sieci Neuronowych” prowadzonego przez Autora od 1994 roku dla studentów IV roku wydziału Fizyki (poprzednio Fizyki Technicznej i Matematyki Stosowanej). Część wyników badań dotyczących dynamiki sieci komórkowych oraz projekt układu do wykrywania sytuacji niebezpiecznych w pracy robota przemysłowego powstały w Centralnym Instytucie Ochrony Pracy, w Zakładzie Techniki Bezpieczeństwa i były finansowane przez KBN w ramach grantów ba- dawczych w latach 1997–1999 i 2001–2004. Na krajowym rynku wydawniczym jest wiele pozycji książkowych, zarów- no polskich autorów, jak i tłumaczeń literatury światowej, dotyczących tematyki sztucznych sieci neuronowych, jednak ich znakomita większość jest poświęcona problemom związanym z zastosowaniami technicznymi tych sieci. W książce szczególnie zwrócono uwagę na teoretyczny opis fizycznych podstaw działania sieci i przede wszystkim uwzględniono ich nieliniowe właściwości dynamiczne. Książka jest przeznaczona dla studentów, doktorantów, pracowników nauko- wych oraz inżynierów zajmujących się rozmaitymi aspektami tematyki sztucznych sieci neuronowych. W trzecim wydaniu dokonano uzupełnień związanych z uwzględnieniem naj- nowszych wyników badań oraz aktualizacji źródeł literaturowych. Największych zmian dokonano w rozdziałach 5, 9, 10 i 11. Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

PODZIĘKOWANIA Serdecznie dziękuję moim kolegom Panom profesorom Andrzejowi Sukien- nickiemu i Januszowi Hołystowi z Wydziału Fizyki Politechniki Warszawskiej, Panu profesorowi Markowi Kusiowi z Centrum Fizyki Teoretycznej PAN oraz Panu doktorowi hab. med. Waldemarowi Koszewskiemu z Akademii Medycznej w Warszawie za poświęcenie swojego czasu i przeczytanie manuskryptu tej pracy oraz wiele cennych wskazówek, a także zaproponowanie poprawek, które korzyst- nie wpłynęły na ostateczną formę tej książki. Szczególne podziękowania składam Panu doktorowi habilitowanemu Andrzejowi Krawieckiemu, który oprócz kry- tycznego przeczytania całego tekstu sprawdził obliczenia. Dziękuję także Panu profesorowi Jackowi Kurczewskiemu z Uniwersytetu Warszawskiego za cenne uwagi dotyczące problemu świadomości. Oddzielne, serdeczne podziękowania składam Pani profesor Danucie Kora- deckiej, dyrektorowi Centralnego Instytutu Ochrony Pracy, za umożliwienie wyko- nania części badań oraz pomoc przy realizacji tej pracy. Chciałbym również podziękować recenzentom: Panu profesorowi Włodzisła- wowi Duchowi z Uniwersytetu Mikołaja Kopernika w Toruniu i Panu profesorowi Stanisławowi Paszkowskiemu z Wojskowej Akademii Technicznej w Warszawie za liczne wnikliwe uwagi i pomocne sugestie, które przyczyniły się do usunięcia wielu usterek. Wdzięczny jestem także moim Doktorantom i Dyplomantom, których prace wzbogaciły treść tej książki. W przygotowaniu trzeciego wydania korzystałem z pomocy Pana doktora Andrzeja Grabowskiego przy przygotowaniu nowych rysunków; przeczytał On także nową wersję tekstu. AUTOR Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

1 WSTĘP W ciągu ostatnich dekad obserwuje się burzliwy rozwój badań nad sztucz- nymi sieciami neuronowymi. Badania te są prowadzone przez fizyków i in- żynierów, ale ich podstawą są odkrycia w dziedzinie fizjologii układu nerwowego organizmów żywych, a zwłaszcza funkcjonowania mózgu ludzkiego. Od dawna ten najważniejszy organ ciała człowieka przyciągał uwagę uczonych. Odkryto wiele tajemnic działania mózgu. Wiadomo np., jaka jest budowa komórek two- rzących układ nerwowy człowieka, jak zmienia się budowa mózgu w czasie jego dorastania, w jaki sposób komórki odpowiedzialne za przetwarzanie informacji – neurony – komunikują się ze sobą, znamy rolę licznych reakcji biochemicznych determinujących działanie mózgu. Doniosłość tych odkryć potwierdza 9 Nagród Nobla przyznanych za badania w tej dziedzinie w XX wieku, w tym w roku 2000. Wciąż jednak fundamentalne pytania dotyczące istoty działania mózgu, jak np. co to jest myśl ludzka? na czym polega świadomość człowieka? – pozostają bez odpowiedzi. Fascynujące są wciąż dla nas niezwykłe zdolności mózgu: jego nadzwyczajna zdolność do prawidłowego działania w szybko zmieniającym się otoczeniu, umiejętność przyswajania (uczenia się) i stosowania bardzo obszernej wiedzy, możliwość prawidłowego działania przy uszkodzeniach struktury, umie- jętność abstrakcyjnego myślenia itd. Urządzenia zbudowane przez człowieka wciąż mają te umiejętności w małym stopniu, a na ogół są tych cech pozbawione. Awaria jednego z milionów złączy półprzewodnikowych w procesorze numerycz- nym prowadzi do błędnego działania całego komputera. Pojemność znanych nam nośników informacji oraz czas dostępu są, w porównaniu z możliwościami mózgu, bardzo ograniczone (widać to zwłaszcza, jeśli porówna się wiedzę zgro- madzoną w mózgu oraz prędkość zarządzania informacją u przeciętnego czło- wieka z właściwościami współczesnego twardego dysku). Komputery nie tworzą wartościowych dzieł filozoficznych czy literackich, chociaż trzeba przyznać, że np. w grze w szachy komputer jest w stanie podjąć wyrównaną grę z mistrzem świata, a nawet wygrać. Od wieków człowiek marzył o stworzeniu inteligentnych układów, które mogłyby go wyręczyć w wielu czynnościach, bądź zastąpić w wykonywaniu prac niebezpiecznych. Powstanie sztucznych sieci neuronowych było właśnie krokiem w tym kierunku. Sieci takie mają niektóre właściwości mózgu. Mogą Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

14 1. WSTĘP się uczyć z przykładów i stosować tę wiedzę do rozwiązywania nowych proble- mów, czyli wykazują zdolność do generalizacji. Kolejną istotną cechą sztucznych sieci neuronowych jest ich zdolność do rozwiązywania zadań niezbyt dokładnie zdefiniowanych formalnie. Sieci takie potrafią prawidłowo działać nawet przy pewnym poziomie uszkodzeń, a także mimo częściowo błędnej informacji wej- ściowej. Mają też stosunkowo dużą prędkość działania (przetwarzania informa- cji) itd. RYS. 1.1. Zdjęcie komórkowej sieci neuronowej zrealizowanej w postaci układu scalonego; liczba neuronów w sieci wynosi 16 × 16 = 256, wymiary elementu 5,5 × 4,7 mm, układ zawiera 60 000 tranzystorów zrealizowanych w technologii VLSI (0,8 μm) i ma możliwość programowania przebiegu połączeń między neuronami (za zezwoleniem L.O. Chua 1998) Sztuczne sieci neuronowe są realizowane w dwóch najważniejszych po- staciach. W postaci sprzętowej sieć jest specjalnie zaprojektowanym układem scalonym. Układ taki, będący realizacją komórkowej sieci neuronowej przedsta- wiono na rys. 1.1 (Chua 1998). Zaprojektowanie i uruchomienie produkcji takiego układu jest kosztowne, toteż stosuje się je raczej wtedy, gdy jest potwierdzone skuteczne działanie danego układu neuronowego w wykonywaniu konkretnych zadań. Bardzo często, głównie na etapie badań, sieć jest realizowana w postaci programu numerycznego dla komputera (często komputera wieloprocesorowego o specjalnie dobranej architekturze). Jest to realizacja umożliwiająca dużą ela- styczność w określaniu struktury sieci, toteż większość badań naukowych różnego rodzaju układów neuronowych jest najczęściej prowadzonych na podstawie badań numerycznych. Do tej pory sztuczne sieci neuronowe znalazły liczne zastosowania. Jednym z najważniejszych jest rozpoznawanie obrazów, przy czym mogą to być obra- Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

1. WSTĘP 15 zy różnego rodzaju, jak np. odczytywanie pisma ręcznego (także chińskiego), identyfikacja pojazdów w ruchu ulicznym, rozpoznawanie otoczenia poruszają- cych się robotów i sterowanie ich ruchem. Ważnym zastosowaniem jest wykorzy- stanie sieci do rozwiązywania problemów optymalizacyjnych, np. przy sterowaniu ruchem telekomunikacyjnym, zarządzaniu transportem w firmach przewozowych, ale także sterowanie optymalnym i bezpiecznym przebiegiem reakcji chemicz- nych w przemyśle. Inne zastosowania to: przewidywanie zachowania się noto- wań na giełdzie, prognozowanie pogody, inteligentne wyszukiwanie informacji. Zdolności obliczeniowe sztucznych sieci neuronowych umożliwiły skonstru- owanie neurokomputerów. Maszyny takie pracują w sposób typowy dla mózgu człowieka, to znaczy przetwarzają informacje równolegle i mogą dochodzić do rozwiązań heurystycznie, a także wykazują znaczącą odporność na uszkodzenia. Ich aktualny poziom rozwoju powoduje, że nie są one konkurencyjne w stosunku do komputerów o standardowej strukturze. Przewiduje się jednak, że ich prędkość działania będzie konkurencyjna w stosunku do standardowych superkomputerów, których dzisiejsze prędkości sięgają 2,8·1014 elementarnych operacji na sekundę (komputer Blue Gene/L pracujący w Laurence Livermore National Laboratory w USA, w 2006 r.). Sztuczne sieci neuronowe stanowią również bardzo interesujące obiekty ba- dań dla fizyków. Są one przykładem układu złożonego (ang. complex system), a zjawiska zachodzące w takich systemach są przedmiotem intensywnych, inter- dyscyplinarnych badań prowadzonych nie tylko przez fizyków, ale także przez techników, biologów, lekarzy, socjologów, ekonomistów. Do układów złożonych należą bowiem (oprócz sieci neuronowych biologicznych i sztucznych) m.in.: automaty komórkowe, sieci złożone różnej natury, społeczności owadów (kolonie mrówek), społeczności ludzkie różnej wielkości, systemy ekonomiczne. Prawa opisujące zjawiska zachodzące w takich układach charakteryzują się daleko posu- niętą uniwersalnością – wiele jest wspólnych dla nich praw fizycznych. Dotyczą one np. dynamiki takich układów – ma ona charakter nieliniowy i w pewnych warunkach staje się chaotyczna. To uzasadnia jednolite określenie badań nad ta- kimi układami nazwą – fizyka układów złożonych; poświęconych jest jej wiele monografii (np. Badii, Politi 1997; Kaneko, Tsuda 2000; Bossomaier, Green 2000; Mainzer 1998). Sieci neuronowe zarówno biologiczne, jak i sztuczne są przykładem sieci złożonych. Mają one właściwości sieci typu małego świata (ang. small world) oraz są bezskalowe. Oznacza to, że średnia najkrótsza droga L między dwoma neuronami jest stosunkowo krótka oraz prawdopodobieństwo P, iż neuron ma k sąsiednich neuronów, z którymi jest połączony, jest proporcjonalna do wartości k–γ , gdzie stała wartość 2 < γ < 3 – zależy od rodzaju sieci neuronowej. Na ry- sunku 1.2 przedstawiono kilka rodzajów sieci złożonych: sieć jednowymiarową z połączeniami typu małego świata (a), sieć całkowicie połączoną – taką strukturę ma sieć neuronowa typu Hopfielda – (b), sieć przypadkowo połączoną (graf przy- padkowy) (c) i sieć bezskalową (d). Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

16 1. WSTĘP Trzeba też zwrócić uwagę na fakt, że sztuczne sieci neuronowe są pod pewny- mi względami podobne do nieuporządkowanych układów magnetycznych – szkieł spinowych. Wiele zjawisk zachodzących w sztucznych sieciach neuronowych jest podobnych do zjawisk w takich układach. Dlatego też podstawy teoretycznego opisu sztucznych układów neuronowych wykorzystują metody fizyki statystycznej stosowane do szkieł spinowych (zajmiemy się tymi problemami w rozdz. 7). Ważną cechą sztucznych sieci neuronowych jest nieliniowość występują- cych w nich zjawisk dynamicznych, które w pewnych warunkach mają charakter chaotyczny. Tego typu cechy wykazuje również prawidłowo działający mózg RYS. 1.2. Przykłady sieci złożonych: a) sieć jednowymiarowa, z połączeniami z najbliższymi sąsia- dami (bliskozasięgowymi – linie ciągłe) oraz połączeniami typu małego świata (dalekozasięgowymi – linie przerywane), b) sieć całkowicie połączona o 12 węzłach, c) sieć przypadkowo połączona (graf przypadkowy), d) sieć bezskalowa Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

1. WSTĘP 17 ludzki (Freeman 1992, 1999; Babloyanz i in. 1985; Han i in. 1997), natomiast synchronizacje w działaniu dużych partii neuronów w mózgu mają często charak- ter patologiczny (są np. obserwowane jako ataki epileptyczne). Z tego względu badania dynamiki chaotycznej w sztucznych sieciach neuronowych są interesują- cym tematem (wybrane wyniki dotyczące tego problemu w sztucznych układach neuronowych przedstawiono w rozdz. 9 i 10). Dążeniem uczonych i techników jest opracowanie układów dorównujących albo przewyższających człowieka pod względem inteligencji i być może mają- cych np. świadomość, chociaż może to się łączyć z bardzo wieloma nierozpozna- nymi jeszcze dzisiaj problemami; te problemy poruszono w rozdz. 12. Olbrzymie możliwości zastosowań sztucznych sieci neuronowych są powodem intensywnego finansowania badań w tej dziedzinie przez najbardziej znane koncerny elektronicz- ne. W badania nad sieciami neuronowymi jest zaangażowanych wiele laboratoriów naukowych najważniejszych ośrodków uniwersyteckich i przemysłowych – owo- cem tych badań są liczne, z powodzeniem działające, sztuczne układy neuronowe. Powstały liczne czasopisma naukowe i rokrocznie są organizowane konferencje naukowe służące prezentacji i wymianie najnowszych rezultatów naukowych. Opublikowano wiele monografii anglojęzycznych (np. Amit 1989; Peretto 1992; Hertz 1993; Müller i in. 1995; Bishop 1995; Patterson 1996; Taylor 1996; Ellacott i in. 1998; Chua 1998) i polskich (np. Tadeusiewicz 1993, 1998; Osowski 1994, 1996; Korbicz i in. 1994; Kacprzyk, Ślot 1995; Żurada i in. 1996; Duch i in. 2000; Mańdziuk 2000; Markowska-Kaczmar, Kwaśnicka 2005) poświęconych roz- maitym problemom sztucznych sieci neuronowych. Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

2 PODSTAWOWE WŁAŚCIWOŚCI UKŁADU NERWOWEGO CZŁOWIEKA 2.1. WIADOMOŚCI WSTĘPNE Zanim przejdziemy do problemów związanych ze sztucznymi sieciami neu- ronowymi musimy się zapoznać z najważniejszymi informacjami o budowie i dzia- łaniu układu nerwowego człowieka. Dzisiejsza wiedza w tej dziedzinie jest pod wieloma względami bardzo zaawansowana, w niniejszej pracy przytoczymy jednak tylko te wybrane informacje o fizjologii układu nerwowego (w wielu przypadkach bez wnikania w szczegóły), które mają największe znaczenie dla modelowania takiego układu, czyli interesującej nas tematyki sztucznych sieci neuronowych (Smith 1984; Amit 1989; Tadeusiewicz 1993; Górska i in. 1997; Scott 1999). Najważniejszym organem układu nerwowego człowieka jest mózg, który kon- troluje ciało i umysł człowieka; jest on też siedliskiem osobowości i świadomości. Na podstawie wiedzy, którą dzisiaj dysponujemy, można stwierdzić, że mózg człowieka jest najbardziej złożonym obiektem we wszechświecie, jaki znamy. Mózgi innych ssaków są mniejsze i mniej skomplikowane niż mózg człowieka, chociaż wykazują podobną budowę i mechanizmy funkcjonowania, toteż dalsze rozważania będziemy odnosić do mózgu oraz układu nerwowego człowieka. Mózg jest organem o masie 1100–2000 g. Ma pofałdowaną powierzchnię (rys. 2.1) i dwie wyraźnie zaznaczone półkule. Półkule są ze sobą połączone spoidłem wielkim i innymi mniejszymi spoidłami. Powierzchnię zewnętrzną stanowi kora mózgowa (zwana substancją szarą) – pofałdowania powodują, że jej powierzchnia wynosi ok. 1500–2000 cm2 . Pod nią znajduje się warstwa sub- stancji białej, składająca się głównie z wypustek komórek nerwowych. Komórki, z których składa się mózg, są nazywane neuronami (rys. 2.2). Waga pojedynczego neuronu jest rzędu 10–9 g. Ocenia się, że w układzie nerwowym człowieka jest ok. 100 miliardów neuronów. Każdy z neuronów za pomocą wypustek – dendry- tów (gr. dendron – drzewo) może być połączony z wieloma innymi neuronami – średnia liczba takich połączeń wynosi l03 –104 , chociaż są neurony połączone z kilkoma tylko sąsiadami, ale są i takie, które mają dziesiątki tysięcy sąsiadów. W ten sposób każdy neuron może komunikować się z wieloma innymi, nawet bardzo odległymi neuronami. Takiej cechy nie mają inne komórki ciała człowie- ka, na przykład komórki, z których składa się wątroba (a jest ich ok. 100 mln) Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

19 mają tylko po kilku sąsiadów, położonych w najbliższym sąsiedztwie. Odległość między połączonymi neuronami może być bardzo różna i może wynosić od ok. 10–6 m do l m. Neurony mają zróżnicowane kształty, w zależności od wykonywa- nej funkcji w układzie nerwowym (rys. 2.3). Wokół neuronów znajdują się bardzo liczne komórki o prostszej budowie, pozbawione rozbudowanych rozgałęzień, których zadaniem jest odżywianie neuronów, usuwanie produktów przemian metabolicznych. Są to komórki glejowe (ocenia się, że ich ilość przekracza 1012 ) oraz komórki mielinowe, których głównym zadaniem jest izolowanie elektryczne neuronów (Górska i in. 1997). RYS. 2.1. Mózg człowieka z zaznaczeniem najważniejszych obszarów i funkcji z nimi związanych (za zezwoleniem Scientific American Corp. (Fischbach 1992)) Ogólnie mówiąc, aktywność mózgu polega na generowaniu przez neurony i przesyłaniu między nimi impulsów o naturze elektrochemicznej zwanych poten- cjałami czynnościowymi. Szacuje się, że moc mózgu jest rzędu 20 watów. 2.1. WIADOMOŚCI WSTĘPNE Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

20 2. PODSTAWOWE WŁAŚCIWOŚCI UKŁADU NERWOWEGO CZŁOWIEKA 2.2. BUDOWA I DZIAŁANIE NEURONU Typowy neuron jest przedstawiony na rys. 2.2. Składa się on z błony komórko- wej otaczającej cytoplazmę, w centralnej części znajduje się jądro komórkowe. Z tej części wyrastają rozgałęzione wypustki zwane dendrytami. Jedna z wypustek jest grubsza i znacznie dłuższa niż inne i jest nazywana aksonem. Jego długość mieści się w granicach od ułamków milimetra do ponad l metra. Akson umożliwia bezpośred- nie połączenia nawet bardzo odległych neuronów w układzie nerwowym. Neurony RYS. 2.2. Wygląd typowego neuronu i jego części składowych. Na aksonie zaznaczono kierunek przepływu potencjału czynnościowego, wyemitowanego przez neuron. U dołu rysunku widać połącze- nia synaptyczne końcówek kolateralnych aksonu z dendrytami innego (postsynaptycznego) neuronu, który nie jest pokazany Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

21 RYS. 2.3. Neurony występujące w sieci nerwowej człowieka mają bardzo zróżnicowaną strukturę przestrzenną (za zezwoleniem Scientific American Corp. (Fischbach 1992)) 2.2. BUDOWA I DZIAŁANIE NEURONU Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

22 2. PODSTAWOWE WŁAŚCIWOŚCI UKŁADU NERWOWEGO CZŁOWIEKA komunikują się, wysyłając potencjały czynnościowe – czyli impulsy o dość złożo- nej naturze elektrochemicznej. Docierają one do danego neuronu przez dendryty. Neuron może, przy spełnieniu odpowiednich warunków, wysłać przez akson nowy potencjał czynnościowy, czyli przejść ze stanu spoczynku w stan wzbudzony. Liczne rozgałęzienia (kolaterale), które znajdują się na zakończeniu aksonu, umożliwiają przesłanie potencjału czynnościowego do wielu innych neuronów. Zakończenia ak- sonu są połączone specjalnymi złączami, zwanymi synapsami, z dendrytami innych neuronów. Działanie synapsy jest złożone i zostanie omówione poniżej. Jak już wspomnieliśmy, neurony wykonujące różne funkcje w układzie nerwowym różnią się między sobą (patrz rys. 2.3), jednak w każdym można wyróżnić wymienione wyżej elementy – dendryty i akson (Górska i in. 1997). Na przykład szczególnie rozbudowane przestrzennie są neurony Purkinjego, które mogą obejmować obję- tość ok. 10 000 razy większą niż objętości najmniejszych neuronów. W procesach pamięciowych szczególną rolę odgrywają neurony piramidowe, z których w głów- nym stopniu składa się kora mózgowa. Wyspecjalizowanymi komórkami tkanki nerwowej są także komórki sensoryczne, które tworzą nasze zmysły: światłoczułe komórki siatkówki w oku, komórki czuciowe w skórze, komórki słuchowe, węcho- we i smaku. Bodźce wysyłane przez te komórki umożliwiają komunikowanie się mózgu z otoczeniem człowieka. Działanie neuronu polega na odbieraniu przez połączenia synaptyczne poten- cjałów czynnościowych od innych neuronów (tzw. neuronów presynaptycznych) i wysyłaniu wzdłuż aksonu nowego potencjału czynnościowego do innych neu- ronów (tzw. neuronów postsynaptycznych). Wysłanie potencjału czynnościowego może nastąpić, o ile do danego neuronu napłynie dostateczna ilość pobudzeń i odbędzie się to w dostatecznie krótkim czasie. Ponadto od wysłania poprzed- niego potencjału czynnościowego musi upłynąć odpowiednio długi czas (tzw. czas refrakcji). Ilość potencjałów czynnościowych (rzędu tysiąca), ich nagro- madzenie w czasie (rzędu milisekund) i czas refrakcji potrzebny do wysłania potencjału czynnościowego jest dla każdego neuronu inny (Amit 1989). Na ogół np. czas refrakcji wynosi ok. 3 ms. Można więc wyróżnić dwa stany każdego neuronu: stan spoczynku i stan wzbudzony, w którym neuron wysyła potencjał czynnościowy. Neuron jest więc elementem dwustanowym, który schematycznie można przedstawić jak na rys. 2.4. Przedstawiono na nim sytuację, w której neu- ron σi, pod wpływem napływających potencjałów czynnościowych od neuronów RYS. 2.4. Dopływające przez dendryty do neu- ronu σi potencjały czynnościowe od neuronów presynaptycznych x1, x2, ..., xk mogą, jeśli jest ich dostatecznie dużo i są odpowiednio nagromadzo- ne w czasie, doprowadzić do wysłania wzdłuż aksonu nowego potencjału czynnościowego, co odpowiada stanowi wzbudzonemu neuronu Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

23 presynaptycznych x1, x2, ..., xk, generuje potencjał czynnościowy, co odpowiada stanowi wzbudzonemu. Rzeczywiste sygnały elektryczne generowane przez neurony są bardziej skomplikowane. Mają one charakter serii ostrych impulsów napięciowych o chaotycznym rozkładzie w czasie, jak to pokazano na rys. 2.5 (Tadeusiewicz 1994). Problemom związanym z dynamiką pojedynczych neuronów poświęca się ostatnio wiele uwagi (patrz Gerstein, Kirkland 2001 i cały specjalny numer 6–7 Neural Networks 2001). RYS. 2.5. Sygnały nerwowe generowane przez kilka jednocześnie obserwowanych neuronów (zdjęcie wyk. przez prof. R. Tarneckiego, za zezwoleniem prof. R. Tadeusiewicza (Tadeusiewicz 1994)) Zajmijmy się teraz naturą potencjału czynnościowego (Amit 1989; Scott 1999). Jego przebieg w aksonie pokazano na rys. 2.6. W stanie spoczynku wnę- trze aksonu ma w stosunku do swojego otoczenia ładunek ujemny. Przechodzenie potencjału czynnościowego polega na lokalnym odwróceniu polaryzacji wnętrza aksonu (rys. 2.7). Jest to spowodowane zróżnicowaniem przepuszczalności jonów potasu i sodu przez błonę komórkową otaczającą akson. W obszarze potencjału czynnościowego wzrasta przepuszczalność dla jonów sodu, co powoduje wdarcie się ładunku dodatniego do wnętrza aksonu. Potencjał elektryczny błony komórko- wej aksonu w obszarze potencjału czynnościowego pokazano na rys. 2.7. Widać na nim, że zmiana potencjału błony komórkowej w czasie przechodzenia poten- cjału czynnościowego jest rzędu 100 mV. Typowe prędkości przesuwania się po- tencjału czynnościowego wzdłuż aksonu wynoszą od 10 do 100 m/s (Smith 1984; Amit 1989; Scott 1999), są więc one znacznie mniejsze niż prędkości impulsów prądowych w układzie elektronicznym. Zauważmy, że potencjał czynnościowy jest impulsem o naturze jednocześnie elektrycznej i chemicznej, przy czym ruch ładunków elektrycznych w jego obszarze zachodzi w kierunku prostopadłym do 2.2. BUDOWA I DZIAŁANIE NEURONU Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

24 2. PODSTAWOWE WŁAŚCIWOŚCI UKŁADU NERWOWEGO CZŁOWIEKA kierunku rozchodzenia się impulsu (a więc inaczej niż w impulsie prądowym, który płynie np. w obwodzie scalonym). Od strony opisu matematycznego prze- mieszczanie się potencjału czynnościowego można opisywać za pomocą nielinio- wych równań dyfuzji (Scott 1999). Neurony są połączone między sobą za pomocą połączeń synaptycznych (zwanych krótko synapsami). Są to elementy, które znajdują się między zakoń- czeniami kolateralnymi aksonu a dendrytami następnego (postsynaptycznego) neuronu (rys. 2.8). Między zakończeniem kolateralnym a dendrytem znajduje się szczelina synaptyczna o szerokości ok. 20 nm. W zakończeniu kolateralnym aksonu są położone liczne pęcherzyki synaptyczne, które pod wpływem potencja- RYS. 2.6. Przebieg potencjału czynnościowego. W aksonie w jego obszarze następuje odwrócenie polaryzacji błony komórkowej w stosunku do otoczenia. Jest to spowodowane wzrostem dyfuzji jonów sodu (oznaczonych kółkami) do wnętrza aksonu. Jony potasu są oznaczone kropkami. Zauważmy, że ruch ładunków elektrycznych zachodzi prostopadle do kierunku ruchu potencjału czynnościowego RYS. 2.7. Zmiany potencjału błony komórkowej u odpowiadające odwróceniu polaryzacji błony aksonu z rys. 2.6. Potencjał błony aksonu zmienia się od –70 mV do 40 mV, a po przejściu potencjału czynnościowego powraca do pierwotnej, spoczynkowej wartości Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6

25 łu czynnościowego docierającego wzdłuż aksonu mogą wydzielać do szczeliny synaptycznej złożone substancje zwane neuroprzekaźnikami. Od strony dendrytu natomiast znajdują się kanały jonowe, które są czułe na obecność neuroprzekaź- ników i pod ich wpływem mogą się otwierać. Otwarcie kanałów jonowych po- woduje silne wnikanie jonów sodu do dendrytu (por. rys. 2.6) i zapoczątkowanie poruszania się potencjału czynnościowego w dendrycie neuronu postsynaptycz- nego. Zauważmy, że jak wynika z przytoczonego mechanizmu działania synapsy, jest to element asymetryczny, gdyż może przewodzić potencjały czynnościowe tylko w jedną stronę. Szczególną rolę w jego działaniu odgrywają złożone che- micznie związki – neuroprzekaźniki (Górska i in. 1997; Gersohn, Rieder 1992). Znanych jest obecnie ok. 50 takich związków, należą do nich np. serotonina (jej niski poziom może powodować depresję), dopamina (jej niski poziom obserwuje się w chorobie Parkinsona), acetylocholina (uczestniczy w procesach uczenia się i zapamiętywania), histamina (regulująca funkcje wegetatywne organizmu, takie jak pobieranie pokarmu i wody oraz regulująca uwalnianie hormonów), adrena- lina (regulująca krążenie krwi). Związki te warunkują przekazywanie potencja- łów czynnościowych między neuronami, a więc i działanie całej sieci nerwowej człowieka. Wiele z tych związków można wytwarzać syntetycznie, inne uzyskuje się z tkanek żywych – substancje te stanowią bardzo ważny składnik leków psy- chotropowych. Neuroprzekaźniki są syntetyzowane w zakończeniach aksonów, są to jednak procesy wymagające określonego czasu, z tego względu przekazanie potencjału czynnościowego do dendrytu postsynaptycznego nie może odbywać się zbyt często (na ogół nie przekracza 200 razy na sekundę). Wpływa to bezpo- średnio na czas refrakcji neuronu. Oprócz synaps o wyżej opisanym działaniu, które nazywają się synapsami pobudzającymi, w układzie nerwowym występują synapsy hamujące. Neutralizu- ją one potencjały czynnościowe, które docierają do neuronów. Takie synapsy są m.in. odpowiedzialne za neutralizację pewnych długotrwałych bodźców docierają- RYS. 2.8. Schematyczny przekrój synapsy. Po- tencjał czynnościowy docierający do zakoń- czenia aksonalnego powoduje wydzielenie z pęcherzykówsynaptycznychcząsteczek neuro- przekaźników do szczeliny synaptycznej. Ot- wierają one kanały jonowe w dendrycie post- synaptycznym i może w nim powstać nowy potencjał czynnościowy poruszający się do neuronu postsynaptycznego 2.2. BUDOWA I DZIAŁANIE NEURONU Ebookpoint.pl kopia dla: tomas0505_1992@o2.pl 0404a95ea860d64931368a2e54e5a4b6