3.2 Információelmélet, kibernetika, intelligencia; Shannon, Wiener, Turing

A SZÁMÍTÓGÉP MŰKÖDÉSÉNEK ALAPJAI – KÉTÉRTÉKŰ LOGIKA
A=0
B=0
A=0
B=1
A=1
B=0
A=1
B=1
A és B (AND)0001
A kizáró B (XOR)0110
A vagy B (OR)0111
A nem vagy B (NOR)1000
NEM B (NOT)1010
NEM A (NOT)1100
A nem és B (NAND)1110
Shannon a Boole algebra műveleteinek felelteti meg az alapvető (logikai)áramköri kapcsolásokat
CLAUDE SHANNON

Claude Shannon 1916. április 30-án született. A University of Michigan-en 1936-ban matematikai és villamosmérnöki BSc fokozatot szerzett, majd 1940-ben az MIT-n villamosmérnöki MSc-t és matematikai PhD-t. Témavezetője szerint a villamosmérnöki diplomaterve ezen a területen a század legnagyobb hatású munkája. Témája: hogyan lehet digitális hálózatot Boole algebrával leírni és tervezni. A feladat onnan eredt, hogy a témavezetője analóg mechanikus számítógéppel oldott meg differenciálegyenleteket, és megkérte Shannont, hogy segítsen neki. Mivel a gép gyakran romlott el, Shanonnak sűrűn kellett azt megjavítania. Ezt a feladatot nagyon unta, és igyekezett a gép részegységeit áramkörökkel kiváltani. Az áramkörök egy része kapcsolóhálózat volt, amelynek tervezésére ekkor még nem létezett módszertan. Az volt az eljárás, hogy ad hoc módon megépítették az áramkört, utána pedig kipróbálták, teljesíti-e az előírást. Shannon remek ötlete rögtön azt eredményezte, hogy az áramkör megépítése és kipróbálása helyett elegendő az őt leíró Boole függvény bizonyos helyettesítési értékeinek a kiszámítása. További előny a tervezés szempontjából, hogy optimalizálható a Boole függvény olyan értelemben, hogy az adott specifikációt teljesítő digitális hálózatok közül megkereshető a legkevesebb kapcsolót tartalmazó hálózat. Bár ma ez egy villamosmérnök számára trivialitás, kevesen tudják, hogy ez is Shannon nevéhez fűződik, de nem ettől lett híres.

Claude Shannon (1916-) írja le az elektromos kapcsolások és a Boole-logika kapcsolatát. Eszerint pl. ha egy áramkörben egy kapcsoló zárt állása az igaz logikai értéket jelképezi, a nyitott állása pedig a hamis értéket, akkor két kapcsoló soros kapcsolása az ÉS műveletet valósítja meg, két kapcsoló párhuzamos kapcsolása pedig a VAGY műveletet. Ezzel az áramkörök elméletének alapjait alkotta meg. Az elmélet lényeges segítséget jelent a digitális számítógépek áramköreinek tervezése és egyszerűsítése során.

1941-től dolgozott a Bell Laboratóriumban. A második világháború alatt titkosítással foglalkozott, az ő eljárását használta a SIGSALY telefon, amellyel Churchill és Roosevelt biztonságosan tudott beszélgetni. 1948-ban jelent meg a The Mathematical Theory of Communication, Bell Syst. Tech. J., vol 27, pp. 379-423, 623-656 cikke (magyarul is megjelent az OMIKK kiadásában), amellyel megteremtette az információelméletet. (Ugyanebben az évben, szintén a Bell Laboratóriumban találták fel a tranzisztort.)

Shannon a kommunikációs rendszerek elemeit, a közöttük lévő kapcsolatokat vizsgálta. Noha munkája túlmutat a mérnöki tudományokon, elsődlegesen praktikus célokat szolgált, például azt, hogy a telefonvonalak kevésbé legyenek zajosak. Elmélete szerint a kommunikáció jelentéstani aspektusai irrelevánsak a tervező szemszögéből nézve: az üzenet statisztikai jellemzői, és nem a tartalma a meghatározó.

A legfőbb probléma, hogy egy adott ponton hibátlanul vagy megközelítőleg, reprodukáljunk egy másik pontról küldött üzenetet. Másrészt, a tényleges csak egy a lehetséges üzenetek közül. A rendszert úgy kell megtervezni, hogy ne kizárólag a kiválasztott, hanem a potenciális üzeneteket is kezelje.

Az információ fontos tulajdonsága, hogy előre nem kiszámítható, újdonságértéket tartalmazó jelképekből áll. E jelképek közlése a kommunikáció lényege, a többi redundáns elem. Az információ a bizonytalansággal azonos, véletlenszerűsége az entrópiával írható le, mely lehetővé teszi, hogy az üzenetet ne csak egyféleképpen dekódoljuk, illetve azt is, hogy egy csatorna mennyire alkalmas jeltovábbításra.

A termodinamika második törvénye a világegyetemben állandóan növekvő rendezetlenségre, az entrópiára vonatkozik. Shannon, az entrópiát az információval azonosítva, a szónak új, az eredetivel ellentétes jelentést adott. Az entrópia növekedése az információ növekedését eredményezi. Ha összekapcsoljuk a két elméletet, arra a következtetésre jutunk, hogy egy bitnyi információ továbbításához meghatározott mennyiségű energia szükséges.

Shannon 1948-ban publikált “The Mathematical Theory of Communication” című tanulmánya, mely a Warren Weaverrel közösen kiadott közérthető könyben jelenik meg néhány hónap múlva, kulcsfontosságú a médiaelmélet/történet szempontjából; számos szerző, többek közt Friedrich Kittler számos helyen hivatkozik Shannon kommunikációs modelljére, mely minden technikai médiumra vonatkoztatható:

Shannon a matematikai információelmélet egyik megalapítója. Az információelmélet az információ tömörítésének, átvitelének, tárolásának, védelmének és feldolgozásának a természettörvényeit foglalja egységbe.

What is Information Entropy? (Shannon’s formula) https://www.youtube.com/watch?v=R4OlXb9aTvQ

 Claude Shannon demonstrates machine learning https://www.youtube.com/watch?v=vPKkXibQXGA
Norbert Wiener (November 26, 1894 – March 18, 1964)

Szintén 1948-ban (egyidőben Shannon és Weaver The Mathematical Theory of Communication c. művével) jelenik meg Norbert Wiener “Cybernetics or Control and Communication in the Animal and the Machine” című könyve, melynek tárgya lényegében a kibernetika tudományának megalapozása.

Wiener Shannonhoz hasonlóan, ám tőle függetlenül, más szempontokból közelített matematikusként az elektronikai rendszerek, kommunikációs eszközök tervezéséhez, szintén a zaj, a hiba kiküszöbölését célul tűzve. Az önszabályzó rendszerek, automaták alapvető elméletét alkotta meg, melynek fókuszában a visszacsatoláson keresztül megvalósuló “önkontroll” áll.

1950-ben megjelent, majd 1954-ben átdolgozott másik alapvető műve a “The Human Use of Human Beings”, melyben az automatizáció társadalomra gyakorolt hatását vizsgálja meg, gyakran idézett szövegeket tartalmaz, többek közt ezt is:

“society can only be understood through a study of the messages and the communication facilities which belong to it; and that in the future development of these messages and communication facilities, messages between man and machines, between machines and man, and between machine and machine, are destined to play an ever-increasing part. (p. 16)”

Alan Turing

Alan Turing (1912-1954) 1936-ban az On Computable Numbers című művében leírta egy olyan számítógép matematikai modelljét, amely mint a lehető legegyszerűbb univerzális számítógép bármilyen véges matematikai és logikai problémát meg tud oldani. Ez a ma Turing-gép néven ismert eszköz alapvető fontoságú volt a digitális számítógépek elméleti tervezésének megkezdéséhez. A Turing-gép három részből áll: egy mindkét irányban végtelen tárolószalagból, egy vezérlőegységből és egy író-olvasó fejből. A szalag mezőkre oszlik, mindegyik mező egy adatot vagy utasítást tud tárolni. Csak a fej alatt elhelyezkedő egyetlen mező olvasható, illetve írható. A gép a következőképpen működik: Kezdetben a gép meghatározott állapotban van. Beolvassa a szalagról az éppen a fej alatt lévő jelet, ettől függően végrehajt valamilyen tevékenységet, és így új állapotba jut. Közben a szalagot is új mezőre pozícionálja. A fej beolvassa a szalagról a következő jelet, és így tovább. A folyamat akkor ér véget, amikor az olvasófej a STOP utasítást olvassa be. Ilyen módon elvileg minden algoritmus kivitelezhetõ.

Turing Machines Explained – Computerphile https://www.youtube.com/watch?v=dNRDvLACg5Q

(Bertrand Russell és Alfred North Whitehead monumentális, 1910 és 1915 között publikált Principia Matematicája szerint a logika jelenti a matematikai igazság biztos, ellentmondásmentes alapját. Tévedtek, hiszen Kurt Gödel 1931-es (nem-teljességi) tétele kimondja: “a számelmélet összes axiomatikus megfogalmazása tartalmaz eldönthetetlen állításokat”. Márpedig “ennek a számelméleti állításnak a Principia Matematica rendszerében nincs bizonyítása” (D. R. Hofstadter). Létezik-e – akár csak elméletileg – olyan módszer (algoritmus), mellyel az összes matematikai kérdés megoldható? – tette fel a (Gödel tételére rímelő) kérdést Turing. Az ember által végrehajtott, logikai alapokon nyugvó módszertani folyamatokat, illetve egy (elméleti) számítógép működését elemezve jutott arra a következtetésre, hogy a szükséges algoritmus nem létezik. Alonzo Church, amerikai logikus szintén 1936-ban dolgozta ki – Turing álláspontjával egyező – tézisét, azaz: “nincs csalhatatlan módszer arra, hogy megkülönböztessük a számelmélet tételeit azoktól az állításoktól, amelyek nem tételek”.)

Turing & The Halting Problem – Computerphile https://www.youtube.com/watch?v=macM_MtS_w4

A “kiszámítható számokról” szóló, 1936 decemberében megjelent dolgozatában Turing a matematikai problémán túllépve, azt általánosítva – a logikus és a fizikai folyamatok, gondolkodás és cselekvés szintézisére törekedett.

E célt szolgálta, az úgynevezett (Egyetemes-) Turing-gép teóriája. Tulajdonképpen egy automatát, egyszerû számítógépmodellt képzelt el, amely három részbõl – belső állapotból: memóriából és utasításkészletbõl, érzékelő fejből, illetve négyzetekre osztott, elméletileg végtelen bemenõ (input) szalagból – állna. A bemeneti jelek rendeltetését szabályok határozzák meg, majd a gép újabb jeleket (azaz számokba kódolt, standardizált utasításokat) ír a szalagra. Ha a szalag elegendő hosszúságú, bármi kiszámolható; az összes (jól-meghatározott) feladat, egyetlen (a szükséges programokkal ellátott) géppel. De hogyan rendszerezhetők, milyen szabályok alapján működnek a valóság matematikailag rendkívül nehezen vagy egyáltalán nem modellálható (uncomputable) szegmensei, például az emberi intuíció? E kérdésekre egy 1938-as esszében (Ordinal Logics) próbált választ adni, a késõbbiekben viszont soha többé.

Turing 1938-1939-es cambridge-i tartózkodása során Ludwig Wittgenstein matematikafilozófiai előadásait is látogatta.

1939 és 1945 között a második világháború alatt a brit hadsereg német titkos kódok elemzésére szakosodott csoportjában, a Bletchley Park-ban berendezett kódfejtő központban dolgozott(erre még visszatérünk).

1945-1947 között a londoni Nemzeti Fizikai Laboratórium munkatársaként számítógépet tervez (ACE = Automatic Computing Engine), elméleti munkákat publikál: programozásról, neurális hálókról, mesterséges intelligenciáról. Közben atletizál is, főként fut: az 1948-as londoni olimpián való részvételét sérülés hiúsítja meg.

1948-tól a Manchesteri Egyetem számítógép-laboratóriumának vezetője.

A negyvenes években, elektronikai ismeretekk el felvértezve, az elméleti számítógép gyakorlati megvalósításán munkálkodott. Már nem foglalkoztatta az, hogy mire képtelen a Turing-gép, hanem a benne rejlõ lehetõségeket tanulmányozta. “Mintha egy agyat építenénk” – nyilatkozta. Elképzelhetõnek tartotta, hogy a jövõben (az ezredfordulóig bezárólag) mesterséges intelligenciát hozzunk világra. AI-t, amely átmenne a Turing-teszten. A korabeli neurológia, fiziológia eredményeire támaszkodva a mai neuronhálózatokat elõlegezõ elméletet vázolt fel: ha egy mechanikus rendszer kellõen komplex, akár a tanulás képességével is bírhat.

A Turing-teszt néven közismertté vált imitációs játék, az intelligencia, illetve a tudatosság kapcsolatát vizsgálja, melyet 1950-ben “Computing Machinery and Intelligence” című művében publikál . A hagyományos értelmezés szerint Turing az intelligencia egy operacionális definícióját kívánta megadni, amikor azt javasolta, hogy tekintsünk intelligensnek minden olyan gépet, amely szöveges terminálon keresztül majdnem ugyanolyan eséllyel képes elhitetni kérdezõjével, hogy emberrel kommunikál, mint egy valós személy.

Mikor tekinthetõ értelmesnek egy gép? Tudnak-e a gépek gondolkodni? A kérdés eldöntésére Turing az “imitációs játék” (napjainkban Turing-tesztként ismert) módszert javasolta.

“Három ember játssza a játékot: egy férfi (A), egy nõ (B) és egy kérdezõ (C), aki bármilyen nemû lehet”. A szabályok értelmében a férfi minden válaszában hazudik, a nő pedig igazat mond. A kérdezőnek a játékosok nemét kell kiderítenie.

“A kérdezõ olyan szobában tartózkodik, amely el van választva a másik kettõtõl. A játék célja a kérdezõ számára az, hogy megállapítsa, a másik kettõ közül melyik a férfi és melyik a nõ. Hogy a hangszín se segíthesse, a válaszokat írásban, vagy még jobb, ha gépírással adják meg. Most kérdezzük meg: Mi történik, ha A szerepét egy gép veszi át? Vajon a kérdezõ ugyanolyan gyakran fog rosszul dönteni, ha a játékot így játsszák, mint akkor, ha a játék egy férfi és egy nõ között zajlik? E kérdések helyettesítik az eredeti kérdésünket: tudnak-e a gépek gondolkodni?” A kérdések az élet minden területére – tudomány, mûvészet, sport, idõjárás, stb. – vonatkoznak. Ha a tesztelõ egy elõre megállapodott idõ után sem képes eldönteni, hogy a válaszok embertõl vagy géptõl jönnek, akkor a válaszadó intelligensnek tekinthetõ.

“A század végére a szavak használata és a tanult emberek véleménye annyira meg fog változni, hogy anélkül beszélhetünk majd a gépi gondolkodásról, hogy mások ezzel vitába szállnának” – fogalmaz Turing 1950-ben.

Turing 1951-54 között szerteágazó biológiai (a nemlineáris morfogenezis elmélete, stb.) és fizikai kutatásokat végez, 1951 júliusától a Royal Society tagja.

1952. március 31-én nyíltan vállalt homoszexualitása miatt letartóztatták, pert indítottak ellene, majd a libidót semlegesítõ orvosi beavatkozásnak vetették alá.

1954. június 7-én (Wilmslow, Cheshire), két héttel és két nappal negyvenkettedik születésnapja elõtt, ciánmérgezésben halt meg. A halottkém jelentése szerint öngyilkosság történt.

Gordon Brown miniszterelnök egy több mint 49000 aláírást tartalmazó petíció nyomán 2009-ben, Erzsébet királynő 2013 karácsonyán kért bocsánatot a Turinggel szembeni eljárás miatt. (“to pardon and remit unto [Turing] the sentence imposed upon him.”)