{"id":517,"date":"2024-02-04T17:35:20","date_gmt":"2024-02-04T17:35:20","guid":{"rendered":"https:\/\/szmz.hu\/teaching\/?page_id=517"},"modified":"2024-02-12T11:14:20","modified_gmt":"2024-02-12T11:14:20","slug":"3-2-informacioelmelet-kibernetika-intelligencia-shannon-wiener-turing","status":"publish","type":"page","link":"https:\/\/szmz.hu\/teaching\/bevezetes-a-szamitogepek-anarcheologiajaba\/3-2-informacioelmelet-kibernetika-intelligencia-shannon-wiener-turing\/","title":{"rendered":"3.2 Inform\u00e1ci\u00f3elm\u00e9let, kibernetika, intelligencia; Shannon, Wiener, Turing"},"content":{"rendered":"\n
A SZ\u00c1M\u00cdT\u00d3G\u00c9P M\u0170K\u00d6D\u00c9S\u00c9NEK ALAPJAI \u2013 K\u00c9T\u00c9RT\u00c9K\u0170 LOGIKA<\/h5>\n\n\n\n
<\/td>A=0
B=0<\/td>		A=0
B=1<\/td>		A=1
B=0<\/td>		A=1
B=1<\/td><\/tr>
A \u00e9s B (AND)<\/td>0<\/td>0<\/td>0<\/td>1<\/td><\/tr>
A kiz\u00e1r\u00f3 B (XOR)<\/td>0<\/td>1<\/td>1<\/td>0<\/td><\/tr>
A vagy B (OR)<\/td>0<\/td>1<\/td>1<\/td>1<\/td><\/tr>
A nem vagy B (NOR)<\/td>1<\/td>0<\/td>0<\/td>0<\/td><\/tr>
NEM B (NOT)<\/td>1<\/td>0<\/td>1<\/td>0<\/td><\/tr>
NEM A (NOT)<\/td>1<\/td>1<\/td>0<\/td>0<\/td><\/tr>
A nem \u00e9s B (NAND)<\/td>1<\/td>1<\/td>1<\/td>0<\/td><\/tr><\/tbody><\/table>
Shannon a Boole algebra m\u0171veleteinek felelteti meg az alapvet\u0151 (logikai)\u00e1ramk\u00f6ri kapcsol\u00e1sokat<\/figcaption><\/figure>\n\n\n\n
CLAUDE SHANNON<\/h5>\n\n\n\n

Claude Shannon 1916. \u00e1prilis 30-\u00e1n sz\u00fcletett. A University of Michigan-en 1936-ban matematikai \u00e9s villamosm\u00e9rn\u00f6ki BSc fokozatot szerzett, majd 1940-ben az MIT-n villamosm\u00e9rn\u00f6ki MSc-t \u00e9s matematikai PhD-t. T\u00e9mavezet\u0151je szerint a villamosm\u00e9rn\u00f6ki diplomaterve ezen a ter\u00fcleten a sz\u00e1zad legnagyobb hat\u00e1s\u00fa munk\u00e1ja. T\u00e9m\u00e1ja: hogyan lehet digit\u00e1lis h\u00e1l\u00f3zatot Boole algebr\u00e1val le\u00edrni \u00e9s tervezni. A feladat onnan eredt, hogy a t\u00e9mavezet\u0151je anal\u00f3g mechanikus sz\u00e1m\u00edt\u00f3g\u00e9ppel oldott meg differenci\u00e1legyenleteket, \u00e9s megk\u00e9rte Shannont, hogy seg\u00edtsen neki. Mivel a g\u00e9p gyakran romlott el, Shanonnak s\u0171r\u0171n kellett azt megjav\u00edtania. Ezt a feladatot nagyon unta, \u00e9s igyekezett a g\u00e9p r\u00e9szegys\u00e9geit \u00e1ramk\u00f6r\u00f6kkel kiv\u00e1ltani. Az \u00e1ramk\u00f6r\u00f6k egy r\u00e9sze kapcsol\u00f3h\u00e1l\u00f3zat volt, amelynek tervez\u00e9s\u00e9re ekkor m\u00e9g nem l\u00e9tezett m\u00f3dszertan. Az volt az elj\u00e1r\u00e1s, hogy ad hoc m\u00f3don meg\u00e9p\u00edtett\u00e9k az \u00e1ramk\u00f6rt, ut\u00e1na pedig kipr\u00f3b\u00e1lt\u00e1k, teljes\u00edti-e az el\u0151\u00edr\u00e1st. Shannon remek \u00f6tlete r\u00f6gt\u00f6n azt eredm\u00e9nyezte, hogy az \u00e1ramk\u00f6r meg\u00e9p\u00edt\u00e9se \u00e9s kipr\u00f3b\u00e1l\u00e1sa helyett elegend\u0151 az \u0151t le\u00edr\u00f3 Boole f\u00fcggv\u00e9ny bizonyos helyettes\u00edt\u00e9si \u00e9rt\u00e9keinek a kisz\u00e1m\u00edt\u00e1sa. Tov\u00e1bbi el\u0151ny a tervez\u00e9s szempontj\u00e1b\u00f3l, hogy optimaliz\u00e1lhat\u00f3 a Boole f\u00fcggv\u00e9ny olyan \u00e9rtelemben, hogy az adott specifik\u00e1ci\u00f3t teljes\u00edt\u0151 digit\u00e1lis h\u00e1l\u00f3zatok k\u00f6z\u00fcl megkereshet\u0151 a legkevesebb kapcsol\u00f3t tartalmaz\u00f3 h\u00e1l\u00f3zat. B\u00e1r ma ez egy villamosm\u00e9rn\u00f6k sz\u00e1m\u00e1ra trivialit\u00e1s, kevesen tudj\u00e1k, hogy ez is Shannon nev\u00e9hez f\u0171z\u0151dik, de nem ett\u0151l lett h\u00edres.<\/p>\n\n\n\n

\n
\n
\"\"<\/figure>\n<\/div>\n\n\n\n
\n
\"\"<\/figure>\n\n\n\n

<\/p>\n<\/div>\n<\/div>\n\n\n\n

\n
\n
\"\"<\/figure>\n<\/div>\n\n\n\n
\n
\"\"<\/figure>\n<\/div>\n<\/div>\n\n\n\n
\"\"<\/figure>\n\n\n\n

Claude Shannon (1916-) \u00edrja le az elektromos kapcsol\u00e1sok \u00e9s a Boole-logika kapcsolat\u00e1t. Eszerint pl. ha egy \u00e1ramk\u00f6rben egy kapcsol\u00f3 z\u00e1rt \u00e1ll\u00e1sa az igaz logikai \u00e9rt\u00e9ket jelk\u00e9pezi, a nyitott \u00e1ll\u00e1sa pedig a hamis \u00e9rt\u00e9ket, akkor k\u00e9t kapcsol\u00f3 soros kapcsol\u00e1sa az \u00c9S m\u0171veletet val\u00f3s\u00edtja meg, k\u00e9t kapcsol\u00f3 p\u00e1rhuzamos kapcsol\u00e1sa pedig a VAGY m\u0171veletet. Ezzel az \u00e1ramk\u00f6r\u00f6k elm\u00e9let\u00e9nek alapjait alkotta meg. Az elm\u00e9let l\u00e9nyeges seg\u00edts\u00e9get jelent a digit\u00e1lis sz\u00e1m\u00edt\u00f3g\u00e9pek \u00e1ramk\u00f6reinek tervez\u00e9se \u00e9s egyszer\u0171s\u00edt\u00e9se sor\u00e1n.<\/strong><\/p>\n\n\n\n

1941-t\u0151l dolgozott a Bell Laborat\u00f3riumban. A m\u00e1sodik vil\u00e1gh\u00e1bor\u00fa alatt titkos\u00edt\u00e1ssal foglalkozott, az \u0151 elj\u00e1r\u00e1s\u00e1t haszn\u00e1lta a SIGSALY telefon, amellyel Churchill \u00e9s Roosevelt biztons\u00e1gosan tudott besz\u00e9lgetni. 1948-ban jelent meg a The Mathematical Theory of Communication, Bell Syst. Tech. J., vol 27, pp. 379-423, 623-656 cikke (magyarul is megjelent az OMIKK kiad\u00e1s\u00e1ban), amellyel megteremtette az inform\u00e1ci\u00f3elm\u00e9letet. (Ugyanebben az \u00e9vben, szint\u00e9n a Bell Laborat\u00f3riumban tal\u00e1lt\u00e1k fel a tranzisztort.)<\/p>\n\n\n\n

Shannon a kommunik\u00e1ci\u00f3s rendszerek elemeit, a k\u00f6z\u00f6tt\u00fck l\u00e9v\u0151 kapcsolatokat vizsg\u00e1lta. Noha munk\u00e1ja t\u00falmutat a m\u00e9rn\u00f6ki tudom\u00e1nyokon, els\u0151dlegesen praktikus c\u00e9lokat szolg\u00e1lt, p\u00e9ld\u00e1ul azt, hogy a telefonvonalak kev\u00e9sb\u00e9 legyenek zajosak. Elm\u00e9lete szerint a kommunik\u00e1ci\u00f3 jelent\u00e9stani aspektusai irrelev\u00e1nsak a tervez\u0151 szemsz\u00f6g\u00e9b\u0151l n\u00e9zve: az \u00fczenet statisztikai jellemz\u0151i, \u00e9s nem a tartalma a meghat\u00e1roz\u00f3.<\/strong><\/p>\n\n\n\n

A legf\u0151bb probl\u00e9ma, hogy egy adott ponton hib\u00e1tlanul vagy megk\u00f6zel\u00edt\u0151leg, reproduk\u00e1ljunk egy m\u00e1sik pontr\u00f3l k\u00fcld\u00f6tt \u00fczenetet. M\u00e1sr\u00e9szt, a t\u00e9nyleges csak egy a lehets\u00e9ges \u00fczenetek k\u00f6z\u00fcl. A rendszert \u00fagy kell megtervezni, hogy ne kiz\u00e1r\u00f3lag a kiv\u00e1lasztott, hanem a potenci\u00e1lis \u00fczeneteket is kezelje.<\/p>\n\n\n\n

Az inform\u00e1ci\u00f3 fontos tulajdons\u00e1ga, hogy el\u0151re nem kisz\u00e1m\u00edthat\u00f3, \u00fajdons\u00e1g\u00e9rt\u00e9ket tartalmaz\u00f3 jelk\u00e9pekb\u0151l \u00e1ll. E jelk\u00e9pek k\u00f6zl\u00e9se a kommunik\u00e1ci\u00f3 l\u00e9nyege, a t\u00f6bbi redund\u00e1ns elem. Az inform\u00e1ci\u00f3 a bizonytalans\u00e1ggal azonos, v\u00e9letlenszer\u0171s\u00e9ge az entr\u00f3pi\u00e1val \u00edrhat\u00f3 le, mely lehet\u0151v\u00e9 teszi, hogy az \u00fczenetet ne csak egyf\u00e9lek\u00e9ppen dek\u00f3doljuk, illetve azt is, hogy egy csatorna mennyire alkalmas jeltov\u00e1bb\u00edt\u00e1sra.<\/strong><\/p>\n\n\n\n

A termodinamika m\u00e1sodik t\u00f6rv\u00e9nye a vil\u00e1gegyetemben \u00e1lland\u00f3an n\u00f6vekv\u0151 rendezetlens\u00e9gre, az entr\u00f3pi\u00e1ra vonatkozik. Shannon, az entr\u00f3pi\u00e1t az inform\u00e1ci\u00f3val azonos\u00edtva, a sz\u00f3nak \u00faj, az eredetivel ellent\u00e9tes jelent\u00e9st adott. Az entr\u00f3pia n\u00f6veked\u00e9se az inform\u00e1ci\u00f3 n\u00f6veked\u00e9s\u00e9t eredm\u00e9nyezi. Ha \u00f6sszekapcsoljuk a k\u00e9t elm\u00e9letet, arra a k\u00f6vetkeztet\u00e9sre jutunk, hogy egy bitnyi inform\u00e1ci\u00f3 tov\u00e1bb\u00edt\u00e1s\u00e1hoz meghat\u00e1rozott mennyis\u00e9g\u0171 energia sz\u00fcks\u00e9ges.
<\/strong>
Shannon 1948-ban publik\u00e1lt \u201cThe Mathematical Theory of Communication\u201d c\u00edm\u0171 tanulm\u00e1nya, mely a Warren Weaverrel k\u00f6z\u00f6sen kiadott k\u00f6z\u00e9rthet\u0151 k\u00f6nyben jelenik meg n\u00e9h\u00e1ny h\u00f3nap m\u00falva, kulcsfontoss\u00e1g\u00fa a m\u00e9diaelm\u00e9let\/t\u00f6rt\u00e9net szempontj\u00e1b\u00f3l; sz\u00e1mos szerz\u0151, t\u00f6bbek k\u00f6zt Friedrich Kittler sz\u00e1mos helyen hivatkozik Shannon kommunik\u00e1ci\u00f3s modellj\u00e9re, mely minden technikai m\u00e9diumra vonatkoztathat\u00f3:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Shannon a matematikai inform\u00e1ci\u00f3elm\u00e9let egyik megalap\u00edt\u00f3ja. Az inform\u00e1ci\u00f3elm\u00e9let az inform\u00e1ci\u00f3 t\u00f6m\u00f6r\u00edt\u00e9s\u00e9nek, \u00e1tvitel\u00e9nek, t\u00e1rol\u00e1s\u00e1nak, v\u00e9delm\u00e9nek \u00e9s feldolgoz\u00e1s\u00e1nak a term\u00e9szett\u00f6rv\u00e9nyeit foglalja egys\u00e9gbe.<\/strong><\/p>\n\n\n\n

What is Information Entropy? (Shannon\u2019s formula) https:\/\/www.youtube.com\/watch?v=R4OlXb9aTvQ<\/a><\/strong><\/p>\n\n\n\n

\"\"
 Claude Shannon demonstrates machine learning https:\/\/www.youtube.com\/watch?v=vPKkXibQXGA<\/a><\/figcaption><\/figure>\n\n\n\n
Norbert Wiener (November 26, 1894 \u2013 March 18, 1964)<\/h5>\n\n\n\n

Szint\u00e9n 1948-ban (egyid\u0151ben Shannon \u00e9s Weaver The Mathematical Theory of Communication c. m\u0171v\u00e9vel) jelenik meg Norbert Wiener “Cybernetics or Control and Communication in the Animal and the Machine” c\u00edm\u0171 k\u00f6nyve, melynek t\u00e1rgya l\u00e9nyeg\u00e9ben a kibernetika tudom\u00e1ny\u00e1nak megalapoz\u00e1sa.

Wiener Shannonhoz hasonl\u00f3an, \u00e1m t\u0151le f\u00fcggetlen\u00fcl, m\u00e1s szempontokb\u00f3l k\u00f6zel\u00edtett matematikusk\u00e9nt az elektronikai rendszerek, kommunik\u00e1ci\u00f3s eszk\u00f6z\u00f6k tervez\u00e9s\u00e9hez, szint\u00e9n a zaj, a hiba kik\u00fcsz\u00f6b\u00f6l\u00e9s\u00e9t c\u00e9lul t\u0171zve. Az \u00f6nszab\u00e1lyz\u00f3 rendszerek, automat\u00e1k alapvet\u0151 elm\u00e9let\u00e9t alkotta meg, melynek f\u00f3kusz\u00e1ban a visszacsatol\u00e1son kereszt\u00fcl megval\u00f3sul\u00f3 “\u00f6nkontroll” \u00e1ll.<\/p>\n\n\n\n

\n