summor.se

4. Vägen till generativ AI

Artificiell intelligens har inte utvecklats längs en rak väg. Perioder av stora förväntningar har följts av besvikelser, samtidigt som forskare har prövat olika idéer om hur en maskin kan bli intelligent.

I den här historiska överblicken följer vi två av dessa idéer: att människor kan beskriva kunskap och regler för datorn, och att datorn kan lära sig mönster från exempel. Berättelsen slutar 2022, när ChatGPT gjorde generativ AI tillgänglig för en bred publik.

En utvald historisk väg

Det här är inte en fullständig historia över AI. Vi följer framför allt den utveckling som ledde fram till dagens generativa AI.

Akt 1: Två idéer om intelligenta maskiner

Under 1950-talet började artificiell intelligens formas till ett eget forskningsområde. Alan Turing hade redan undersökt frågan om maskiner kan tänka, och vid Dartmouthkonferensen 1956 fick området namnet artificiell intelligens.12 Händelserna behandlades närmare i lektionen Vad är artificiell intelligens?.

Regler eller lärande?

Forskarna var inte överens om hur intelligenta maskiner skulle byggas. En möjlighet var att beskriva kunskap och logiska regler för datorn. En annan var att konstruera system som själva kunde lära sig mönster från exempel.

De här två tankarna känner du igen från skillnaden mellan regelstyrda system och tränade modeller. Under AI:s historia har intresset och investeringarna rört sig fram och tillbaka mellan dem.

Perceptronen väcker stora förväntningar

År 1957 presenterade Frank Rosenblatt perceptronen, en tidig modell inspirerad av nervceller. Den kunde lära sig att skilja mellan enkla mönster och väckte stora förhoppningar om maskiner som lärde sig genom erfarenhet.3

Frank Rosenblatt arbetar med Mark I-perceptronens kamera framför en bokstav som maskinen ska känna igen.

Mark I-perceptronen kunde tränas att känna igen enkla visuella mönster, exempelvis bokstäver. Fotografiet publicerades av U.S. Navy 1960.

Uppmärksamheten blev stor. Amerikanska tidningar beskrev perceptronen som en maskin som lärde sig genom att göra och som en elektronisk hjärna som undervisade sig själv.45 Verklighetens förmågor var betydligt mer begränsade än rubrikerna antydde.

“New Navy Device Learns by Doing” — The New York Times, 8 juli 1958.4

“Electronic Brain Teaches Itself” — The New York Times, 13 juli 1958.5

Framtidens AI enligt 1968

I Stanley Kubricks 2001: A Space Odyssey styr HAL 9000 ett rymdskepp. HAL kan se, tala, resonera och fatta självständiga beslut. Samtidigt klarade verklighetens lärande system fortfarande bara mycket enkla uppgifter.

Den röda kameralinsen på HAL 9000 från filmen 2001: A Space Odyssey.

Ett utsnitt av den ursprungliga HAL 9000-rekvisitan visar den röda kameralins som fungerar som figurens öga.

Filmen visar därför inte hur dåtidens AI fungerade, utan hur långt människor föreställde sig att utvecklingen skulle nå. Se scenen med HAL 9000 under Startskottet för AI.

Akt 2: Den första AI-vintern

Sprickor i optimismen

År 1969 publicerade Marvin Minsky och Seymour Papert boken Perceptrons. Där undersökte de vad perceptroner kunde och inte kunde göra. Dåtidens enkla modeller kunde bara skilja mellan mönster som gick att dela upp med en enda rak gräns. Därför misslyckades de även med vissa till synes enkla problem.6

Marvin Minsky sitter framför en mörk vägg och tittar mot kameran.

Marvin Minsky var en av de två forskare som skrev boken Perceptrons 1969.

Boken visade inte att alla neuronnät var oanvändbara. Däremot blev begränsningarna tydliga vid en tid då forskarna ännu saknade den kombination av metoder, data och datorkraft som krävdes för att träna mer avancerade nätverk. Intresset för perceptroner svalnade.

När löftena inte infrias

Motgångarna gällde inte bara perceptronen. Framstegen inom bland annat maskinöversättning, taligenkänning och generell problemlösning motsvarade inte heller de stora löftena. En kritisk brittisk rapport från 1973 bidrog till att finansieringen minskade, och omkring 1974 inleddes det som brukar kallas den första AI-vintern.78

AI-vinter

En AI-vinter är en period då förväntningarna på AI sjunker kraftigt och följs av minskat intresse, färre investeringar och mindre forskningsfinansiering. Forskningen upphör inte, men den får mindre uppmärksamhet och färre resurser. Begreppet återkommer senare i historien.

Ett snötäckt landskap med kala träd i vinterdis.

En AI-vinter innebär inte att forskningen upphör. Begreppet beskriver en period då intresse, investeringar och forskningsfinansiering minskar.

Akt 3: Reglernas återkomst

Efter den första AI-vintern hade mycket av uppmärksamheten kring AI lagt sig. Förhoppningarna på de tidiga neuronnäten hade inte infriats, och området fick mindre finansiering. Forskningen fortsatte, men mer i skuggan än tidigare.

I början av 1980-talet blev datorerna kraftfullare och AI fick ett nytt uppsving. Den här gången riktades intresset främst mot system där människor skrev in kunskapen i form av fakta och regler.9

Expertsystem skapar en ny AI-våg

Ett expertsystem var ett regelstyrt program som försökte efterlikna hur en specialist resonerade inom ett avgränsat område. Kunskap från exempelvis läkare eller ingenjörer skrevs in som fakta och regler: om vissa villkor var uppfyllda, så drog systemet en bestämd slutsats. Expertsystem användes bland annat för medicinska bedömningar och för att konfigurera avancerad datorutrustning.9

Det här var samma grundidé som i de regelstyrda system vi redan har mött. Systemen lärde sig inte reglerna från data. I stället behövde människor formulera dem och hålla dem uppdaterade.

Programspråket Lisp blev starkt förknippat med AI-forskningen. Det byggdes till och med särskilda Lisp-maskiner för att utveckla och köra AI-program. Företag som Symbolics sålde sådana datorer när marknaden för expertsystem växte.1011

En beige Symbolics LISP-dator med bildskärm och tangentbord står på ett museum.

Symbolics byggde specialiserade Lisp-datorer för bland annat AI-utveckling under 1980-talet.

Populärkultur: WarGames och The Terminator

AI på film under 1980-talet

WarGames från 1983 och The Terminator från 1984 visar inte hur verklighetens expertsystem fungerade. De speglar i stället en oro för att stora datorsystem skulle kopplas till vapen och få fatta beslut som människor inte längre kunde kontrollera.

Framsidan på en IMSAI 8080 med många strömbrytare och röda lampor.

I WarGames använder huvudpersonen en IMSAI 8080 för att ansluta till ett militärt datorsystem.12

Ett metalliskt T-800-endoskelett från Terminator står på en utställning.

I The Terminator har ett militärt AI-system tagit kontroll över både vapen och maskiner. T-800 blev en tydlig bild av rädslan för att förlora kontrollen över tekniken.

Den andra AI-vintern

Expertsystem kunde vara användbara inom smala områden, men de var dyra att bygga och underhålla. Om kunskapen förändrades behövde reglerna skrivas om, och om en situation inte fanns beskriven kunde systemet inte hantera den på egen hand.

Samtidigt blev vanliga datorer billigare och konkurrerade ut de kostsamma Lisp-maskinerna. När expertsystemen inte motsvarade de stora ekonomiska förväntningarna sjönk investeringarna på nytt. Perioden från slutet av 1980-talet och in i början av 1990-talet brukar därför beskrivas som den andra AI-vintern.1113

Akt 4: De lärande systemen återvänder

Det publika intresset för perceptroner och neuronnät minskade under 1960- och 1970-talet, men forskningen fortsatte. Med bättre metoder, mer data och större datorkraft fick de gamla idéerna så småningom nya möjligheter.

Gamla idéer får nya möjligheter

Ett viktigt steg var backpropagation, som fick stor uppmärksamhet genom en forskningsartikel 1986. Metoden låter ett neuronnät använda sina fel för att justera sig och gjorde det lättare att träna nätverk med flera lager.14 Hur metoden fungerar behandlas senare i kursen.

AI fick också nya publika framgångar. År 1997 besegrade IBMs schackdator Deep Blue den regerande världsmästaren Garry Kasparov.15

En animerad schackbräda visar dragen i det sjätte partiet mellan Deep Blue och Garry Kasparov.
Det avgörande sjätte partiet mellan Deep Blue och Garry Kasparov, drag för drag.

År 2011 vann IBM Watson frågesporten Jeopardy! mot två av programmets mest framgångsrika deltagare.16 Deep Blue och Watson var inga direkta föregångare till generativ AI, men visade en stor publik att datorer kunde besegra mänskliga experter i avgränsade uppgifter.

En återskapad Jeopardy-scen med IBM Watsons skärm mellan två andra deltagarplatser.

En återskapad Jeopardy!-scen med Watson i mitten visar hur systemet presenterades för tv-publiken.

2012: AlexNet förändrar styrkeförhållandet

År 2012 vann AlexNet en stor tävling i bildigenkänning med tydlig marginal. Bakom arbetet stod Alex Krizhevsky, Ilya Sutskever och Geoffrey Hinton.17

Resultatet visade vad djupa neuronnät kunde åstadkomma när de fick tillgång till mycket data och stor datorkraft. Det blev ett tydligt genombrott för djupinlärning.

Geoffrey Hinton föreläser vid ett podium under Nobelveckan 2024.

Geoffrey Hinton under Nobelföreläsningarna 2024. Samma år fick han Nobelpriset i fysik tillsammans med John Hopfield för grundläggande arbete som möjliggjort maskininlärning med artificiella neuronnät.18

Populärkultur: Her

Från hotfull maskin till samtalspartner

I filmen Her från 2013 möter huvudpersonen en AI genom språk och samtal, inte som en fysisk robot. AI framställs som personlig, kreativ och social. Filmen speglar därmed en annan förväntan än WarGames och The Terminator – och ligger närmare hur många senare skulle möta generativ AI.

Joaquin Phoenix, regissören Spike Jonze och flera skådespelare står tillsammans vid premiären av Her 2013.

Joaquin Phoenix, regissören Spike Jonze, Amy Adams, Rooney Mara och Olivia Wilde vid premiären av Her 2013.

2017: Från översättning till transformern

Nästa stora genombrott kom från arbetet med maskinöversättning. I artikeln Attention Is All You Need presenterade Google-forskare 2017 transformern.19 Den blev en grundläggande förutsättning för dagens stora språkmodeller och generativa AI.

År 2020 visade GPT-3 vad en mycket stor transformerbaserad språkmodell kunde göra med text.20

2022: ChatGPT når en bred publik

Den 30 november 2022 lanserade OpenAI ChatGPT som en kostnadsfri testversion byggd på GPT-3.5.21

Generativ AI uppfanns inte 2022. Det nya var att tekniken blev enkel för många att prova. En uppskattning angav att ChatGPT nådde omkring 100 miljoner aktiva användare per månad på två månader.22

Har en sida vunnit?

De lärande systemen leder tydligast fram till dagens generativa AI, men det betyder inte att reglerna har försvunnit. Moderna AI-tjänster kombinerar ofta tränade modeller med programmerade regler, vanlig kod och deterministiska verktyg. Ingen sida har alltså vunnit helt – de har blivit olika delar av samma system.

Sammanfattning

  • AI:s historia har präglats av två idéer: att skriva regler för datorn och att låta den lära sig från exempel.
  • Stora förväntningar har följts av två perioder med minskat intresse – AI-vintrarna.
  • Expertsystem gav verklig men avgränsad nytta genom fakta och regler.
  • Bättre metoder, mer data och större datorkraft gav neuronnät nya möjligheter.
  • AlexNet och transformern blev viktiga steg mot dagens generativa AI.
  • ChatGPT gjorde tekniken tillgänglig för en bred publik 2022.

Källor

Footnotes

  1. Alan M. Turing, ”Computing Machinery and Intelligence”, Mind, vol. LIX, nr 236, 1950, s. 433–460, Oxford Academic. ↩

  2. Dartmouth College, Our Story: AI at Dartmouth, om förslaget från 1955 och sommarmötet 1956, AI at Dartmouth. ↩

  3. Smithsonian Institution, Electronic Neural Network, Mark I Perceptron, om Rosenblatts beskrivning från 1957 och den byggda modellen från 1958, National Museum of American History. ↩

  4. ”New Navy Device Learns by Doing”, The New York Times, 8 juli 1958, The New York Times. ↩ ↩2

  5. ”Electronic Brain Teaches Itself”, The New York Times, 13 juli 1958, The New York Times. ↩ ↩2

  6. Marvin Minsky och Seymour A. Papert, Perceptrons: An Introduction to Computational Geometry, MIT Press, 1969, MIT Press. ↩

  7. James Lighthill, Artificial Intelligence: A General Survey, Science Research Council, 1973, tillgänglig genom University of Edinburgh. ↩

  8. Oregon State University, A Brief History of AI, avsnittet om den första AI-vintern 1974–1980, College of Engineering. ↩

  9. Stanford University, Artificial Intelligence and Life in 2030, avsnittet ”A Short History of AI” om expertsystemens genombrott, One Hundred Year Study on Artificial Intelligence. ↩ ↩2

  10. Computer History Museum, Symbolics Lisp Machine, om företagets datorer för AI-forskning och kommersiella tillämpningar, Computer History Museum. ↩

  11. Chung-Ching Tai, The Rise and Fall of Symbolics and the Lisp Machine, Massachusetts Institute of Technology, 2001, MIT OpenCourseWare. ↩ ↩2

  12. Computer History Museum, IMSAI 8080 microcomputer, om datormodellens roll i filmen WarGames, Computer History Museum. ↩

  13. MIT Computer Science and Artificial Intelligence Laboratory, The History of Artificial Intelligence at MIT, om expertsystemens uppgång och AI-industrins nedgång under 1980-talet, CSAIL. ↩

  14. David E. Rumelhart, Geoffrey E. Hinton och Ronald J. Williams, ”Learning representations by back-propagating errors”, Nature, vol. 323, 1986, s. 533–536, Nature. ↩

  15. IBM, Deep Blue, om matchsegern mot Garry Kasparov 1997, IBM History. ↩

  16. IBM, Watson, ‘Jeopardy!’ champion, om Watsons seger 2011, IBM History. ↩

  17. Alex Krizhevsky, Ilya Sutskever och Geoffrey E. Hinton, ”ImageNet Classification with Deep Convolutional Neural Networks”, Advances in Neural Information Processing Systems 25, 2012, NeurIPS. ↩

  18. Nobel Prize Outreach, The Nobel Prize in Physics 2024, om priset till John J. Hopfield och Geoffrey Hinton, NobelPrize.org. ↩

  19. Ashish Vaswani m.fl., ”Attention Is All You Need”, Advances in Neural Information Processing Systems 30, 2017, Google Research. ↩

  20. Tom B. Brown m.fl., ”Language Models are Few-Shot Learners”, 2020, OpenAI. ↩

  21. OpenAI, Introducing ChatGPT, 30 november 2022, OpenAI. ↩

  22. Krystal Hu, ”ChatGPT sets record for fastest-growing user base – analyst note”, Reuters, 2 februari 2023, med uppskattningar från UBS och Similarweb, Reuters. ↩