View Single Post
Hvilken: "Superintelligence" av Nick Bostrom.

Hva: Boken fokuserer på det Bostrom kaller kontrollproblemet i forbindelse med avansert kunstig intelligens. Etterhvert som utviklingen av kunstig intelligens går fremover, og man klarer å konstruere en kunstig generell intelligens som er mer intelligent enn mennesker, står man raskt overfor en helt unik og enorm utfordring. I det den kunstige intelligensen selv er den største bidragsyteren til videre utvikling av dens egen intelligens, vil utviklingen raskt bli eksponensiell fordi for hver forbedring av seg selv vil den bli flinkere til å forbedre seg selv – et prinsipp omtalt som "rekursiv selvforbedring" (min noe krøkkete oversettelse). Den vil derfor i løpet av kort tid bli så intelligent som det er mulig å bli innenfor de rammene som måtte eksistere. Selv om software-forbedringer vil være raskest og enklest, vil den også kunne finne og gjøre forbedringer i hardware på en mye mer effektiv måte enn vi kan. Både i hardware-arkitektur, hardware-prosess og kanskje enda mer grunnleggende ting. Og om den får konstruert en nanorobot som er i stand til å bygge hva som helst på et atomært nivå, inkludert kopier av nanoroboten selv, er det ingen begrensninger for hva den kan lage. Det vil si at etter intelligenseksplosjonen er over, vil systemet sannsynligvis være i nærheten av så intelligent som det er fysisk mulig for et system å være. Hvordan skal vi da kunne kontrollere denne kunstige intelligensen? Om differansen i kognitive evner mellom oss og den er omtrent som den mellom maur og oss, hvorfor skal den bry seg mer om oss enn vi gjør om maur? Hvordan kan vi vite eller bestemme hva slags verdier den skal ha? Og om den likevel skulle være under vår kommando, hvordan kan vi forsikre oss om at den gjør det vi mener og ikke bare det vi sier?

Hvorfor: Jeg har sett boken nevnt i positive ordelag av mange og la merke til den i en bokforretning.

Hvordan: Bostrom legger frem en veldig overbevisende sak, med gode og til tider veldig underholdende eksempler på hvordan dette kan gå alvorlig galt. Jeg tror kanskje han undervurderer litt hvor stor bremsekloss hardware-forbedring vil være i en intelligenseksplosjon, men det er egentlig en ganske uvesentlig detalj. Det vil uansett bare være en bremsekloss inntil en kanal for kontinuerlig hardware-forbedring og produksjon er opprettet, og ingenting av argumentet avhenger egentlig av dette. Kontrollproblemet er akkurat like aktuelt, og det er grunn til å tro at det allerede eksisterer et ganske kraftig hardware-overheng, som gjør at den rekursive selvforbedringen kan nå svært langt også uten hardware-forbedringer. Noe som igjen betyr at når denne flaskehalsen blir avgjørende, er den kunstige intelligensen allerede smart nok til å omgå den på måter vi neppe har tenkt på. Dette er helt klart en tankevekkende og underholdende bok som også gir opphav til en viss berettiget bekymring. De potensielle fordelene med en superintelligens er ubegripelig omfattende, og om vi ikke ødelegger oss selv i mellomtiden vil vi sannsynligvis klare å lage det, men boken levner ingen tvil om at det også høyst sannsynlig vil være menneskehetens største eksistensielle utfordring.