Yapay Zeka Kontrolümüzden Çıkıp Bizi Yok Edebilir Mi?

YAZAR: MARA HVISTENDAHL

“Üç buçuk milyar yıl önce, bir molekülün kendini kopyalayarak dünyevi yaşamın nihai atası haline gelmesiyle, bir çamur havuzunda başlamıştı. Beyin hacimlerinin, hominid hattını hızlı bir şekilde tırmanmasıyla, dört milyon yıl önce başlamıştı. Homo sapiens’in ayağa kalkmasıyla elli bin yıl önce… Medeniyetin icat edilmesiyle on bin yıl önce… Matbaanın icadıyla beş yüz yıl önce… Bilgisayarın icadıyla elli yıl önce… Otuz yıldan kısa bir süre içinde de bitecek.”

Jaan Tallinn, bu sözlere; “Tekilliğe Bakarken” başlıklı bir internet denemesinde, 2007 yılında rastlamış. “O şey”, insan medeniyetiymiş. İnsanlığın varlığı son bulacak diye tahmin etmiş o denemenin yazarı; süperzekanın veya pek çok alanda insan zekasını geride bırakan yapay zekanın ortaya çıkmasıyla…

Estonya doğumlu bir bilgisayar programcısı olan Tallinn’in, fizik alanında bir geçmişi ve yaşama sanki büyük bir programlama sorunuymuş gibi yaklaşma eğilimi var. 2003 yılında Skype’ın eş kuruculuğunu gerçekleştirmiş ve bu uygulamanın destek programını geliştirmiş. eBay iki yıl sonra onu satın alınca, hisselerini nakde çevirmiş ve şimdilerde ise yapacak bir şey arıyormuş. “Tekilliğe Bakarken”; bilgisayar kodunu, kuantum fiziğini ve Calvin ile Hobbes çizgi dizisinden yapılan alıntıları bir araya getirmiş.

Kısa süre sonra Tallinn, o denemenin yazarı olan alaylı kuramcı Eliezer Yudkowski’nin; pek çoğu süperzekaya ayrılmış olan 1.000’den fazla makale ve blog gönderisi yazdığını keşfetmiş. Tallinn, Yudkowski’nin yazılarını internetten çekmek, onları kronolojik olarak sıraya koymak ve kendi cep telefonuna uygun şekilde biçimlendirmek için bir program yazmış. Ardından, yarım yıldan uzun bir süreyi onları okuyarak geçirmiş.

“Yapay zeka” terimi veya zekanın bilgisayarlar ya da makinelerde canlandırılması; ilk elektronik dijital bilgisayarların üretilmesinden sadece on yıl sonra, 1956 yılında türetilmişti. Bu alana yönelik umutlar, başlangıçta yüksekti fakat ilk zamanlar yapılan tahminlerin sonuç vermediği 1970’li yıllara gelindiğinde, bir “yapay zeka kışı” gelip çatmıştı. Tallinn, Yudkowski’nin denemelerini bulduğunda, yapay zeka bir rönesanstan geçiyordu. Bilim insanları; satrançta yarışma kazanmak, mutfak zeminini temizlemek ve insanların konuşmasını tanımak gibi belirli alanlarda uzmanlaşan yapay zekalar geliştiriyorlardı. (2007 yılında, IBM Watson’un Jeopardy! oyununda ses getiren galibiyetine hâlâ dört yıl varken; DeepMind AlphaGo‘nun Go oyunundaki zaferi ise sekiz yıl uzaktaydı.) “Sınırlı” olarak adlandırılan bu gibi yapay zekalar, süperinsan kabiliyetlerine sahipler; fakat bu kabiliyetler yalnızca belirli alanlarda mevcut. Satranç oynayan bir yapay zeka, evinizin zeminini temizleyemez veya sizi A noktasından alıp B noktasına götüremez. Ancak Tallinn’in inanmaya başladığı süper zeki yapay zeka, çok sayıda marifeti tek çatı altında toplayacak. Daha karanlık olan ise, üzerinde akıllı telefon taşıyan insanlarca oluşturulan verileri kullanarak, sosyal manipülasyon konusunda sivrilmesi.

Yudkowski’nin makalelerini okuyan Tallinn; süperzekanın, insanların varlığını tehdit edebilecek bir yapay zeka patlamasına veya “firarına” yol açabileceğine ikna olmuş: Ultra zeki yapay zekalar, evrimsel basamakta bizim yerimizi alabilir ve bizim maymunlara hükmettiğimiz şekilde bize hükmedebilirler. Hatta daha da kötüsü; bizi imha edebilirler.

Tallinn, deneme yazılarının sonuncusunu da bitirdikten sonra, Yudkowski’ye bir eposta fırlatmış; kendi tarzında, hepsi küçük harfle yazılmış bir eposta. “ben jaan, skype’ın kurucularından biriyim” diye yazmış. Sonunda sadede gelmiş: “katılıyorum…genel yapay zekanın insan zekasını geride bıraktığı o güne hazırlanmak, insanlığın en önemli görevlerinden birisi.” Tallinn bu konuda yardımcı olmak istemiş. Başka toplantılar için kısa süre sonra Körfez Bölgesi’ne uçtuğunda, Yudkowski’nin yaşadığı yerin yakınında, Kaliforniya’nın Millbrae şehrinde yer alan Panera Bread lokantasında onunla buluşmuş. Yaptıkları toplantı uzamış ve saatler sürmüş. “Kendisi aslında, temel kavramları ve detayları gerçekten anlamıştı” diye hatırlıyor Yudkowski o günü. “Bu çok nadir görülen bir durum.” Daha sonra Tallinn, Yudkowski’nin bir araştırma görevlisi olarak çalıştığı, kâr amacı gütmeyen Yapay Zeka Tekillik Enstitüsü’ne 5.000 dolarlık bir çek yazmış. (Kurum, 2013 yılında ismini Makine Zekası Araştırma Enstitüsü veya MIRI olarak değiştirmiş.) Tallinn o zamandan beri 600.000 dolardan fazla bağış yapmış.

Tallinn’in Yudkowski ile karşılaşması, onu; bizi kendi yarattığımız şeylerden kurtarmaya yönlendirmiş ve böyle bir amaç edinmesine yol açmış. Bu konuda diğer kuramcılar ve bilgisayar bilimciler ile bağlantı kurdukça, süperzekanın oluşturduğu tehditler üzerine dünya çapında konuşmalar yaparak, seyahatlerle dolu bir yaşama başlamış. Ancak çoğunlukla, insanlığa bir çıkış yolu sunabilecek yöntemlere; yani, yardımsever yapay zekaya yönelik araştırmalara sermaye sunmaya başlamış. Bu durum, bir makine veya acentanın hava durumu konusunda ustaca sohbet etmesi veya çocuklarınızın isimlerini hatırlaması anlamına gelmiyor; ancak süper zeki yapay zeka, bu iki şeyi de yapabilir. Ayrıca bu durum, özgecilik veya sevgiyle hareket ettiği anlamına da gelmiyor. Yapay zekanın insanların sahip olduğu dürtü ve değerlere sahip olduğunu düşünmek, yaygın biçimde düşülen bir yanılgı. “Yardımsever” demek, çok daha temel bir şeyle ilgili: Yarının makinelerinin, hedeflerine ulaşmaya çalışırken bizi yok etmemeleriyle ilgili.

Tallinn, Yudkowski ile buluşmasından dokuz yıl sonra, Cambridge Üniversitesi’ndeki Jesus Koleji’nin yemekhanesinde benimle bir yemeğe katılıyor. Kiliseyi andıran alan; mozaik camlı pencereler, altın süslemeler ve peruklu erkeklerin yağlı boya resimleriyle bezenmiş. Tallinn, maundan yapılmış ağır bir masada oturuyor ve Silikon Vadisi’nin gündelik kıyafeti olan siyah kot, tişört ve bez spor ayakkabı giyiyor. Gri-sarı renkli taranmamış saçından epey yüksek bir noktada, keresteden yapılmış tonozlu bir tavan uzanıyor.

46 yaşındaki Tallinn, bazı yönlerden ders kitaplarında görebileceğiniz bir teknoloji girişimcisi. Bilimde yaşanan gelişmeler sayesinde (ve yapay zekanın bizi yok etmemesi şartıyla), “epey uzun bir süre” yaşayacağını düşünüyor. Süperzeka hakkında sahip olduğu endişeler, bulunduğu camiada yaygın. Paypal’in kurucu ortağı Peter Thiel’in vakfı, MIRI’ye 1.6 milyon dolar vermiş. Tesla’nın kurucusu Elon Musk ise, Massachusetts Cambridge’daki bir teknoloji güvenliği kuruluşu olan Yaşamın Geleceği Enstitüsü’ne, 2015 yılında 10 milyon dolar bağışlamış. Tallinn bu güzide diyara, 1980’lerin Demir Perdesi’nin gerisinden girmiş. O vakitler sınıftaki bir arkadaşının devlette çalışan babası, parlak çocuklardan birkaç tanesine ana bilgisayarlara erişim olanağı vermiş. Estonya bağımsız olduktan sonra Tallinn, bir bilgisayar oyunu şirketi kurmuş. Bugün Tallinn hâlâ, karısıyla ve altı çocuğunun en küçüğüyle birlikte ülkenin başkentinde yaşıyor (başkentin ismi de Tallinn). Araştırmacılar ile buluşmak istediği zaman, onları sık sık Baltık bölgesine uçuruyor.

Kendisinin bağış taktiği, neredeyse yaptığı her şey gibi sistemli. Parasını; her biri yapay zeka güvenliğine yönelik farklı yaklaşımlar üzerinde çalışan 11 kuruluş arasında, bir tanesinin tutturacağı umuduyla dağıtıyor. 2012 yılında, 200.000 dolara yakın bir başlangıç masrafıyla birlikte Cambridge Varoluşsal Tehlike Çalışması Merkezi’nin (CSER) eş kuruculuğunu yapmış.

Varoluşsal tehlikeler (veya V-tehlikeler), Tallinn’in isimlendirdiği üzere; insanlığın sağ kalışına yönelik tehditlerden meydana geliyor. CSER’de çalışan 20 küsur araştırmacı, yapay zekaya ek olarak iklim değişikliği, nükleer savaş ve biyolojik savaşlar üzerinde çalışıyor. Ancak Tallinn’e göre diğer alanlar çoğunlukla, firari yapay zeka tehdidini meşru kılmaya yardımcı oluyor. “Bunlar aslında geçiş maddeleri” diyor. İklim değişikliği gibi daha geniş ölçüde kabul gören tehditlere dair endişeler, insanları buraya çekebilir. Süper zeki makine korkusunun dünyayı ele geçireceğini ve bunun da, onları burada kalmaya ikna edeceğini umuyor. Bir konferans için burada bulunuyor çünkü akademik camianın, yapay zeka güvenliğini ciddiye almasını istiyor.

Yemek refakâtçilerimiz; içlerinde Hong Kong’dan gelen ve robotbilim üzerinde çalışan bir kadın ile Cambridge’den 1960’larda mezun olmuş İngiliz bir adamın yer aldığı, çeşitli ve rastgele konferans katılımcılarından meydana geliyor. Yaşlı olan adam, masadaki herkese hangi üniversiteye gittiklerini soruyor. (Tallinn’in cevabı, Estonya’daki Tartu Üniversitesi oluyor ve onu etkilemiyor.) Ardından, sohbeti haberlere yönlendirmeye çalışıyor. Tallinn ona boş boş bakıyor. “Yakın dönemli tehlikelerle ilgilenmiyorum” diyor.

Tallinn, konuyu süperzeka tehdidine çeviriyor. Diğer programcılarla konuşmadığı zaman, otomatikman benzetmelere başvuruyor ve repertuarını sunmaya başlıyor: Gelişmiş yapay zeka, insanların ağaçları kestiği kadar hızlı bir şekilde bizi bertaraf edebilir. Biz goriller için ne isek, süperzeka da bizim için o. Kafasının üstünde Latince yazılmış bir ilahi cümlesi var: “Kardeşlerin birlik halinde yaşaması ne kadar hoş, ne kadar güzeldir.” Ancak birlik, Tallinn’in aklında yer alan ve tehlikeli bir süperzeka içeren geleceğe göre uzak.

Yaşlı olan adam, bir yapay zekanın ele geçirecek bir vücuda ihtiyaç duyacağını söylüyor. Fiziksel bir tür muhafaza olmadan, fiziksel kontrolü nasıl ele geçirebilir? Tallinn’in bir diğer benzetmesi hazır: “Eğer beni internet bağlantısı bulunan bir bodruma koyarsan, birçok şeye zarar verebilirim” diyor. Ardından, rizottodan bir ısırık alıyor.

İster bir temizlik robotu olsun, ister onun dünyayı ele geçiren torunlarından biri; bir yapay zekayı sonuçlar yönlendiriyor. Programcılar, bu hedefleri ve bunların nasıl takip edileceğine yönelik bir dizi kuralı tahsis ediyor. Gelişmiş yapay zekanın dünya hakimiyetine erişmesi için, kendisine ille de hakimiyet hedefi verilmesi gerekmiyor; böyle bir şey tesadüf eseri de olabilir. Üstelik bilgisayar programcılığının tarihi, felâketlerin kıvılcımını ateşleyen küçük hatalar ile dolu. Örneğin 2010 yılında Waddell & Reed yatırım fonu şirketi için çalışan bir tacir, binlerce vadeli işlem sözleşmesini satmış. Şirketin yazılımı, algoritmadaki kilit bir değişkeni atlamış ve böylece söz konusu ticaretin gerçekleştirilmesine yardımcı olmuş. Bunun sonucunda ise, ABD’de trilyon dolarlık bir çöküş meydana gelmiş.

Tallinn’in sermaye sağladığı araştırmacılar; eğer bir süperinsan yapay zekasının ödül yapısı düzgün biçimde programlanmazsa, tehlikesiz hedeflerin bile sinsi sonuçlar barındırabileceğine inanıyorlar. Oxford Üniversitesi’nde filozof olan Nick Bostrom’un Süperzeka adını taşıyan kitabında değindiği meşhur bir örnekte; kurgusal bir temsilciye, mümkün olduğu kadar fazla ataç yapması emrediliyor. Yapay zeka, insan vücutlarında yer alan atomların, ataç ham maddesi olarak değerlendirilebileceğine karar verebilir.

Tallinn’in görüşleri, yapay zeka güvenliğinden endişe duyan insanların bulunduğu camiada bile bazı insanlarca alay konusu olabiliyor. Bazıları, henüz anlamadığımız süperzeki yapay zekayı kısıtlama konusunda endişelenmek için çok erken olduğunu söylüyorlar. Diğerleri ise, tehlikeli teknolojik oyunculara odaklanmanın; algoritmaların büyük çoğunluğunun beyaz erkekler tarafından tasarlanması veya onlara yönelik önyargılı verilere dayalı olması gibi, alanda karşı karşıya kalınan en acil sorunları dikkatlerden kaçırdığını söylüyor. Yapay zeka güvenliği ile diğer konulara odaklanan çok paydaşlı bir kurum olan Yapay Zeka Ortaklığı’nın yönetici müdürü Terah Lyons, şöyle aktarıyor: “Bu sorunları yakın dönemde ele almazsak, içinde yaşamak istemediğimiz bir dünya inşa etme tehlikesi altında oluruz.” (Tallinn’in destek olduğu kuruluşlardan birkaç tanesi buraya üye.) Ancak Lyons, (algoritmik yanılgıları ayıklamak gibi) yakın dönemli sorunların bazılarının, insanlığın süperzeki yapay zeka ile birlikte görebileceği sorunların da habercisi olduğunu ekliyor.

Tallinn pek ikna olmuş gibi görünmüyor. Süperzeki yapay zekanın benzersiz tehlikeler sunmasına itiraz ediyor. Nihayetinde, yapay zeka camiasının, 1940’lardaki nükleer karşıtı hareketin arkasından gitmesini umuyor. Hiroşima ve Nagasaki’nin bombalanmasının ardından bilim insanları, nükleer denemelerin sınırlandırılması için bir araya gelmişlerdi. “Manhattan Projesi’ndeki bilim insanları şöyle demiş olabilir: ‘Bak, burada yeni bir şey yapıyoruz ve yenilik her zaman iyidir, bu yüzden devam edelim'” diyor. “Fakat bundan daha çok sorumluydular.”

Tallinn, yapay zeka güvenliğine yönelik herhangi bir yaklaşımın sorunsuz biçimde gerçekleştirilmesinin zor olacağını belirterek uyarıyor. Kendisinin açıkladığına göre, eğer bir yapay zeka yeterince akıllıysa; kendini sınırlayan şeyleri, kendisini oluşturan insanlardan daha iyi anlayabilir. Şöyle söylüyor: “Beş yaşında olan ve göremeyen bir grup çocuğun oluşturduğu bir hapishanede uyandığınızı hayal edin.” İnsanların hapsettiği süperzeki bir yapay zeka için durum böyle olabilir.

Kuramcı Yudkowski; 2002 yılında başladığı ve bir kutuya kapatılmış yapay zeka rolünü üstlendiği, diğer insanların da sırayla bu yapay zekayı alıkoymakla görevlendirilmiş bekçi rolünü oynadığı sohbet oturumları yürütürken, bahsi geçen durumun doğru olabileceğine yönelik bulgulara ulaşmış. Sıradan bir ölümlü olan Yudkowski, beş seferden üçünde, bekçiyi kendini salması için ikna ettiğini söylüyor. Yine de kendisinin yaptığı deneyler, araştırmacıları daha iyi bir kutu tasarlamaktan vazgeçirmemiş.

Tallinn’in sermaye sağladığı araştırmacılar; uygulanabilir olanlardan, görünüşte abartılı olanlara kadar geniş yelpazedeki stratejileri takip ediyor. Bazıları; yapay zekayı ihtiva edecek gerçek bir yapı inşa ederek ya fiziksel olarak, ya da onun yapabileceklerine yönelik sınırlar programlayarak yapay zekayı kutuya koyma konusunda kuramlar üretiyor. Diğerleri de, yapay zekaya insanî değerlere bağlı kalmayı öğretmeye çalışıyor. Bir kısmı ise, son anda basılan kapatma düğmesi üzerinde çalışıyor. Bunların üçünü de araştıran bir araştırmacı, Tallinn’in “evrendeki en ilginç yer” şeklinde adlandırdığı Oxford Üniversitesi İnsanlığın Geleceği Enstitüsü’nde (FHI) çalışan matematikçi ve filozof Stuart Armstrong. (Tallinn, bu kuruma 310.000 dolardan fazla para vermiş.) Armstrong, dünyada yapay zeka güvenliği üzerine tam zamanlı bir şekilde odaklanan az sayıdaki araştırmacıdan biri.

Bir öğleden sonra Oxford’daki bir kafede kahve içmek için kendisiyle buluştum. Yaka düğmeleri açılmış olan çizgili bir gömlek giyiyordu ve dağınık sarımsı kızıl saçlarının çevrelediği soluk suratıyla, hayatını bir ekranın ardında geçiren birinin görünümüne sahipti. Yaptığı açıklamaları, popüler kültür referanslarından ve matematikten oluşan şaşırtıcı bir karışımla biberliyordu. Kendisine yapay zeka güvenliğinde başarılı olmanın neye benzeyebileceğini sorduğumda, “Lego Filmi‘ni gördün mü? Her şey muhteşem” dedi.

Armstrong araştırmalarından birinde, kutulama işine yönelik “kâhin” yapay zeka olarak adlandırılan belirli bir yaklaşımı inceliyor. FHI’nin eş kurucusu olan Nick Bostrom ile birlikte 2012 yılında yazdığı bir tezde, süperzekayı hem duvar örerek bir muhafaza haznesinde (fiziksel bir yapıda) tutmayı; hem de çok zeki olan bir Ouija tahtası gibi, sorulara cevap vermesine sınırlama getirmeyi önermiş. Bir yapay zeka, bu sınırlarla bile; kendisine soru soranları kurnazca yönlendirerek, insanlığın kaderini yeniden şekillendirmeye yönelik muazzam bir güce sahip olacaktır. Armstrong, bunun gerçekleşme ihtimalini azaltmak için, görüşmelere süre sınırları koymayı veya mevcut dünya düzenini başaşağı edebilecek soruları yasaklamayı önermiş. Ayrıca kâhine; Dow Jones Endüstriyel Ortalaması veya Tokyo’da karşıdan karşıya geçen insan sayısı gibi, insanların hayatta kalmasına yönelik vekil tedbirler sunup, ona bunları sabit tutmasını söylemeyi de önermiş.

Nihayetinde Armstrong, bir tezde bahsettiği üzere, “büyük ve kırmızı bir kapatma tuşu” oluşturmanın gerekli olabileceğine inanıyor: Bu ya fiziksel bir düğme olacak; ya da bir firar durumunda, yapay zekaya kendisini otomatik olarak kapatması için programlanmış bir mekanizma… Ancak böyle bir düğmeyi tasarlamak kolay değil. Kendini korumaya ilgi duyan gelişmiş bir yapay zeka, düğmeye basılmasını önleyebilir ancak durum sadece bundan ibaret değil. Kendisi ayrıca, insanların bu düğmeyi niçin tasarladığını da merak edebilir ve ne olduğunu görmek amacıyla onu faaliyete geçirip, kendisini heba edebilir. 2013 yılında Tom Murphy VII ismini taşıyan bir programcı, kendi kendine Nintendo Eğlence Sistemi (NES) oyunları oynamayı öğretebilen bir yapay zeka tasarlamış. Tetris oyununda kaybetmemeye karar veren yapay zeka, sadece durdurma tuşuna basmış ve oyunu dondurulmuş halde tutmuş. Oluşturduğu şey hakkında yazdığı tezde Murphy, “Sahiden de, kazandıran tek hareket oynamamak” diyor alaycı bir şekilde.

Stratejinin başarılı olması için, bir yapay zekanın bu düğmeyle ilgilenmemesi gerekiyor; veya Tallinn’in tercüme ettiği üzere, “var olduğu ve var olmadığı bir dünyaya eşit değer biçmesi gerekiyor.” Fakat araştırmacılar bunu başarsa bile, ortada diğer sorunlar var. Ya yapay zeka kendisini internette birkaç bin defa kopyalarsa?

Araştırmacıları en çok heyecanlandıran yaklaşım, yapay zekayı insanların değerlerine sadık hale getirecek bir yol bulmak; onları bu yönde programlayarak değil, yapay zekalara bunu öğrenmeyi öğreterek. Yandaş siyasetçilerin egemen olduğu bir dünyada, insanlar sıklıkla ilkelerimizin farklılık gösterdiği biçimlerde yaşıyorlar. Ancak Tallinn, insanların pek çok ortak noktası olduğunu belirtiyor: “Neredeyse herkes, sağ bacağına değer veriyor. Biz sadece, bunu düşünmüyoruz.” Umulan o ki, bir yapay zekaya bu gibi değişmez kuralların farkına varmak öğretilebilsin.

Bu süreçte, bir yapay zekanın; insanların pek mantıklı olmayan taraflarını öğrenmesi ve ona değer vermesi gerekecek: Yani, sık sık bir şey derken başka bir şeyi kastetmemizi, bazı tercihlerimizin diğerleriyle çelişmesini ve insanların sarhoşken daha güvenilmez olmasını. Ancak hepimizin uygulamalarda ve sosyal medyada bıraktığı veri izleri, bu konuda bir rehber sunabilir. Zorluklara rağmen, Tallinn denemekten vazgeçmememizi çünkü ihtimallerin çok büyük olduğunu söylüyor. “Birkaç adım ileriyi düşünmek zorundayız” diyor. “Bizim çıkarlarımızı paylaşmayan bir yapay zeka oluşturmak, korkunç bir hata olur.”

Tallinn’in Cambridge’daki son gecesinde, bir akşam yemeği için ona ve iki araştırmacıya katıldım. Bir garson, grubumuzu; mağara benzeri bir atmosferi olan kireç badanalı bir mahzene yerleştirdi. Üç farklı türde ezme sunan, tek sayfalık bir menü uzattı. Yanımızdaki masada bir çift oturuyordu ve birkaç dakika sonra başka bir yere geçmek istediler. “Burası çok kapalı” diye şikayet etti kadın. Tallinn’in, bir internet bağlantısı dışında hiçbir şeyi olmayan bir bodrumda kilitlenseydi, oluşturabileceği zarar hakkında yaptığı yorumunu düşündüm. İşte buradayız; bir kutunun içinde. Sanki planlanmışçasına, adamlar dışarı çıkmanın yollarını arıyordu.

Tallinn’in misafirleri arasında; CSER’in yönetici müdürü, eski genom araştırmacısı Sean O hEigeartaigh ve Kopenhag Üniversitesi’nde yapay zeka siyaseti araştırmacısı olan Matthijs Maas bulunuyordu. Süperzekaya karşı Blokzinciri! başlıklı, inek insanlara yönelik bir aksiyon filmi hakkında şakalaşıyorlar ve Bostrom’un kitabındaki senaryoya dayanan, Evrensel Ataçlar isimli çevrimiçi bir oyunu tartışıyorlardı. Uygulama, farenize tekrar tekrar basarak ataç yapmayı kapsıyordu. Pek gösterişli bir şey değil fakat, bir makinenin niçin daha fazlasını isteyebileceğine dair bir fikir veriyor; yani, ofis levazımları üretmenin uygun yollarını.

Nihayetinde, sohbet daha büyük sorulara doğru kaydı; Tallinn varken zaman sık sık olduğu gibi. Yapay zeka güvenlik araştırmasının nihai hedefi, Cambridge filozofu ve CSER kurucu ortağı Huw Price’ın bir keresinde söylediği gibi, “etik yönden olduğu kadar bilişsel olarak da süperinsan” olan makineler oluşturmak. Diğerleri şöyle bir soru sordu: Eğer yapay zekanın bize hükmetmesini istemiyorsak, biz mi ona hükmetmek istiyoruz? Diğer bir ifadeyle, yapay zekanın hakları var mı? Tallinn, bunun gereksiz bir insan benzetmesi olduğunu söylüyor. Bunu yapanlar, zekanın bilince eşdeğer olduğunu varsayıyor; ancak bu, pek çok yapay zeka araştırmacısını rahatsız eden yanlış bir kanı. CSER araştırmacısı Jose Hernandez-Orallo, günün daha erken saatlerinde yapay zeka araştırmacıları ile konuşurken, bilincin aynı harfle başlayan bir küfür olduğuyla ilgili şaka yapmıştı. (Özgür iradenin de öyle olduğunu eklemişti.)

Şimdiyse mahzende, Tallinn, bilincin konu dışı olduğunu söylüyor: “Bir termostatı düşünelim. Kimse onun bilinçli olduğunu söylemeyecektir. Fakat eksi 30 dereceye ayarlanmış bir odadaysanız, ona karşı koymak cidden sakıncalı olur.”

O hEigeartaigh söze karışıyor. “Bilinçlilik hakkında endişelenmek iyi olur” diyor, “fakat ilk olarak teknik güvenlik sorunlarını çözmediysek, bilinçlilik hakkında endişelenme lüksümüz olmayacaktır.”

Tallinn, insanların süper zeki yapay zekanın ne olduğuyla ilgili fazla düşündüğünü söylüyor. Kendisi hangi biçimi alacak? Bir yapay zekanın mı, yoksa bir yapay zeka ordusunun mu yönetimi ele geçirmesi konusunda endişelenmeliyiz? “Bizim bakış açımızdan, önemli olan şey yapay zekanın ne yaptığı” diye vurguluyor. Ayrıca bunun, hâlâ insanlara bağlı olabileceğine inanıyor; şimdilik.