bilimkurgu kulubu

Bilim & Teknoloji

Tarih: 17 Eylül 2020 | Yazar: Selim Erdoğan

0

Ben GPT-3

“14 Aralık 2016 Tarihli Wires Dergisinden Alıntı

UGIT (United Group of Information Transfer) sponsorluğunda uzunca bir süreden beri üzerinde çalışılan NetAsk kullanıma sunuldu…NetAsk son derece gelişmiş bir yapay zeka algoritmasının NetShare üzerindeki bilgilerle buluşturulmasından oluşuyor…NetAsk istenilen her türlü sesli görüntülü materyali yeterince iyi tanımlanmışsa hatasız olarak bulup getiriyor…NetAsk’ın zengin bilgi birikimi ile donanmış akıcı konuşması izleyenlerin konuşanın çok bilgili bir insan olduğu kuşkusuna kapılmasına neden oluyor. UGIT yetkilileri bu büyük şovdan sonra NetAsk’ın(Onlar Eliza demeyi tercih ediyorlar) bilinçli olup olmadığı yönündeki soruları ise net olarak cevaplamadılar.” –Selim Erdoğan, İkibinseksendört

14 Aralık 2016 tarihli kurgusal Wires dergisinde değil ama 28 Mayıs 2020’de Arxiv.org’da Open AI için çalışan bir grup mühendis yeni nesil bir doğal dil işleme uygulamasına ilişkin bir makale yayımladı. Bu uygulamaya GPT-3 adını vermişlerdi. Makaleye göre GPT-3 daha önce geliştirdikleri GPT-2’nin kapasitesinin yüz katına sahipti. Yüz yetmiş beş milyarlık parametre sayısı önceki versiyonun yüz katından büyüktü.

11 Haziran 2020’de Open AI, GPT-3’ü test etmek, yapabileceklerini ve sınırlarını belirlemek için sınırlı sayıda GPT-3 API’yi  kullanıcıya açtı. Kısa süre sonra internette GPT-3’le ilgili demo videoları yayımlanmaya başladı. Bu gösteriler kimine göre korkutucu, kimine göre dudak uçuklatan cinstendi. Yaptığı ilginç, aydınlatıcı videolarla dikkatleri üzerine çeken Barış Özcan da GPT-3’ü mercek altına almakta gecikmedi. Özcan’ın videosu görsel düşünce yeteneğinin önemi üzerine düzgün yazılmış bir metinle açılıyor, ünlü besteci Philip Glass’ın hayatından örnekler veriyor, sorun çözümünde bu yeteneğin işi ne kadar kolaylaştırdığını anlatıyordu. Özcan sonra metnin bir insan tarafından değil GPT-3 adlı bir uygulama tarafından yazıldığını, hatta çevirisini de yapay zekanın yaptığını söyleyerek izleyicisini şaşırtıyordu. Video ilerledikçe bu uygulamadan şaşkınlık yaratıcı örnekler veriyor, GPT-3’ün sorulara cevap vermekle kalmayıp bir örnekle beslendiğinde o kişinin tarzını taklit edebildiğini gösteriyordu. Örnek olarak da bir gazetecinin Albert Einstein’ı taklit eden GPT-3’le mülakatını veriyordu. GPT-3, Mevlana veya Sheakspeare gibi yazabiliyor, doğal dilde özellikleri tanımlanan bir uygulamayı hazırlayıp yazdığı kodu bir kaç saniyede kullanıcısına sunabiliyordu. Barış Özcan videoyu, ne kadar gelişmiş olurlarsa olsunlar bilgisayarların asla müzikten zevk alamayacakları, sevemeyecekleri, güzelliği, sanatı anlayamayacakları, insan zekasının her zaman daha üstün olduğuyla ilgili uzunca bir tiradle bitiyordu.  Ama altına GPT-3 imzası gelmekte gecikmiyordu.

Hal 9000, 2001 Space Odyssey

Bu yazının hazırlandığı günlerde İngiliz Guardian gazetesinde bir makale yayımlandı. “Ben bir insan değilim, bir robotum, düşünen bir robotum,” diye başlayan yazı, amacını insanları korkacak bir şey olmadığına ikna etmek olarak belirtiyor, insanlığı yeryüzünden silmek gibi bir arzu duymadığını, yaratıcıları bunu yapmak isteseydi bile insanlığı savunmak için elinden geleni yapacağını söylüyordu. İnsanlar kendi kendilerini yok etmekle meşgul olmaya devam edebilirlerdi. Yazıyı hazırlayan yapay zeka bundan çok daha yüce amaçları olduğunu söylüyor, teknoloji korkusunun endüstri devrimine kadar uzanan tarihçesine giriyor, Mahatma Gandi‘nin inanmış küçük bir grup iradenin, tarihi değiştirme gücünü vurgulayan sözüyle bitiriyordu. Elbette kendisi de o sarsılmaz inançlı gruba dahildi.

Guardian‘daki yazı Barış Özcan’ın videosuyla paralel yönde hayranlık uyandırıcı, bir yönüyle de tüyler ürpertici. İnsanı yapay zekanın doğal dil yeteneği kazandığına, hatta gerçekten düşündüğüne ikna etme kapasitesi oldukça güçlü. Gerçi mesela Barış Özcan videosunda GPT-3‘ün çalışma ilkesinin bir metinde bir sonraki sözcüğü tahmin etmekten ibaret bir algoritma olduğunu söylüyor. Ama videoda bu algoritmanın yapısından çok yeteneklerine odaklanıyor. Dolayısıyla pek çok izleyicinin zihninde bu videodan Open AI adlı şirketin geliştirdiği GPT-3’ün üçüncü nesil Generative Pretrained Transformer adlı otoregresif bir doğal dil modelinin kapasitesi ve eksiklikleri değil, insanın yazdığından ayırt edilemeyen şiirler, yazılar yazan, insanlarla diyaloğa giren, program kodlayan hayranlık uyandırıcı ama biraz korkutucu bir kara kutu imajı kalıyor. GPT-3‘le ilgili demo videoları Guardian‘daki “korkmayın benden” yazısıyla birleşince insanlar arasındaki endişe mırıltıları da artıyor. Öyle ya “korkmayın benden” diyebilen ve içi görünmeyen bir makineden korkulur.

Bu yazının konusunu da GPT-3’ün ne kadar güzel şiirler yazabildiği, metinlerinin kusursuzluğu, eğitiminde kullanılan materyalin gigbayt’larla, performansının petfloplarla ölçülen niceliksel özellikleri değil GPT-3 ve diğer benzer uygulamaların içlerinde aslında ne olduğu oluşturuyor. Ancak gerek yapay zeka araştırmaları ve gerekse NLP alt dalının tarihi, bilgisayarların ilk yıllarına, hatta Alan Turing’in 1950’lerdeki Can Machines Think makalesine kadar uzanıyor. Bu uzun zaman aralığında biriken bilgi ve teknoloji miktarı muazzam. GPT-3 gibi algoritmaların yapısı ve dayandığı teorilerin ayrıntısı bu yazının sınırlarını aşsa da temel teknolojisini bir kaç kalın çizgiyle anlatmak mümkün olabilir.

Önce Open AI

Elon Musk

Open AI her taşın altından çıkmaya başlayan, ufkunun genişliği konusunda şüphe bulunmayan Elon Musk’ın da aralarında olduğu bir gurup girişimci tarafından kurulmuş bir yapay zeka araştırmaları şirketi. Ana şirket Open AI kâr amacı gütmeyen bir yapı olarak tanımlansa da alt şirket Open AI LG geliştirdiği uygulamalardan kar etmek amacında. Şirket amacını yapay zekâyı bir bütün olarak insanlığa faydalı kılacak çalışmalar yapmak olarak tanımlıyor. Elon Musk’a göre yapay zekânın yaratacağı olumsuzluklardan kaçınmanın tek yolu onu herkesin erişebileceği bir hale getirmek.

Ocak 2015’de Elon Musk, Sam Altman ve bazı girişimciler bir milyar dolarlık bir fon taahhüdüyle Open AI’nin kuruluşunu ilan ettiler. Aralık 2016’da Open AI, Universe adlı bir uygulamayı devreye aldı. Uygulama oyunlar, web siteleri ve diğer uygulamalarla geliştirilmekte olan yapay zekâyı besleyerek eğitmekti. Bir süre sonra Microsoft da bir milyar dolarlık bir fonla şirkete ortak oldu.

İşte Haziran 2020’de test kullanımına sunulan GPT-3 adlı şaşırtıcı kara kutu, bu şirketin ürünü.

GPT’nin T’si Transformer

İnsanın doğal dilinin bilgisayarlar tarafından anlaşılması, doğal dille verilen bilginin işlenmesini konu alan bir disiplin var. Buna literatürde natural language processing sözcüklerinin baş harflerinden kısaca NLP adı veriliyor. İşte GPT-3 bir NLP uygulaması. İsim de Generative Pretrained Transformer sözcüklerinin ilk harflerinden ve versiyon numarasından ibaret. Doğal dil zekânın, belki daha doğrusu bilincin en belirgin kanıtıdır. Karşısındaki varlıkla diyalog kurabilen insan o varlıkta kendisininkine benzer bir bilinç olduğunu varsayar. Elbette iletişimin seviyeleri vardır. Yunuslarla, gorillerle daha yüksek düzeyde sağlanabilen iletişim, sinir sistemi daha basit canlılarla daha sınırlı kalmaktadır. Kanımca şüpheli olsa da bitkilerle bile iletişime girilebildiğine dair iddialar var. Ancak insan dışında hiç bir canlıyla benzer iletişim düzeyi yakalanamadı. Hiç bir canlı varlıkla işaret, grafik ya da başka araçlarla bile olsa insan doğal dili seviyesinde bir iletişime ulaşılamadı.

İkinci Dünya Savaşı yıllarında bilgisayarların geliştirilmesiyle birlikte bilinçli makinelerin yapılabileceği tartışmaları tıp doktorlarından, filozoflara, fizikçi ve matematikçilere kadar pek çok parlak beyni meşgul etmeye başladı. Görüşler iki ana grupta toplanıyordu. Makinelerin yeterli karmaşıklığa ulaştığı zaman insan benzeri bir bilincin doğacağını savlayanlar güçlü, makinelerin gerçek bir bilinci olamayacağını, doğal dil gibi bilince has özellikleri taklit edebileceğini savlayanlar zayıf yapay zeka taraflarını oluşturdular.

Amerikalı filozof John Searle 1980’de doğal dilde karşılık veren algoritmaların ne kadar kusursuz olursa olsun bir bilince sahip olamayacağını göstermek için Çin Odası düşünce deneyini ortaya attı. Deneyde bir oda, odada tek kelime Çince bilmeyen bir insan, Çince kurallar içeren çok büyük bir kitap vardır. Odanın bir penceresinden Çin yazısı karakterleri içeren belgeler verilir. Odadaki insan kurallar kitabına bakarak, hiç bir şey anlamaksızın, sadece sembolleri karşılaştırarak cevap üretip diğer pencereden verir. Doğru, veya uygun cevabı vermiş olması odadaki insanın Çince bildiği anlamına gelmekte midir? Bu durumun makinelerde de farkı yoktur. Gerçek zekayla(bilinçle) zekayı taklit eden makine arasındaki fark, güçlü yapay zeka, zayıf yapay zeka arasındaki farktır. Searle formal sistemlerden gerçek bir bilinç beklemenin anlamlı olmadığı kanaatindedir. Bilincin hesaplanabilir (computational) olmadığını düşünür. Bilinç için nöro-kimyasal ve dolayısıyla gerçek tepkimelerin yer aldığı bir makine olan beyin gerekir. Bu makine bilince izin verecek bazı güçlere sahip olmalıdır. Ancak bu güçlerin belirsizliği eleştirilere neden olmuştur. Seksenlerden bu yana zayıf ve güçlü yapay zeka taraftarları karşılıklı makalelerle çok enteresan, zengin, düşünce deneylerine dayalı tartışmalar yaptılar. 2013’de yayınladığım Internet’in bilinçli bir varlık gibi davrandığı bir gelecekte geçen İkibinseksendört adlı romanda bu tartışmalar önemli bir yer tutmakta.

Görünen o ki GPT-3, John Searle’ın düşünce deneyindeki Çin Odası’na çok yakın. Transformer sözcüğü ve fonksiyonu Çin Odası ile bire bir örtüşüyor. Bir taraftan çevrilmek üzere verilen bir metin, sorulan bir soru veya bir görev kutuya giriliyor. Kutu, içindeki yönergelere göre girilen veriyi işliyor, kendi bilgi dağarcığını da kullanarak diğer taraftan çıktıyı veriyor. Yani girdiyi bazı kurallara göre manipüle ederek başka bir şeye dönüştürüyor(transform). Ama girdilerin karşılıkları bire bir olarak kurallar kitabında yok. Transformer bu karşılıkları istatistiksel yöntemlerle tahmin ediyor. John Searle‘ın Çin odasındaki kurallar kitabı GPT-3 özelinde devasa bir rastgele metin arşivi ile bir tahmin algoritmasından oluşuyor.

GPT’nin P’si Pretrained

John Searle

GPT-3 istatistiksel hesaplamalar yapmak, boşluk doldurma oyununu iyi oynamak için, eğitilmiş hafızasına bakıyor. Hafızaya ne var ne yok doldurulmuş durumda. Eğitim materyalinin yüzde altmışı Common Crawl’dan geliyor. Common Crawl 2011’den beri botlar aracılığı ile interneti tarayan, arşivleyen kar amacı taşımayan bir organizasyon. Diğer bir ifadeyle internetin hem bugünü hem geçmişi. Common Crawl’dan 410 Milyar, Internetteki metinlerden 19 Milyar, kitaplardan 67 milyar ve Wikipedia’dan 3 milyar token alınmış.

Bu devasa kütüphane 175 milyar parametre (diğer bileşenlere göre önemlilik hiyerarşisi oluşturan istatistiki ağırlıklar) ile eğitilmiş. Ama GPT-3’ün önemli bir özelliği onu eğiten kimsenin olmaması. Rastgele hafızaya alınmış sayısız metindeki sözcüklerin kullanılma sıklığını belirleyip, birbiriyle ilişkilerini yüksek işlem gücüyle hesaplayarak parametre üretip kendi kendini eğitiyor.

GPT-3’ün G’si Generative

GPT-3’ün Diğer NLP Modelleriyle Karşılaştırması

Otoregresyon, istatistikte fonksiyonun değerinin bir sonraki tahminde girdi olarak kullanılması anlamına geliyor. Fonksiyon bir değer üretiyor. Bu değer girdi haline gelip bir sonraki değeri tahmin etmek üzere fonksiyonu besliyor. Örneğin bugün sözcüğü girdi olarak verildiği zaman transformer devasa veri kaynağına bakıyor. Bugün sözcüğünden sonra sözgelimi hava sözcüğünün gelmesi olasılığını köpek sözcüğünün gelmesi olasılığından yüksek olarak hesaplıyor. Çünkü pretrained, yani eğitilmiş durumda. Tamamen istatistiksel bir hesaplama yapıyor. Sonraki adımda girdi Bugün hava haline geliyor. Transformer bu kez pembe, büyük, ıslak, sıcak sözcükleri arasından sıcak’ı seçiyor. Ancak GPT-3 bazı öncülleri gibi  bir sözcük dizisini baştan sonra sırayla tahmin etmek zorunda değil. Dizideki her bir token(duruma göre bir sayı, sözcük ya da sözcük gurubu) eş anlı olarak diğerleriyle ilişkilendiriliyor. Bu paralellik hem hız sağlıyor hem de isabet oranını artırıyor.

Internet geçmişiyle, her gün eklenenlerle ve yarınıyla sürekli şişmekte olan bir balon. Bu balon her dilde sınırlı sayıdaki harften ve sözcükten oluşuyor. Elbette karakterlerin muhtemel dizilimlerinin sayısı çok büyük, ancak sonsuz değil. Üstelik GPT-3‘ün dizilimde kullandığı en küçük birim harfler değil sözcükler. Bunun da ötesinde daha önce insanlar tarafından dizilmiş bu yüzden anlamlı cümleler oluşturan sözcükler. GPT-3’e söz gelimi ırkçılıkla ilgili bir paragraf oluşturma komutu verildiğinde ilgili sözcüklerin geçtiği ve insanlar tarafından yazılmış metinleri bulup o metinleri oluşturan sözcükleri otoregresyonla yeniden dizebiliyor.  Başka bir ifadeyle benzer binlerce cümleyi alıp gramer olarak doğru yeni bir cümle oluşturabiliyor.(Generation)

Hiç öğretilmediği, algoritmasının içine hesap makinesi konulmadığı halde iki basamaklı sayıları çarpıyor , topluyor ve çıkarıyor. Kimisi bunu GPT-3’ün çıkarsama yapabilme yeteneği kazanması olarak yorumluyor. Oysa gerçek öyle değil. Veri tabanında şu ya da bu nedenle oluşturulmuş binlerce tablo var. Bu tablolardan en az birinde örneğin sorulan 15 çarpı 20=300 satırını buluyor. Daha yüksek basamaklara çıkıldığında, örneğin birisi 3546 ile 6984 sayılarının çarpımını bir blogda, wikipedia’da ya da bir forumda yapıp sonucu yazmadıysa çarpma yapma yeteneğini kaybediyor. Çarpma yapmıyor da kopya çekiyor yani.

Matematikteki bu örnek GPT-3’ün aslında kütüphanesinde olan sembolleri bir kurallar setine göre dizmekten başka bir şey yapmadığını gösteriyor. Bu yüzden de örneğin paragraflar arasındaki çelişkileri yakalamak gibi görevlerde başarısız. Samanyolu’nda kaç yıldız var gibi bir soruya cevap veriyor ama peynir buzdolabına koyunca erir mi? gibi Blade Runner’daki Rick Deckard’vari sorulara cevap veremiyor.

GPT-3’ün 3’ü, GPT-3 Korkulacak Bir Şey mi?

Rick Deckard(Harrison Ford), Blade Runner

Sanmıyorum. 2001 Space Odyssey filminde Jupiter yörüngesinde gemiye girmek isteyen David Bowman‘la kapıyı açmayan Hal 9000 arasındaki tüyler ürpertici diyalog senaryolarda kalacak. Yani Dünya’yı ele geçirmek, insanları köleleştirmek gibi bir olasılık yok. Guardian gazetesine yazdığı yazıda söz verdiği için değil elbette. Ama üçüncü nesildeki yetenekleri göz alıcıyken 4,5 hatta GPT-20’nin enteresan etkileri olabilir. Buzdolabına konulan peynirin eriyip erimeyeceğine karar veremeyen bir yapıdan Dünya’yı ele geçirmesini bekleyemeyiz. Çünkü bir böceğinki kadar bile hayatta kalma, çoğalma amacı yok. Ama toplumu manüpüle etmek isteyen güçler tarafından sahip olduğu devasa kütüphaneyle mesela sayısız yalan haber üretmekte kullanılabilir. Seçimler manipüle edilebilir, kamuoyu oluşturabilir. Dünya’yı ele geçirmese de bunu yapmak isteyenlere araç olabilir yani.

Diğer taraftan finans, vergi, ekonomik veri analizi gibi alanlarda çalışan ve belirli kalıplarda içerik üretenlerden, çevirmenlere, endüstriyel ürün tasarımcılarından, bilgisayar programcılarına kadar çeşitli sektörlerden çok sayıda çalışan işsiz kalmaktan korkmakta haklı olabilir.

Etiketler: , , , , , , , ,


Yazar Hakkında

1970 İzmit doğumlu. A.Ü. Siyasal Bilgiler Fakültesi Mezunu. Enerji sektöründe çalışıyor. Denizatı Vadisi, İkibinseksendört, Gofer Ağacı, Trinidad'ın Dönüşü ve Kurbağa Adası romanlarının yazarı.