İnsan beyni, örneğin akşam 5’te Bilim Meydanı trafiğinde araba kullanmak gibi karmaşık durumlarda nasıl yol alır?
Psikologlar ve sinirbilimciler tarafından desteklenen bir teori, beynin planlama ve uygulamaya yardımcı olan nedensel dünya modelleri yaratmasıdır. Hangi sonuçların iyi veya kötü olduğunu görmek için zihinsel simülasyonlar yapmaya benzer. Psikoloji Profesörü Samuel Gershman’ın Hesaplamalı Bilişsel Sinirbilim Laboratuvarı’nda yardımcı olan Momchil Tomov, “Farklı eylemlerde bulunursanız ne olacağını tahmin etmek için kullanabileceğiniz bu içsel çevre modelini öğreniyorsunuz” dedi..
Son yıllarda, bilgisayar bilimciler bu fikirleri Güçlendirmeli Öğrenme (ya da kısaca RL) olarak adlandırılan bir sisteme dönüştürdüler. Psikoloji ve teknolojinin kesiştiği noktada çalışan Tomov gibi araştırmacılar, RL’nin beyinde nasıl çalıştığını yakalamaya çalışan hesaplamalı modeller bile geliştirdiler. Neuron’da yayınlanan yeni bir makalede Tomov ve ortak yazarları, algoritmik teorilerini gerçek dünya görüntülemesiyle karşılaştırmak için fonksiyonel manyetik rezonans (fMRI) kullandılar..
Neden insan düşüncesini ve karar verme sürecini resmileştirmeye çalışan algoritmalar üretelim? Doktora derecesini kazanan Tomov, “Girdileri çıktılara eşleyen kesin bir hesaplama modeline sahip olmadan bilişsel süreçleri incelemek zordur” dedi. 2019’da Bilim’da nörobiyoloji alanında doktora yaptı ve 2021’e kadar Gershman ile postdoc olarak çalıştı.
Araştırmacılar ayrıca, çalışmalarının karmaşık ortamlarda gezinebilen ve yapay zekadaki en büyük başarı öykülerinden biri olarak kabul edilen RL’de ilerlemelere yol açmasını umuyor. Aslında, tahta ve video oyunları da dahil olmak üzere alemlerde insanları geride bıraktı, ancak yakın zamana kadar biraz yavaş öğrendiğini kanıtladı. “Daha insana benzeyen algoritmalar, belirli alanlarda geleneksel makine öğreniminden daha iyi performans gösterebilir” dedi Tomov.
Grubun deneyi, çalışmanın ortak yazarlarından ikisinin önceki çalışmasına dayanıyor. Gershman’ın laboratuvarındaki başka bir doktora araştırmacısı olan Thomas Pouncy, 2021’de daha karmaşık, teoriye dayalı bir RL sisteminin ana hatlarını çizdi. Hesaplamalı teori tabanlı bir RL modeli, MIT doktora sonrası araştırmacı Pedro Tsividis tarafından sonraki bir makalede tanıtıldı. Yeni video oyunları öğrenmede önceki yinelemelerden çok daha hızlı olduğunu kanıtladı. Hız açısından, Tomov, böyle bir görevi üstlenmenin insan yeteneğine çok daha yakın olduğunu söyledi.
Tüm süreç, araştırmacıları insan karar verme ve öğrenmenin nöral mimarisi hakkında varsayımlarda bulunmaya yöneltti. Yeni çalışmada, araştırmacılar algoritmalarını, beyin aktivitesiyle gelen kan akışındaki küçük değişiklikleri ölçen fMRI tarayıcılarına bağlıyken Atari tarzı video oyunları oynayan ve sonunda ustalaşan 32 gönüllü üzerinde test ettiler.
Araştırmacıların beklediği gibi, bu, beynin ön kısmındaki prefrontal kortekste aktivite teorisine dayalı modellerin ve arka kortekste veya beynin arkasında meydana gelen teori güncellemeleri ile ilgili kanıtlar sağladı. Hipotezlerinin – ve algoritmalarının – ayrıldığı nokta ayrıntılardaydı. Araştırmacılar özellikle orbitofrontal kortekste teoriye dayalı modellerin kanıtlarını bulmayı umuyorlardı. Bunun yerine onları aşağı frontal girusta buldular. Tomov, Gershman’ın laboratuvarında yapılan önceki araştırmalarda “dünyayı yöneten nedensel kuralları” öğrenmekle ilgili alt ön girusun bulunduğunu keşfettiğinden, geriye dönüp bakıldığında bunun mantıklı olduğunu söyledi.
Beynin arka tarafında, oksipital korteks ve ventral yolun – her ikisi de görsel işlemenin merkezi – bu modellerin güncellenmesi gerektiğinde işin içinde göründüğü daha fazla sürpriz bulundu. Tomov, “Mevcut teorinizle tutarsız olan şaşırtıcı bir bilgi edindiğinizde, o zaman sadece ventral yolda bir güncelleme sinyali görmüyoruz, aynı zamanda teori de o zaman inferior frontal girusta aktive oluyor,” diye özetledi Tomov.
Son olarak, fMRI taramaları beyindeki yönlü bilgi akışını ortaya çıkardı. Tomov ve ortak yazarları, bilginin aşağıdan yukarıya doğru aktığını varsaydılar. Bunun yerine, oyun sırasında yukarıdan aşağıya akıyor gibi görünüyor.
“Sanki modelden geliyor, prefrontal kortekste bir yerde saklanıyor ve arka görsel bölgelere doğru akıyor” dedi. “Ama sonra bir tutarsızlık olduğunda – bir güncelleme olduğunda – bilgi akışı modeli tersine döner. Artık bilgi aşağıdan yukarıya, arka bölgelerden ön bölgelere doğru akıyor.”
Tomov, dört yıldır Gershman ile teoriye dayalı RL üzerinde çalışıyor. İki yıl önce, bir Boston girişiminde tam zamanlı bir çalışan olarak bu fikirleri sürücüsüz arabalara uygulamaya başladı. “Buradan bir sonraki kavşağa nasıl gidilir ve kimseye çarpmadan sola dönülür?” O sordu. “Temelde, diğer itici güçlerle ve onların ne yapacaklarına dair tahminlerle bu içsel dünya modeli var.”
Bu raporda açıklanan araştırma, kısmen Ulusal Bilim Vakfı tarafından finanse edildi.
Psikologlar ve sinirbilimciler tarafından desteklenen bir teori, beynin planlama ve uygulamaya yardımcı olan nedensel dünya modelleri yaratmasıdır. Hangi sonuçların iyi veya kötü olduğunu görmek için zihinsel simülasyonlar yapmaya benzer. Psikoloji Profesörü Samuel Gershman’ın Hesaplamalı Bilişsel Sinirbilim Laboratuvarı’nda yardımcı olan Momchil Tomov, “Farklı eylemlerde bulunursanız ne olacağını tahmin etmek için kullanabileceğiniz bu içsel çevre modelini öğreniyorsunuz” dedi..
Son yıllarda, bilgisayar bilimciler bu fikirleri Güçlendirmeli Öğrenme (ya da kısaca RL) olarak adlandırılan bir sisteme dönüştürdüler. Psikoloji ve teknolojinin kesiştiği noktada çalışan Tomov gibi araştırmacılar, RL’nin beyinde nasıl çalıştığını yakalamaya çalışan hesaplamalı modeller bile geliştirdiler. Neuron’da yayınlanan yeni bir makalede Tomov ve ortak yazarları, algoritmik teorilerini gerçek dünya görüntülemesiyle karşılaştırmak için fonksiyonel manyetik rezonans (fMRI) kullandılar..
Neden insan düşüncesini ve karar verme sürecini resmileştirmeye çalışan algoritmalar üretelim? Doktora derecesini kazanan Tomov, “Girdileri çıktılara eşleyen kesin bir hesaplama modeline sahip olmadan bilişsel süreçleri incelemek zordur” dedi. 2019’da Bilim’da nörobiyoloji alanında doktora yaptı ve 2021’e kadar Gershman ile postdoc olarak çalıştı.
Araştırmacılar ayrıca, çalışmalarının karmaşık ortamlarda gezinebilen ve yapay zekadaki en büyük başarı öykülerinden biri olarak kabul edilen RL’de ilerlemelere yol açmasını umuyor. Aslında, tahta ve video oyunları da dahil olmak üzere alemlerde insanları geride bıraktı, ancak yakın zamana kadar biraz yavaş öğrendiğini kanıtladı. “Daha insana benzeyen algoritmalar, belirli alanlarda geleneksel makine öğreniminden daha iyi performans gösterebilir” dedi Tomov.
Grubun deneyi, çalışmanın ortak yazarlarından ikisinin önceki çalışmasına dayanıyor. Gershman’ın laboratuvarındaki başka bir doktora araştırmacısı olan Thomas Pouncy, 2021’de daha karmaşık, teoriye dayalı bir RL sisteminin ana hatlarını çizdi. Hesaplamalı teori tabanlı bir RL modeli, MIT doktora sonrası araştırmacı Pedro Tsividis tarafından sonraki bir makalede tanıtıldı. Yeni video oyunları öğrenmede önceki yinelemelerden çok daha hızlı olduğunu kanıtladı. Hız açısından, Tomov, böyle bir görevi üstlenmenin insan yeteneğine çok daha yakın olduğunu söyledi.
Tüm süreç, araştırmacıları insan karar verme ve öğrenmenin nöral mimarisi hakkında varsayımlarda bulunmaya yöneltti. Yeni çalışmada, araştırmacılar algoritmalarını, beyin aktivitesiyle gelen kan akışındaki küçük değişiklikleri ölçen fMRI tarayıcılarına bağlıyken Atari tarzı video oyunları oynayan ve sonunda ustalaşan 32 gönüllü üzerinde test ettiler.
Araştırmacıların beklediği gibi, bu, beynin ön kısmındaki prefrontal kortekste aktivite teorisine dayalı modellerin ve arka kortekste veya beynin arkasında meydana gelen teori güncellemeleri ile ilgili kanıtlar sağladı. Hipotezlerinin – ve algoritmalarının – ayrıldığı nokta ayrıntılardaydı. Araştırmacılar özellikle orbitofrontal kortekste teoriye dayalı modellerin kanıtlarını bulmayı umuyorlardı. Bunun yerine onları aşağı frontal girusta buldular. Tomov, Gershman’ın laboratuvarında yapılan önceki araştırmalarda “dünyayı yöneten nedensel kuralları” öğrenmekle ilgili alt ön girusun bulunduğunu keşfettiğinden, geriye dönüp bakıldığında bunun mantıklı olduğunu söyledi.
Beynin arka tarafında, oksipital korteks ve ventral yolun – her ikisi de görsel işlemenin merkezi – bu modellerin güncellenmesi gerektiğinde işin içinde göründüğü daha fazla sürpriz bulundu. Tomov, “Mevcut teorinizle tutarsız olan şaşırtıcı bir bilgi edindiğinizde, o zaman sadece ventral yolda bir güncelleme sinyali görmüyoruz, aynı zamanda teori de o zaman inferior frontal girusta aktive oluyor,” diye özetledi Tomov.
Son olarak, fMRI taramaları beyindeki yönlü bilgi akışını ortaya çıkardı. Tomov ve ortak yazarları, bilginin aşağıdan yukarıya doğru aktığını varsaydılar. Bunun yerine, oyun sırasında yukarıdan aşağıya akıyor gibi görünüyor.
“Sanki modelden geliyor, prefrontal kortekste bir yerde saklanıyor ve arka görsel bölgelere doğru akıyor” dedi. “Ama sonra bir tutarsızlık olduğunda – bir güncelleme olduğunda – bilgi akışı modeli tersine döner. Artık bilgi aşağıdan yukarıya, arka bölgelerden ön bölgelere doğru akıyor.”
Tomov, dört yıldır Gershman ile teoriye dayalı RL üzerinde çalışıyor. İki yıl önce, bir Boston girişiminde tam zamanlı bir çalışan olarak bu fikirleri sürücüsüz arabalara uygulamaya başladı. “Buradan bir sonraki kavşağa nasıl gidilir ve kimseye çarpmadan sola dönülür?” O sordu. “Temelde, diğer itici güçlerle ve onların ne yapacaklarına dair tahminlerle bu içsel dünya modeli var.”
Bu raporda açıklanan araştırma, kısmen Ulusal Bilim Vakfı tarafından finanse edildi.