İnsan beyni karmaşık durumlarda, örneğin akşam saat 5'te Bilim Meydanı trafiğinde araba kullanmak gibi durumlarda nasıl yol alır?
Psikologlar ve sinir bilimcilerden destek alan teorilerden biri, beynin planlama ve yürütmeye yardımcı olan nedensel dünya modelleri yarattığıdır. Hangi sonuçların iyi veya kötü olduğunu görmek için zihinsel simülasyonlar çalıştırmaya benzer. Profesör Samuel Gershman'ın Hesaplamalı Bilişsel Sinirbilim Laboratuvarı'ndan psikoloji yardımcılarından Momchil Tomov şöyle açıklıyor: “Çevrenin bu içsel modelini öğreniyorsunuz ve bunu, farklı eylemler gerçekleştirirseniz ne olacağını tahmin etmek için kullanabilirsiniz.”.
Son yıllarda bilgisayar bilimcileri bu fikirleri Güçlendirmeli Öğrenme (ya da kısaca RL) adı verilen bir sistem halinde geliştirdiler. Psikoloji ve teknolojinin kesiştiği noktada çalışan Tomov gibi araştırmacılar, RL'nin beyinde nasıl oynadığını yakalamaya çalışan hesaplamalı modeller bile geliştirdiler. Neuron'da yayınlanan yeni bir makalede Tomov ve ortak yazarları, algoritmik teorilerini gerçek dünyadaki görüntülemeyle karşılaştırmak için fonksiyonel manyetik rezonansı (fMRI) kullandılar..
Neden insan düşüncesini ve karar verme sürecini resmileştirmeye çalışan algoritmalar üretelim ki? Doktora derecesini alan Tomov, “Girdileri çıktılarla eşleştiren kesin bir hesaplama modeline sahip olmadan bilişsel süreçleri incelemek zordur” dedi. 2019'da Bilim'da nörobiyoloji alanında doktorasını tamamladı ve 2021'e kadar Gershman'la doktora sonrası araştırmacı olarak çalıştı.
Araştırmacılar ayrıca çalışmalarının, karmaşık ortamlarda gezinebilen ve yapay zekadaki en büyük başarı öykülerinden biri olarak kabul edilen RL'de ilerlemelere yol açmasını umuyor. Aslında masa oyunları ve video oyunları da dahil olmak üzere alanlarda insanlara üstünlük sağladı, ancak yakın zamana kadar biraz yavaş öğrendiğini kanıtladı. “Tomov, insana daha çok benzeyen algoritmaların belirli alanlarda geleneksel makine öğreniminden daha iyi performans gösterebileceğini söyledi.
Grubun deneyi, çalışmanın ortak yazarlarından ikisinin önceki çalışmasına dayanıyor. Gershman'ın laboratuvarındaki başka bir doktora araştırmacısı olan Thomas Pouncy, 2021'de daha karmaşık, teoriye dayalı bir RL sisteminin ana hatlarını çizdi. MIT doktora sonrası araştırmacısı Pedro Tsividis'in sonraki makalesinde hesaplamalı teoriye dayalı bir RL modeli tanıtıldı. Yeni video oyunlarını öğrenmede önceki yinelemelerden çok daha hızlı olduğu kanıtlandı. Tomov, hız açısından böyle bir görevi üstlenmek için insanın yeteneğine çok daha yakın olduğunu söyledi.
Tüm süreç, araştırmacıları insanın karar verme ve öğrenme süreçlerinin sinirsel mimarisi üzerine hipotez kurmaya yöneltti. Yeni çalışmada araştırmacılar, algoritmalarını, beyin aktivitesiyle birlikte gelen kan akışındaki küçük değişiklikleri ölçen fMRI tarayıcılarına bağlıyken Atari tarzı video oyunları oynayan ve sonunda bu oyunlarda ustalaşan 32 gönüllü üzerinde test etti.
Araştırmacıların beklediği gibi bu, beynin ön kısmındaki prefrontal kortekste aktivite teorisine dayalı modellerin ve arka kortekste veya beynin arkasında meydana gelen teori güncellemelerinin kanıtlarını ortaya çıkardı. Hipotezlerinin ve algoritmalarının ayrıldığı nokta ayrıntılardaydı. Araştırmacılar özellikle orbitofrontal kortekste teoriye dayalı modellerin kanıtlarını bulmayı umuyorlardı. Bunun yerine onları alt frontal girusta buldular. Tomov, Gershman'ın laboratuvarında yapılan önceki araştırmalarda, “dünyayı yöneten nedensel kuralların” öğrenilmesiyle ilgili alt frontal girusun bulunduğunu ortaya çıkardığında, geriye dönüp bakıldığında bunun mantıklı olduğunu söyledi.
Beynin arka kısmında, her ikisi de görsel işlemenin merkezi olan oksipital korteks ve ventral yolun, bu modellerin güncellenmesi gerektiğinde devreye girdiği daha fazla sürpriz bulundu. Tomov, “Mevcut teorinizle tutarsız olan şaşırtıcı bir bilgi aldığınızda, o zaman sadece ventral yolda bir güncelleme sinyali görmüyoruz, aynı zamanda teorinin alt frontal girusta da etkinleştirildiğini görüyoruz” diye özetledi Tomov.
Son olarak, fMRI taramaları beyindeki bilginin yönlü akışını ortaya çıkardı. Tomov ve ortak yazarları bilginin aşağıdan yukarıya doğru aktığı hipotezini öne sürmüşlerdi. Bunun yerine, oyun sırasında yukarıdan aşağıya doğru akıyor gibi görünüyor.
“Neredeyse modelden geliyor, prefrontal kortekste bir yerde saklanıyor ve arka görsel bölgelere doğru akıyor gibi” dedi. “Fakat bir tutarsızlık ortaya çıktığında, yani bir güncelleme gerçekleştiğinde, bilgi akışı düzeni tersine dönüyor. Artık bilgi arka bölgelerden ön bölgelere doğru aşağıdan yukarıya doğru akıyor.”
Tomov dört yıldır Gershman'la teoriye dayalı RL üzerinde çalışıyor. İki yıl önce, Boston'daki bir girişimde tam zamanlı bir çalışan olarak bu fikirleri sürücüsüz arabalara uygulamaya başladı. “Buradan bir sonraki kavşağa gelip kimseye çarpmadan sola nasıl dönersiniz?” O sordu. “Temel olarak, diğer itici güçleri ve onların ne yapacaklarına dair tahminleri içeren bir iç dünya modeli var.”
Bu raporda açıklanan araştırma kısmen Ulusal Bilim Vakfı tarafından finanse edildi.
Psikologlar ve sinir bilimcilerden destek alan teorilerden biri, beynin planlama ve yürütmeye yardımcı olan nedensel dünya modelleri yarattığıdır. Hangi sonuçların iyi veya kötü olduğunu görmek için zihinsel simülasyonlar çalıştırmaya benzer. Profesör Samuel Gershman'ın Hesaplamalı Bilişsel Sinirbilim Laboratuvarı'ndan psikoloji yardımcılarından Momchil Tomov şöyle açıklıyor: “Çevrenin bu içsel modelini öğreniyorsunuz ve bunu, farklı eylemler gerçekleştirirseniz ne olacağını tahmin etmek için kullanabilirsiniz.”.
Son yıllarda bilgisayar bilimcileri bu fikirleri Güçlendirmeli Öğrenme (ya da kısaca RL) adı verilen bir sistem halinde geliştirdiler. Psikoloji ve teknolojinin kesiştiği noktada çalışan Tomov gibi araştırmacılar, RL'nin beyinde nasıl oynadığını yakalamaya çalışan hesaplamalı modeller bile geliştirdiler. Neuron'da yayınlanan yeni bir makalede Tomov ve ortak yazarları, algoritmik teorilerini gerçek dünyadaki görüntülemeyle karşılaştırmak için fonksiyonel manyetik rezonansı (fMRI) kullandılar..
Neden insan düşüncesini ve karar verme sürecini resmileştirmeye çalışan algoritmalar üretelim ki? Doktora derecesini alan Tomov, “Girdileri çıktılarla eşleştiren kesin bir hesaplama modeline sahip olmadan bilişsel süreçleri incelemek zordur” dedi. 2019'da Bilim'da nörobiyoloji alanında doktorasını tamamladı ve 2021'e kadar Gershman'la doktora sonrası araştırmacı olarak çalıştı.
Araştırmacılar ayrıca çalışmalarının, karmaşık ortamlarda gezinebilen ve yapay zekadaki en büyük başarı öykülerinden biri olarak kabul edilen RL'de ilerlemelere yol açmasını umuyor. Aslında masa oyunları ve video oyunları da dahil olmak üzere alanlarda insanlara üstünlük sağladı, ancak yakın zamana kadar biraz yavaş öğrendiğini kanıtladı. “Tomov, insana daha çok benzeyen algoritmaların belirli alanlarda geleneksel makine öğreniminden daha iyi performans gösterebileceğini söyledi.
Grubun deneyi, çalışmanın ortak yazarlarından ikisinin önceki çalışmasına dayanıyor. Gershman'ın laboratuvarındaki başka bir doktora araştırmacısı olan Thomas Pouncy, 2021'de daha karmaşık, teoriye dayalı bir RL sisteminin ana hatlarını çizdi. MIT doktora sonrası araştırmacısı Pedro Tsividis'in sonraki makalesinde hesaplamalı teoriye dayalı bir RL modeli tanıtıldı. Yeni video oyunlarını öğrenmede önceki yinelemelerden çok daha hızlı olduğu kanıtlandı. Tomov, hız açısından böyle bir görevi üstlenmek için insanın yeteneğine çok daha yakın olduğunu söyledi.
Tüm süreç, araştırmacıları insanın karar verme ve öğrenme süreçlerinin sinirsel mimarisi üzerine hipotez kurmaya yöneltti. Yeni çalışmada araştırmacılar, algoritmalarını, beyin aktivitesiyle birlikte gelen kan akışındaki küçük değişiklikleri ölçen fMRI tarayıcılarına bağlıyken Atari tarzı video oyunları oynayan ve sonunda bu oyunlarda ustalaşan 32 gönüllü üzerinde test etti.
Araştırmacıların beklediği gibi bu, beynin ön kısmındaki prefrontal kortekste aktivite teorisine dayalı modellerin ve arka kortekste veya beynin arkasında meydana gelen teori güncellemelerinin kanıtlarını ortaya çıkardı. Hipotezlerinin ve algoritmalarının ayrıldığı nokta ayrıntılardaydı. Araştırmacılar özellikle orbitofrontal kortekste teoriye dayalı modellerin kanıtlarını bulmayı umuyorlardı. Bunun yerine onları alt frontal girusta buldular. Tomov, Gershman'ın laboratuvarında yapılan önceki araştırmalarda, “dünyayı yöneten nedensel kuralların” öğrenilmesiyle ilgili alt frontal girusun bulunduğunu ortaya çıkardığında, geriye dönüp bakıldığında bunun mantıklı olduğunu söyledi.
Beynin arka kısmında, her ikisi de görsel işlemenin merkezi olan oksipital korteks ve ventral yolun, bu modellerin güncellenmesi gerektiğinde devreye girdiği daha fazla sürpriz bulundu. Tomov, “Mevcut teorinizle tutarsız olan şaşırtıcı bir bilgi aldığınızda, o zaman sadece ventral yolda bir güncelleme sinyali görmüyoruz, aynı zamanda teorinin alt frontal girusta da etkinleştirildiğini görüyoruz” diye özetledi Tomov.
Son olarak, fMRI taramaları beyindeki bilginin yönlü akışını ortaya çıkardı. Tomov ve ortak yazarları bilginin aşağıdan yukarıya doğru aktığı hipotezini öne sürmüşlerdi. Bunun yerine, oyun sırasında yukarıdan aşağıya doğru akıyor gibi görünüyor.
“Neredeyse modelden geliyor, prefrontal kortekste bir yerde saklanıyor ve arka görsel bölgelere doğru akıyor gibi” dedi. “Fakat bir tutarsızlık ortaya çıktığında, yani bir güncelleme gerçekleştiğinde, bilgi akışı düzeni tersine dönüyor. Artık bilgi arka bölgelerden ön bölgelere doğru aşağıdan yukarıya doğru akıyor.”
Tomov dört yıldır Gershman'la teoriye dayalı RL üzerinde çalışıyor. İki yıl önce, Boston'daki bir girişimde tam zamanlı bir çalışan olarak bu fikirleri sürücüsüz arabalara uygulamaya başladı. “Buradan bir sonraki kavşağa gelip kimseye çarpmadan sola nasıl dönersiniz?” O sordu. “Temel olarak, diğer itici güçleri ve onların ne yapacaklarına dair tahminleri içeren bir iç dünya modeli var.”
Bu raporda açıklanan araştırma kısmen Ulusal Bilim Vakfı tarafından finanse edildi.