Bilim'daki araştırmacılar artık dünyanın en hızlı ve en çevreci süper bilgisayarlarından birine erişime sahip.
Kempner Doğal ve Yapay Zeka Çalışmaları Enstitüsü'nde ve daha genel olarak Bilim Üniversitesi'nde ileri düzey araştırmaları desteklemek üzere tasarlanan Kempner'ın yapay zeka kümesi, sektörün Green500 listesinde dünyanın en hızlı 32. “yeşil” süper bilgisayarı seçildi. Dünya çapında enerji açısından en verimli süper bilgisayarların önde gelen, bağımsız sıralaması. Küme, ilk 50 yeşil süper bilgisayar listesine girmenin yanı sıra, TOP500'de genel olarak en hızlı 85. süper bilgisayar olarak onaylandı ve bu da onu gezegendeki en hızlı ve en çevreci süper bilgisayarlardan biri haline getirdi.
Kempner AI/ML araştırma mühendisliği kıdemli direktörü Max Shad, “Kempner AI kümesinin en son Green500 ve TOP500 listelerindeki sıralaması, bizi akademi ve dünyadaki en hızlı ve en çevre dostu AI kümeleri arasında konumlandırıyor” dedi. “Bu kadar kısa bir süre içinde bu tür yeşil yüksek performanslı bilgi işlem gücünü oluşturmak, gerçek zamanlı olarak yenilik yapan son teknoloji araştırmaları mümkün kılmak ve yapay zekanın kesişiminde gerçekten önemli ilerlemelere olanak sağlamak hiç de küçümsenecek bir başarı değil. ve sinirbilim.”
Yüksek performanslı bilgi işlem, makine öğrenimi alanındaki büyük büyümenin omurgasını oluşturuyor ve Kempner Enstitüsü'ndeki araştırmacılar, yapay sinir ağlarını eğitmek ve çalıştırmak için bu muazzam hesaplama gücünden yararlanıyor ve bu da doğal zekanın temellerinin anlaşılmasında önemli ilerlemelere yol açıyor. ve yapay sistemler.
Kempner Institute AI kümesi, Holyoke, Massachusetts'teki Massachusetts Green Yüksek Performanslı Bilgisayar Merkezi'nde yer almaktadır ve enerji kullanımını en aza indirmek için çeşitli son teknoloji teknikler kullanmaktadır.
Kredi bilgileri: Bilim Üniversitesi
Floplardan gigafloplara kadar yeşil bilgi işlem gücünün ölçülmesi
Kempner'ın yapay zeka kümesi, 2023 baharında ilk pilot kurulumla açıldı ve şu anda Bilim'ın en son teknolojiye sahip bilgi işlem kaynaklarıyla artan etkileşiminin ön saflarını temsil ediyor. Hızlı ve eşzamanlı hesaplamayı mümkün kılmak için “anahtarlar” ile paralel olarak birbirine bağlanan, grafik işlem birimleri (GPU'lar) adı verilen 528 özel bilgisayar işlemcisinden oluşan küme, yüzlerce araştırma projesinde hızlı hesaplamaları aynı anda çalıştırabilir.
Lenovo mühendisleri, kümenin yeşil bilgi işlem gücünü ve genel bilgi işlem gücünü ölçmek için, geniş doğrusal cebir problemlerinin çözülmesini gerektiren LINPACK Benchmark'ı kullanarak kümenin en yüksek performanslı GPU'larının (H100 adı verilen) hızını ölçtüler. Bu, saniyedeki kayan nokta işlemleri veya “flop” cinsinden ifade edilir. Sistemin verimliliği veya “yeşil” bilgi işlem kapasitesi, H100'lerin, kullanılan güç başına gigaflop olarak ifade edilen belirli bir güç miktarıyla kaç flop gerçekleştirebileceğine bağlıdır.
Kempner'ın H100'leri, kullanılan güç watt başına 48.065 gigaflop verimlilikle 16.29 petaflop gerçekleştirme yeteneğini gösterdi.
Kempner AI kümesi ne kadar hızlı? Kempner'ın 16,29 petaflopluk bilgi işlem gücüne dair bir fikir edinmek için şunu düşünün: Neil Armstrong ve Buzz Aldrin'i 1969'da aya götüren Apollo 11'deki bilgisayarlar 12.250 flop kapasitesine sahipti. Kulağa çok gibi geliyor ama 1980'lerde çok daha hızlı hesaplamalar mümkündü: CRAY-2 süper bilgisayarı 1,9 gigaflopluk bir performans kaydetti. Bu 1,9 milyar flop demek. Ve artık cebimizde çok daha fazla bilgi işlem gücü var. iPhone 15, 1.700 gigafloptan fazla kapasiteye sahip. Ve Kempner'ın yapay zeka kümesinde 16'dan fazla var petabilgi işlem gücü flopları – yani 16 ve ardından 15 sıfır – cebinizdeki iPhone'dan dört kat daha büyük. Bu rakamlar, Büyük Dil Modeli'nin (LLM) gramer açısından doğru dil üretme ve bilişi simüle etme yeteneğinin, en azından şimdilik, bir roketle aya gitmekten daha fazla hesaplama açısından yoğun olduğunu gösteriyor.
Kempner'da ve Bilim'da yeni araştırmaları destekleyen bir süper bilgisayar
Bu büyüklükteki hesaplama gücüyle Kempner araştırmacıları, ChatGPT'nin belki de en iyi bilineni olduğu büyük dil modelleri (LLM'ler) gibi son teknoloji ürünü yapay zeka sistemlerini hızlı ve verimli bir şekilde eğitebiliyor. Örneğin, Kempner kümesi popüler Meta Llama 3.1 8B ve Meta Llama 3.1 70B dil modellerini sırasıyla yaklaşık bir hafta ve iki ayda eğitebilir. Kempner kümesi kurulup faaliyete geçmeden önce, Lama modellerinin Bilim'daki bir sonraki en hızlı bilgisayar sistemi üzerinde eğitilmesinin tamamlanması yıllar alacaktı.
Daha hızlı modeller oluşturmak için kümeyi kullanmanın ötesinde, araştırmacılar kümeyi nasıl ve neden çalıştıklarını daha iyi anlamak için de kullanıyorlar. Kempner Enstitüsü Araştırma Görevlisi Binxu Wang, “Bu gelişmiş hesaplama gücüyle, üretken modellerin nasıl akıl yürütmeyi öğrendiğini ve görevleri daha verimli bir şekilde tamamladığını daha derinlemesine inceleyebiliriz” diyor.
Kempner kümesi, araştırmacılara karmaşık modelleri hızlı ve verimli bir şekilde eğitme ve nasıl öğrendiklerinin ardındaki mekanizmaları anlama kapasitesi sağlamanın yanı sıra, bilim adamlarının çok sayıda model mimarisini ve öğrenme algoritmasını paralel olarak çeşitli alanlardaki önemli uygulamalarla karşılaştırmasına olanak tanır. Tıptan sinir bilimine. Bir örnek: Yakın zamanda Nature Medicine'de yayınlanan araştırmada, Kempner öğretim üyesi ve Bilim Tıp Fakültesi Yardımcı Doçenti Marinka Zitnik ve meslektaşları, kümeyi, büyük miktarda tıbbi veriyi bilgi grafiklerine ayrıştıran bir yapay zeka sistemi olan TxGNN'yi geliştirmek ve eğitmek için kullandılar ve ardından Nadir hastalıkların tedavisinde bir ilacın etkinliğini tahmin etmek için grafikleri kullanır.
Kempner GPU'ları, Bilim Üniversitesi'nin büyüyen hesaplamalı ekosisteminin bir parçasını oluşturuyor ve Bilim'ın Sanat ve Bilim Fakültesi Araştırma Bilişimi (FASRC) tarafından desteklenen yeni veya yakında piyasaya sürülecek GPU'lara katılıyor. Üniversite genelinde 5.200'den fazla araştırmacı bu bilgi işlem kaynaklarını çok çeşitli bilimsel ve teknolojik uygulamalarda kullanmaktadır.
Paralel işlemenin gücü
Peki tam olarak ne öyle bir küme mi? Adından da anlaşılacağı gibi, bir bilgi işlem kümesi, her biri kendi başına tam teşekküllü bir bilgisayar olarak işlev görebilen birden fazla cihazı bir araya getirir. Cihazların birbirine bağlanması paralel hesaplamanın gücünü ortaya çıkarır ve bu da çok sayıda görevi aynı anda gerçekleştirerek işlem süresinde büyük hızlanmalara yol açar.
Birkaç on yıl öncesine kadar çoğu bilgisayar, aynı anda yalnızca bir hesaplama işlemi gerçekleştirebilen bir merkezi işlem birimi (CPU) tarafından çalıştırılıyordu. 2000'li yılların başında bilgisayar bilimcileri, birden fazla hesaplamayı paralel olarak gerçekleştiren “çok çekirdekli” CPU'ların nasıl oluşturulacağını bulmuşlardı.
Kempner'ınki gibi süper bilgi işlem kümelerine giden yol, paralel işlemenin birkaç düzeyinin üst üste istiflenmesini içeriyordu. Çok çekirdekli CPU'ların piyasaya sürülmesinden sonra, paralelliğin bir sonraki düzeyi GPU'ların kullanımıyla mümkün oldu. Bir bilgisayar ekranındaki grafiklerin kontrol edilmesi, aynı anda yapılabilecek çok sayıda birbirine benzer hesaplamaların yapılmasını gerektirir. Örneğin bir video oyununu görüntülemek, milyonlarca pikselin parlaklığını ve rengini saniyede 120 defaya kadar hesaplamayı gerektirir. GPU'lar bu çok sayıda basit hesaplamayı paralel olarak gerçekleştirerek CPU'nun daha karmaşık hesaplamalar yapmasına olanak tanır.
Bilgisayar bilimcileri, GPU'ların çok sayıda paralel hesaplama gerçekleştirme kapasitesinin, makine öğrenimi gibi diğer görevler için yeniden kullanılabileceğini fark etti. Örneğin OpenAI'nin GPT veya DALL-E'si gibi bir yapay sinir ağını çalıştırmak, paralel olarak gerçekleştirilebilecek çok sayıda matematiksel işlemi içerir. Ancak paralellik burada bitmiyor: Birden fazla GPU'nun bir ağda birbirine bağlanmasıyla başka bir düzeyde paralellik etkinleştirilir. Kempner'ın ağı, uyum içinde çalışabilen yüzlerce NVIDIA GPU'yu (144 A100 ve 384 H100) içeriyor. Bu çok düzeyli paralellik, Kempner araştırmacılarına, doğal ve yapay zeka çalışmalarında yer alan baş döndürücü derecede yoğun hesaplamaları yapma ve tıp gibi alanlarda yeni yapay zeka uygulamaları geliştirme gücü veriyor.
Hızlı ve esnek deney, yineleme ve hesaplama açısından yoğun araştırma söz konusu olduğunda, Kempner AI kümesi, Boaz Barak'ın sözleriyle “kesinlikle faydalı”. Kempner doçent öğretim üyesi ve Bilim John A. Paulson Mühendislik ve Uygulamalı Bilimler Okulu'nda profesör olan Barak, laboratuvar grubunun derin öğrenme sistemlerinin mekanizmalarını, yeteneklerini ve sınırlamalarını incelemek için “kümeyi kullanan kapsamlı hesaplamalı deneylere dayandığını” söylüyor . Bunun laboratuvar grubuna “sezgileri geliştirmesine ve ortaya çıkan soruları incelemesine” olanak tanıdığını söylüyor.
Çevre dostu olacak şekilde tasarlanmış güçlü bir süper bilgisayar
Optimum enerji tüketimi için özel olarak tasarlanan Kempner'ın yapay zeka kümesi aynı zamanda “yeşil” süper bilgi işlem için de bir standart belirliyor. Modern makine öğrenimi, yapay zekada benzeri görülmemiş ilerlemelere yol açtı, ancak yöntemler giderek daha fazla enerji tüketiyor. Bu nedenle yapay zekanın karbon ayak izini azaltmak, yapay zekadaki ilerlemelerin küresel ısınmayı daha da kötüleştirme pahasına olmaması açısından hayati önem taşıyor.
Diğer FASRC kaynaklarıyla birlikte Massachusetts Yeşil Yüksek Performanslı Bilgisayar Merkezi'nde (MGHPCC) bulunan ve Massachusetts'in Holyoke kasabasında bulunan Kempner'ın yapay zeka kümesi, enerji kullanımını en aza indirmek ve daha verimli hale getirmek için çeşitli son teknoloji ürünü teknikler kullanıyor. her megawatt güç sayılır. Merkez, bir hidroelektrik santrali ve çalıştırdıkları çeşitli güneş panelleri aracılığıyla yüzde 100 karbonsuz enerji sağlayan Holyoke belediye elektrik şirketi tarafından çalıştırılıyor.
Bilim, MIT, UMass, Northeastern ve Boston Üniversitesi de dahil olmak üzere eyaletteki araştırma üniversitelerinin çoğu tarafından kullanılan merkezi bilgi işlem merkezi olan MGHPCC, Yeşil Bina Konseyi tarafından verilen en yüksek seviye olan LEED Platin Sertifikasını alan ilk üniversite araştırma veri merkeziydi. Enerji ve Çevresel Tasarım Programında Liderlik. İleriye dönük olarak, Kempner'ın MGHPCC ile olan ortaklığı, alanda ilerleme için daha hızlı ve daha güçlü bir araca dönüşürken bile Kempner'ın yapay zeka kümesini yeşil ve verimli tutarak verimlilik göz önünde bulundurularak büyümeye devam etmesine olanak tanıyacak.
Kempner İcra Direktörü Elise Porter, “Yalnızca son derece hızlı değil, aynı zamanda enerji açısından verimli bir yapay zeka kümesi oluşturmak, hem istihbarat alanını geliştirmek hem de bunu insanlara fayda sağlayacak şekilde yapmak için Kempner'ın misyonuna tam anlamıyla uyuyor” dedi. “Bu kümenin enerji verimliliği ön planda tutularak inşa edilmesini sağlamak için MGHPCC ile yakın işbirliği içinde çalıştık ve dünyanın en hızlı 32. yeşil süper bilgisayarı olarak sıralanmak bu çalışmanın bir kanıtıdır.”
Hızlı, yeşil ve insani
TOP500/Green500 listesinde üst sıralarda yer almak küçük bir başarı olmasa da, Kempner'ın çalışmasının gerçek gücü, çığır açan araştırmaları kolaylaştırmak için etkileyici bilgi işlem kaynaklarından nasıl yararlanılacağını bilmektir. Bu, yapay zeka kümesini oluşturmaktan ve araştırmacılara bu kümeye erişim vermekten daha fazlasını içerir. Sonuçta, araştırmacılar eski kodu kopyalayıp yeni makinelere yapıştıramazlar; geleneksel bilgisayarlarda çalışan belirli algoritma türlerinin, Kempner'ın bilgi işlem altyapısıyla kullanılmak üzere yeniden kavramsallaştırılması ve yeniden biçimlendirilmesi gerekir.
Bu amaçla Kempner, dağıtılmış hesaplamadan veri mimarisine ve hesaplamalı sinir bilimine kadar çeşitli uzmanlıklara sahip profesyonel araştırma mühendisleri ve araştırma bilim adamlarından oluşan “tam kapsamlı” bir ekip oluşturdu. Bu Araştırma ve Mühendislik ekibi, bilimsel sorunları hesaplamalı çözümlere bağlayan kesintisiz bir boru hattı sağlamak için araştırmacılarla birlikte çalışarak kod tabanları ve standartlar geliştiriyor. Ekip ayrıca öğrencilerin, öğretim üyelerinin ve öğretim üyelerinin modeller ve veriler için açık havuzların kodlanması, test edilmesi ve bakımı için sektörde test edilmiş en iyi uygulamaları benimsemelerine yardımcı olarak bilimsel bulguların tekrarlanabilir olmasını sağlar.
İnsanın bu bilgi birikimi, Kempner topluluğunun ve Bilim Üniversitesi'ndeki araştırmacıların, artık kolektif parmak uçlarında mevcut olan yeşil süper hesaplama gücünün bilimsel ve teknolojik potansiyelinden yararlanma yeteneğinin merkezinde yer alıyor.
En son Kempner Enstitüsü araştırması hakkında daha fazla bilgi edinmek için şu adrese göz atın: Derin Öğrenme blogu.
Kempner Doğal ve Yapay Zeka Çalışmaları Enstitüsü'nde ve daha genel olarak Bilim Üniversitesi'nde ileri düzey araştırmaları desteklemek üzere tasarlanan Kempner'ın yapay zeka kümesi, sektörün Green500 listesinde dünyanın en hızlı 32. “yeşil” süper bilgisayarı seçildi. Dünya çapında enerji açısından en verimli süper bilgisayarların önde gelen, bağımsız sıralaması. Küme, ilk 50 yeşil süper bilgisayar listesine girmenin yanı sıra, TOP500'de genel olarak en hızlı 85. süper bilgisayar olarak onaylandı ve bu da onu gezegendeki en hızlı ve en çevreci süper bilgisayarlardan biri haline getirdi.
Kempner AI/ML araştırma mühendisliği kıdemli direktörü Max Shad, “Kempner AI kümesinin en son Green500 ve TOP500 listelerindeki sıralaması, bizi akademi ve dünyadaki en hızlı ve en çevre dostu AI kümeleri arasında konumlandırıyor” dedi. “Bu kadar kısa bir süre içinde bu tür yeşil yüksek performanslı bilgi işlem gücünü oluşturmak, gerçek zamanlı olarak yenilik yapan son teknoloji araştırmaları mümkün kılmak ve yapay zekanın kesişiminde gerçekten önemli ilerlemelere olanak sağlamak hiç de küçümsenecek bir başarı değil. ve sinirbilim.”
Yüksek performanslı bilgi işlem, makine öğrenimi alanındaki büyük büyümenin omurgasını oluşturuyor ve Kempner Enstitüsü'ndeki araştırmacılar, yapay sinir ağlarını eğitmek ve çalıştırmak için bu muazzam hesaplama gücünden yararlanıyor ve bu da doğal zekanın temellerinin anlaşılmasında önemli ilerlemelere yol açıyor. ve yapay sistemler.
Kempner Institute AI kümesi, Holyoke, Massachusetts'teki Massachusetts Green Yüksek Performanslı Bilgisayar Merkezi'nde yer almaktadır ve enerji kullanımını en aza indirmek için çeşitli son teknoloji teknikler kullanmaktadır.
Kredi bilgileri: Bilim Üniversitesi
Floplardan gigafloplara kadar yeşil bilgi işlem gücünün ölçülmesi
Kempner'ın yapay zeka kümesi, 2023 baharında ilk pilot kurulumla açıldı ve şu anda Bilim'ın en son teknolojiye sahip bilgi işlem kaynaklarıyla artan etkileşiminin ön saflarını temsil ediyor. Hızlı ve eşzamanlı hesaplamayı mümkün kılmak için “anahtarlar” ile paralel olarak birbirine bağlanan, grafik işlem birimleri (GPU'lar) adı verilen 528 özel bilgisayar işlemcisinden oluşan küme, yüzlerce araştırma projesinde hızlı hesaplamaları aynı anda çalıştırabilir.
Lenovo mühendisleri, kümenin yeşil bilgi işlem gücünü ve genel bilgi işlem gücünü ölçmek için, geniş doğrusal cebir problemlerinin çözülmesini gerektiren LINPACK Benchmark'ı kullanarak kümenin en yüksek performanslı GPU'larının (H100 adı verilen) hızını ölçtüler. Bu, saniyedeki kayan nokta işlemleri veya “flop” cinsinden ifade edilir. Sistemin verimliliği veya “yeşil” bilgi işlem kapasitesi, H100'lerin, kullanılan güç başına gigaflop olarak ifade edilen belirli bir güç miktarıyla kaç flop gerçekleştirebileceğine bağlıdır.
Kempner'ın H100'leri, kullanılan güç watt başına 48.065 gigaflop verimlilikle 16.29 petaflop gerçekleştirme yeteneğini gösterdi.
Kempner AI kümesi ne kadar hızlı? Kempner'ın 16,29 petaflopluk bilgi işlem gücüne dair bir fikir edinmek için şunu düşünün: Neil Armstrong ve Buzz Aldrin'i 1969'da aya götüren Apollo 11'deki bilgisayarlar 12.250 flop kapasitesine sahipti. Kulağa çok gibi geliyor ama 1980'lerde çok daha hızlı hesaplamalar mümkündü: CRAY-2 süper bilgisayarı 1,9 gigaflopluk bir performans kaydetti. Bu 1,9 milyar flop demek. Ve artık cebimizde çok daha fazla bilgi işlem gücü var. iPhone 15, 1.700 gigafloptan fazla kapasiteye sahip. Ve Kempner'ın yapay zeka kümesinde 16'dan fazla var petabilgi işlem gücü flopları – yani 16 ve ardından 15 sıfır – cebinizdeki iPhone'dan dört kat daha büyük. Bu rakamlar, Büyük Dil Modeli'nin (LLM) gramer açısından doğru dil üretme ve bilişi simüle etme yeteneğinin, en azından şimdilik, bir roketle aya gitmekten daha fazla hesaplama açısından yoğun olduğunu gösteriyor.
Kempner'da ve Bilim'da yeni araştırmaları destekleyen bir süper bilgisayar
Bu büyüklükteki hesaplama gücüyle Kempner araştırmacıları, ChatGPT'nin belki de en iyi bilineni olduğu büyük dil modelleri (LLM'ler) gibi son teknoloji ürünü yapay zeka sistemlerini hızlı ve verimli bir şekilde eğitebiliyor. Örneğin, Kempner kümesi popüler Meta Llama 3.1 8B ve Meta Llama 3.1 70B dil modellerini sırasıyla yaklaşık bir hafta ve iki ayda eğitebilir. Kempner kümesi kurulup faaliyete geçmeden önce, Lama modellerinin Bilim'daki bir sonraki en hızlı bilgisayar sistemi üzerinde eğitilmesinin tamamlanması yıllar alacaktı.
Daha hızlı modeller oluşturmak için kümeyi kullanmanın ötesinde, araştırmacılar kümeyi nasıl ve neden çalıştıklarını daha iyi anlamak için de kullanıyorlar. Kempner Enstitüsü Araştırma Görevlisi Binxu Wang, “Bu gelişmiş hesaplama gücüyle, üretken modellerin nasıl akıl yürütmeyi öğrendiğini ve görevleri daha verimli bir şekilde tamamladığını daha derinlemesine inceleyebiliriz” diyor.
Kempner kümesi, araştırmacılara karmaşık modelleri hızlı ve verimli bir şekilde eğitme ve nasıl öğrendiklerinin ardındaki mekanizmaları anlama kapasitesi sağlamanın yanı sıra, bilim adamlarının çok sayıda model mimarisini ve öğrenme algoritmasını paralel olarak çeşitli alanlardaki önemli uygulamalarla karşılaştırmasına olanak tanır. Tıptan sinir bilimine. Bir örnek: Yakın zamanda Nature Medicine'de yayınlanan araştırmada, Kempner öğretim üyesi ve Bilim Tıp Fakültesi Yardımcı Doçenti Marinka Zitnik ve meslektaşları, kümeyi, büyük miktarda tıbbi veriyi bilgi grafiklerine ayrıştıran bir yapay zeka sistemi olan TxGNN'yi geliştirmek ve eğitmek için kullandılar ve ardından Nadir hastalıkların tedavisinde bir ilacın etkinliğini tahmin etmek için grafikleri kullanır.
Kempner GPU'ları, Bilim Üniversitesi'nin büyüyen hesaplamalı ekosisteminin bir parçasını oluşturuyor ve Bilim'ın Sanat ve Bilim Fakültesi Araştırma Bilişimi (FASRC) tarafından desteklenen yeni veya yakında piyasaya sürülecek GPU'lara katılıyor. Üniversite genelinde 5.200'den fazla araştırmacı bu bilgi işlem kaynaklarını çok çeşitli bilimsel ve teknolojik uygulamalarda kullanmaktadır.
Paralel işlemenin gücü
Peki tam olarak ne öyle bir küme mi? Adından da anlaşılacağı gibi, bir bilgi işlem kümesi, her biri kendi başına tam teşekküllü bir bilgisayar olarak işlev görebilen birden fazla cihazı bir araya getirir. Cihazların birbirine bağlanması paralel hesaplamanın gücünü ortaya çıkarır ve bu da çok sayıda görevi aynı anda gerçekleştirerek işlem süresinde büyük hızlanmalara yol açar.
Birkaç on yıl öncesine kadar çoğu bilgisayar, aynı anda yalnızca bir hesaplama işlemi gerçekleştirebilen bir merkezi işlem birimi (CPU) tarafından çalıştırılıyordu. 2000'li yılların başında bilgisayar bilimcileri, birden fazla hesaplamayı paralel olarak gerçekleştiren “çok çekirdekli” CPU'ların nasıl oluşturulacağını bulmuşlardı.
Kempner'ınki gibi süper bilgi işlem kümelerine giden yol, paralel işlemenin birkaç düzeyinin üst üste istiflenmesini içeriyordu. Çok çekirdekli CPU'ların piyasaya sürülmesinden sonra, paralelliğin bir sonraki düzeyi GPU'ların kullanımıyla mümkün oldu. Bir bilgisayar ekranındaki grafiklerin kontrol edilmesi, aynı anda yapılabilecek çok sayıda birbirine benzer hesaplamaların yapılmasını gerektirir. Örneğin bir video oyununu görüntülemek, milyonlarca pikselin parlaklığını ve rengini saniyede 120 defaya kadar hesaplamayı gerektirir. GPU'lar bu çok sayıda basit hesaplamayı paralel olarak gerçekleştirerek CPU'nun daha karmaşık hesaplamalar yapmasına olanak tanır.
Bilgisayar bilimcileri, GPU'ların çok sayıda paralel hesaplama gerçekleştirme kapasitesinin, makine öğrenimi gibi diğer görevler için yeniden kullanılabileceğini fark etti. Örneğin OpenAI'nin GPT veya DALL-E'si gibi bir yapay sinir ağını çalıştırmak, paralel olarak gerçekleştirilebilecek çok sayıda matematiksel işlemi içerir. Ancak paralellik burada bitmiyor: Birden fazla GPU'nun bir ağda birbirine bağlanmasıyla başka bir düzeyde paralellik etkinleştirilir. Kempner'ın ağı, uyum içinde çalışabilen yüzlerce NVIDIA GPU'yu (144 A100 ve 384 H100) içeriyor. Bu çok düzeyli paralellik, Kempner araştırmacılarına, doğal ve yapay zeka çalışmalarında yer alan baş döndürücü derecede yoğun hesaplamaları yapma ve tıp gibi alanlarda yeni yapay zeka uygulamaları geliştirme gücü veriyor.
Hızlı ve esnek deney, yineleme ve hesaplama açısından yoğun araştırma söz konusu olduğunda, Kempner AI kümesi, Boaz Barak'ın sözleriyle “kesinlikle faydalı”. Kempner doçent öğretim üyesi ve Bilim John A. Paulson Mühendislik ve Uygulamalı Bilimler Okulu'nda profesör olan Barak, laboratuvar grubunun derin öğrenme sistemlerinin mekanizmalarını, yeteneklerini ve sınırlamalarını incelemek için “kümeyi kullanan kapsamlı hesaplamalı deneylere dayandığını” söylüyor . Bunun laboratuvar grubuna “sezgileri geliştirmesine ve ortaya çıkan soruları incelemesine” olanak tanıdığını söylüyor.
Çevre dostu olacak şekilde tasarlanmış güçlü bir süper bilgisayar
Optimum enerji tüketimi için özel olarak tasarlanan Kempner'ın yapay zeka kümesi aynı zamanda “yeşil” süper bilgi işlem için de bir standart belirliyor. Modern makine öğrenimi, yapay zekada benzeri görülmemiş ilerlemelere yol açtı, ancak yöntemler giderek daha fazla enerji tüketiyor. Bu nedenle yapay zekanın karbon ayak izini azaltmak, yapay zekadaki ilerlemelerin küresel ısınmayı daha da kötüleştirme pahasına olmaması açısından hayati önem taşıyor.
Diğer FASRC kaynaklarıyla birlikte Massachusetts Yeşil Yüksek Performanslı Bilgisayar Merkezi'nde (MGHPCC) bulunan ve Massachusetts'in Holyoke kasabasında bulunan Kempner'ın yapay zeka kümesi, enerji kullanımını en aza indirmek ve daha verimli hale getirmek için çeşitli son teknoloji ürünü teknikler kullanıyor. her megawatt güç sayılır. Merkez, bir hidroelektrik santrali ve çalıştırdıkları çeşitli güneş panelleri aracılığıyla yüzde 100 karbonsuz enerji sağlayan Holyoke belediye elektrik şirketi tarafından çalıştırılıyor.
Bilim, MIT, UMass, Northeastern ve Boston Üniversitesi de dahil olmak üzere eyaletteki araştırma üniversitelerinin çoğu tarafından kullanılan merkezi bilgi işlem merkezi olan MGHPCC, Yeşil Bina Konseyi tarafından verilen en yüksek seviye olan LEED Platin Sertifikasını alan ilk üniversite araştırma veri merkeziydi. Enerji ve Çevresel Tasarım Programında Liderlik. İleriye dönük olarak, Kempner'ın MGHPCC ile olan ortaklığı, alanda ilerleme için daha hızlı ve daha güçlü bir araca dönüşürken bile Kempner'ın yapay zeka kümesini yeşil ve verimli tutarak verimlilik göz önünde bulundurularak büyümeye devam etmesine olanak tanıyacak.
Kempner İcra Direktörü Elise Porter, “Yalnızca son derece hızlı değil, aynı zamanda enerji açısından verimli bir yapay zeka kümesi oluşturmak, hem istihbarat alanını geliştirmek hem de bunu insanlara fayda sağlayacak şekilde yapmak için Kempner'ın misyonuna tam anlamıyla uyuyor” dedi. “Bu kümenin enerji verimliliği ön planda tutularak inşa edilmesini sağlamak için MGHPCC ile yakın işbirliği içinde çalıştık ve dünyanın en hızlı 32. yeşil süper bilgisayarı olarak sıralanmak bu çalışmanın bir kanıtıdır.”
Hızlı, yeşil ve insani
TOP500/Green500 listesinde üst sıralarda yer almak küçük bir başarı olmasa da, Kempner'ın çalışmasının gerçek gücü, çığır açan araştırmaları kolaylaştırmak için etkileyici bilgi işlem kaynaklarından nasıl yararlanılacağını bilmektir. Bu, yapay zeka kümesini oluşturmaktan ve araştırmacılara bu kümeye erişim vermekten daha fazlasını içerir. Sonuçta, araştırmacılar eski kodu kopyalayıp yeni makinelere yapıştıramazlar; geleneksel bilgisayarlarda çalışan belirli algoritma türlerinin, Kempner'ın bilgi işlem altyapısıyla kullanılmak üzere yeniden kavramsallaştırılması ve yeniden biçimlendirilmesi gerekir.
Bu amaçla Kempner, dağıtılmış hesaplamadan veri mimarisine ve hesaplamalı sinir bilimine kadar çeşitli uzmanlıklara sahip profesyonel araştırma mühendisleri ve araştırma bilim adamlarından oluşan “tam kapsamlı” bir ekip oluşturdu. Bu Araştırma ve Mühendislik ekibi, bilimsel sorunları hesaplamalı çözümlere bağlayan kesintisiz bir boru hattı sağlamak için araştırmacılarla birlikte çalışarak kod tabanları ve standartlar geliştiriyor. Ekip ayrıca öğrencilerin, öğretim üyelerinin ve öğretim üyelerinin modeller ve veriler için açık havuzların kodlanması, test edilmesi ve bakımı için sektörde test edilmiş en iyi uygulamaları benimsemelerine yardımcı olarak bilimsel bulguların tekrarlanabilir olmasını sağlar.
İnsanın bu bilgi birikimi, Kempner topluluğunun ve Bilim Üniversitesi'ndeki araştırmacıların, artık kolektif parmak uçlarında mevcut olan yeşil süper hesaplama gücünün bilimsel ve teknolojik potansiyelinden yararlanma yeteneğinin merkezinde yer alıyor.
En son Kempner Enstitüsü araştırması hakkında daha fazla bilgi edinmek için şu adrese göz atın: Derin Öğrenme blogu.