Ekran Kartlı Sunucu Nedir?

Ekran kartlı sunucu, işlemcinin yanında bir ya da birden fazla grafik işlem birimi (GPU) barındıran ve paralel hesaplama yükünü grafik işlem birimine devreden sunucudur. Ekran kartlı sunucudaki grafik işlem birimi ekrana görüntü basmak için değil, aynı işlemi binlerce veri parçası üzerinde aynı anda çalıştırmak için bulunur. Grafik işlem biriminin kendi belleği vardır ve VRAM adını taşır; hesaplama çekirdeklerine iş dağıtan yazılım katmanı ise CUDA gibi paralel hesaplama arayüzleridir. Bir işlemcinin saniyelerce sürdüğü matris çarpımı, aynı işi 5.000 çekirdeğe bölen bir grafik işlem biriminde milisaniyelere iner ve hızlandırma buradan doğar.

Yazının devamında ekran kartlı sunucunun ne işe yaradığını, grafik işlem birimi ile işlemci arasındaki farkı ve ne kadar VRAM gerektiğini açıklıyoruz. Sonrasında ekran kartlı sanal sunucu ile ekran kartlı fiziksel sunucu arasındaki farkı tabloya döküyor, ekran kartlı sunucuda hangi yazılımların çalıştığını sıralıyor ve kiralama fiyatını belirleyen kalemleri tek tek gösteriyoruz.

Ekran Kartlı Sunucu Ne İşe Yarar?

Ekran kartlı sunucu, işlemciye ek olarak grafik işlem birimi barındıran ve paralel hesaplama gerektiren işleri hızlandıran sunucudur. Farkı yaratan yapı, grafik işlem birimindeki binlerce küçük çekirdeğin aynı komutu farklı veri parçalarına aynı anda uygulamasıdır. Yapay zekâ eğitimi, video kodlama ve bilimsel simülasyon gibi yükler ekran kartlı sunucuda kat kat kısa sürede tamamlanır.

GPU ile CPU Arasındaki Fark Nedir?

GPU ile CPU arasındaki fark, çekirdek sayısı ile çekirdek başına düşen gücün ters orantılı dağılmasıdır. CPU az sayıda güçlü çekirdek taşır ve sıralı işi hızlı bitirir, GPU binlerce zayıf çekirdek taşır ve aynı işi büyük veri yığınına aynı anda uygular. İki birimin ölçütleri aşağıdaki tabloda karşılaştırılmıştır.

Tablodaki sayılar iki birimin birbirinin yerine geçmediğini gösterir; ekran kartlı sunucuda CPU işletim sistemini ve veri hazırlığını yürütür, GPU hesabı üstlenir. İşlemci tarafındaki çekirdek kararını CPU çekirdeği seçimi yazımızda ayrıntılandırdık.

Hangi İşler GPU’da Hızlanır?

Ekran kartlı sunucudan en yüksek kazancı sağlayan beş iş türü aşağıda listelenmiştir:

• Yapay zekâ model eğitimi. Sinir ağı eğitimi tamamen matris çarpımından oluşur ve aynı donanım sınıfındaki bir işlemciye göre 20 ile 50 kat hızlanır.
• Çıkarım servisleri. Eğitilmiş modelin istek başına yanıt üretmesi 8 ile 20 kat hızlanır, eş zamanlı istek kapasitesi aynı oranda yükselir.
• Video kodlama ve render. Donanım kodlayıcı devreleri sayesinde kodlama 6 ile 15 kat, üç boyutlu sahne render süresi 10 ile 30 kat kısalır.
• Bilimsel simülasyon. Akışkan dinamiği, moleküler modelleme ve sonlu elemanlar hesapları 15 ile 40 kat hızlanır.
• Görüntü işleme. Toplu yeniden boyutlandırma, filtre uygulama ve nesne tanıma işleri 5 ile 12 kat hızlanır.

Hangi İşler GPU’dan Fayda Görmez?

Sıralı işlem gerektiren ve her isteği birbirinden bağımsız işleyen yükler ekran kartlı sunucuda hiç hızlanmaz. Grafik işlem biriminden fayda görmeyen dört sunucu rolü aşağıda listelenmiştir:

• Web sunucusu. HTTP isteklerinin işlenmesi dallanmalı mantığa dayanır ve tek çekirdek hızıyla ölçülür.
• Veritabanı sorguları. Sorgu planlama, kilit yönetimi ve disk erişimi paralelleştirilemeyen adımlardan oluşur.
• Dosya sunucusu. Dosya paylaşımının sınırı disk ve ağ bant genişliğidir, hesaplama yükü yok denecek kadar azdır.
• E-posta sunucusu. Mesaj kuyruğu ve teslim işlemleri düşük işlemci gücüyle tamamlanır.

Veri katmanının kaynak ihtiyacını veritabanı sunucusu yazımızda ele aldık.

Ekran Kartlı Sunucuda Ne Kadar VRAM Gerekir?

Ekran kartlı sunucuda gereken VRAM miktarını işlenecek modelin ya da sahnenin belleğe sığan boyutu belirler. VRAM, grafik işlem biriminin kendi belleğidir ve sistem belleğinden bağımsız çalışır; model VRAM’e sığmadığında iş yavaşlamaz, hata vererek hiç başlamaz. Kullanım türlerine göre önerilen VRAM kapasiteleri aşağıdaki tabloda verilmiştir.

Tablodaki değerler yalnızca grafik işlem biriminin belleğidir. Sistem belleği veri hazırlığı ve veri seti önbelleği için ayrıca gerekir; VRAM kapasitesinin en az iki katı sistem belleği ayrılır. Sistem belleği tarafındaki kapasite hesabını sunucu RAM yazımızda anlattık.

VRAM Sistem Belleğiyle Aynı Şey mi?

Hayır, VRAM sistem belleğiyle aynı şey değildir. VRAM grafik işlem biriminin kart üzerindeki ayrı belleğidir, sistem belleği ise işlemciye bağlıdır ve iki bellek arasındaki veri aktarımı PCI Express veri yolu üzerinden yapılır.

Ekran Kartlı Sanal Sunucu ile Fiziksel Sunucu Arasındaki Fark Nedir?

Ekran kartlı sanal sunucu ile ekran kartlı fiziksel sunucu arasındaki fark, grafik işlem biriminin kaç kiracı arasında bölüşüldüğüdür. Sanal sunucuda kart ya zaman dilimlerine bölünür ya da GPU passthrough ile tek bir sanal sunucuya bütün olarak atanır, fiziksel sunucuda kartların tamamı tek kiracıya aittir. İki seçenek aşağıdaki tabloda karşılaştırılmıştır.

Passthrough yapılandırması sanal sunucuyu performans açısından fiziksel sunucuya yaklaştırır ve aradaki kaybı %30 seviyesinden %5 seviyesinin altına indirir. Yapılandırma seçeneklerini ve kaynak paketlerini sanal sunucu sayfamızda listeliyoruz.

GPU Passthrough Nedir?

GPU passthrough, fiziksel bir ekran kartının hipervizör tarafından tek bir sanal makineye doğrudan atanmasıdır. Passthrough yapılandırmasında üretici sürücüsü ana sistemde değil konuk işletim sisteminde çalışır ve konuk sistem kartı fiziksel bir makinedeymiş gibi görür. Hipervizör katmanının çalışma mantığını sanal makine nedir yazımızda açıkladık.

Paylaşımlı GPU ile Atanmış GPU Arasındaki Fark Nedir?

Paylaşımlı GPU modelinde tek bir kart, hipervizör tarafından zaman dilimlerine bölünerek birden çok sanal sunucuya dağıtılır. Her sanal sunucu kartı sırayla kullanır ve kendi hesap penceresini bekler. Atanmış GPU modelinde ise kart tek kullanıcıya aittir, zaman dilimi kuyruğu bulunmaz ve hesap süresi her çalıştırmada aynı kalır.

Fark yoğun saatlerde ölçülebilir hale gelir. Dört sanal sunucunun paylaştığı bir kartta üç kiracı aynı anda eğitim başlattığında her kiracının etkin hesap payı %25 seviyesine iner ve 40 dakikada biten bir eğitim turu 2 saatin üzerine çıkar. Atanmış GPU modelinde aynı tur her koşulda 40 dakikada tamamlanır; süre öngörülebilirliği gereken üretim işlerinde atanmış model kullanılır.

Ekran Kartlı Fiziksel Sunucu Ne Zaman Tercih Edilir?

Ekran kartlı fiziksel sunucunun sanal sunucuya üstün geldiği dört durum aşağıda listelenmiştir:

• Sürekli tam kapasite kullanım. Kart günün 20 saatinden fazlasında doluysa paylaşımlı model avantajını yitirir.
• Çoklu GPU gerektiren eğitim. Dört ve üzeri kartla dağıtık eğitimde kartlar arası doğrudan bağlantı gerekir.
• Veri yerleşimi zorunluluğu. Kişisel veri ve mevzuat gereği tek kiracılı donanım şartı aranan projelerde fiziksel sunucu kullanılır.
• Özel sürücü ihtiyacı. Çekirdek modülü derlemesi ve üretici sürücüsünün özel sürümü tam donanım erişimi ister.

Donanım seçenekleri ve paketler için fiziksel sunucu sayfamızı inceleyebilirsiniz.

Ekran Kartlı Sunucuda Hangi Yazılımlar Çalışır?

Ekran kartlı sunucuda çalışan yazılım katmanı sürücü kurulumuyla başlar; sürücü kurulmadan hiçbir hesaplama kitaplığı kartı göremez. Ekran kartlı sunucuda kurulan başlıca beş yazılım bileşeni aşağıda listelenmiştir:

• CUDA araç takımı. Paralel hesaplama arayüzünü, derleyiciyi ve matematik kitaplıklarını sağlar.
• Derin öğrenme kitaplıkları. Model eğitimi ve çıkarımı için kullanılan çatılar hesap çağrılarını doğrudan karta iletir.
• Video kodlama araçları. Donanım kodlayıcı devrelerini kullanan araçlar kodlama yükünü işlemciden alır.
• Render motorları. Üç boyutlu sahne hesabını grafik işlem birimine devreden motorlar ışın izleme çekirdeklerini kullanır.
• Konteyner çalışma zamanı. Konteyner içindeki uygulamaya kart erişimi veren çalışma zamanı eklentisi kurulur.

Konteyner tarafındaki kurulum ve imaj yapısını Docker yazımızda anlattık.

Hangi İşletim Sistemi Seçilmeli?

Linux, sürücü ve hesaplama kitaplığı desteğinde ekran kartlı sunucunun varsayılan tercihidir; çekirdek modülü doğrudan derlenir, konteyner çalışma zamanı sorunsuz kurulur ve derin öğrenme çatılarının tamamı Linux üzerinde birinci sınıf desteklenir. Windows ise masaüstü render motorları, video kurgu yazılımları ve yalnızca Windows üzerinde çalışan ticari uygulamalar için gerekir. Yapay zekâ ve çıkarım yükleri Linux, grafik ve kurgu yükleri Windows üzerinde kurulur. Linux tabanlı sunucu seçeneklerini Linux VDS yazımızda karşılaştırdık.

Sürücü Kurulumu Nasıl Yapılır?

Ekran kartlı sunucuda sürücü kurulumu dört adımda tamamlanır ve adımlar aşağıda sırasıyla verilmiştir:

1. Çekirdek başlıklarını ve derleme araçlarını kurun: sudo apt install linux-headers-$(uname -r) build-essential.
2. Üretici sürücüsünü dağıtımın resmî deposundan indirin ve kart nesline uygun sürümü seçin.
3. Kurulumu çalıştırın, kurulum bittikten sonra sunucuyu yeniden başlatın.
4. Kart tanımını nvidia-smi komutuyla doğrulayın; çıktıda kart adı, sürücü sürümü ve VRAM kapasitesi listelenir.

Kurulum adımlarının tamamı uzak bağlantı üzerinden yürütülür; bağlantı yöntemini SSH yazımızda açıkladık.

Ekran Kartlı Sunucu Kiralama Fiyatları Neye Göre Değişir?

Ekran kartlı sunucu kiralama bedelini belirleyen kalem donanımın kendisi değil, donanımın kaç kiracı arasında bölüşüldüğü ve ne kadar süre ayrıldığıdır. Fiyatı belirleyen beş kalem aşağıda listelenmiştir:

• Kart modeli. Kartın hesaplama gücü ve nesli bedelin ana bileşenidir.
• VRAM miktarı. 16 GB ile 80 GB arasındaki kapasite farkı bedele doğrudan yansır.
• Kart sayısı. Tek kart ile dört kartlı yapılandırma arasındaki fark doğrusal biçimde artar.
• İşlemci ve bellek eşleşmesi. Kart başına ayrılan çekirdek sayısı ve sistem belleği kapasitesi bedeli değiştirir.
• Kullanım süresi modeli. Saatlik, aylık ve yıllık taahhüt modelleri birim maliyeti farklı seviyelere taşır.

Sunucu yapılandırmalarını ve kaynak seçeneklerini VDS satın al sayfamızda listeliyoruz.

Saatlik Kiralama Mantıklı mı?

Saatlik kiralama, kesikli çalışan yüklerde aylık kiralamadan ucuza gelir. Model eğitimi haftada 3 gün ve günde 4 saat sürüyorsa aylık toplam kullanım 48 saat eder; 720 saatlik bir ayın yalnızca %7’si kullanılır ve saatlik model kazançlı çıkar.

Sürekli çalışan çıkarım servislerinde denklem tersine döner. Kart günün 24 saati açık kaldığında saatlik birim bedel aylık bedelin 2 ile 3 katına ulaşır, kullanım oranı %40’ı geçtiği noktada aylık kiralama ucuzlar. Saatlik faturalandırma ayrıntıları için bulut sunucu sayfamıza bakabilirsiniz.

Ekran Kartlı Sunucu Oyun Sunucusu İçin Gerekli mi?

Hayır, ekran kartlı sunucu oyun sunucusu için gerekli değildir. Oyun sunucusu yalnızca oyuncu konumlarını, çarpışma hesabını ve ağ senkronizasyonunu yürütür; grafik hesabı oyuncunun kendi bilgisayarındaki ekran kartında yapılır. Oyun sunucusunun gerçek kaynak ihtiyacını CS 1.6 sunucu kiralama yazımızda ele aldık.

Masaüstü Ekran Kartı Sunucuda Kullanılır mı?

Hayır, masaüstü ekran kartı sunucuda kullanılmaz. Sunucu kartları 7/24 tam yükte çalışacak biçimde tasarlanır, kasa içindeki yönlendirilmiş hava akışıyla pasif soğutulur ve hata düzelten bellek taşır. Masaüstü ekran kartlarının üzerindeki fan bloğu 1U ve 2U sunucu kasasına fiziksel olarak sığmaz, kart üreticisi de veri merkezi kullanımını garanti kapsamına almaz. Masaüstü tarafındaki kart seçimi ayrı bir konudur ve ekran kartlı sunucu kararını etkilemez.

Ekran Kartlı Sunucu Ne Kadar Sürede Teslim Edilir?

Ekran kartlı sanal sunucuyu ödeme onayından sonra 15 dakika ile 2 saat içinde, ekran kartlı fiziksel sunucuyu ise 1 ile 3 iş günü içinde teslim ediyoruz. Sanal sunucu tarafında işletim sistemi kurulumunu, sürücü yüklemesini ve ağ yapılandırmasını biz tamamlıyoruz; fiziksel sunucu tarafında kart montajı, donanım testi ve veri merkezi kurulumu süreye eklenir. Yapılandırma seçiminde teknik destek ekibimize ulaşabilirsiniz.