GPU Sunucu Nedir, Kimler Kullanır? Doğru GPU Nasıl Seçilir?

Yapay zeka modelleri, 3D render ve video işleme gibi iş yükleri yaygınlaştıkça GPU sunucu kavramı yalnızca büyük araştırma kurumlarının değil, ajansların, yazılım firmalarının ve girişimlerin de gündemine girdi. GPU sunucu, standart işlemcinin yanında bir veya daha fazla grafik işlem birimi (GPU) barındıran ve paralel hesaplama gerektiren işleri çok daha hızlı yapan bir sunucudur. Bu yazıda GPU sunucunun ne olduğunu, kimlerin kullandığını, VRAM ihtiyacının nasıl hesaplanacağını ve farklı GPU modelleri arasında nasıl seçim yapılacağını anlatıyoruz.

GPU Sunucu Nedir?

Bir CPU, az sayıda ama güçlü çekirdekle çok çeşitli işleri sırayla ve esnek şekilde yapmak üzere tasarlanmıştır. Bir GPU ise binlerce daha basit çekirdekle aynı işlemi çok büyük veri kümeleri üzerinde aynı anda yapar. Matris çarpımı, piksel işleme ve vektör hesapları gibi paralelleştirilebilir işlerde bu mimari CPU'ya göre kat kat yüksek verim sağlar.

GPU sunucu, bu kartları veri merkezi ortamında; kesintisiz enerji, soğutma ve yüksek hızlı ağ bağlantısıyla birlikte sunar. Kendi ofisinizde güçlü bir iş istasyonu kurmaktan farklı olarak donanım, elektrik ve soğutma yönetimiyle uğraşmazsınız ve sunucuya 7/24 uzaktan erişirsiniz.

CUDA ve yazılım ekosistemi

NVIDIA GPU'ların sunucu dünyasında yaygın olmasının temel nedeni CUDA ekosistemidir. PyTorch, TensorFlow, ONNX Runtime gibi yapay zeka çerçeveleri; Blender Cycles gibi render motorları ve FFmpeg'in NVENC/NVDEC tabanlı donanım hızlandırması CUDA veya NVIDIA sürücüleri üzerine kuruludur. Bu, mevcut kodunuzun ve araçlarınızın çoğunun ek uyarlama gerektirmeden çalışması demektir.

GPU Sunucuyu Kimler Kullanır?

Yapay zeka ve makine öğrenmesi ekipleri

Büyük dil modellerini (LLM) kendi altyapısında çalıştırmak isteyen şirketler, müşteri verisini üçüncü taraf API'lere göndermeden çıkarım (inference) yapabilir. Açık kaynak modellerin kendi verinizle ince ayarı (fine-tuning), görüntü sınıflandırma, nesne tanıma ve konuşmadan metne dönüştürme gibi işler GPU üzerinde pratik sürelerde tamamlanır.

Görüntü üretimi ve yaratıcı ajanslar

Stable Diffusion gibi açık kaynak görüntü üretim modelleri yerel GPU'da çalıştırıldığında hem hız hem gizlilik kazanılır. Reklam ajansları ve tasarım stüdyoları, görsel varyasyonlarını kendi sunucularında üretebilir.

3D render ve görselleştirme

Mimari görselleştirme, ürün animasyonu ve efekt çalışmalarında GPU tabanlı render motorları, CPU tabanlı render'a göre çok daha kısa sürede sonuç verir. Uzun render işlerini sunucuya bırakmak, tasarımcının bilgisayarını serbest bırakır.

Video işleme ve yayın

NVIDIA GPU'lardaki donanımsal kodlayıcılar (NVENC), çok sayıda video akışının eş zamanlı dönüştürülmesini CPU'ya yük bindirmeden yapar. Canlı yayın platformları, video arşivleri ve güvenlik kamerası analiz sistemleri bu özellikten yararlanır.

Bilimsel hesaplama ve veri analizi

Simülasyon, genetik analiz, finansal modelleme ve büyük veri kümeleri üzerinde GPU hızlandırmalı veri analizi kütüphaneleri, araştırma ve analiz ekiplerinin iş akışını belirgin şekilde kısaltır.

En Önemli Kriter: VRAM

GPU seçiminde ilk bakılması gereken, çoğu zaman çekirdek sayısı değil VRAM (ekran kartı belleği) miktarıdır. Model ağırlıkları ve işlenen veri GPU belleğine sığmazsa iş ya hiç çalışmaz ya da çok yavaşlar.

Dil modelleri için kaba bir hesap yapılabilir: Modelin parametre sayısı ile parametre başına bayt sayısını çarparsınız.

• FP16/BF16: Parametre başına 2 bayt. 7 milyar parametreli bir model yalnızca ağırlıklar için yaklaşık 14 GB gerektirir.
• 8 bit nicemleme (quantization): Parametre başına yaklaşık 1 bayt. Aynı model yaklaşık 7 GB'a iner.
• 4 bit nicemleme: Parametre başına yaklaşık 0,5 bayt. Aynı model yaklaşık 3,5-4 GB'a iner.

Bu değerlere bağlam penceresi için ayrılan önbellek (KV cache) ve çalışma zamanı ek yükü eklenmelidir. Bu nedenle hesapladığınız değerin üzerinde pay bırakmak gerekir. Örneğin 13 milyar parametreli bir model FP16'da yaklaşık 26 GB ağırlık gerektirdiği için 24 GB'lık tek bir karta sığmaz; ancak 8 bit veya 4 bit nicemlenmiş haliyle rahatça çalışır.

İnce ayar (fine-tuning) çıkarımdan çok daha fazla bellek gerektirir; çünkü ağırlıkların yanında gradyanlar ve optimizer durumları da bellekte tutulur. LoRA ve QLoRA gibi parametre verimli yöntemler bu ihtiyacı önemli ölçüde azaltır.

GPU Modelleri Karşılaştırması

DataHost GPU sunucu seçeneklerinde farklı iş yüklerine yönelik dört NVIDIA modeli bulunur:

Hangi senaryoda hangisi?

• En yüksek tek kart performansı: RTX 4090, aynı VRAM sınıfında yüksek hesaplama gücü sunar. Görüntü üretimi, render ve hızlı yanıt gerektiren LLM çıkarımı için güçlü bir seçimdir.
• Sürekli çalışan çıkarım ve video servisleri: L4, veri merkezi için tasarlanmış düşük güç tüketimli yapısı ve 24 GB belleğiyle 7/24 çalışan API servisleri ve video dönüştürme işleri için dengeli bir seçenektir.
• Profesyonel görselleştirme ve ECC bellek ihtiyacı: RTX 4000 Ada, ECC bellek desteği ve profesyonel sürücü ekosistemiyle uzun süreli, hata toleransı önemli işlerde tercih edilir.
• Başlangıç ve test ortamları: RTX A4000, 16 GB belleğiyle nicemlenmiş küçük-orta modeller, geliştirme ortamları ve orta ölçekli render işleri için yeterlidir.

GPU Dışında Nelere Dikkat Etmeli?

GPU sunucu performansı yalnızca karta bağlı değildir. Dengesiz bir yapılandırma, pahalı GPU'nun beklemede kalmasına yol açar:

• Sistem RAM'i: Modeller GPU'ya yüklenmeden önce çoğunlukla sistem belleğinden geçer; veri ön işleme de RAM üzerinde yapılır. Sistem RAM'inin toplam VRAM'den az olmaması genel kabul gören bir yaklaşımdır.
• Disk: Model dosyaları onlarca gigabayt olabilir ve eğitim veri kümeleri çok daha büyüktür. NVMe SSD, modellerin hızlı yüklenmesini ve veri akışının GPU'yu bekletmemesini sağlar.
• İşlemci: Veri hazırlama, görüntü çözme ve tokenizasyon gibi adımlar CPU'da çalışır. Zayıf bir işlemci GPU'yu yeterince besleyemez.
• Ağ: Modeli bir API olarak sunacaksanız veya büyük veri kümelerini sunucuya aktaracaksanız bağlantı kapasitesi ve gecikme de hesaba katılmalıdır.

GPU Sunucuda İlk Adımlar

Sunucu teslim edildikten sonra ilk iş, sürücünün ve kartın doğru tanındığını kontrol etmektir:

nvidia-smi

Bu komut kart modelini, sürücü sürümünü, desteklenen CUDA sürümünü, bellek kullanımını ve çalışan işlemleri gösterir. Ubuntu'da sürücü kurulu değilse önerilen sürücüyü şu şekilde kurabilirsiniz:

sudo ubuntu-drivers list
sudo ubuntu-drivers install
sudo reboot

Yapay zeka iş yüklerini konteynerle çalıştırmak, kütüphane sürümü çakışmalarını önlemenin en pratik yoludur. Docker ile GPU kullanımı için NVIDIA Container Toolkit kurulmalıdır. Kurulumdan sonra konteynerin GPU'yu görüp görmediğini şöyle test edersiniz:

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi

Docker kurulumunun kendisi için VDS'e Docker kurulumu rehberimize bakabilirsiniz; adımlar GPU sunucuda da aynıdır.

Erişim güvenliği

Jupyter, model API'leri veya web arayüzleri gibi servisleri doğrudan internete açmayın. SSH tüneli, VPN veya kimlik doğrulamalı bir ters vekil arkasında yayınlayın. GPU sunucular yüksek hesaplama gücü nedeniyle kripto madenciliği amaçlı saldırıların cazip hedefidir.

GPU Sunucu mu, Bulut GPU mu, Kendi Donanımınız mı?

Kısa süreli ve düzensiz denemeler için saatlik bulut GPU'lar mantıklı olabilir. Ancak iş yükü sürekli hale geldiğinde, aylık sabit bir GPU sunucu maliyeti öngörülebilirlik sağlar ve veri transferi gibi değişken kalemlerle uğraşmazsınız. Kendi donanımınızı satın almak ise yüksek başlangıç yatırımı, elektrik, soğutma ve arıza yönetimini beraberinde getirir. Kendi GPU donanımınız zaten varsa onu bir veri merkezine yerleştirmek de bir seçenektir; bu modeli sunucu barındırma (colocation) yazımızda ele aldık.

Veri gizliliği de önemli bir karar kriteridir. Müşteri verisini işleyen yapay zeka uygulamalarında verinin Türkiye'deki bir sunucuda işlenmesi, yurt dışına aktarım değerlendirmelerini sadeleştirebilir. Bu konuyu KVKK ve sunucu lokasyonu yazımızda ayrıntılı olarak inceledik.

GPU gerektirmeyen ama yüksek işlemci gücü isteyen iş yükleriniz (veritabanı, derleme, CPU tabanlı analiz) için ise Ankara lokasyonlu dedicated sunucular daha uygun maliyetli bir çözüm olabilir.

Sık Sorulan Sorular

GPU sunucu fiyatları nasıl belirlenir?

Fiyat; GPU modeli, kart sayısı, işlemci, RAM, disk ve kiralama süresine göre değişir. DataHost GPU sunucularında fiyatlandırma ihtiyaca göre teklif usulüyle yapılır; güncel bilgi için GPU sunucu sayfasından talep oluşturabilirsiniz.

LLM çalıştırmak için hangi GPU yeterli?

Belirleyici olan model boyutu ve nicemleme seviyesidir. 7-8 milyar parametreli modeller nicemlenmiş haliyle 16 GB kartlarda rahat çalışır. Daha büyük modeller veya daha uzun bağlam pencereleri için 24 GB kartlar daha fazla esneklik sağlar.

GPU sunucuda Windows kullanabilir miyim?

Kullanılan donanım ve sürücü desteğine bağlı olarak Windows Server kurulabilir. Ancak yapay zeka araçlarının büyük kısmı Linux üzerinde daha olgun desteklenir; Ubuntu LTS sürümleri yaygın tercihtir.

Birden fazla GPU'lu sunucu gerekir mi?

Tek karta sığmayan büyük modeller, paralel eğitim veya çok sayıda eş zamanlı kullanıcıya hizmet veren çıkarım servisleri için çoklu GPU yapılandırmaları gerekebilir. İhtiyacınızı netleştirmek için iş yükünüzü teklif aşamasında paylaşmanız en doğrusudur.

GPU sunucu; yapay zeka, görüntü üretimi, render ve video işleme gibi paralel hesaplama gerektiren işler için CPU tabanlı sunuculardan çok daha verimli bir çözümdür. Doğru seçim için önce VRAM ihtiyacınızı hesaplayın, ardından iş yükünüzün sürekli mi dönemsel mi olduğuna karar verin. RTX 4090, L4, RTX 4000 Ada ve RTX A4000 seçenekleri hakkında teklif almak için GPU sunucu kiralama sayfamızı ziyaret edebilirsiniz.