← Engineering Notes

Engineering Note

T3 Gemstone O1’de Qwen3 1.7B – Cortex-A53 Performans Testi

T3 Gemstone O1’in 4 GB RAM’i ve dört Cortex-A53 çekirdeğiyle küçük bir dil modeli çalıştırdım. Model kartta yüklüyken bir internet servisine ihtiyaç duymadan yanıt üretebildim. Asıl merak ettiğim, kısa bir yanıtı ne kadar sürede alabileceğim ve dört iş parçacığı kullanmanın ne kazandıracağıydı.

Ollama’da qwen:1.8b ile iki iş parçacığından dörde geçince 1,17 tok/s’den 2,14–2,23 tok/s’ye çıktım. Ayrı bir llama-bench testinde Qwen3 1.7B Q4_K_M, dört iş parçacığıyla token generation (yanıt tokenlerini üretme) aşamasında 1,84 tok/s, 16 girdi tokeniyle yaptığım prompt processing (girdiyi işleme) testinde 2,83 tok/s verdi.

Deney ortamı

BileşenYapılandırma
Geliştirme kartıT3 Gemstone O1, Texas Instruments AM67A
İşlemci4 × Arm Cortex-A53, üreticinin belirttiği frekans 1,4 GHz
Bellek4 GB LPDDR4
İşletim sistemiUbuntu 24.04 LTS, ARM64, Linux 6.12.24-ti
İstek ve iş parçacığı denemeleriOllama, HTTP üzerinden yerel /api/generate
Qwen3 benchmark’ıllama.cpp b12241, commit cf6463ace, CPU modu
Ölçülen Qwen3 dosyasıOllama qwen3:1.7b etiketi, Q4_K_M GGUF, llama-bench çıktısında 1,26 GiB

Q4_K_M, model ağırlıklarının bellekte kapladığı alanı azaltan bir kuantizasyon biçimi. Tablodaki 1,26 GiB model dosyasının boyutu. Çalışma sırasında bağlam için ayrılan KV önbelleği ve ara hesaplama tamponları da bellek kullanıyor.

İlk yanıt neden yaklaşık üç dakika sürdü?

İlk Ollama denemesinde qwen:1.8b modeline DNS’in ne işe yaradığını sordum ve Türkçe iki kısa cümle istedim. Model benzer cümleleri tekrarlayarak 301 token üretti. Bunun 149,47 saniyesi token üretimine, 15,36 saniyesi model yüklemeye, 7,39 saniyesi istemi işlemeye gitti. İşlem toplamda 172,27 saniye sürdü.

Sonraki kısa denemede üst sınırı num_predict: 32 olarak ayarladım. Ollama bu isteği 21,15 saniyede tamamladı ve done_reason: length döndürdü. Model bu kez cümlesini tamamlayamadan durdu. Çıktı sınırı bekleme süresini kontrol etmeye yarıyor. Tek başına token üretim hızını artırmıyor. İlk denemedeki model yükleme süresi ile ikinci istekteki yaklaşık 4 ms’lik yükleme süresi de farklıydı.

İki ve dört iş parçacığı ne kadar fark etti?

İş parçacığı sayısını ölçmek için qwen:1.8b ile aynı DNS sorusunu kullandım. Her koşuda num_ctx 1024, num_predict 24 ve temperature 0 olarak ayarlandı. num_thread değerini önce 2, sonra 4 yaptım ve ikili denemeyi tekrarladım.

Denemeİş parçacığıToken üretimiModel yüklemeToplam istek
121,17 token/sn13,3 sn47,3 sn
142,23 token/sn8,3 sn25,9 sn
221,17 token/sn9,8 sn43,8 sn
242,14 token/sn8,6 sn26,8 sn

Dört iş parçacığıyla token üretim hızı iki denemede sırasıyla 1,91 ve 1,83 katına çıktı. Üretim hızını eval_count / (eval_duration / 10⁹) ile hesapladım. Toplam istek süresi modelin ne kadar sürede yüklendiğine de bağlı olduğu için hızlanmayı üretim sütunundan değerlendirdim. Bunlar iki kısa denemeye ait ölçümler. Her iki denemede de önce 2, ardından 4 iş parçacığını çalıştırdım ve koşu sırasını değiştirmedim.

Ollama denemesini tekrarlamak

Ollama servisi kartta çalışırken ollama pull qwen:1.8b ile modeli indirip aşağıdaki komutları kartın terminalinde çalıştırdım. Üretim hızını ve yükleme süresini JSON yanıttan aldım.

for threads in 2 4; do
  printf '\nİş parçacığı: %s\n' "$threads"
  result=$(curl -fsS --max-time 90 http://127.0.0.1:11434/api/generate \
    -H 'Content-Type: application/json' \
    -d "{\"model\":\"qwen:1.8b\",\"prompt\":\"DNS ne işe yarar? Türkçe tek cümleyle açıkla.\",\"stream\":false,\"options\":{\"num_thread\":$threads,\"num_ctx\":1024,\"num_predict\":24,\"temperature\":0}}") || continue

  printf '%s\n' "$result" | python3 -c '
import json
import sys

r = json.load(sys.stdin)
seconds = r.get("eval_duration", 0) / 1e9
if seconds:
    print("Üretim: {:.2f} token/sn".format(r["eval_count"] / seconds))
print("Yükleme: {:.1f} sn | Toplam: {:.1f} sn".format(
    r["load_duration"] / 1e9, r["total_duration"] / 1e9
))
'
done

Qwen3 1.7B ile CPU benchmark’ı

Qwen3’te istem işleme ve token üretimini ayrı ölçmek için Ollama’nın indirdiği GGUF dosyasını llama-benche verdim. pp istem tokenlerinin gruplar halinde işlenmesini, tg yeni tokenlerin sırayla üretilmesini ölçüyor. Aşağıdaki koşularda dört iş parçacığı kullandım. Flash Attention kapalıydı ve her koşuda bir ısınma turunun ardından üç ölçüm aldım. llama-bench ölçüm yöntemi

Qwen3 1.7B Q4_K_M testiGruplamaOrtalama ± standart sapma
pp16 · 16 girdi tokeni16’lık batch, 8’lik mikro batch2,83 ± 0,00 token/sn
pp64 · 64 girdi tokeni64’lük batch, 64’lük mikro batch2,73 ± 0,00 token/sn
tg8 · 8 yeni tokenSıralı üretim1,84 ± 0,04 token/sn

Raporlanan hızları süreye çevirince 16 girdi tokeni yaklaşık 5,65 saniye, sekiz yeni token yaklaşık 4,35 saniye ediyor. Bunlar ayrı testler. Bir sohbet isteğinin ilk token gecikmesini veya uçtan uca süresini bu iki satırı toplayarak hesaplamadım. ± 0,00 değeri aracın iki ondalık basamağa yuvarlanmış çıktısı. pp16 ve pp64 koşularında gruplama ayarları da değiştiği için bu iki ölçüm, istem uzunluğunun tek başına etkisini göstermiyor.

Qwen3 benchmark’ını tekrarlamak

Önce ollama pull qwen3:1.7b ile modeli indir. Modelfile çıktısındaki FROM satırı Ollama’nın yerelde kullandığı GGUF dosyasının yolunu verir. Servis hesabına ait model dosyasını okumak için gerekirse sudo kullan.

model_blob=$(ollama show --modelfile qwen3:1.7b | sed -n 's/^FROM //p' | head -n 1)
test -n "$model_blob" && sudo cp -i -- "$model_blob" "$HOME/qwen3-1.7b.gguf"

Ölçümleri aldığım llama-bench, b12241 sürümünün Vulkan destekli ARM64 paketinden geliyordu. CPU modunu -dev none -ngl 0 -nopo 1 ile seçtim. Aşağıdaki kurulum aynı sürümün standart Ubuntu ARM64 paketini kullanıyor. Tablodaki değerler ölçümde kullandığım pakete ait. llama.cpp b12241 paketleri

sudo apt install -y libgomp1
mkdir -p "$HOME/llama-cpu"
cd "$HOME/llama-cpu"
curl -fLO https://github.com/ggml-org/llama.cpp/releases/download/b12241/llama-b12241-bin-ubuntu-arm64.tar.gz
tar -xzf llama-b12241-bin-ubuntu-arm64.tar.gz
cd llama-b12241

model="$HOME/qwen3-1.7b.gguf"

# 16 girdi tokeni, iki adet 8'lik mikro batch
./llama-bench -m "$model" -dev none -ngl 0 -nopo 1 -fa off \
  -t 4 -p 16 -n 0 -b 16 -ub 8 -r 3 --progress

# 64 girdi tokeni, tek mikro batch
./llama-bench -m "$model" -dev none -ngl 0 -nopo 1 -fa off \
  -t 4 -p 64 -n 0 -b 64 -ub 64 -r 3 --progress

# 8 yeni token üretimi
./llama-bench -m "$model" -dev none -ngl 0 -nopo 1 -fa off \
  -t 4 -p 0 -n 8 -r 3 --progress

Kartta yerel LLM kullanma deneyimi

Hızı ölçerken yanıt kalitesini de gözlemledim. Küçük qwen2.5:0.5b modeli ayrı bir istekte 32 tokeni 5,11 saniyede üretti ve istek 15,23 saniyede tamamlandı. Ancak yanıt Türkçe ve anlaşılır bir tanım vermedi. Farklı modelleri aynı istem, çıktı uzunluğu ve yükleme koşullarıyla tekrar tekrar çalıştırmadığım için bu tek denemeyi bir model karşılaştırması olarak kullanmadım. Ollama Qwen2.5 0.5B model etiketi

Gemstone O1’de dört iş parçacığı, kısa yerel yanıtlar için denediğim en hızlı CPU ayarıydı. Qwen3’te ölçtüğüm 1,84 token/sn hız sabit kalsaydı 100 tokenin yalnızca üretimi yaklaşık 54 saniye sürerdi. Bu yüzden etiketleme veya tek cümlelik yanıtlar gibi kısa çıktı isteyen işler bu kartta denemeye değer. Uzun bağlamlarda hız, ilk token gecikmesi, enerji tüketimi ve Türkçe yanıt doğruluğu için ayrı ölçümler gerekiyor.

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir