T3 Gemstone O1’in 4 GB RAM’i ve dört Cortex-A53 çekirdeğiyle küçük bir dil modeli çalıştırdım. Model kartta yüklüyken bir internet servisine ihtiyaç duymadan yanıt üretebildim. Asıl merak ettiğim, kısa bir yanıtı ne kadar sürede alabileceğim ve dört iş parçacığı kullanmanın ne kazandıracağıydı.
Ollama’da qwen:1.8b ile iki iş parçacığından dörde geçince 1,17 tok/s’den 2,14–2,23 tok/s’ye çıktım. Ayrı bir llama-bench testinde Qwen3 1.7B Q4_K_M, dört iş parçacığıyla token generation (yanıt tokenlerini üretme) aşamasında 1,84 tok/s, 16 girdi tokeniyle yaptığım prompt processing (girdiyi işleme) testinde 2,83 tok/s verdi.
Deney ortamı
| Bileşen | Yapılandırma |
|---|---|
| Geliştirme kartı | T3 Gemstone O1, Texas Instruments AM67A |
| İşlemci | 4 × Arm Cortex-A53, üreticinin belirttiği frekans 1,4 GHz |
| Bellek | 4 GB LPDDR4 |
| İşletim sistemi | Ubuntu 24.04 LTS, ARM64, Linux 6.12.24-ti |
| İstek ve iş parçacığı denemeleri | Ollama, HTTP üzerinden yerel /api/generate |
| Qwen3 benchmark’ı | llama.cpp b12241, commit cf6463ace, CPU modu |
| Ölçülen Qwen3 dosyası | Ollama qwen3:1.7b etiketi, Q4_K_M GGUF, llama-bench çıktısında 1,26 GiB |
Q4_K_M, model ağırlıklarının bellekte kapladığı alanı azaltan bir kuantizasyon biçimi. Tablodaki 1,26 GiB model dosyasının boyutu. Çalışma sırasında bağlam için ayrılan KV önbelleği ve ara hesaplama tamponları da bellek kullanıyor.
İlk yanıt neden yaklaşık üç dakika sürdü?
İlk Ollama denemesinde qwen:1.8b modeline DNS’in ne işe yaradığını sordum ve Türkçe iki kısa cümle istedim. Model benzer cümleleri tekrarlayarak 301 token üretti. Bunun 149,47 saniyesi token üretimine, 15,36 saniyesi model yüklemeye, 7,39 saniyesi istemi işlemeye gitti. İşlem toplamda 172,27 saniye sürdü.
Sonraki kısa denemede üst sınırı num_predict: 32 olarak ayarladım. Ollama bu isteği 21,15 saniyede tamamladı ve done_reason: length döndürdü. Model bu kez cümlesini tamamlayamadan durdu. Çıktı sınırı bekleme süresini kontrol etmeye yarıyor. Tek başına token üretim hızını artırmıyor. İlk denemedeki model yükleme süresi ile ikinci istekteki yaklaşık 4 ms’lik yükleme süresi de farklıydı.
İki ve dört iş parçacığı ne kadar fark etti?
İş parçacığı sayısını ölçmek için qwen:1.8b ile aynı DNS sorusunu kullandım. Her koşuda num_ctx 1024, num_predict 24 ve temperature 0 olarak ayarlandı. num_thread değerini önce 2, sonra 4 yaptım ve ikili denemeyi tekrarladım.
| Deneme | İş parçacığı | Token üretimi | Model yükleme | Toplam istek |
|---|---|---|---|---|
| 1 | 2 | 1,17 token/sn | 13,3 sn | 47,3 sn |
| 1 | 4 | 2,23 token/sn | 8,3 sn | 25,9 sn |
| 2 | 2 | 1,17 token/sn | 9,8 sn | 43,8 sn |
| 2 | 4 | 2,14 token/sn | 8,6 sn | 26,8 sn |
Dört iş parçacığıyla token üretim hızı iki denemede sırasıyla 1,91 ve 1,83 katına çıktı. Üretim hızını eval_count / (eval_duration / 10⁹) ile hesapladım. Toplam istek süresi modelin ne kadar sürede yüklendiğine de bağlı olduğu için hızlanmayı üretim sütunundan değerlendirdim. Bunlar iki kısa denemeye ait ölçümler. Her iki denemede de önce 2, ardından 4 iş parçacığını çalıştırdım ve koşu sırasını değiştirmedim.
Ollama denemesini tekrarlamak
Ollama servisi kartta çalışırken ollama pull qwen:1.8b ile modeli indirip aşağıdaki komutları kartın terminalinde çalıştırdım. Üretim hızını ve yükleme süresini JSON yanıttan aldım.
for threads in 2 4; do
printf '\nİş parçacığı: %s\n' "$threads"
result=$(curl -fsS --max-time 90 http://127.0.0.1:11434/api/generate \
-H 'Content-Type: application/json' \
-d "{\"model\":\"qwen:1.8b\",\"prompt\":\"DNS ne işe yarar? Türkçe tek cümleyle açıkla.\",\"stream\":false,\"options\":{\"num_thread\":$threads,\"num_ctx\":1024,\"num_predict\":24,\"temperature\":0}}") || continue
printf '%s\n' "$result" | python3 -c '
import json
import sys
r = json.load(sys.stdin)
seconds = r.get("eval_duration", 0) / 1e9
if seconds:
print("Üretim: {:.2f} token/sn".format(r["eval_count"] / seconds))
print("Yükleme: {:.1f} sn | Toplam: {:.1f} sn".format(
r["load_duration"] / 1e9, r["total_duration"] / 1e9
))
'
done
Qwen3 1.7B ile CPU benchmark’ı
Qwen3’te istem işleme ve token üretimini ayrı ölçmek için Ollama’nın indirdiği GGUF dosyasını llama-benche verdim. pp istem tokenlerinin gruplar halinde işlenmesini, tg yeni tokenlerin sırayla üretilmesini ölçüyor. Aşağıdaki koşularda dört iş parçacığı kullandım. Flash Attention kapalıydı ve her koşuda bir ısınma turunun ardından üç ölçüm aldım. llama-bench ölçüm yöntemi
| Qwen3 1.7B Q4_K_M testi | Gruplama | Ortalama ± standart sapma |
|---|---|---|
pp16 · 16 girdi tokeni | 16’lık batch, 8’lik mikro batch | 2,83 ± 0,00 token/sn |
pp64 · 64 girdi tokeni | 64’lük batch, 64’lük mikro batch | 2,73 ± 0,00 token/sn |
tg8 · 8 yeni token | Sıralı üretim | 1,84 ± 0,04 token/sn |
Raporlanan hızları süreye çevirince 16 girdi tokeni yaklaşık 5,65 saniye, sekiz yeni token yaklaşık 4,35 saniye ediyor. Bunlar ayrı testler. Bir sohbet isteğinin ilk token gecikmesini veya uçtan uca süresini bu iki satırı toplayarak hesaplamadım. ± 0,00 değeri aracın iki ondalık basamağa yuvarlanmış çıktısı. pp16 ve pp64 koşularında gruplama ayarları da değiştiği için bu iki ölçüm, istem uzunluğunun tek başına etkisini göstermiyor.
Qwen3 benchmark’ını tekrarlamak
Önce ollama pull qwen3:1.7b ile modeli indir. Modelfile çıktısındaki FROM satırı Ollama’nın yerelde kullandığı GGUF dosyasının yolunu verir. Servis hesabına ait model dosyasını okumak için gerekirse sudo kullan.
model_blob=$(ollama show --modelfile qwen3:1.7b | sed -n 's/^FROM //p' | head -n 1)
test -n "$model_blob" && sudo cp -i -- "$model_blob" "$HOME/qwen3-1.7b.gguf"
Ölçümleri aldığım llama-bench, b12241 sürümünün Vulkan destekli ARM64 paketinden geliyordu. CPU modunu -dev none -ngl 0 -nopo 1 ile seçtim. Aşağıdaki kurulum aynı sürümün standart Ubuntu ARM64 paketini kullanıyor. Tablodaki değerler ölçümde kullandığım pakete ait. llama.cpp b12241 paketleri
sudo apt install -y libgomp1
mkdir -p "$HOME/llama-cpu"
cd "$HOME/llama-cpu"
curl -fLO https://github.com/ggml-org/llama.cpp/releases/download/b12241/llama-b12241-bin-ubuntu-arm64.tar.gz
tar -xzf llama-b12241-bin-ubuntu-arm64.tar.gz
cd llama-b12241
model="$HOME/qwen3-1.7b.gguf"
# 16 girdi tokeni, iki adet 8'lik mikro batch
./llama-bench -m "$model" -dev none -ngl 0 -nopo 1 -fa off \
-t 4 -p 16 -n 0 -b 16 -ub 8 -r 3 --progress
# 64 girdi tokeni, tek mikro batch
./llama-bench -m "$model" -dev none -ngl 0 -nopo 1 -fa off \
-t 4 -p 64 -n 0 -b 64 -ub 64 -r 3 --progress
# 8 yeni token üretimi
./llama-bench -m "$model" -dev none -ngl 0 -nopo 1 -fa off \
-t 4 -p 0 -n 8 -r 3 --progress
Kartta yerel LLM kullanma deneyimi
Hızı ölçerken yanıt kalitesini de gözlemledim. Küçük qwen2.5:0.5b modeli ayrı bir istekte 32 tokeni 5,11 saniyede üretti ve istek 15,23 saniyede tamamlandı. Ancak yanıt Türkçe ve anlaşılır bir tanım vermedi. Farklı modelleri aynı istem, çıktı uzunluğu ve yükleme koşullarıyla tekrar tekrar çalıştırmadığım için bu tek denemeyi bir model karşılaştırması olarak kullanmadım. Ollama Qwen2.5 0.5B model etiketi
Gemstone O1’de dört iş parçacığı, kısa yerel yanıtlar için denediğim en hızlı CPU ayarıydı. Qwen3’te ölçtüğüm 1,84 token/sn hız sabit kalsaydı 100 tokenin yalnızca üretimi yaklaşık 54 saniye sürerdi. Bu yüzden etiketleme veya tek cümlelik yanıtlar gibi kısa çıktı isteyen işler bu kartta denemeye değer. Uzun bağlamlarda hız, ilk token gecikmesi, enerji tüketimi ve Türkçe yanıt doğruluğu için ayrı ölçümler gerekiyor.
