<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>AI &#8211; Mustafa Emir Çebi</title>
	<atom:link href="https://mecebi.com.tr/kategori/ai/feed/" rel="self" type="application/rss+xml" />
	<link>https://mecebi.com.tr</link>
	<description>Elektronik, Yazılım, Mühendislik</description>
	<lastBuildDate>Sat, 14 Nov 2026 18:52:22 +0000</lastBuildDate>
	<language>tr</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.5</generator>

<image>
	<url>https://mecebi.com.tr/wp-content/uploads/2024/12/android-chrome-512x512-1-150x150.png</url>
	<title>AI &#8211; Mustafa Emir Çebi</title>
	<link>https://mecebi.com.tr</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>T3 Gemstone O1’de Qwen3 1.7B &#8211; Cortex-A53 Performans Testi</title>
		<link>https://mecebi.com.tr/t3-gemstone-o1de-qwen3-1-7b-testi-cortex-a53/</link>
					<comments>https://mecebi.com.tr/t3-gemstone-o1de-qwen3-1-7b-testi-cortex-a53/#respond</comments>
		
		<dc:creator><![CDATA[Mustafa Emir Çebi]]></dc:creator>
		<pubDate>Sat, 14 Nov 2026 18:49:22 +0000</pubDate>
				<category><![CDATA[AI]]></category>
		<category><![CDATA[Cortex A53]]></category>
		<category><![CDATA[Qwen3]]></category>
		<category><![CDATA[T3 Gemstone]]></category>
		<guid isPermaLink="false">https://mecebi.com.tr/?p=272</guid>

					<description><![CDATA[T3 Gemstone O1’in 4 GB RAM’i ve dört Cortex-A53 çekirdeğiyle küçük bir dil modeli çalıştırdım. Model kartta yüklüyken bir internet servisine ihtiyaç duymadan yanıt üretebildim. Asıl merak ettiğim, kısa bir yanıtı ne kadar sürede alabileceğim ve dört iş parçacığı kullanmanın ne kazandıracağıydı. Ollama’da qwen:1.8b ile iki iş parçacığından dörde geçince 1,17 tok/s’den 2,14–2,23 tok/s’ye çıktım. [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">T3 Gemstone O1’in 4 GB RAM’i ve dört Cortex-A53 çekirdeğiyle küçük bir dil modeli çalıştırdım. Model kartta yüklüyken bir internet servisine ihtiyaç duymadan yanıt üretebildim. Asıl merak ettiğim, kısa bir yanıtı ne kadar sürede alabileceğim ve dört iş parçacığı kullanmanın ne kazandıracağıydı.</p>



<p class="wp-block-paragraph">Ollama’da <code>qwen:1.8b</code> ile iki iş parçacığından dörde geçince <strong>1,17 tok/s’den 2,14–2,23 tok/s’ye</strong> çıktım. Ayrı bir <code>llama-bench</code> testinde Qwen3 1.7B Q4_K_M, dört iş parçacığıyla <strong>token generation</strong> (yanıt tokenlerini üretme) aşamasında <strong>1,84 tok/s</strong>, 16 girdi tokeniyle yaptığım <strong>prompt processing</strong> (girdiyi işleme) testinde <strong>2,83 tok/s</strong> verdi.</p>



<h2 class="wp-block-heading">Deney ortamı</h2>



<figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th>Bileşen</th><th>Yapılandırma</th></tr></thead><tbody><tr><td>Geliştirme kartı</td><td>T3 Gemstone O1, Texas Instruments AM67A</td></tr><tr><td>İşlemci</td><td>4 × Arm Cortex-A53, üreticinin belirttiği frekans 1,4 GHz</td></tr><tr><td>Bellek</td><td>4 GB LPDDR4</td></tr><tr><td>İşletim sistemi</td><td>Ubuntu 24.04 LTS, ARM64, Linux <code>6.12.24-ti</code></td></tr><tr><td>İstek ve iş parçacığı denemeleri</td><td>Ollama, HTTP üzerinden yerel <code>/api/generate</code></td></tr><tr><td>Qwen3 benchmark’ı</td><td><code>llama.cpp</code> <code>b12241</code>, commit <code>cf6463ace</code>, CPU modu</td></tr><tr><td>Ölçülen Qwen3 dosyası</td><td>Ollama <code>qwen3:1.7b</code> etiketi, Q4_K_M GGUF, <code>llama-bench</code> çıktısında 1,26 GiB</td></tr></tbody></table></figure>



<p class="wp-block-paragraph">Q4_K_M, model ağırlıklarının bellekte kapladığı alanı azaltan bir kuantizasyon biçimi. Tablodaki 1,26 GiB model dosyasının boyutu. Çalışma sırasında bağlam için ayrılan KV önbelleği ve ara hesaplama tamponları da bellek kullanıyor. </p>



<h2 class="wp-block-heading">İlk yanıt neden yaklaşık üç dakika sürdü?</h2>



<p class="wp-block-paragraph">İlk Ollama denemesinde <code>qwen:1.8b</code> modeline DNS’in ne işe yaradığını sordum ve Türkçe iki kısa cümle istedim. Model benzer cümleleri tekrarlayarak <strong>301 token</strong> üretti. Bunun <strong>149,47 saniyesi</strong> token üretimine, <strong>15,36 saniyesi</strong> model yüklemeye, <strong>7,39 saniyesi</strong> istemi işlemeye gitti. İşlem toplamda <strong>172,27 saniye</strong> sürdü.</p>



<p class="wp-block-paragraph">Sonraki kısa denemede üst sınırı <code>num_predict: 32</code> olarak ayarladım. Ollama bu isteği <strong>21,15 saniyede</strong> tamamladı ve <code>done_reason: length</code> döndürdü. Model bu kez cümlesini tamamlayamadan durdu. Çıktı sınırı bekleme süresini kontrol etmeye yarıyor. Tek başına token üretim hızını artırmıyor. İlk denemedeki model yükleme süresi ile ikinci istekteki yaklaşık 4 ms’lik yükleme süresi de farklıydı.</p>



<h2 class="wp-block-heading">İki ve dört iş parçacığı ne kadar fark etti?</h2>



<p class="wp-block-paragraph">İş parçacığı sayısını ölçmek için <code>qwen:1.8b</code> ile aynı DNS sorusunu kullandım. Her koşuda <code>num_ctx</code> 1024, <code>num_predict</code> 24 ve <code>temperature</code> 0 olarak ayarlandı. <code>num_thread</code> değerini önce 2, sonra 4 yaptım ve ikili denemeyi tekrarladım.</p>



<figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th>Deneme</th><th>İş parçacığı</th><th>Token üretimi</th><th>Model yükleme</th><th>Toplam istek</th></tr></thead><tbody><tr><td>1</td><td>2</td><td>1,17 token/sn</td><td>13,3 sn</td><td>47,3 sn</td></tr><tr><td>1</td><td>4</td><td><strong>2,23 token/sn</strong></td><td>8,3 sn</td><td>25,9 sn</td></tr><tr><td>2</td><td>2</td><td>1,17 token/sn</td><td>9,8 sn</td><td>43,8 sn</td></tr><tr><td>2</td><td>4</td><td><strong>2,14 token/sn</strong></td><td>8,6 sn</td><td>26,8 sn</td></tr></tbody></table></figure>



<p class="wp-block-paragraph">Dört iş parçacığıyla token üretim hızı iki denemede sırasıyla <strong>1,91 ve 1,83 katına</strong> çıktı. Üretim hızını <code>eval_count / (eval_duration / 10⁹)</code> ile hesapladım. Toplam istek süresi modelin ne kadar sürede yüklendiğine de bağlı olduğu için hızlanmayı üretim sütunundan değerlendirdim. Bunlar iki kısa denemeye ait ölçümler. Her iki denemede de önce 2, ardından 4 iş parçacığını çalıştırdım ve koşu sırasını değiştirmedim. </p>



<h3 class="wp-block-heading">Ollama denemesini tekrarlamak</h3>



<p class="wp-block-paragraph">Ollama servisi kartta çalışırken <code>ollama pull qwen:1.8b</code> ile modeli indirip aşağıdaki komutları kartın terminalinde çalıştırdım. Üretim hızını ve yükleme süresini JSON yanıttan aldım.</p>



<pre class="wp-block-code"><code>for threads in 2 4; do
  printf '\nİş parçacığı: %s\n' "$threads"
  result=$(curl -fsS --max-time 90 http://127.0.0.1:11434/api/generate \
    -H 'Content-Type: application/json' \
    -d "{\"model\":\"qwen:1.8b\",\"prompt\":\"DNS ne işe yarar? Türkçe tek cümleyle açıkla.\",\"stream\":false,\"options\":{\"num_thread\":$threads,\"num_ctx\":1024,\"num_predict\":24,\"temperature\":0}}") || continue

  printf '%s\n' "$result" | python3 -c '
import json
import sys

r = json.load(sys.stdin)
seconds = r.get("eval_duration", 0) / 1e9
if seconds:
    print("Üretim: {:.2f} token/sn".format(r&#91;"eval_count"] / seconds))
print("Yükleme: {:.1f} sn | Toplam: {:.1f} sn".format(
    r&#91;"load_duration"] / 1e9, r&#91;"total_duration"] / 1e9
))
'
done</code></pre>



<h2 class="wp-block-heading">Qwen3 1.7B ile CPU benchmark’ı</h2>



<p class="wp-block-paragraph">Qwen3’te istem işleme ve token üretimini ayrı ölçmek için Ollama’nın indirdiği GGUF dosyasını <code>llama-bench</code>e verdim. <code>pp</code> istem tokenlerinin gruplar halinde işlenmesini, <code>tg</code> yeni tokenlerin sırayla üretilmesini ölçüyor. Aşağıdaki koşularda dört iş parçacığı kullandım. Flash Attention kapalıydı ve her koşuda bir ısınma turunun ardından üç ölçüm aldım. <a href="https://github.com/ggml-org/llama.cpp/tree/master/tools/llama-bench">llama-bench ölçüm yöntemi</a></p>



<figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th>Qwen3 1.7B Q4_K_M testi</th><th>Gruplama</th><th>Ortalama ± standart sapma</th></tr></thead><tbody><tr><td><code>pp16</code> · 16 girdi tokeni</td><td>16’lık batch, 8’lik mikro batch</td><td><strong>2,83 ± 0,00 token/sn</strong></td></tr><tr><td><code>pp64</code> · 64 girdi tokeni</td><td>64’lük batch, 64’lük mikro batch</td><td><strong>2,73 ± 0,00 token/sn</strong></td></tr><tr><td><code>tg8</code> · 8 yeni token</td><td>Sıralı üretim</td><td><strong>1,84 ± 0,04 token/sn</strong></td></tr></tbody></table></figure>



<p class="wp-block-paragraph">Raporlanan hızları süreye çevirince 16 girdi tokeni yaklaşık <strong>5,65 saniye</strong>, sekiz yeni token yaklaşık <strong>4,35 saniye</strong> ediyor. Bunlar ayrı testler. Bir sohbet isteğinin ilk token gecikmesini veya uçtan uca süresini bu iki satırı toplayarak hesaplamadım. <code>± 0,00</code> değeri aracın iki ondalık basamağa yuvarlanmış çıktısı. <code>pp16</code> ve <code>pp64</code> koşularında gruplama ayarları da değiştiği için bu iki ölçüm, istem uzunluğunun tek başına etkisini göstermiyor.</p>



<h3 class="wp-block-heading">Qwen3 benchmark’ını tekrarlamak</h3>



<p class="wp-block-paragraph">Önce <code>ollama pull qwen3:1.7b</code> ile modeli indir. <code>Modelfile</code> çıktısındaki <code>FROM</code> satırı Ollama’nın yerelde kullandığı GGUF dosyasının yolunu verir. Servis hesabına ait model dosyasını okumak için gerekirse <code>sudo</code> kullan.</p>



<pre class="wp-block-code"><code>model_blob=$(ollama show --modelfile qwen3:1.7b | sed -n 's/^FROM //p' | head -n 1)
test -n "$model_blob" &amp;&amp; sudo cp -i -- "$model_blob" "$HOME/qwen3-1.7b.gguf"</code></pre>



<p class="wp-block-paragraph">Ölçümleri aldığım <code>llama-bench</code>, <code>b12241</code> sürümünün Vulkan destekli ARM64 paketinden geliyordu. CPU modunu <code>-dev none -ngl 0 -nopo 1</code> ile seçtim. Aşağıdaki kurulum aynı sürümün standart Ubuntu ARM64 paketini kullanıyor. Tablodaki değerler ölçümde kullandığım pakete ait. <a href="https://github.com/ggml-org/llama.cpp/releases/expanded_assets/b12241">llama.cpp <code>b12241</code> paketleri</a></p>



<pre class="wp-block-code"><code>sudo apt install -y libgomp1
mkdir -p "$HOME/llama-cpu"
cd "$HOME/llama-cpu"
curl -fLO https://github.com/ggml-org/llama.cpp/releases/download/b12241/llama-b12241-bin-ubuntu-arm64.tar.gz
tar -xzf llama-b12241-bin-ubuntu-arm64.tar.gz
cd llama-b12241

model="$HOME/qwen3-1.7b.gguf"

# 16 girdi tokeni, iki adet 8'lik mikro batch
./llama-bench -m "$model" -dev none -ngl 0 -nopo 1 -fa off \
  -t 4 -p 16 -n 0 -b 16 -ub 8 -r 3 --progress

# 64 girdi tokeni, tek mikro batch
./llama-bench -m "$model" -dev none -ngl 0 -nopo 1 -fa off \
  -t 4 -p 64 -n 0 -b 64 -ub 64 -r 3 --progress

# 8 yeni token üretimi
./llama-bench -m "$model" -dev none -ngl 0 -nopo 1 -fa off \
  -t 4 -p 0 -n 8 -r 3 --progress</code></pre>



<h2 class="wp-block-heading">Kartta yerel LLM kullanma deneyimi</h2>



<p class="wp-block-paragraph">Hızı ölçerken yanıt kalitesini de gözlemledim. Küçük <code>qwen2.5:0.5b</code> modeli ayrı bir istekte 32 tokeni <strong>5,11 saniyede</strong> üretti ve istek <strong>15,23 saniyede</strong> tamamlandı. Ancak yanıt Türkçe ve anlaşılır bir tanım vermedi. Farklı modelleri aynı istem, çıktı uzunluğu ve yükleme koşullarıyla tekrar tekrar çalıştırmadığım için bu tek denemeyi bir model karşılaştırması olarak kullanmadım. <a href="https://ollama.com/library/qwen2.5:0.5b">Ollama Qwen2.5 0.5B model etiketi</a></p>



<p class="wp-block-paragraph">Gemstone O1’de dört iş parçacığı, kısa yerel yanıtlar için denediğim en hızlı CPU ayarıydı. Qwen3’te ölçtüğüm <strong>1,84 token/sn</strong> hız sabit kalsaydı 100 tokenin yalnızca üretimi yaklaşık <strong>54 saniye</strong> sürerdi. Bu yüzden etiketleme veya tek cümlelik yanıtlar gibi kısa çıktı isteyen işler bu kartta denemeye değer. Uzun bağlamlarda hız, ilk token gecikmesi, enerji tüketimi ve Türkçe yanıt doğruluğu için ayrı ölçümler gerekiyor.</p>
]]></content:encoded>
					
					<wfw:commentRss>https://mecebi.com.tr/t3-gemstone-o1de-qwen3-1-7b-testi-cortex-a53/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
	</channel>
</rss>
