『128GB CTO版でGLM-5.3-FlashのAJ-IQ3_XXS版を試行』のクチコミ掲示板

[shone_mond]

モノが届いたので、早速試してみました。

GLM-5.3-FlashのAJ-IQ3_XXS版を、128 GiBメモリのMac Studioで検証。
モデルは合計112.4 GBのGGUF 3ファイル。

ランタイムにはMetal対応の llama.cpp を使用し、コミット 1d0c76f3c、llama-server 0.3.0-dev（build 10791）に固定しました。

起動条件は -ngl 99 -ncmoe 20 -fa on -c 8192 -np 1 -b 512 -ub 128 -ctk q8_0 -ctv q8_0 --jinja。サーバーは 127.0.0.1:8080 で待ち受け、単一スロット・単一リクエストずつ試験しました。

算術、ログからの値の抽出、本文にない情報を推測しない応答、会話履歴の参照、120・300・500・650行のデータからの位置別検索を実施。テストした全てのケースで期待した回答が得られました。長文検索の実測値は次のとおりです。

入力データ入力tokens入力処理速度生成速度応答時間結果
120行1,32829.04 tokens/秒14.77 tokens/秒約52秒正答
300行3,30735.64 tokens/秒13.86 tokens/秒約100秒正答・切り詰めなし
500行5,50732.90 tokens/秒13.06 tokens/秒約176秒正答・切り詰めなし
650行7,15746.62 tokens/秒12.26 tokens/秒約162秒正答・切り詰めなし

メモリ圧迫は試験中に緑と黄色を往復。スワップ使用量の観測値は、650行試験の前後で 71.31M → 113.81M でした。
この構成では、少なくとも7,157入力tokensの単発リクエストで正しい応答を生成できました。
ただしこれは各条件1回ずつの合成データ試験です。

書込番号：26558487