『M5とM4のMLX分散実行も問題なし』のクチコミ掲示板

[shone_mond]

Mac Studio M5(128GB) + Mac Studio M4 (36GB) をTB5で接続し、MLXで分散実行できるかを確認してみた。

mlx.distributed_config` が生成したJACCLホストファイル(対称性確認済み)を用いて、`all_sum` を両rankで実行:
```json
{ "backend": "jaccl", "envs": ["MLX_METAL_FAST_SYNCH=1"],
"hosts": [
{ "ssh": "Mac-Studio-M5.local", "ips": ["192.168.10.106"], "rdma": [null, "rdma_en4"] },
{ "ssh": "Mac-Studio-M4.local", "ips": ["192.168.10.107"], "rdma": ["rdma_en5", null] } ] }
```
rank=0 size=2 sum=array([2, 2, 2, ..., 2, 2, 2], dtype=float32)
rank=1 size=2 sum=array([2, 2, 2, ..., 2, 2, 2], dtype=float32)

all_sum(ones(10))が2ノードで2を返したので、JACCL over RDMA の初期化と集団通信が成立したと判断。

Llama-3.2-3B-Instruct-4bitで分散推論もOK
mlx.launch --hostfile ~/cluster-jaccl.json -- mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit --max-tokens 128 でチャットREPLを起動し、日本語プロンプトに対する応答トークン生成を確認:
>> 簡単に自己紹介して
私は、AIのコンポーネントです。... 私の知識は、2023年12月までに更新されました。

他、自作ベンチでちょびっとトークン生成させての簡易測定では、
M4 単ノード : 236.0 tok/s
M5 単ノード : 344.1 tok/s
TP×2 : 178.2 tok/s.
こんな感じ。

とりまこれでクラスタでも動かせることが確認できて一安心。

書込番号：26558953