家のLLMが遅いとき、先に疑うのは計算より運び

ざっくり言うと

遅いと感じたら、いきなり設定をいじらない。同じ質問で待つ秒数を3回書き、計算が詰まっているのか、データの運びが詰まっているのかを先に分ける。分からなければ、軽いモデルに一時的に替えて比べる。

家のパソコンで大きな言語モデルを動かしていて、「最近重い」と感じている人。

1. 設定より先に、同じ条件で待ち時間を測る。
2. 計算が忙しいのか、運びが詰まっているのかで次の手が変わる。
3. 一度に変えるつまみは1つ。戻せるように今の値を控える。

グラフィックボードの使用率が高いまま、待ち時間が長い。質問を短くしてもあまり変わらない。重いモデルを選んでいる可能性が高い。

グラフィックボードは暇なのに、返事まで時間がかかる。長い依頼ほど遅くなる。モデルを軽くしても劇的には変わらない。

同じ質問を3回、秒数だけメモする。次に、質問を半分の長さにして再度3回。差が小さければ計算側、差が大きければ運び側を疑う。

うまくいった日は型を増やさない。崩れた日だけ手順を1段戻す。外の使い方記事でも、全部盛りより「今夜試せる一手」が繰り返し出てくる。理論の正しさより、自分の現場で再現できるかが先。

1. 同じ質問で待つ秒数を3回書く。
2. 質問を短くして再度3回書く。
3. グラフィックボードの使用率を横目で見る。
4. 原因が見えたら、つまみは1つだけ変える。

夜に急いでいるときほど、設定いじりが増える。だがその変更は記録されない。秒数3回のメモは1行で足りる。
ベンチの数字だけ見て、自分の典型タスクを試さない。3つの設定を同時に変えて、何が効いたか分からなくなる。