コンテキストウィンドウ

15 sec ver.

AIが一度に見ていられる文章の量には上限があります。だから会話が長くなると、最初に伝えた前提が視界から押し出されていくんです。

この言葉自体は覚えなくて大丈夫です。AIには見えている範囲があって、そこから外れると前提を忘れます。対策も先に言うと、会話を切って新しく始めるだけです。

AIは、そのとき見えている文章だけを手がかりに次の一言を決めています。この見える範囲がコンテキストウィンドウで、上限はモデルごとに決まっています。上限を超えると、古い話から順に外へ出ていきます。

やっかいなのは、AIが「もう見えていません」と言ってくれないところです。見えなくなった前提を推測で埋めて答えるので、返事は返ってくるのに内容だけがずれていきます。

長い会話で急に質が落ちたと感じるのは、頭が悪くなったからではありません。単に視界が狭くなっただけなんです。

ですから、ひとつの会話を粘って続けるより、要点をまとめて新しい会話を始めてください。同じAIのまま精度が戻ります。

会議室のホワイトボードを思い出してください。

書ける面積は決まっていますよね。新しいことを書き足したくなったら、どうしますか。左端の古い内容を消すしかありません。

そして30分後、誰かが「さっき決めた前提はどこ？」と聞きます。もう消えているので、誰も答えられません。AIの中で起きているのは、これとまったく同じことです。

つまりAIは、忘れたわけではないんです。板から消えているだけです。だから、消える前に要点を書き写して、新しい板で始めればいいんです。

御社で「AIの調子が悪い」と言われている場面のほとんどは、使い方だけで直ります。ひとつの会話で粘るより、目的ごとに切り分けたほうが、同じ料金のまま精度が上がります。道具を買い替える前に、まだできることが残っています。

✗「上限が大きいモデルを選べば解決する」 → 解決しません。視界が広がると、今度は注意が散ります。入れられる量と、正しく使える量は別物です。上限を増やす前に、渡す情報を絞るほうが効きます。