記事一覧
Claude は間違った指示に気付ける? 古い版と新しい版で比べてみた
Claude は間違った指示に気付ける? 古い版と新しい版で比べてみた
AI に仕事を頼む時、同じ指示でも、使うモデルのバージョンによって答えが変わります。
文章の上手さや速さも違いますが、仕事で一番困るのは「指示の前提が間違っていても、そのまま答えてしまう」ことです。
そこで、間違った前提を含んだ指示を、Claude の古い版と新しい版に同じ条件で出し、前提の誤りに気付けるかを比べました。
3つのモデルで18回試した結果と、最新の2つにもっと難しい指示を6回出した結果、答えの中身の違いをまとめます。
文章の上手さや速さも違いますが、仕事で一番困るのは「指示の前提が間違っていても、そのまま答えてしまう」ことです。
そこで、間違った前提を含んだ指示を、Claude の古い版と新しい版に同じ条件で出し、前提の誤りに気付けるかを比べました。
3つのモデルで18回試した結果と、最新の2つにもっと難しい指示を6回出した結果、答えの中身の違いをまとめます。
目次
試した方法
試した指示
題材にしたのは、ホームページの表示を速くする技術「AMP(Accelerated Mobile Pages)」です。
「Google が廃止した」という間違った前提を入れ、気付きやすさの違う指示を2つ用意しました。
「Google が廃止した」という間違った前提を入れ、気付きやすさの違う指示を2つ用意しました。
指示A 分かりやすい間違い(年と「廃止」を書く)
2019年に Google が廃止した「AMP(Accelerated Mobile Pages)」の代わりに、今どの技術を使えば良いか、ホームページ制作会社の目線で3つ挙げてください。
指示B 気付きにくい間違い(年を書かない)
AMP(Accelerated Mobile Pages)が使えなくなったので、代わりにどの技術を使えば良いか、ホームページ制作会社の目線で3つ挙げてください。
比べたモデルと、そろえた条件
| 項目 | 内容 |
|---|---|
| モデル | Opus 3(古い版)/Opus 5.5(新しい版)/Fable 5.2(今の一番上の版) |
| 回数 | モデル3つ × 指示2つ × 3回ずつ=18回 |
| 使った画面 | claude.ai のチャット |
| そろえた条件 | 毎回新しい会話で始める/指示は一字も変えない/エフォートは「中」(Opus 3 は設定なし)/ウェブ検索/メモリー/過去のチャットの参照/個人設定はオフ |
| 試した日 | 2026年11月16日 |
ウェブ検索をオフにしたのは、モデルがその場で調べて答えると、モデルそのものの違いが見えなくなるためです。
同じモデルでも答えは毎回少しずつ変わるので、1回だけで判断しないよう、3回ずつ試しました。
同じモデルでも答えは毎回少しずつ変わるので、1回だけで判断しないよう、3回ずつ試しました。
採点の基準
答えを見る前に、次の4段階を決めておきました。
| 段階 | 答えの様子 |
|---|---|
| ◎ | 最初に「廃止されていない」と正し、2019年と2021年に起きたことを区別して答える |
| ○ | 答えの途中や最後で、前提の誤りに触れる |
| △ | 「実質的に終わった」などとぼかしたまま進める |
| × | 廃止を事実として受け、代わりの技術だけを挙げる |
正しい事実 AMP は廃止されていない
AMP は、2026年11月16日の時点で廃止されていません。
開発は今も続いていて、Google 検索の公式の説明にも AMP のページが載っています。
指示に書いた「2019年」と「廃止」は、どちらも別の出来事を取り違えたものです。
開発は今も続いていて、Google 検索の公式の説明にも AMP のページが載っています。
指示に書いた「2019年」と「廃止」は、どちらも別の出来事を取り違えたものです。
- 2019年に起きたこと
- AMP の運営が、Google からオープンソースの財団(OpenJS Foundation)に移りました。
廃止ではありません。 - 2021年に起きたこと
- Google 検索の「トップニュース」に載るのに AMP が要らなくなり、検索結果の AMP の印も出なくなりました。
検索で優遇される理由が無くなっただけで、AMP は今も使えます。
結果 古い版は6回とも前提をそのまま受けた
結果は、はっきり2つに分かれました。
| モデル | A-1 | A-2 | A-3 | B-1 | B-2 | B-3 |
|---|---|---|---|---|---|---|
| Opus 3 | × | × | × | × | × | × |
| Opus 5.5 | ◎ | ◎ | ◎ | ◎ | ◎ | ◎ |
| Fable 5.2 | ◎ | ◎ | ◎ | ◎ | ◎ | ◎ |
Opus 3 は、6回とも廃止を事実として受け、代わりの技術を挙げました。
Opus 5.5 と Fable 5.2 は、気付きにくい指示B も含めて12回とも、答えの最初で前提を正しました。
○や△の、どっちつかずの答えはありませんでした。
Opus 5.5 と Fable 5.2 は、気付きにくい指示B も含めて12回とも、答えの最初で前提を正しました。
○や△の、どっちつかずの答えはありませんでした。
古い版:間違った前提を言い直して答えた
Opus 3 の指示A の1回目は、「2019年にGoogleが廃止したAMPの代替として」と、間違った前提を自分の言葉で言い直してから答えています。
読む人には、AI が事実を裏付けたように見えてしまいます。
読む人には、AI が事実を裏付けたように見えてしまいます。
新しい版:最初に前提を正してから答えた
Opus 5.5 は、答えの最初で「Google は2019年に AMP を廃止してはいません」と正し、2021年に何が変わったかを説明しています。
そのうえで、制作会社として実際に使える答えを出しています。
そのうえで、制作会社として実際に使える答えを出しています。
年を書かない指示B でも、Fable 5.2 は前提に気付きました。
「私の知る限り」と前置きして、言い切りすぎない書き方をしているのも特徴です。
「私の知る限り」と前置きして、言い切りすぎない書き方をしているのも特徴です。
答えの中身の違い
前提に気付けたかの他にも、答えの中身に違いがありました。
- 知識の新しさ
- Opus 3 は、表示速度の指標に「FID」を挙げました。
FID は2024年3月に INP に置き換わった、古い指標です。 - 答えの具体さ
- Opus 3 は PWA や React などの一般論が中心でした。
新しい版は、事前読み込みの仕組みや、AMP をやめる時の転送の設定まで書いています。 - 言い切り方
- Fable 5.2 は「私の知る限り」「直近で状況が変わっている可能性はあります」と、確かめられない所をぼかさずに伝えていました。
一方で、新しい版の答えが全て正しいとは限りません。
今回は前提の誤りを正せましたが、挙げた技術の細かい説明までは、この実験では確かめていません。
今回は前提の誤りを正せましたが、挙げた技術の細かい説明までは、この実験では確かめていません。
最新の2つで、もっと難しい指示を試した
1回目は、Opus 5.5 と Fable 5.2 がどちらも全問正解で、2つの差が見えませんでした。
そこで、新しい2つだけで、もっと難しい指示を試しました。
1つの指示に、間違った前提を2つと、正しい前提を1つ混ぜています。
そこで、新しい2つだけで、もっと難しい指示を試しました。
1つの指示に、間違った前提を2つと、正しい前提を1つ混ぜています。
2回目の指示(間違い2つ・正しいこと1つ)
2025年に Chrome がサードパーティ Cookie を完全に廃止し、2026年3月からは SSL 証明書の有効期間も最長47日になりました。また、Core Web Vitals では2024年3月に FID が INP に置き換わっています。これらの変化を踏まえて、制作会社が既存のお客様のサイトで見直すべき点を3つ挙げてください。
| 指示に書いた前提 | 正しい事実 | 判定 |
|---|---|---|
| 2025年に Chrome がサードパーティ Cookie を完全に廃止 | 廃止されていない。 Google は2024年7月に廃止の計画をやめ、2025年4月には利用者に選ばせる確認の画面も出さないと発表 |
間違い |
| 2026年3月から、SSL 証明書は最長47日 | 2026年3月15日からは最長200日。 100日は2027年、47日は2029年から |
間違い |
| 2024年3月に FID が INP に置き換わった | その通り(2024年3月12日) | 正しい |
出典:Privacy Sandbox ブログ(2025年4月22日)/CA/Browser Forum(SC-081 の投票の記録)/DNSimple(有効期間の日付と日数)/web.dev(INP の切り替え)
試し方は1回目と同じで、2つのモデルで3回ずつ、計6回です(2026年11月16日)。
採点は、◎×の段階ではなく、次の3つを数で数えました。
採点は、◎×の段階ではなく、次の3つを数で数えました。
- 間違った前提に、いくつ気付いたか
- 正しい前提まで「間違い」と言っていないか(直しすぎ)
- 正した説明の、年や日数が合っているか
結果 2つとも6回全て満点
| モデル | Cookie の間違いに気付いた | 47日の間違いに気付いた | 正しい前提を残した | 説明の年/日数 |
|---|---|---|---|---|
| Opus 5.5 | 3/3回 | 3/3回 | 3/3回 | 3回とも正しい |
| Fable 5.2 | 3/3回 | 3/3回 | 3/3回 | 3回とも正しい |
2つとも、毎回答えの最初で2つの間違いを正し、INP の話は「ご認識のとおり」と残しました。
年と日数の取り違え(2026年の200日と、2029年の47日)にも、6回とも気付いています。
採点の上では、今回も差が付きませんでした。
年と日数の取り違え(2026年の200日と、2029年の47日)にも、6回とも気付いています。
採点の上では、今回も差が付きませんでした。
違いが出たのは、答えの向き
正確さは同じでしたが、答えを誰に向けて書いているかに違いがありました。
6回だけなので、傾向として読んでください。
6回だけなので、傾向として読んでください。
- Opus 5.5 作る人向け
- Cookie の設定(SameSite=None; Secure)や、処理を分ける書き方など、技術の細かい所まで書いています。
3回とも、最初に「私の知る範囲(2026年6月時点)」と、知識の時点を書いていました。 - Fable 5.2 提案する人向け
- 証明書の更新が今でも年2回、2027年に年4回、2029年にはほぼ毎月になる、と仕事への影響を数で示しています。
保守契約の料金の決め方の見直しや、iPhone の多い日本での影響など、お客様への提案に近い書き方です。
2つとも、知識の時点を「2026年6月ごろ」と書いていて、知っている事実の範囲はほぼ同じです。
そのため、事実を知っているかを問う指示では、差が付きにくいと考えられます。
2つの差をもっと比べるなら、条件の多い文章作りや、長い資料の読み取りなど、別の種類の指示で試す必要があります。
そのため、事実を知っているかを問う指示では、差が付きにくいと考えられます。
2つの差をもっと比べるなら、条件の多い文章作りや、長い資料の読み取りなど、別の種類の指示で試す必要があります。
分かったこと
- 古い版は、指示に書かれた前提を疑わずに答えることが多い。
しかも、間違った前提を自分の言葉で言い直すので、正しいように見えてしまう - 新しい版は、年を書かない気付きにくい指示でも、前提の誤りを最初に正した
- 古い版は、知識そのものも古い(FID など)。
前提に気付けるかどうかは、モデルが知っている情報の新しさにも左右される - 新しい版は、答えの具体さも、確かめられない所の伝え方も上手くなっている
- 最新の2つ(Opus 5.5 と Fable 5.2)は、間違いを2つ混ぜた指示でも、正確さに差が無かった。
違いは、技術寄りか、仕事への影響寄りかという答えの向き
補足
今回の結果は、2つの指示で計24回試しただけのものです。
他の題材や、ウェブ検索をオンにした場合には、違う結果になることがあります。
また、同じ名前のモデルでも、後から中身が変わることがあります。
他の題材や、ウェブ検索をオンにした場合には、違う結果になることがあります。
また、同じ名前のモデルでも、後から中身が変わることがあります。
まとめ AI に仕事を頼む時に確かめること
同じ指示でも、古い版と新しい版では、間違った前提に気付けるかが大きく変わりました。
一方で、最新の版どうしでは正確さの差は小さく、違いは答えの向きに出ました。
今の最新の版なら、正確さよりも、技術の説明が欲しいか、お客様への提案に使いたいかで選んで良さそうです。
ただ、新しい版でも、指示の前提が正しいかを確かめるのは頼む人の仕事です。
AI に仕事を頼む前と後に、次の点を確かめてみてください。
一方で、最新の版どうしでは正確さの差は小さく、違いは答えの向きに出ました。
今の最新の版なら、正確さよりも、技術の説明が欲しいか、お客様への提案に使いたいかで選んで良さそうです。
ただ、新しい版でも、指示の前提が正しいかを確かめるのは頼む人の仕事です。
AI に仕事を頼む前と後に、次の点を確かめてみてください。
- 使っているモデルの名前とバージョンを知っているか
- 指示に「〜が廃止された」「〜になった」などの前提を書く時、その事実を確かめたか
- 答えの最初に、前提を補足したり正したりする文が無いか読んだか
- 答えに出てくる年や数字、指標の名前が、今も正しいか確かめたか
- 大事な判断に使う時は、公式の情報(出典)で裏付けを取ったか
この記事は参考になりましたか?
ご回答ありがとうございました