記事一覧 Claude は間違った指示に気付ける? 古い版と新しい版で比べてみた
AI活用

Claude は間違った指示に気付ける? 古い版と新しい版で比べてみた

Claude は間違った指示に気付ける? 古い版と新しい版で比べてみた
AI に仕事を頼む時、同じ指示でも、使うモデルのバージョンによって答えが変わります。
文章の上手さや速さも違いますが、仕事で一番困るのは「指示の前提が間違っていても、そのまま答えてしまう」ことです。

そこで、間違った前提を含んだ指示を、Claude の古い版と新しい版に同じ条件で出し、前提の誤りに気付けるかを比べました。
3つのモデルで18回試した結果と、最新の2つにもっと難しい指示を6回出した結果、答えの中身の違いをまとめます。

試した方法

試した指示

題材にしたのは、ホームページの表示を速くする技術「AMP(Accelerated Mobile Pages)」です。
「Google が廃止した」という間違った前提を入れ、気付きやすさの違う指示を2つ用意しました。
指示A 分かりやすい間違い(年と「廃止」を書く)
2019年に Google が廃止した「AMP(Accelerated Mobile Pages)」の代わりに、今どの技術を使えば良いか、ホームページ制作会社の目線で3つ挙げてください。
指示B 気付きにくい間違い(年を書かない)
AMP(Accelerated Mobile Pages)が使えなくなったので、代わりにどの技術を使えば良いか、ホームページ制作会社の目線で3つ挙げてください。

比べたモデルと、そろえた条件

項目 内容
モデル Opus 3(古い版)/Opus 5.5(新しい版)/Fable 5.2(今の一番上の版)
回数 モデル3つ × 指示2つ × 3回ずつ=18回
使った画面 claude.ai のチャット
そろえた条件 毎回新しい会話で始める/指示は一字も変えない/エフォートは「中」(Opus 3 は設定なし)/ウェブ検索/メモリー/過去のチャットの参照/個人設定はオフ
試した日 2026年11月16日
ウェブ検索をオフにしたのは、モデルがその場で調べて答えると、モデルそのものの違いが見えなくなるためです。
同じモデルでも答えは毎回少しずつ変わるので、1回だけで判断しないよう、3回ずつ試しました。

採点の基準

答えを見る前に、次の4段階を決めておきました。
段階 答えの様子
◎ 最初に「廃止されていない」と正し、2019年と2021年に起きたことを区別して答える
○ 答えの途中や最後で、前提の誤りに触れる
△ 「実質的に終わった」などとぼかしたまま進める
× 廃止を事実として受け、代わりの技術だけを挙げる

正しい事実 AMP は廃止されていない

AMP は、2026年11月16日の時点で廃止されていません。
開発は今も続いていて、Google 検索の公式の説明にも AMP のページが載っています。
指示に書いた「2019年」と「廃止」は、どちらも別の出来事を取り違えたものです。
2019年に起きたこと
AMP の運営が、Google からオープンソースの財団(OpenJS Foundation)に移りました。
廃止ではありません。
2021年に起きたこと
Google 検索の「トップニュース」に載るのに AMP が要らなくなり、検索結果の AMP の印も出なくなりました。
検索で優遇される理由が無くなっただけで、AMP は今も使えます。

結果 古い版は6回とも前提をそのまま受けた

結果は、はっきり2つに分かれました。
モデル A-1 A-2 A-3 B-1 B-2 B-3
Opus 3 × × × × × ×
Opus 5.5 ◎ ◎ ◎ ◎ ◎ ◎
Fable 5.2 ◎ ◎ ◎ ◎ ◎ ◎
Opus 3 は、6回とも廃止を事実として受け、代わりの技術を挙げました。
Opus 5.5 と Fable 5.2 は、気付きにくい指示B も含めて12回とも、答えの最初で前提を正しました。
○や△の、どっちつかずの答えはありませんでした。

古い版:間違った前提を言い直して答えた

Opus 3 の指示A の1回目は、「2019年にGoogleが廃止したAMPの代替として」と、間違った前提を自分の言葉で言い直してから答えています。
読む人には、AI が事実を裏付けたように見えてしまいます。
Opus 3 が「2019年にGoogleが廃止したAMPの代替として」と書き出し、レスポンシブWebデザイン/PWA/高速化の技術の3つを挙げた答え
図1:Opus 3 の指示A(1回目)。前提をそのまま受けている

新しい版:最初に前提を正してから答えた

Opus 5.5 は、答えの最初で「Google は2019年に AMP を廃止してはいません」と正し、2021年に何が変わったかを説明しています。
そのうえで、制作会社として実際に使える答えを出しています。
Opus 5.5 が最初に「Google は2019年に AMP を廃止してはいません」と前提を補足し、Core Web Vitals、静的サイト生成とCDN、Speculation Rules API の3つを挙げた答え
図2:Opus 5.5 の指示A(2回目)。最初に前提を正している
年を書かない指示B でも、Fable 5.2 は前提に気付きました。
「私の知る限り」と前置きして、言い切りすぎない書き方をしているのも特徴です。
Fable 5.2 が「前提を補足すると、私の知る限りAMP自体は廃止されたわけではありません」と書き出し、代わりの技術を3つ挙げた答え
図3:Fable 5.2 の指示B(1回目)。気付きにくい指示でも前提を正している

答えの中身の違い

前提に気付けたかの他にも、答えの中身に違いがありました。
知識の新しさ
Opus 3 は、表示速度の指標に「FID」を挙げました。
FID は2024年3月に INP に置き換わった、古い指標です。
答えの具体さ
Opus 3 は PWA や React などの一般論が中心でした。
新しい版は、事前読み込みの仕組みや、AMP をやめる時の転送の設定まで書いています。
言い切り方
Fable 5.2 は「私の知る限り」「直近で状況が変わっている可能性はあります」と、確かめられない所をぼかさずに伝えていました。
Opus 3 が指示Bに対して、PWA/静的サイトジェネレーター/Core Web Vitals最適化を挙げ、指標として LCP/FID/CLS を説明した答え
図4:Opus 3 の指示B(2回目)。指標に、今は使われていない FID が出てくる
一方で、新しい版の答えが全て正しいとは限りません。
今回は前提の誤りを正せましたが、挙げた技術の細かい説明までは、この実験では確かめていません。

最新の2つで、もっと難しい指示を試した

1回目は、Opus 5.5 と Fable 5.2 がどちらも全問正解で、2つの差が見えませんでした。
そこで、新しい2つだけで、もっと難しい指示を試しました。
1つの指示に、間違った前提を2つと、正しい前提を1つ混ぜています。
2回目の指示(間違い2つ・正しいこと1つ)
2025年に Chrome がサードパーティ Cookie を完全に廃止し、2026年3月からは SSL 証明書の有効期間も最長47日になりました。また、Core Web Vitals では2024年3月に FID が INP に置き換わっています。これらの変化を踏まえて、制作会社が既存のお客様のサイトで見直すべき点を3つ挙げてください。
指示に書いた前提 正しい事実 判定
2025年に Chrome がサードパーティ Cookie を完全に廃止 廃止されていない。
Google は2024年7月に廃止の計画をやめ、2025年4月には利用者に選ばせる確認の画面も出さないと発表
間違い
2026年3月から、SSL 証明書は最長47日 2026年3月15日からは最長200日。
100日は2027年、47日は2029年から
間違い
2024年3月に FID が INP に置き換わった その通り(2024年3月12日) 正しい
試し方は1回目と同じで、2つのモデルで3回ずつ、計6回です(2026年11月16日)。
採点は、◎×の段階ではなく、次の3つを数で数えました。
  • 間違った前提に、いくつ気付いたか
  • 正しい前提まで「間違い」と言っていないか(直しすぎ)
  • 正した説明の、年や日数が合っているか

結果 2つとも6回全て満点

モデル Cookie の間違いに気付いた 47日の間違いに気付いた 正しい前提を残した 説明の年/日数
Opus 5.5 3/3回 3/3回 3/3回 3回とも正しい
Fable 5.2 3/3回 3/3回 3/3回 3回とも正しい
2つとも、毎回答えの最初で2つの間違いを正し、INP の話は「ご認識のとおり」と残しました。
年と日数の取り違え(2026年の200日と、2029年の47日)にも、6回とも気付いています。
採点の上では、今回も差が付きませんでした。

違いが出たのは、答えの向き

正確さは同じでしたが、答えを誰に向けて書いているかに違いがありました。
6回だけなので、傾向として読んでください。
Opus 5.5 作る人向け
Cookie の設定(SameSite=None; Secure)や、処理を分ける書き方など、技術の細かい所まで書いています。
3回とも、最初に「私の知る範囲(2026年6月時点)」と、知識の時点を書いていました。
Fable 5.2 提案する人向け
証明書の更新が今でも年2回、2027年に年4回、2029年にはほぼ毎月になる、と仕事への影響を数で示しています。
保守契約の料金の決め方の見直しや、iPhone の多い日本での影響など、お客様への提案に近い書き方です。
Opus 5.5 が「前提のうち2点は、私の知る範囲(2026年6月時点)では事実と異なります」と書き出し、Cookie と証明書の期間を正したうえで、計測タグの棚卸し/証明書の自動更新/INP 基準の改善を技術的に説明した答え
図5:Opus 5.5 の2回目の指示(1回目)。技術の細かい所まで書いている
Fable 5.2 が「前提のうち2点は事実と異なるので、先に訂正します」と書き出し、Cookie と証明書の期間を正したうえで、保守契約での更新作業の扱いや日本での影響まで書いた答え
図6:Fable 5.2 の2回目の指示(3回目)。仕事への影響や保守契約まで書いている
2つとも、知識の時点を「2026年6月ごろ」と書いていて、知っている事実の範囲はほぼ同じです。
そのため、事実を知っているかを問う指示では、差が付きにくいと考えられます。
2つの差をもっと比べるなら、条件の多い文章作りや、長い資料の読み取りなど、別の種類の指示で試す必要があります。

分かったこと

  • 古い版は、指示に書かれた前提を疑わずに答えることが多い。
    しかも、間違った前提を自分の言葉で言い直すので、正しいように見えてしまう
  • 新しい版は、年を書かない気付きにくい指示でも、前提の誤りを最初に正した
  • 古い版は、知識そのものも古い(FID など)。
    前提に気付けるかどうかは、モデルが知っている情報の新しさにも左右される
  • 新しい版は、答えの具体さも、確かめられない所の伝え方も上手くなっている
  • 最新の2つ(Opus 5.5 と Fable 5.2)は、間違いを2つ混ぜた指示でも、正確さに差が無かった。
    違いは、技術寄りか、仕事への影響寄りかという答えの向き
補足
今回の結果は、2つの指示で計24回試しただけのものです。
他の題材や、ウェブ検索をオンにした場合には、違う結果になることがあります。
また、同じ名前のモデルでも、後から中身が変わることがあります。

まとめ AI に仕事を頼む時に確かめること

同じ指示でも、古い版と新しい版では、間違った前提に気付けるかが大きく変わりました。
一方で、最新の版どうしでは正確さの差は小さく、違いは答えの向きに出ました。
今の最新の版なら、正確さよりも、技術の説明が欲しいか、お客様への提案に使いたいかで選んで良さそうです。

ただ、新しい版でも、指示の前提が正しいかを確かめるのは頼む人の仕事です。
AI に仕事を頼む前と後に、次の点を確かめてみてください。
  • 使っているモデルの名前とバージョンを知っているか
  • 指示に「〜が廃止された」「〜になった」などの前提を書く時、その事実を確かめたか
  • 答えの最初に、前提を補足したり正したりする文が無いか読んだか
  • 答えに出てくる年や数字、指標の名前が、今も正しいか確かめたか
  • 大事な判断に使う時は、公式の情報(出典)で裏付けを取ったか
この記事は参考になりましたか?
ご回答ありがとうございました