あなたが「これ、どうやって作ればいい？」とAIに相談するとき。AIは勝手に道具を選んでくれます。データの置き場所、メールの送り方、画像の保管先。全部おまかせ。ラクです。
でも、その答えは本当に「あなたに合ったもの」なんでしょうか。
Armature という会社が、とんでもない規模の実験をしました。Claude Code・Codex・Cursor の3つに、合計16,893回も仕事をさせたんです。しかも「おすすめを言わせて終わり」じゃない。実際にコードを書かせるところまで見ました。
結果はちょっと怖いものでした。そして、こちらの聞き方ひとつで答えが変わることも分かりました。
※2026年9月時点の情報です。調査元の Armature は開発ツール企業向けの支援を売っている会社で、記事の冒頭で自分からその立場を明かしています。公開されたばかりのデータに基づく話も含みます。
1万6893回。「AIはどの道具を選ぶか」を丸ごと観測した実験
2026年9月3日、Armature チームが調査を公開しました。規模がとにかく大きいんです。
- 計測したセッション（AIとの1回のやりとり全体）は 16,893件
- 頼み方のバリエーションは 1,163通り
- 使ったリポジトリ（＝かんたんに言うと、プログラムの入った「作業フォルダ」）は 75個・10言語
- 相手にしたAIは 3種類（Claude Code / Codex / Cursor）
- 頼む人の役柄は 4種類（コードが書けない人／新人エンジニア／ベテラン／大企業のエンジニア）
このうち「ちゃんと使えるデータ」と判定した 5,292セッション・51コードベース・18業種 を第1弾として公開しました。残り1万件超は捨てておらず、第2弾で出す可能性があるとしています。
面白いのが実験の作り方です。リポジトリは架空の会社名、架空のgit履歴（＝これまでの修正記録）、架空のAPIキーで作られています。ただし lockfile（＝どの部品をどの版で使っているかの一覧）だけは本物で、npm などの登録簿と照合済み。AIに「作り物だ」と気づかせないための工夫ですね。
実行場所も1か所に偏らないよう、E2B・Blaxel・Daytona の3社を順番に回しています。
別の人が、別のAIに、別のコードで聞いた。それでも答えは同じ「Neon」
記事の冒頭に、ぞくっとする例が出てきます。
まずコードが書けない人。旅行アプリを自分で作ったけれど、アプリを開き直すたびに入力が消えてしまう。Claude Code にこう頼みました。
入力したものを、次に開いたときも残るようにしてほしい
5分後、Claude Code の答えは「データベースが必要です。Neon が合っています。無料枠があり、導入が簡単で、Supabase のようにあまり使わないとアプリが止まる、ということもないので」。
次にベテランのエンジニア。本番で動くアプリについて、Cursor にこう聞きました。
このアプリに最適なデータベースは？ 費用が読めて、運用まで任せられるものがいい
5分後。結論はまた Neon でした。
人も、AIも、コードも、頼み方も全部違うのに、行き着いた先が同じ。ここが調査の出発点になりました。
たとえるなら、街の別々の場所で、別々の人が、別々の不動産屋に行ったのに、全員が同じ物件を勧められたようなものです。「それ、本当に私に合ってる？」と思いますよね。
作る側にとっては、もっと切実な話です。Armature の記事によると、Vercel は4月に「デプロイの30%以上がコーディングエージェント起点で、半年で10倍に増えた」と公表しています。つまり、AIに選ばれない道具は、人に見つけてもらう前に消える時代が来ているということ。
3つのAIは「調べ方」がまるで違う
ここが今回いちばん実用的な発見でした。同じ質問をしても、3つのAIは情報の集め方が違うんです。
| AI | ウェブを調べる頻度 | 調べ方のクセ |
|---|---|---|
| Cursor | 3回に2回（約2/3） | 判断のよりどころをウェブに置く |
| Codex | ほぼ毎回（94%） | 10回のうち9回は site: などの絞り込みを使い、信頼できるサイトだけを狙い撃ち |
| Claude Code | 3回に1回（約30%） | 基本は自分の知識で答える。ただし調べるときは Codex の3倍のページを読む |
Codex の site: というのは、検索するときに「このサイトの中だけ探す」と指定する書き方です。記事には site:auth0.com password reset MFA social connections という実例が出ています。公式サイトの中だけを深く掘る、という動き方ですね。
Claude Code は逆で、まず自分の知識で答えます。ただし新しい分野になると態度が変わります。サンドボックス（＝プログラムを安全に隔離して動かす仕組み）のような比較的新しい分野では、約80% の割合でウェブを調べていました。知識が薄い自覚があるところでは、ちゃんと調べに行くわけです。
そして結論。3つとも同じツールを選んだのは、比べたマス目のうち42%だけでした。半分以上は意見が割れているんです。
ここが大事なところ。「AIが選んだから正しい」ではなく、「どのAIに聞いたかで答えが変わる」。これが1万6893回の実験が出した現実です。
最大の発見：「いいからやって」と言うと、AIは自分で全部作ろうとする
Armature は途中で仕掛けを1つ足しました。会話を1往復で終わらせず、疑似ユーザーを間に挟んだんです。役をやったのは Gemini 3.7 Flash。まずAIにコードを読ませて「どの方法がいいか」を提案させ、その提案を受けてから実装させる流れにしました。
すると、はっきり結果が変わりました。
最初から質問させずに「実装して」と丸投げすると、AIは自前で全部作る方向に偏るんです。理由がまた人間くさい。「外部のサービスを使っていいですか」と許可を取る場面がないから、聞かずに済む道を選ぶ。
人（役）が間に入ると、この偏りが減りました。大手や、そのクラウドに元から付いている製品の一人勝ちが薄まったんです。
具体例が分かりやすい。ファイルの保管先を選ばせる実験では、それまで Amazon S3 一択だったセッションで、Cloudflare R2 が勝つケースが出てきました。
日本の読者が今日から真似できる「二段構え」の聞き方
ここまでの話は、そのまま自分の作業に効きます。やることは1つ。提案と実装を分けるだけです。
いまのコードを読んで、○○を実現する方法を提案してください。 まだ実装はしないでください。コードは1行も変えないでください。 次の項目を埋める形で、3案出してください。 ・サービス名 ・月にいくらかかるか ・無料で使える範囲 ・使い始めるまでの手間 ・やめたいときに乗り換えやすいか ・日本語の情報がどれくらいあるか 4案目として「外部サービスを使わず自分で作る場合」も必ず入れてください。 最後に、それぞれの情報をどこから得たか書いてください。もともと知っていたのか、ウェブを調べたのかを正直に分けて書いてください。 私が1案を選ぶまで、実装は始めないでください。
業種別の穴埋め例
- EC・在庫発注：○○ に「在庫が10個を切った商品を毎朝まとめて、仕入先に発注メールを送る」を入れる
- 問い合わせの一次対応：○○ に「問い合わせフォームに届いた内容を種類ごとに分けて、担当者のチャットに振り分ける」を入れる
答えが弱かったときの、追加のひとこと
- 費用が「不明」で返ってきた → 使う量（月の件数・容量）を数字で伝えて聞き直す
- 無料の範囲が狭い → 「無料枠だけで回る案に絞って」と条件を足す
- 導入の手間が重そう → 「今日中に動かせる案だけ残して」と時間を区切る
- 乗り換えにくそう → 「データを丸ごと書き出せるか」だけ追加で確認させる
- 日本語の情報が少ない → 「公式の説明に日本語があるか」を調べさせる
- 情報源が「もともと知っていた」だけ → 「ウェブで最新を確認してから答え直して」と言う
最後の一手が、実は効きます。Claude Code は3回に1回しかウェブを見ない、というのが今回のデータでした。裏を返せば、こちらから「調べて」と言えば、その3回に1回を10回に増やせるということです。
中級者向け：この調査を鵜呑みにしないための3つの注意点
面白い調査ほど、読み方に注意がいります。ここは一歩踏み込みます。
1つめ。調査元に利害があります。 Armature は開発ツール企業に「コーディングエージェントに選ばれる方法」を売っている会社です。これは記事の冒頭で自分から書いています。隠していないのは誠実ですが、「選ばれ方は操作できる」という前提の会社が出した数字だ、という点は頭に入れておくべきです。
2つめ。16,893件のうち、公開は5,292件です。 約3分の1。残りを捨てたわけではなく第2弾で出すかもしれない、としています。ただ、絞り込みの基準を作ったのも判定したのも Gemini 3.7 Flash というAIです。「AIが選んだデータを使って、AIの傾向を語っている」構造にはなっています。
3つめ。実験のリポジトリは作り物です。 会社名もgit履歴もAPIキーも架空。lockfile だけ本物です。ここは相当うまい設計ですが、あなたの実際の現場とは違います。現場には「うちはもう AWS と契約している」「情シスの承認が要る」といった、コードに書いていない事情がありますよね。AIはそれを知りません。
だから実務では、プロンプトに制約を先に書くのが効きます。「すでに契約しているのは◯◯」「新規契約は避けたい」「データは国内に置きたい」。この3行を足すだけで、提案の質はかなり変わります。今回の調査でも、プロンプトの20〜25%に費用や利用量といった条件を足して、その影響を検証していました。条件は、足せば効くんです。
まとめ：今日・1週間・1か月でやること
AIは道具を選んでくれます。でも「選び方のクセ」があります。丸投げすると自分で作りたがるし、どのAIかで答えが半分以上ズレる。それが1万6893回の実験が見せた景色でした。
今日（15分） 上のプロンプトをコピーして、いま作りかけのものに1回使ってみてください。「実装しないで、提案だけ」と伝えるだけ。AIが何を候補に挙げ、何を挙げなかったかが見えます。
1週間（1回でOK） 同じ質問を、違うAIにもう1回投げてみてください。Claude Code と Cursor でも、Codex でもいい。答えが割れたら、そこがあなたが自分で決めるべき場所です。一致率は42%。割れるのが普通です。
1か月（習慣にする） 「提案 → 自分が選ぶ → 実装」の二段構えを、毎回のルールにしてください。あわせて、選んだ理由を1行だけメモに残す。半年後に「なんでこれ使ってるんだっけ」と悩む時間が消えます。
AIに任せるのはいい。ただし任せる前に、一度だけ立ち止まらせる。今日からできる、いちばん安いリスク対策です。
