「AIが賢くなっても仕事が減らない」の正体
生成AIを触ってみたけれど、思ったほど仕事が楽になっていない。そう感じている経営者やバックオフィス担当の方は多いはずです。チャットに質問すれば立派な答えは返ってくる。けれど、あなたの会社の請求フローも、取引先ごとの細かいクセも、先週あなたが半日かけてやった作業も、AIは何ひとつ知りません。だから毎回ゼロから説明し直すことになり、その説明の手間が自動化で浮くはずの時間を食い潰してしまう。
たとえば、いつも使っている見積書のテンプレートをAIに直してほしいだけなのに、まず「うちの見積書はこういう項目で、消費税はこう計算して、値引き欄はここにあって」と長々と前提を打ち込む。打ち込み終わる頃には、自分で直したほうが早かった、となる。これは能力の問題ではなく、前提共有の問題です。
つまり足りていないのは、AIの頭の良さではありません。AIに欠けているのは能力ではなく、あなたが毎日パソコンの前でやっている作業そのものの文脈だった、というのが今の実感です。人間の新人でも、隣で仕事ぶりを1週間見ていれば「あ、この作業はいつもこうやるんですね」と覚えてくれます。ところがAIには、その「隣で見ている」に当たる仕組みが長らく存在しませんでした。
そこに一石を投じたのが、米国のスタートアップ育成プログラムYコンビネーター（有望な新興企業に出資・支援する組織）発のScreenpipe（スクリーンパイプ）というツールです。発想はきわめてシンプルで、あなたのパソコンの画面と音声を記録し、それをAIが検索できる記憶に変える。今回はこの動きが、非エンジニアの現場に何を意味するのかを掘り下げます。
Screenpipeとは何か、ひとことで言うと
Screenpipeは、パソコンの画面と音声を録画・録音し続け、その内容をAIエージェント（人間の代わりに一連の作業をこなすAIのプログラム）が検索できる形で保存するアプリです。開発者のLouis氏は2020年から、日記や手書きメモ、仕事のプロジェクト、人との会話までを一箇所にため込む「第二の脳」づくりに取り組んできた人物で、その延長線上で2024年から自分のために作り始めたと説明しています。
面白いのは、初期の素朴な作り方をわざと捨てた点です。当初は動画を撮り続け、全フレームに文字認識をかけていたそうですが、これは重複データを大量に生み、パソコンを暖房器具のように発熱させてしまう。そこで今の設計では、アプリの切り替え、クリック、入力が止まった瞬間、スクロール、離席といった「意味のある変化」が起きたときだけ、画面のスナップショットとOSが持つ画面構造の情報をペアで記録します。音声は話者を聞き分けながら文字起こしする。集まったデータはすべて手元の小さなデータベースに整理され、AIから呼び出せる窓口が用意されます。
イメージしやすく言い換えると、これは「自分専用の作業日誌を、自分では一切書かずに勝手にためていく仕組み」です。日誌を書く時間は取れなくても、後から「先週の火曜、何をしていたか」を検索できる。しかも記録しているのは特別な操作ではなく、いつものメールやExcelやブラウザの操作そのものです。
ここで大事なのは保存場所です。Screenpipeの記録は基本的にあなたのパソコンの中だけに保存され、外部に勝手に送られないという設計思想が中心に据えられています。画面という極めて機微な情報を扱う以上、これは飾りではなく前提条件です。この点は後半の注意点でも改めて触れます。
なぜこれが「非エンジニアにこそ効く」のか
技術に詳しい人ほど、AIに指示を出すのがうまい。逆に言えば、これまでのAIは「うまく説明できる人」に有利な道具でした。プロンプト（AIへの指示文）を工夫し、必要なファイルを選び、文脈を丁寧に渡す。この一連の作業は、実は非エンジニアにとって一番の壁でした。
Screenpipeの発想は、この壁を裏返します。あなたが普段どおり仕事をしているだけで、その過程が記録として残る。だからAIに向かって「今日の8時から16時までにやったタスクを一覧にして、終わったものと残っているものを分けて」と頼めば、あなたが手作業で経緯を説明しなくても、AIが記録をたどって答えを組み立てられる。指示のうまさで差がつく世界から、日々の仕事ぶりそのものが素材になる世界への移行です。
この違いは、たとえば日報や週報を書く場面で効いてきます。多くの管理職やバックオフィス担当が、一日の終わりに「今日は何をしたか」を思い出しながら書いています。記憶が素材になれば、その思い出す作業そのものが不要になり、AIがたたき台を出し、人は微調整するだけになります。
もうひとつの含意は、手順書（SOP、標準作業手順書）づくりが劇的に軽くなることです。中小企業で属人化が問題になるのは、ベテランの頭の中にある手順を文書に落とす時間が誰にも取れないからです。Screenpipeの狙いのひとつは、実際の作業記録から手順書を起こすこと。日々の作業を記録に残すだけで、後からAIに手順書化させたり、繰り返し作業を洗い出させたりできるようになる。これは、人手が足りず教育に時間を割けない小さな組織ほど恩恵が大きい発想です。
業種別に見る、具体的な使いどころ
抽象論だけでは腹落ちしないので、三つの現場を具体的に想像してみます。
まず、10人規模のマーケティング会社の代表の方。あなたは営業と制作の両方に首を突っ込んでいて、一週間があっという間に過ぎます。金曜の夕方、「今週チーム全員がやった作業を見て、自動化できそうな繰り返し作業を一覧にして」と頼む。すると、毎朝の広告レポートのコピペ、クライアントへの定型メール、請求前の数値確認といった、誰もが手を動かしているのに誰も棚卸ししていなかった作業が浮かび上がります。どれを外注し、どれをAIに任せ、どれを人が握るか。この意思決定の材料が、記憶から自動で出てくるわけです。とくに広告レポートのように「毎週同じ画面を開いて同じ数字をコピーする」タイプの作業は、記録から手順が正確に取れるため、自動化の第一候補になりやすい。
次に、従業員30人の会社で一人で経理を回している担当の方。月末、複数の取引先ごとに微妙に違う請求書フォーマットと格闘し、会計ソフトへの転記に半日を溶かしている。Screenpipeが普段の作業を記録していれば、「先月やった請求書処理の手順を、取引先ごとの注意点も含めて手順書にまとめて」と頼める。あなたが言葉にできていなかった「A社は締めが20日」「B社は税抜きで書く」といった暗黙のルールまで、実際の操作記録から拾い上げられる。これは引き継ぎ資料の作成にも、産休や急な欠勤への備えにも直結します。担当が一人しかいない業務ほど、その人が倒れた瞬間に会社が止まる。記録が残っていれば、その最悪の事態への保険になります。
三つめは、士業やコンサルの個人事業主の方。あなたはLinkedInやSNSで見込み客のプロフィールを日々眺め、名刺管理ツールに手で情報を写しています。ここで「誰かのLinkedInプロフィールを開いたら、その内容を顧客リストに追記して」という自動化を組めば、閲覧という日常動作がそのまま顧客管理の更新になる。営業の記録が勝手にたまっていく状態は、一人で全部を抱える事業主にとって、地味ですが効いてくる変化です。商談後に「あの人、どこの会社の誰だっけ」と思い出せずに機会を逃す、という取りこぼしも減らせます。
明日から試せる、考え方の実践手順
いきなり専用ツールを全社導入する必要はありません。まずは発想を自分の仕事に当てはめてみることが出発点です。手順として整理すると次のようになります。
第一に、繰り返し作業を一つだけ書き出す。毎朝のレポート作成でも、定型メールの返信でも構いません。「自分が今週、同じ手つきで3回以上やった作業」を一つ選ぶのがコツです。選ぶ基準は「頭を使わないのに時間だけ取られる」もの。判断が要る仕事より、手が覚えている単純作業のほうが、手順書化も自動化も成功しやすいからです。
第二に、その作業を実際にやりながら、手順を声に出すか短くメモする。人に教えるつもりで「まずここを開いて、次にこれをコピーして」と言語化すると、AIに渡す素材になります。ここで「いつもは省略している例外」もメモしておくと精度が上がります。
第三に、その手順をAIに投げて手順書の形に整えてもらい、抜けている前提や例外を自分で補う。AIが出したたたき台を読むと、自分が無意識にやっていた判断が可視化され、「そういえばこの場合は別処理だった」と気づけます。
Screenpipeそのものを試したい場合、公式サイトにデスクトップアプリが用意されており、コマンドでの起動もできます。まずは自分一人の環境で、機微な情報を扱わない作業から試すのが安全です。
大事なのは、いきなり完全自動化を目指さないことです。**まず一つの繰り返し作業を記録し、手順書にする。ここまでを一往復回すだけで、自動化の全体像が見えてきます**。この最初の一歩を軽くすることが、非エンジニアが挫折せずに前へ進む最大のコツです。
見落とせない注意点と、よくある誤解
便利さの裏側に、目をつぶってはいけない論点があります。最大のものはプライバシーと同意です。画面を録画するということは、開いているメール、顧客の個人情報、社内の機密、パスワードの入力画面まで、記録の対象になりうるということです。Screenpipeは記録を手元だけに保存し、特定のアプリやウィンドウ、URLを記録対象から外す設定や、シークレットモード、機微な情報を自動で伏せる仕組みを備えていると説明していますが、それでも運用のルールづくりは会社側の責任です。
とりわけ日本の職場で見落としがちなのが、自分以外が映り込む場面です。ビデオ会議の相手の顔や発言、共有画面に映る他社の資料、チャットに書かれた同僚のやりとり。これらを本人の了解なく記録し続けるのは、社内の信頼という観点でも、法務の観点でも慎重に扱うべきです。たとえば取引先とのオンライン商談を録画するなら、少なくとも相手に一言伝える。個人情報を扱う経理や人事の画面は、そもそも記録対象から外す。こうした線引きを、導入前に決めておく必要があります。導入するなら、何を記録し何を記録しないか、記録をどう保管し誰が見られるかを、最初に文書で決めておく。この一手間を飛ばすと、便利な道具が一転してトラブルの火種になります。
もうひとつの誤解は、記録さえすれば自動的に仕事が片付くという期待です。記録はあくまで素材であって、そこから何を手順書にし、どこを自動化するかを決めるのは人間です。画面を記録すること自体が目的化すると、見返さないデータが増えるだけで何も楽にならない。目的の作業を一つ決め、そこに絞って使うほうが、はるかに効果が出ます。今回のツールはまだ登場したばかりで、日本語環境での使い勝手や業務ソフトとの相性も未知数な部分があります。過度な期待は禁物ですが、発想そのものは押さえておく価値が十分にあります。
この動きが指し示す、これからの働き方
Screenpipeが示しているのは、一つのアプリの機能というより、AIとの付き合い方の方向転換です。これまで私たちは、AIに使ってもらうために、わざわざ情報を選んで渡す側でした。これからは、日々の仕事ぶりそのものがAIの学習材料になり、AIは人間と同じソフトを、人間と同じように使いながら、あなたの隣で仕事を覚えていく。そんな未来像です。
もちろん、全員がこれを望むわけではないでしょう。開発者自身も、記録を望まない人がいるのは当然だと認めています。監視されているように感じる、という現場の感情も無視できません。だからこそ、上から強制するのではなく、まず経営者や担当者自身が自分の作業で試し、効果と限界を体感してから広げるのが現実的です。それでも、人手が足りず、属人化に悩み、教育に時間を割けない小さな組織にとって、「作業を記録するだけで手順書と自動化の候補が手に入る」という発想は、無視するには惜しい変化です。
まずは大掛かりな導入ではなく、あなた自身の繰り返し作業を一つ選び、それを言葉にして、AIに手順書化させてみる。その小さな一往復から、自社のどこを自動化できるかの解像度が一気に上がります。大切なのは録画技術そのものではなく、日々の仕事をAIに覚えさせるという発想を、自分の現場に当てはめてみることです。その視点さえ持てれば、次にどんな新しいツールが出てきても、自分の仕事にどう効くかを自分の頭で判断できるようになります。
Claude Works では、非エンジニアの方が「自分の仕事のどこをAIに任せられるか」を一緒に整理する無料30分相談を行っています。繰り返し作業の洗い出しや手順書化の進め方に迷ったら、気軽にご相談ください。
