AIエージェントに、動画チャンネルの運用を丸ごと任せてみた

私は「歴史の雨音」というYouTubeチャンネルを運営しています。江戸の長屋、平安の寺院、明治の洋館——日本の歴史的な風景の中で、ただ雨が降っている。そういう作業用・睡眠用の動画を公開しているチャンネルです。

このチャンネルには、少し変わった特徴があります。制作のほぼ全工程を、AIエージェントが回しているのです。画像生成、動画生成、雨音の選択、数時間への引き伸ばし、日本語メタデータの執筆、14言語への翻訳、サムネイル生成、YouTubeへのアップロードまで。私がやるのは、スマホからパラメータを送ることと、要所で「Go」と打つことだけになっています。

2026年3月に手作業で始めて、いまはWhatsAppからメッセージをひとつ送るだけで動画ができるところまで来ました。この記事では、その全体像をまとめます。個々の事件——ローカルLLMの限界、一晩で23.82ドルが溶けたクーロン事故、動画エンジンを4日で2回乗り換えた話——は、それぞれ別の記事に書いています。

手探りと手作業で作り始める

最初の動画は、完全に手で作りました。Nano Banana ProのWeb UIで画像を生成してはダウンロードし、Kling AIで15秒の動画クリップにし、ロイヤリティフリーの雨音をAdobe Auditionで整音し、Adobe Premiereでループを編集して30分に伸ばす。リポジトリに残っている当時の画像ファイルはこのような感じです。

Generated Image March 08, 2026 - 4_56PM.jpg
Generated Image March 08, 2026 - 4_58PM.jpg
Generated Image March 08, 2026 - 5_06PM.jpg
Generated Image March 08, 2026 - 5_10PM.jpg
Generated Image March 09, 2026 - 8_28PM.jpg
Generated Image March 09, 2026 - 8_40PM.jpg
Generated Image March 10, 2026 - 9_10AM.jpg
Final_Generated Image March 10, 2026 - 9_10AM.jpg

ブラウザのダウンロード名のまま、リネームもされずにコミットされたファイル名をみると、3月8日の夕方に4回試し、翌晩に2回試して駄目で、3日目の朝の1枚にようやく Final_ をつけて満足のいく画像ができたようです。静止画1枚に、3日で3セッションかかっていました。これを続けるのは正直しんどいなと思いながらやっていましたが、生成される画像を純粋にみて、楽しんでもいました。

面白いことに、この「手作業の時代」の最初のコミットには、すでに CLAUDE.mdが置かれ270行の中身が入っていました。読み手が機械のドキュメントと、人間がブラウザから1枚ずつ保存した画像が、同じコミットに同居していて、工場を組み立てるつもりで、工員である私がひとり手作業をしているという状況からスタートしていました。

転機になったGTC 2026

数本を手作業で作り終えた頃、私はNVIDIA GTC 2026に参加するためサンノゼに飛びました。そこで思い切って買って帰ったのがDGX Sparkです。これを制作スタジオにしようと決めました。

その「スタジオ」の現在の姿です。モニターの間にある金色の箱がDGX Spark。朝このモンスターマシーンを見ると今でもやる気が出てきます。

もうひとつの出会いもGTCでした。会期中、参加者の間でOpenClawというエージェントランタイムが話題になっていて、ClawBarというテントでNVIDIAのスタッフと一緒にインストールを試したのです。ローカルモデルを載せて、WhatsAppから指令を送ると、Sparkで開いていたブラウザでスタッフと一緒に問題解決のためにひらいていたWebページのタブのURL一覧がWhatsAppに返ってくる。この一連の体験が「ビデオ制作パイプラインをWhatsAppから駆動する」という発想に直結しました。

帰国後、Sparkの上でPremiereなどでやっていた作業を片っ端からスクリプトに置き換えていきました。クロスフェード、スタビライズ、フェードイン・アウト、音声のループ接合——すべてffmpegなどで代替していきます。ここが一番難航しましたが、これが後に私の時間を大幅に削減するイノベーションになりました。

動画1本の制作命令を、6つのパラメータで制御

自動化の設計で一番効いたのは、スクリプトの数ではなく、有限のパラメータで動画制作を制御することでした。私が製作している動画は、突き詰めるとこれだけで完全に記述できると発見しました。

scene_id   edo_nagaya
era        江戸
place      長屋
time       朝
season     春
rain       しとしと
director   kinoshita

下流のすべて——画像プロンプト、動画プロンプト、雨音の選択、タイトル、説明文、翻訳、サムネイル——はここから導出されます。最初手作業で試行錯誤したからこそ、この6つのパラメータ（時代、場所、時間帯、季節、雨の種類、director）に自然に収束させることができました。

director というパラメータについては、別の記事で書きます。システムプロンプトに映画監督の名前を与えるという、このプロジェクト最大の発見についての話ですので是非読んでみてください。

WhatsAppから動かす

運用中のやり取りは、ほぼこの語彙だけで回っていました。

Go          Cancel      Pick 1 / Pick 2 / Pick 3
Approve     Regenerate  Same prompt
Ok          Resume <scene_id>

実際の画面がこれです。シーンIDと6つのパラメータを送ると、エージェントが解釈を返して「Go / Cancel」を提示する。「Go」と返した3分後には、江戸の酒蔵の1枚目が届いている。この間、私はスマホしか触っていません。

語彙は十数語、そのほとんどが一語だけで、これだけで動画チャンネルが回ってしまいます。エレガントに見えますし、実際この部分は気に入っています。ただ、5ヶ月運用して分かったのは、エンジニアリングの実体は泥臭い部分にあったということでした。

実際には下のようなことに時間を取られました：

• エージェントの指示書が、12,000文字のところで何の警告もなく切り捨てられていました。切られるのはファイルの末尾なので、直近の問題を直すために書き足した、一番新しいルールが効きません。警告は毎セッション画面に出ていたのに、7週間気づきませんでした。
• 指示書のファイルが2箇所にあり、片方は読みこまれていませんでした。編集しても何も変わらないとき、原因は「読まれない方を編集した」か「読まれる方の12,000文字より後ろに書いた」のどちらかで、こちらも大きくハマった部分でした。
• WhatsAppのソケットが3時間以上アイドルだと、その後の送信メッセージが消えてしまいます。エラーはどこにも残りません。処理は成功しているのに通知だけが届かないので、混乱しました。
• コマンドの許可リストを5世代にわたって丁寧に整備していましたが、当時のバージョンではそもそも適用されていませんでした。

どれも地味ですが、この地味なところがAIエージェント運用の実態なのだと思います。派手なハルシネーションより、エラーも出さずにどこかが欠けているインフラの問題の方がずっと多く、やっかいだというのが体感です。

大きな事件が２つ

5ヶ月の運用で、大きな難所というか事件というか、そういうタフな出来事が２つありました。

ひとつ目はローカルモデルとの格闘: DGX Sparkを買った以上、エージェントの頭脳もローカルLLMで動かそうと意気込んでいました。Nemotron、Qwen3、Qwen3.6と丸３日間を費やして乗り換え続け、最後はQwen3.6が「実行していないスクリプトの経過時間を計算しながら進捗報告する」という不毛なログをみてギブアップ、、Claudeに切り替えました。切り替え後、最初の指示が一発で通ったときは、嬉しさと悲しさが入り混じった複雑な気持ちでした。顛末は「ローカルモデルでエージェントは実務を回せるか」に書いています。

ふたつ目は思わぬコスト事故: エージェントが「数時間かかるffmpegを5分おきに確認するクーロン」を自分で登録し、10MBに膨らんだセッションを毎回読み込み直して、一晩で23.82ドルを溶かしました。事故の一番の教訓的な出来事が、エージェントが途中で「止めるべきだ」と正しく判断していたのに、止め方を間違えていて、こちらが間違いに気づく手段がなかったことです。「自動化エージェントが一晩で23.82ドルを溶かした話」に、原因の解剖から再発防止までの全記録を公開しています。

このクーロン事故から生まれたのが、上の語彙表にある Resume <scene_id> です。数時間かかるアセンブルはエージェントから完全に切り離し、終わった頃に人間がもう一押しする。このようにHuman in the loop、人間をパイプラインの中に置くことで、コストもアーキテクチャも良くなりました。この設計判断は、あとに続くいろいろな自動化の土台になりました。

ショート版では、人の確認を最後の1回だけにした

長尺のパイプラインには、人間が承認するゲートが3つあります。画像を選ぶ、動画プロンプトを承認する、動画クリップを承認する。6月末に作ったYouTube Shorts / Instagram Reels向けのショート版パイプラインでは、この3つをすべて削除しました。

ショート動画のパイプラインではチェックゲートは最後尾へ移動しました。12ステップ——画像生成、AIによる画像選定、動画生成、音声選択、合成、メタデータ、14言語翻訳、Instagramキャプション、サムネイル、アップロード——が無人で動作し、最終結果はYouTube Studioに非公開の下書きまで到達し、人間はそこでレビューして、公開ボタンを押すだけです。

このパイプラインが、12分ほどで無人のまま作った1本がこれです。

長尺では制作中の3回の承認が必要だったのが、ショート制作では制作後の1回のレビューになりました。

ゲートが途中にあるパイプラインは無人化できない。ゲートが最後にあるパイプラインはできる。

なぜショートも試してみたのか。56言語に翻訳しても日本の外に届かなかった長尺と、初回から1000再生を超えたショートの話は「56言語に翻訳しても、日本の外には届かなかった」にまとめています。

最後に残った人間の仕事

8月、ショート版パイプラインが作ってきた動画をYouTube Studioでまとめてレビューして、11件の欠陥を modification.md というファイルに書き出しました。11件の失敗の内訳は下のようなものでした。

原因	件数
水のあり得ない挙動（噴水のような水しぶき等）	4
猫が動きすぎる（尻尾が2本になる等）	4
実在しない建築	2
メタデータと映像の矛盾	1

インフラ起因はゼロでした。SIGKILLもOOMも認証エラーもなく、機械の側はもう安定していて、残った問題はすべて美的・物理的なもの——行灯の炎が大きすぎる、猫の尻尾が2本ある、シーンが「なんとなく暗くて楽しくない」——でした。

最後のものが重要です。私がそのファイルにエージェント宛てに書いた「The scene simply looks gloomy, not fun to watch」という一行は、技術的な欠陥でもなく、壊れてもいないのに、ただ良くない、といういわば感想のようなものでした。これを検出する自動チェックは今のところ存在しません。最後尾のレビューだけは人間の重要な仕事として残ります。

このQCファイルはバグトラッカーというより、機械に宛てた演出ノートに近いものになりました。全自動化は人間の必要性をもちろん排除しません。人間は工程の最後に移動し、職種が「作業者」から「監督」に変わることになりました。人間側に残した仕事の設計については「全自動化のなかに、人間の仕事を残す」で詳しく書いています。

5ヶ月の制作を経てわかったこと

1. 壊れるときにエラーが出ない。 指示書の切り捨ても、届かない通知も、時代の合わない雨音も、エラーを1つも出しませんでした。この5ヶ月で、クラッシュして教えてくれた障害はほとんどなく、いまでは壊れたときにきちんとクラッシュしてくれるプログラムの方がありがたいと思うようになりました。

2. 人間を工程のどこに置くかで、設計が決まる。 大事なのはチェックゲートの数ではなく位置でした。途中に3つあった長尺動画制作は無人化まではいかず、最後に1つだけのショート動画制作は無人化できた。クーロン事故の最終的な解決法も「人間が確認して一押しする」でした。

3. 最後に頼りになるのは、歴史のドメイン知識。 猫は奈良時代に仏典を鼠から守る船に乗って日本に来たので、縄文・弥生のシーンには出せない、であったり、縁側は1階の建築要素なので「茶屋の二階から縁側越しに」というプロンプトは矛盾している。行灯の炎は行灯の中におさまっているべきで外に漏れ出てこない。こういう判断はどのモデルにも入っていなくて、これが歴史の雨音を製作していく過程で蓄積していったドメイン知識でした。

4. 外部モデルは変わるので、パイプラインも維持し続けることになる。 運用中にKling AIの料金プランが突然変わり、動画エンジンを4日間で2回乗り換えました。プロンプトはエンジンが変わると意味ごとごっそりと変わってしまいます。この話は「Klingが値上げした日」に書きました。

動画を「資産」として扱う話はこちらの記事にも書いていますが、デモではなく本番で何ヶ月も動き続けているこのチャンネル自体が、私たちにとってはAIエージェントの実運用データを毎日生み続ける資産になっています。

AIエージェントを業務に組み込むことを検討されている方は、お気軽にご相談ください。この記事に書いたような泥臭い部分も含めて、日々積み重ねている実体験からお手伝いできることがあると思います。