ChatGPTとRunwayで動画を一本作る方法｜僕はプロンプトを書かず、元素騎士の41秒をこう作った

むきぐりと、複数の映像が並ぶ画面。「ChatGPT × Runway 動画の作り方」

元素騎士AI動画祭に出した僕の動画です。先に見てください。約41秒。勇者が監督になってしまって、魔王が勇者の代役をやってます。

監督ムギと代役勇者の魔王ムギ。音声あり。完成版を直接見る

これを作るのに「どんなプロンプトを書いたんですか？」って話なら、僕、プロンプトすら作ってないです。Runwayに渡す文章を自分で考えて、一場面ずつ別のところに貼って回ったわけでもない。GPTに、最初から最後までつながる動画にしたいって言って、出てきたものを見て、こうしてほしいと返す。その繰り返しでした。

一本にするって、どういうことか。完成版で監督が「よし、走って！」と言うと、その次に走る画が来ます。そこで終わらず「走りすぎ！撃って！」が入るから、さっきまで格好よかった勇者の走りが、撮影現場の笑いに変わるんですよ。同じ走る場面でも、前後に誰のひと言を置くかで見え方が変わる。僕がGPTと作りたかったのは、この前後まで含めた一本です。

ChatGPTの「設定」からRunwayをつなぐ手順

まず開くのはChatGPTです。動画の指示を入力する前に、ChatGPTの設定でRunwayを選んで、自分のRunwayアカウントにつなぎます。最初の入口は「設定」→「プラグイン」→「Runway」です。

ChatGPTの「設定」を開く。 ChatGPTにログインし、自分の名前やプロフィールアイコンからメニューを開いて「設定」（Settings）を選びます。
設定の中で「プラグイン」を選ぶ。 英語表示なら「Plugins」です。古いスマホ版では「アプリ」（Apps）と表示されることがあります。
一覧で「Runway」を探す。 検索欄に半角で Runway と入力し、画像・動画を生成する「Runway」を開きます。「Runway Dev」は開発者向けです。設定から見つけにくい場合は、ChatGPTのRunwayプラグイン画面を直接開いて、次に進めます。
Runwayを追加する。「Install Plugin」（プラグインをインストール）が表示されたら押します。すでに追加済みなら、Runwayの接続状態を確認します。
自分のRunwayアカウントで接続する。「Connect」（接続）が出たら選び、「Sign in with Runway」からログインします。普段クレジットや素材を入れているアカウントを使い、表示された権限を確認して接続を完了します。
チャットに戻って接続を確かめる。 入力欄に @Runway と打ち、候補の「Runway」を選びます。最初は「今使える動画モデルと残りクレジットを教えて。まだ動画は作らなくていいよ」と送ってください。自分のアカウントの情報が返ってきたら、次は作りたい動画の話に進めます。

あとから接続先を見直すときも「設定」→「プラグイン」→「Runway」です。OpenAI公式の設定案内

画像や動画を生成すると、つないだRunway側のクレジットを使います。作り直しにも別にかかり、使うモデルや設定で必要量が違います。接続はできているのに生成できないときは、先にアカウント・対象モデル・残高を確認すると、話が早いです。会社などの管理下にあるChatGPTで追加項目が出ない場合は、管理者の設定も関係します。Runway公式の接続・クレジットの説明

「このキャラで一本作りたい」。最初の相談はそれでいい

ここからの会話例は、実際の制作を初めての人向けに言い直したものです。丸ごと覚える必要はないです。自分が何を見たいかのところだけ、普段の言葉で言えばいい。

このキャラで短い動画を一本作りたい。最後にちょっと笑えるやつ。最初から場面がつながるように考えて。僕に決めてほしいことがあれば、一つずつ聞いて。

キャラの写真や絵がある人は添えて、「この顔と服はそのまま使いたい」も一緒に言う。横長のブログ用か、縦長のショート用かが決まってたらそれも伝える。まだ結末が浮かんでなければ「オチを二つ出して」でもいいです。英語でカメラの動きを書くところまで自分で背負うと、何を作りたかったのかが先に飛んじゃいますからね。

最初にGPTからほしいのは、完成したら何が起きるかわかる返事です。元素騎士の例なら「魔王が代役で戦う → 監督が注文する → 指示に応えすぎて撮影がおかしくなる」。この三つが読めれば、「それ面白そう」か「いや、そういう動画じゃない」か、映像を生成する前に僕でも判断できます。

場面がきれいに並んでるのに、話が進まないとき

勇者の正面、勇者の横顔、今度は遠くから勇者を映す。絵は三枚とも違う。でも、見ている側からしたら、ずっと勇者が立ってるだけだったりするんですよ。そこで「もっと迫力ある絵に」と頼むと、格好いい勇者がもう一枚増えるかもしれない。僕が欲しかったのは展開でした。

そういうときは「今のままだと同じことが続いて見える。次の場面で何か起きてほしい」と言えばいい。GPTにカットを考えてもらうなら、前の場面で起きた何が、次の場面のきっかけになるのかまで説明してもらうと見やすいです。

完成版の場面	次の場面を見る理由
代役勇者が魔法を構える	何を撃つのかと思ったところで、監督から「もっとタメて！」が入る。戦闘だと思っていた絵が撮影現場に変わる。
監督が「よし、走って！」と言う	代役が指示どおり走る。今度は監督が「走りすぎ！」と止める。走る映像に使いどころができる。
監督がボスに「もっと速く！」と注文する	近づいてくる相手を見て「こっちじゃない！近い！」。指示を出した側に事態が返ってくる。

自分でこの表を書く必要はないです。GPTが出してきた流れを見て、「真ん中の場面を抜いても同じ話に見えるよ」と返せれば、次はそこを考えてもらえます。

Runwayで動かすところも、同じ会話の続きで頼む

流れが決まったら、チャットに参照画像を添えて、つないだRunwayでどこを動かすか頼みます。最初から一本として考えることと、すべての場面を一度に生成することは別です。先に主役の顔や動きを確かめたいなら、一場面を試して、その結果を見たあとで残りを進められます。

この流れで進めたい。まず魔王が構えるところを、添付のキャラで動かして。次は監督が口を挟むから、撃ちきる前で切れるようにしてほしい。Runwayに渡す指示はそっちで考えて。

ここで見るのは「単体で格好いいか」だけじゃないです。もう撃ち終わって爆発まで見せてしまったら、そのあとで監督が「もっとタメて！」と言っても遅いでしょ。逆に、魔法を構えてる途中のいいところが使えるなら、全部作り直す必要はない。採用する部分の終わりを早めるだけで済みます。

顔や衣装が変わっていたら、どの場面が違うのかを伝えます。「最初の魔王の顔がいい。走るところも同じキャラにして」。だから採用した画像やカットは、次の相談で指せるように取っておくと楽です。連携先で参照画像を読み込めていないときは、生成を繰り返す前に、使う画像をチャットから選び直します。

「一本につないで、一回見せて」。ここからは見ながら直せる

短いクリップが何本か返ってきたところで、まだ完成ではないです。最初に決めた順番に並べ、どこで切るか、字幕をいつ見せるかも含めて、通して見られるものを頼みます。僕の場合はここもGPTに言いました。元素騎士の作品ではVrewを開いて僕が手でつなぐ工程はありません。

今ある映像で、最初から最後まで一回つないで見せて。監督の指示のあとに、代役がそのとおり動く順番で。足りないところがあっても、まず今の素材でどこまでできるか見たい。

一本で見ると、素材だけ眺めていたときと違うところに気づけます。監督の顔は良くても、字幕を読み終わる前に次へ行ったら、次の動きの意味が伝わらない。反対に、何をしてるかわかったあとも同じ動きが続くと、話が止まって見える。こういうのは「何秒削って」と数字まで言えなくても、「ここ、もうわかったから次に行って」「今のセリフは読む時間がほしい」で相談できます。

直したいのが順番・尺・字幕なら、まず手元にある素材の編集で直せるか聞く。欲しい動きそのものが写っていないなら、そのカットだけ追加生成するか決める。この違いがわかると、直すたびにRunwayで全部作り直すことが減ります。

僕の完成版の冒頭と締めには城門が出てきます。制作記録では城門の静止画にゆっくり寄る動きを付けました。木も雲も動く新しい動画を生成し直したわけじゃないです。タイトルが読めて、作品の世界に入れれば、その場面はもう役目を果たしてる。こういう選択も、GPTに仕上がりを伝えて相談できます。

最後はMP4を開いて、音まで確かめる

構成が固まったら、使いたい音源があれば添えて、音の入りと終わりまで含めて仕上げを頼みます。僕の元素騎士の完成版は「Our Story」の音源を合わせて約41秒です。使う音楽は自分が利用できるものを用意してください。

この順番で完成にして。冒頭のタイトルと最後の文字が読める長さにして、音も合わせて、一本のMP4で受け取れるようにして。

最後に見るのは、チャットに「できました」と書いてあるかより、実際に一本のファイルを受け取れたかです。保存して最初から再生して、映像だけ出て音がない、終わりの一言が途中で切れる、といったところを確かめます。直すなら「最後の文字だけ、もう少し長く」でいい。僕が動画で何度も伝えてきたのは、そういう見たままの感想です。

チャットによっては、Runwayの生成クリップを返せても、複数素材の結合や手元の音源の合成、最終MP4の書き出しまで実行できるかは異なります。始めるときに「この場で素材をつないで、音声付きMP4まで渡せる？」と確認しておくと、途中で作業場所を変えずに済むか判断できます。クリップしか返ってこなければ「今できたのは素材？　一本につないだファイルはどれ？」と聞いてください。