Live2DとFacerigでイラストを動かしてみた【ICONサマーブログリレー2020 5日目】
-
1. 始めに
サマーブログ5日目、ブログを書くのは初挑戦です。奏潟 ユウ（ハンドルネーム：ユウ）です。ICONではグラフィック班で、大学では工学部電気電子工学科２年です。今回はLive2Dで遊ぼうということで、いろいろやろうとしました。気づいたら期末レポート並みに多くなりました。ある意味夏休みの宿題です。それでは、よろしくお願いします。
-
2. Live２Dとは
-
2.1 簡単に言うと
1.イラストや立ち絵を手軽に動かせる映像技術
2.そのソフトウェアを開発する会社(株式会社Live２D)
を指します。以下断りがなければ１についての説明です。
-
2.2 もう少し詳細に
Live2D Cubismというソフトでイラストに対してLive2Dモデリングを行い一枚のイラストを２Dのまま動かす技術です。トラッキングソフトと組み合わせてバーチャルなアバターを作ることができるほか、通常のアニメーションのように何十枚も絵を描くことなく、簡単なアニメーションをつけることができます。 また、アニメ―ジョンとGIFや映像として出力するだけでなく、ゲームプログラミングと組み合わせたり、Unityに実装したりと活用ができます。
-
2.3 メリットは何か
最大のメリットは、イラストをそのまま動かせることにより、従来の製作方法より短期間かつ低コストで、イラストのテイストを損なわずに動かすことが可能となることです。特に立ち絵（文字通りキャラクターが立った状態の基本の絵、イメージはノベルゲームなどで上半身を映して会話しているような感じ）を動かす場合、３Dでのモデリングとよく比較されますが、実際イラストから３Dモデルを起こす場合にはどうしても差異が生まれます。また、見栄えのするものをと考えると高コスト化したり時間がかかったりします。蛇足ですが私は昔Blenderという３Dモデリングツールに触ったことがありますが、１回ですぐ諦めました。 また、一枚のイラストを動かす場合、通常のアニメは細かく動かすほどに枚数が増え、コストが重くなります。一方Live2Dで動きをつける場合は、動き方を指定してやればその間を自動で補うため、負担軽減になります。 つまり、Live2Dは絵をそのまま動かすという点と、中間の動きをコンピュータに任せるといういいとこどりができるわけです。しかも重なるパーツの動きを工夫して裏側や横向きのパーツを仕込むことで斜め（理論上は横や後ろも）向きにまで、２Dにもかかわらず立体的な挙動をつけることができます。そのためゲーム業界でキャラクターを動かす目的で最初に広がり、続いて手軽なアバターを生かして映像業界へ、続けて配信業界へと広がっていきました。
-
3. Live2Dの利用の広がり
近年目覚ましい発展を続けるVtuber業界と、最初に活用が始まったゲーム内での活用について触れます。なお、選定は基本的に趣味です。
-
3.1 Vtuber
Vtuberとは、一般に２Dないし３Dのキャラクター（人間に限らず様々なものがある）のアバターを用い、YouTubeで動画投稿もしくは配信を行っているものを指します。つまり従来の声優が声を当てるアニメキャラと配信者ないし動画投稿者が融合したようなもの、その延長線上にあるものといえます。最初に名乗ったのは有名なキズナアイですが、その発想自体は決して新しいものではありません（ゆっくり実況とか、そういったニコニコ動画的な文化の流れもあるのでは？と個人的には思ったり）。 Vtuber(Virtual YouTuber)の歴史について語るときりがなく、また完璧な説明をしていると日が暮れてしまいます。そこで2020年中盤現在、Vtuberで勢いがあるにじさんじ、ホロライブの2つのグループの歴史から、Live2DとVtuberの歴史を紐解いていきます。
初期からLive２Ｄを全面的に利用していました。背景には、当時主流だった３Dモデルおよびそれを動かすためのトラッキング機材などは高コストであり、新規参入のハードルが高かったということがあります。当時すでにFacerigというWindowsのトラッキングソフトとLive2Dを組み合わせて配信する方法もありました。そこで、パソコンを使わなくてもそれができるようスマホ（iPhoneX）で表情のトラッキングを行い、Live2Dの立ち絵（イラスト）を動かすというシステムを考案し、アプリ化したのがにじさんじアプリでした。その後アプリの審査がなかなか通らずにいるうちに、短期間の宣伝役の予定だった8名のバーチャルライバー（当時のVtuberは３Dが主流であったことから、このように呼称していました）が大ヒットし、結果にじさんじはアプリとしてではなくバーチャルライバー集団としての活動がメインとなり、今に至ります。その8名は元一期生と言われ、元祖清楚系学級委員長こと月ノ美兎を筆頭にしたJK組もこの中に含まれます。
- ホロライブ
こちらも元をたどればこちらもスマホアプリでありますが、最初にバーチャルアイドルときのそらが３Dでデビューしています。そのため初期は３Dを念頭に置いていました（ただしスマホでトラッキングやライバーの操作をするのではなく、あくまでライブ視聴とAR投影が目的だったようです）。その後のアップデートで、こちらもLive2Dおよび３Dモデルを扱う配信アプリに進化し、またそれを利用した配信および動画投稿を行うVtuber集団を指してホロライブということになりました。こちらも初期にデビューした5名が一期生と呼ばれ、オタきつねこと白上フブキなどが名を連ねます。 なお、にじさんじアプリは2020年現在も一般にリリースされていませんが、ホロライブアプリはiOS版が2020年9月現在今でもストアにあります。 大所帯の2社を中心に説明しましたが、Vtuberとしてはもともと邪道だったものが主流になりあがったような歴史がある、ということです。もちろん、この2集団でも花形は３Dですから、そのお披露目や企画は特別なものとして注目を集めますが。それでも自宅で簡単に配信や動画作成ができることで、配信頻度を上げつつ、キャラクターの強みを生かすことで３Dに負けない別の魅力を生み出したという歴史からも、Live2Dは扱いやすさを武器に新規デビューのハードルを下げ、Vtuber戦国時代を作り出し。業界の新しい需要を切り開くきっかけになったといえるでしょう。
-
3.2 ゲーム
先述の「イラストや立ち絵を手軽に動かせる」ということはソーシャルゲームにおいても大きなメリットがありました。つまりキャラクターが動くという大きな付加価値を、通常のアニメーションより低コストで生み出せるわけです。例として２つのゲームをここでは紹介します
みなさんご存じ（の方も多いかと思われる）バンドリのリズムゲームです。内容はリズムゲームをして、ストーリーを読んで、ガチャでいいカードを引いて強いバンドを組んでハイスコアが取れるようになって…というゲームです（主観多めです）。 このゲームでは、キャラクターの立ち絵がLive2Dで動き、キャラクター2人が左右に並んで動きながら会話する…というのがストーリーやコミュの基本的な流れとなっています。テイストとしてはVtuberに比較的近いものになります。 実は私が初めて触れたLive２DのキャラクターはVtuberではなくこちらです。初めて見たときは、立ち絵に動きが付くというのは新鮮なものでした。一枚のイラストがどうしたら映えるか、というのとは別のこだわりを感じる内容で、一種のキャラクターが生きているという感触を感じさせるものでした。
- アズ―ルレーン
こちらも有名どころです。第二次世界大戦前後（といってもかなり広い年代のようです）の艦船をモチーフにしたキャラクターによるシューティングゲームRPGといったゲームで、基本的にはキャラを“建造”し、戦闘しながら育成する、というゲームです。先行したPCブラウザゲームの艦これ（艦隊これくしょん）との類似も指摘されますが、 Live2Dは、一部キャラクターの立ち絵（通常衣装）と、対応する一部の着せ替え衣装で使われています。このうち立ち絵は先ほどのバンドリとおおむね同様（ただし会話を主眼においてはいない）で、着せ替え衣装は“完成されたイラスト”を動かすタイプです。残念ながらプレイ中には出会えておりませんが（課金を渋っているとも言う）、広報映像を見る限り、作りこまれた魅力的な動きがつけてあり、さすがという言葉に尽きます。最もLive２Dに限らず、全体にこのゲームのイラストはかなり攻めた作りで、ここまでやるか、という圧倒感と、こんな活用があったのかと新鮮さを感じるものでした。 ちなみにアズ―ルレーンは、以前先述のホロライブとコラボを行っています。
-
4. 立ち絵を動かしてみる
-
4.1 イラスト作成
Live2Dを使うためには、まずは絵が必要です。しかも、適当に描いた絵では（動きますが）不自然になりますし、立体的どころではなくなります。したがって、動かすことを前提に、動きの独立したパーツをそれぞれ別のレイヤーに描き、読み込ませる必要があります。（レイヤーとは？ デジタルのイラストや映像などで使う用語。キャンバスに何枚もの透明のシートが敷かれているイメージで、その一枚一枚のシートがレイヤーです。レイヤーにインクをつけて、すべてのレイヤーを重ねて一つにしたものが作品になります。部分ごとに分けることで、それぞれが互いに干渉しあうことがなくなるので、それぞれのパーツだけを変形させたり動かしたりできます）。 ここではClip studio Panit EX for iPad というペイントソフトで立ち絵を作成します。なお、今回は斜めを向いたり立体的な動きまではつけません。平面的に左右とある程度の表情がつくことを目標にします。 左右対称の正面からの絵なので、対象定規を使い、必要なところ以外は左右対称に描いていきます。そして完成形がこちらになります。レイヤーはパーツごとに分かれており、32枚になりました。これをPSDというファイル形式に変換し、Live2Dに取り込みます。
-
4.2 取り込み、制御点追加
PSDファイルを取り込んだら、制御するための点（アートメッシュ）をつけます。大半は自動でつけますが、特に顔のパーツは大きく動かすことが多いので、手動で付けたり修正していきます。
-
4.3 表情づくり
- 目、眉
目の動きをつけていきます。このタイプのイラストは、上まつ毛と瞼が非常に目立つ描き方をしていますので、これで動きを決めることになります。 まずは閉じた瞼の形を作ります。２つのパラメータをつけ、片方を閉じ、片方を開きに設定します。この２点の間を自動で補完するように動かすことで、その間の変形は自動で補完され、ほぼ無段階で動くようになります。
-
-
瞼、まつ毛の編集
-
この動きがＬｉｖｅ２Ｄの基本です。パーツそれぞれに対し2つ以上の特定の点における形を決め、その間が自動で動くようになる、ということを繰り返し、イラストが動くようになります。 それに従うように、白目とまつ毛と二重まぶた、下まぶたを変形させ、閉じた目をつくります、 最後に、同じ要領で笑顔の目をつくり、完成です。 さて、お気づきの方もいらっしゃると思いますが、ここまで黒目（瞳）を一回も操作していません。これは、白目のレイヤーにクリッピングという操作をし、「白目の上に乗っている部分のみ表示する」というような設定にしているためです。こうすると、白目を縮めるだけで、黒目のあらわれる部分も指定されることになります。 なお今回はハイライトや影などはあらかじめ瞳のレイヤーに結合してしまったため、ここでは扱いません。
- 口
口は開閉とあ、い、う、え、お、の形をつくります。 構造としては、まず下に口の中身を置きます。その上から上唇と下唇に肌色のシートを貼り付けたものを動かすことで、口の開く大きさを変えていく、という形になります。
-
-
上唇（黒の点で囲まれた部分が肌色のシート）
-
最初の絵の時点では閉じた口（基本の形）になっています。コントロールの関係でここでは、この閉じた微笑み形の口を「変形１（変形した）、開閉0（閉じた）」にします。そして、「変形１、開閉1」を「あ」の口に、「変形1、開閉5」を「い」に、「変形0、開閉1」を「お」、「変形0、開閉0.5」を「う」、「変形0,開閉0」がへの字の口とします。最後に違和感の出ないよう修正を加えて完成です。 ところが、今回は勝手がわからずほとんどのパーツを自動でつけたままにしたことで、特に口回りのパーツがかなりがたがたになってしまったのでした…。具体的に言えば、もともと口を閉じたときに隠す肌色のシート部分の面積が小さく（横に十分広げていなかった）、そのうえアートメッシュの振り方も自動に任せた結果、特定の場面（今回は変形が小さくかつ閉じに近い場面で）、一部の口の形が隠しきれず、サイド部分で少し見えるという欠陥を抱えることになりました。しかも唇の線とくっついているため下手にいじると線が消えるという。今後の反省点となりました。 なお、鼻は全体の動きに従って動くため、今回は特に操作しませんでした。
-
口の動かし方の例
-
4.4 左右などに動くようにする
-
瞳
基本的な操作は今後共通となります。まずは瞳の向きをつけます。ここでは「ワープデフォーマー」という機能を使い、黒目が白目の中でどこを動くか指定します。上下左右の動きを指定し、「四隅の形状を自動生成」で全方向に動くようにします。
-
瞳の動作（目玉x,yパラメータに従って動く）
-
顔のパーツ
顔が上下左右に動くよう、まずは顔の形を変形します。これもワープデフォーマー機能で変えていきます。続いてそれぞれのパーツも同様に指定します。
-
首から上の動き
回転デフォーマーを使います。これである点を基準に（今回は首の付け根）回転させます。 続いて親デフォーマ―と子デフォーマ―の考えを使います。大きなフォルダーの中に小さなフォルダーがあるイメージで、親が動けばそれに合わせて子が動きます。ここでは顔全体が動けばそれぞれのパーツが動く、という仕様にします。 ここまでの作業をひたすら繰り返し、パーツから全体の動きを設定する、という作業です。
-
髪の動きをつける
上下左右の動き、および首振りの動きに合わせて髪の毛が動くよう調整します。前髪、横髪、後ろとそれぞれに対応する動きをつけていきます。なお今回は横髪と後ろ髪をしっかり分けていないため、少々ぎこちない動きとなっています。
-
首の動き、髪の動きをセットすると、セットで自然に動く
-
呼吸モーションをつける
呼吸に伴う全身のわずかな動きをつけます。全身のパーツすべてのワープデフォーマーをつくり、動きをつけます。
-
体の動きをつける
時間の関係で省略しました。 -
物理演算設定をする
顔の動きと髪の動作を連携させるなど比較的重要ではありますが、時間の関係で省略しました。
-
4.5 アニメーションツールで動きをつける
動作を指定して収録します。今回は時間切れにつき省略します。
-
4.6 トラッキングソフトで動かす
- 完成したモデルはFacerigというソフトで顔の動きをトラッキングし、それに合わせて動かすことができます。 今回はいくつかの設定をすっ飛ばしたため、首から下は動きません。首から上のみ、しかも左右およびと首の回転（しかも物理演算なし）、表情操作のみと、今のＶｔｕｂｅｒなどの標準を考えれば簡易的なモデルとなります。 FacerigとLive2D用のプラグインをインストールしました。ここで笑顔のパラメータが常にオンになっていることが発覚。応急的にデフォルトでオフになるよう設定しなおし、モーションキャプチャで動かしてみた結果が以下の通りとなります。トラッキングも大味な設定なので表情のぎこちなさはお許しを……。
-
5. まとめ
- 反省
今回はここまでです。時間足りんかった…ということで、やっぱり見通しが甘かった。昔から宿題は最終日にやる人でしたから、やっぱり癖が抜けないなぁと…。ということで、本来はやる予定だった「動くイラストを作る」というのはまたいつかやるということで、もしかしたらまたここに書かせていただくかもしれません。
とにもかくにも、Live2Dは、イラストをイラストというしがらみから一段上に引き上げるポテンシャルがある、そういう風に感じずにはいられませんでしたが、その手間も膨大なのだなと肌で感じることになりました。（ちなみに発想の近いアニメーションの製作ソフトはいろいろあります。それぞれに特徴があるので、いろいろ比べてみても面白いでしょう。今回は書ききれないので触れません）。
- おまけ
折角なので推しの宣伝をします。にじさんじからは「リゼ・ヘルエスタ」「御伽原江良（ギバラ）」、ホロライブからは「星街すいせい」「天音かなた」を推しておきます。とくににじさんじは箱推し（グループ全体を推すこと）に近いので、もっと紹介したいところですが、今回はこれくらいにしておきます。ま、人数多すぎて半分も追えないんですけどね。皆さんの推しも、必ずどこかにいるはずです。なにしろ日本のメンバーだけでにじさんじは100人以上、ホロライブも30人近くいるうえ、そのほかにも様々な集団、個人勢もいるのですから。最後に、ブログリレーはまだまだ続きます。ご覧いただき、ありがとうございました。もしICONに興味が出てきた、という方は一度覗いてみてください。個性あふれるメンバーといろいろな作品を作っていきましょう。