紅白登場のAI美空ひばり「あれから」の制作の裏側。その作り方とは？本編＋未公開映像で迫る
NHKスペシャルで19年9月29日に放送された「AIでよみがえる美空ひばり」という特番。そこではAI技術によって稀代の歌姫として名高い美空ひばりさんの歌声をよみがえらせるという試みがなされたわけですが、その作り方・プロジェクトとは一体どのようなものだったのでしょうか？
19年12月17日には改めて未公開映像を加えた「よみがえる 美空ひばり」というタイトルの拡大版が放送されたという事でその時の内容も交えつつ詳細をまとめてご紹介します。
スポンサーリンクAI美空ひばりプロジェクト
美空ひばりさんの歌声を復活させるという壮大なプロジェクトが動き出したのは18年12月の事。
しかもよみがえらせた歌声で披露するのはこのプロジェクトのために書き下ろされた完全新曲。
その作詞を担当するのは秋元康さん。
美空ひばりさんにとって最後のシングル曲となった「川の流れのように」を手がけたのは誰しもが知る所。
まずは多くの作曲家に候補となる曲を作ってもらい、それを聴き比べる選考会を開きます。
200曲以上の候補を次々と試聴。
秋元康「技術が凄いですね。だと人の心は打たないじゃないですか？本当にそこにひばりさんがいるんだという事をみんな見たいわけだから。」
1か月余り続いた選考会で秋元康さんが候補として選んだのは、これまでの美空ひばりさんの曲には無かった現代的にポップス調の曲。
秋元康「ひばりさんの新しい世界観なんで、難しいっていえば難しいと思うんですよね。あとは詩の勝負なんで。」
カギを握るヤマハチーム
新曲制作と並行して進んでいたのが美空ひばりさんの歌声と姿かたちの再現プロジェクト。
NHKが主導してAIプログラマー、CGデザイナー、3D立体投影などの各分野の第一人者たちが集結。
その肝ともいえるのが美空ひばりさんの歌声を担当するチーム、歌声合成ソフト「ボーカロイド」を開発したヤマハのエンジニアたち。
バーチャルアイドル初音ミクを生み出したボーカロイドとは楽譜と歌詞を与えるとコンピューターが自動で歌にするというシステム。
YouTube動画。
ただし、今回の開発では格段に難易度がアップ。
人工的に音声を作り出すのではなく、実在した歌手本人の声を再現してさらに新曲を歌わせるという試み。
ヤマハのエンジニアである大道竜之介さんは、
大道竜之介「この時代にAIを使えばまた新しい音楽が作れるんじゃないか？もっと人を熱狂させるものが出来るんじゃないか？今回の美空ひばりさんという本当に多くの方の心を動かして来た歌声をAIで再現しようという。大変なことですけど、ものすごくワクワクしましたね。」
美空ひばりは生涯で1500曲をレコーディングしていますが、その歌声は変幻自在。さらに歌のジャンルも多岐に渡っています。
まずヤマハのチームが取りかかったのが50音を濁音なども含めて、美空ひばりさんが出す音域である4オクターブで再現する為に5000を超える音を用意する事。
しかしこれだけではまだまだパーツが足りません。
それぞれの音に対してビブラートを長中短と3パターン用意し、裏声(ファルセット)の効かせ方も強中弱と3パターン、これ以外にも途方もない順列組み合わせを分析し、歌声として完成させるためには天文学的な数の音が必要となります。
これらを人間が手作業で用意する事は不可能。
そこで今回の開発にはディープラーニングと呼ばれるAIが自ら学習を繰り返すシステムを採用。
まずはレコード会社が今回の開発の為に特別に提供してくれた「歌なし、ボーカルのみの音源」をAIに教師データとして読み込ませます。
AIは美空ひばりさんの声を1秒当たり100に分割します。そして音符と歌詞を基に本人はどのような声に出したのか？を楽譜と歌声を照らし合わせながら解析していきます。
そこで人間には到底見つけられない楽譜と声の相関関係、つまり美空ひばりさんの歌い方のルールを弾きだしていきます。
大道竜之介「人間が書けるルールの数っていうのはたかだか知れています。数百個も数千個も人間が書くのはなかなか大変ですよね。でこれをAIは何千万という条件分岐とかパラメータによる重みづけが出来てしまう。」
開発がスタートして半年が経つ頃にはAIの学習度合いはかなりのレベルに達します。
試しに映画「アナと雪の女王」で有名な「Let It Go～ありのままで～」を歌わせてみると、
大道竜之介「らしさは出てますよね。笑」
モノマネタレントさんが歌っているような、その位の完成度。
キーワード「あれから」
その頃、秋元康さんは別の仕事の為に訪れたアメリカ、ニューヨークで新曲の作詞作業。
イーストリバーのほど近くにあるカフェは30年前に「川の流れのように」を作詞をしたというまさにその場所。
そこで秋元康さんは一つの言葉にたどり着きます。
秋元康「『あれから』っていう言葉を行ったり来たりグルグル回っています。『あれから』っていうのがキーワードだなとは思ってるんです。あれから30年も経ったのか。とかね。」
30年前「川の流れのように」を書きあげた時、
美空ひばりさんから「いい詩ね。」という言葉をかけてもらった事で秋元康さんは今後は堂々と作詞家と名乗ろうと思ったとの事。
秋元康「そういう意味では、その節目に美空ひばりさんっていうのは大きな存在としてあると思うんですよね。」
20回近く書き直した末に完成したのが「あれから」というタイトルの楽曲。
サビの部分がこの歌詞。
さらに秋元康さんはどうしてもやりたかったという試みも「あれから」に取り込んでいましたが、それが「語り」の部分。
秋元康「今、この時代にひばりさんが、あれから色んな事あったけど、ずっと見ていたわよ。と。ひばりさんが空の上から『私の分まで頑張ってよ』と言う。それが一番伝えたかった所なので『よく頑張ったわね』と言われたら日本中がまだ頑張ろうと思えるし。」「語りがこれハマるか。笑」
少し不安そうに笑顔で語る秋元康さん。一種の賭けですね。
スポンサーリンク語りのパート
この秋元康さんが作り上げた新曲「あれから」はAIエンジニアたちを苦しめる事に。
AIに新曲の歌詞と音符を与えて歌わせてみると、
大道竜之介「局所的にひばりさんらしさが出ている箇所はポツポツあるにはあるんですけれども・・・。やっぱり全体的には拙く聞こえてしまう。何を再現しなきゃいけないのか？という所を我々が考えてAIの訓練をしていかなきゃいけない。」
過去の楽曲を学習して美空ひばりさんの歌唱ルールを解析していたAIにとっては新曲のこれまでにない曲調は未知の領域。
そして開発チームを最も苦しめたのが「語り」のパート。
美空ひばりさんが歌った1500曲の中に語りがあるものはほとんど存在していません。
学ぶべき教師データが決定的に不足しているというのは大問題です。
唯一ともいえるのが「悲しい酒」の一節のみ。
YouTube動画。
他に教師データもないのでこの「悲しい酒」の語りの部分をAIに学習させてみると、
その結果についてヤマハのプログラマーである才野慶二郎さんは、
才野慶二郎「なんかすごく悲壮感があって、今回の目的とはちょっと違う方向性だなと。今回の歌の中の語りの部分はもうちょっと前向きな、笑顔になりながらも気持ちは高ぶって涙は出てしまうみたいな感じの。」
情感たっぷりでは「あれから」の語りには対応出来ないと判断し、そこで協力を仰いだのが美空ひばりさんの一人息子の加藤和也さん。
美空ひばりさんは地方公演などで家を空ける時は幼い和也さんを必ず公演に一緒に連れて行くほどに溺愛していましたが、和也さんが小学生になると流石にどこへでも連れて行く事は出来なくなり、そこで美空ひばりさんが用意したのが読み聞かせ用のテープ音源。
音源には「ママがこれからお話を読みます。『はだかの王様』これを聞きながら大人しくいい子で寝るんですよ？」
テープは2時間分あって、童話が吹き込まれているそう。
我が子への愛情が溢れた優しい声。
データは直ちに開発チームの元へ。
それを学習した結果は歴然で、あの情感たっぷりだった「あれから」の語りが新しい学習を経て優しい口調に変化。
才野慶二郎「悲しい酒を学習して出て来た音声とは全く雰囲気の違う感じだなと。このデータは貴重ですね。」
新曲の振り付けや衣装
歌声開発と並行してCG映像開発チームもその作業を進めます。
残された美空ひばりさんの膨大な映像から顔の動きの法則をAIが学習していきます。
口・歯・眉など顔の50か所が新曲の歌詞に連動して動く表情生成AIを開発。
しかしいくら技術を駆使しても乗り越えられない課題がありました。それが「振り付け」。
美空ひばりさんに専属の振付師はおらず、さらにあらかじめ決まった動きをするのではなく、その時その時の心の赴くままに動くというのが美空ひばりさんのスタイル。
時にはお客さんの反応を見ながらその場で変えていく美空ひばりさんの即興的な動きを推測する事はAI技術をもってしても困難なミッションです。
サンプルを関係者に見てもらった結果は「これはひばりさんの動きじゃない！」と痛烈なダメ出しをもらったという完成度。
3DCGチームのチーフクリエイターの山本展敬さんは、
山本展敬「誰も見たことのない新曲で、ひばりさんがこういう動きをするだろうというのは想像でしかないので。前人未到の領域ですよね。」
そこで助っ人して白羽の矢が立ったのが美空ひばりさんを師と仰ぐ天童よしみさん。
天童よしみ「ひばりさんを尊敬して、ずっと今まで憧れ続けて。ひばりさんみたいになりたいという夢を持って歌手になったので。」
天童よしみさんは8歳の時に美空ひばりさんの大阪公演に出演したのがきっかけでプロの道を志し、その後は美空ひばりさんの歌い方と動きを自分のモノにしようと徹底的に研究したとか。
そこで天童よしみさんの体に全身の動作を精密に記録するモーションキャプチャーセンサーを装着して「あれから」を歌ってもらい、そこから得られた身体データを新曲に落とし込むという方式でCG制作を進める事に。
天童よしみ「ひばりさんの心みたいなものをちょっとずつ。ひばりさんだったらこうされるだろう。というのを意識しながら。それぞれのお客様に語りかける動作、仕草。」
30年ぶりにステージに立った美空ひばりさんがお客さんとの再会に喜び、一人一人に語りかける。そんな姿をイメージ。
ゆっくりと観客の顔を見回す動作が多く含まれるのがその振り付けの特徴。
天童よしみ「どれだけ本当に皆さんが待ち焦がれていらっしゃるか。私はやっぱりひばりさんと会いたい。もう一回ひばりさんの歌をお聴きしたいって思っているから。」
さらに、美空ひばりさんのヘアメイクを25年に渡って担当したという美容師の白石文江さんが新曲のイメージに合った髪型を実際のヘアモデルさんを相手に作り、それをCGに変換。
白石文江「思い出させてもらいました。色々と。笑」「やっぱり元気なお顔を見たいですよね。」
また、新曲の衣装作りについてはファッションデザイナーとして名高い森英恵さんが制作。
美空ひばりさんが42歳の頃からステージ衣装の全てを手がけてきた森英恵さん。
お互いに一切の妥協を嫌っていたので時に衝突する事もありながらも深い信頼で結ばれていたとか。
今回制作したのは美空ひばりさんが天国から華麗に舞い降りたような様子をイメージしたドレス。
出来上がった衣装を着たモデルさんの姿に、
森英恵「美空ひばりさんに見えて来て・・・涙が出て来ちゃいました・・・思い出して。」
悪用や死者への冒涜？
今、世界各地で亡くなったアーティストをテクノロジーを使って復活させる試みが行われています。
例えば台湾では24年前に亡くなったテレサ・テンを3D映像で再現して、かつての名曲を披露するというプロジェクトが行われました。
YouTube動画。
他にもバディ・ホリー、ロイ・オービソン、マリア・カラスなど。
YouTube動画。バディ・ホリー。
ロイ・オービソン。
マリア・カラス。
いずれもホログラム・ツアーと銘打っていて、2020年にはホイットニー・ヒューストン版が開催される予定だそうです。
こうした試みに批判の声も寄せられていて、
亡くなった人をよみがえらせる事は死者への冒涜ではないのか？や死への倫理観を問う問題も。
さらに、こういった技術を悪用する事でディープフェイク動画というものも作られていて、
バラク・オバマ前大統領が実際に喋っているように感じますが、これは完全なフェイク映像。精巧なフェイク映像によって社会を混乱させようと思えば出来てしまう時代。
ヤマハのプログラマー才野慶二郎さんは、
才野慶二郎「悪用を考えれば思いついてしまうぐらい技術の進歩は凄くて、でも一方で技術者としては(あくまで悪用では無い方向で)そういう事が出来るというワクワク感もあるので。やっぱり安全にこうした技術が楽しく使える未来を目指して我々はやってるという所ですね。」
スポンサーリンク高次倍音＆音やタイミングのズレ
美空ひばりさんの新曲発表コンサートまで1か月半を切ったタイミングで、美空ひばり後援会の方々に完成途中の歌声を聴いてもらうというテストが行われます。
全国各地の美空ひばりさんの公演に足を運び、ひばりさんの晩年は裏方として支え、病室にも足しげくお見舞いに通っていたという筋金入りのイチファンを超えた存在の人たちです。
厳しい目で批評する後援会の方々からは、
「私は率直に歌詞が分からない(聞き取れない)。ひばりさんの歌っていうのは一番言葉がハッキリしていたから。」
さらに一番ダメ出しをもらったポイントは「ひばりさんの声がもつ独特の力が感じられない。」という点。
「ひばりさんの歌を聴くと、ものすごい濃い空気の中にいるような気持ちになるんですけど、そういう空気が足りないっていうか。」
「浅かった。これだとひばりさんの本当の良さは出てこない気がする。」
さらに秋元康さんにも試聴してもらうと、
秋元康「これだとやっぱり人間味がない。やっぱり歌ってきっちりスコア通りに歌うのが上手いのか？それからすると的確にデータで作ってるので、もうちょっと雑味というか人間臭さとか温かみとか。ひばりさんの凄さってそこにあるような気がして。包み込む大きさがあるでしょ？」
AI美空ひばりはひばりさんの声で正確に楽譜通りに歌えるという事は実現していましたが、それだけでは人を感動させる事は出来ない。
大道竜之介「泣きそうになりますね。笑。でも特徴は捉えてるんだと思うんです。でもディテール(細部)が本物のそれではない。そこは細かい所の何かまだ再現出来てない部分があるんじゃないか？」
美空ひばりさんの歌声の何が人の心を揺さぶるのか？
その謎の一端を解き明かすために、NHKでは金沢工業大学の歌声解析の研究所である山田真司研究所に分析を依頼。
研究室の学生に歌声を聴いてもらって、どの部分で感情が揺さぶられたのかを記録してもらい解析。
すると共通した箇所には、美空ひばりさんの声に「高次倍音」と呼ばれる特殊な音が見つかります。
音の高さを表す周波数は主に1000Hzから5000Hzの間で構成され、これは他の歌手にも共通した点。
ところがひばりさんの声には7000Hzを超える高次倍音が含まれているというのが特徴的。
高次倍音とは元の音の周波数よりも何倍も高い音の事で、数オクターブ上のもう一つの音を同時出している事になります。これはいわば一人でハーモニーを奏でるという超絶テクニックを駆使していたという事。
この典型的な例がモンゴルの伝統的な歌唱法であるホーミー。
一人で歌っているのに同時に2音が聞こえるという不思議な歌唱法。舌を特殊な形に動かして低いうなり音と甲高い音を同時に出してそのハーモニーが幻想的な世界を作り出します。
美空ひばりさんはこの高次倍音を曲の必要な箇所だけにピンポイントで出しています。
聞き手にそれとは気づかせないテクニックによって奥行きのある歌声の世界観を作り上げていたのではないか？と考えられます。
解析を担当した金沢工業大学の山田真司教授は、
「高周波数、音色の変化なんです。1音ごとに音色を変える。そんな事をやってる歌手って多分ひばりさん以外にいないんじゃないかなと思うんですよね。涙が出るような、鳥肌が立つようなものを生みうると思うんですね。」
さらにヤマハの大道竜之介さんは美空ひばりさんの歌声を丹念に聴き直し、高次倍音の他にも際立った特徴を発見します。
それが「音程やタイミングの微妙なズレ」でした。
人間の耳で聞いているとすごく自然な歌に聞こえるところが、正確に楽譜と照らし合わせてみると、周波数的には音ズレをしていて、正確な音の高さと比較してやや足りていなかったり、逆にやや高すぎたり。
大道竜之介「なんでコレが本当に良い曲に聞こえるのか？という所をハッキリと申し上げる事は出来ないんだけど、こういう事が起こっている。」
ひばりさんの曲を自己学習したAIは本来なら楽譜からのズレや高次倍音までも再現できるハズでした。
しかし新曲という未知の領域では楽譜で指示された音を忠実に表現する事に留まっていたと考えられ、そこでエンジニアは思い切った改良に取り掛かります。
開発したAI美空ひばりにはメインのAIをサポートする4つの補助的なAIが配置されており、それが、
- 音程
- タイミング
- ビブラート
- 音色
というそれぞれの分野に特化したAI。
いずれも歌に深みを与える要素ですが、新曲では楽譜に縛られて十分に機能していませんでした。
そこで音程とタイミングのズレを担う2つのAIの関与の度合いを強めるというアプローチを行って修正します。
大道竜之介「何段階かのひばりさんAIがいるわけですけれども。楽譜から周波数(音の高さ)を作る部分と周波数から音色を作るそれぞれのAIがいるわけですけど、それらが上手く協調して動いてくれないとこういう事(ひばりさんの音やタイミングのズレた歌い方)が起きない。
こういった改良を施した上で新曲「あれから」を歌わせて、専門家に解析してもらうとあの高次倍音が出現。
開発スタートから1年が経ち、ようやく満足の行く結果にたどり着きました。
大道竜之介「間違いなく美空ひばりさんが歌った声であり、美空ひばりさんの音楽になっているという風に思いますね。」
AI美空ひばりコンサート本番
そして19年9月3日。
AIでよみがえった美空ひばりさんがいよいよ人々の前に姿を現します。
会場は美空ひばりさんが生前に幾度となく歌って来たNHKの101スタジオ。
この日の伴奏を担当するのは生オーケストラ。
さらに特設スクリーンに美空ひばりさんのCGイメージを映し出す装置などもセッティング完了。
集まったスタッフは総勢100人超。
そして会場には200人近い美空ひばりファンや、秋元康さん、森英恵さん、天童よしみさん、加藤和也さん、白石文江さんなどの姿もあります。
スポンサーリンクそして始まったのが「AI美空ひばりコンサート」
歌うのはもちろん「あれから」
作詞：秋元康、作曲：佐藤嘉風、編曲：野中“まさ”雄一
歌声には所々にボーカロイドっぽい不自然な箇所も混ざっているように見受けられますが、語りの部分の優しい口調なども上手く再現されているように感じられて、自然と涙を誘われるような歌に仕上がっているようです。
CGイメージはまだまだ完成度不足で、いかにもCGという感じなのがちょっと残念ですね。不気味の谷を越えられない感がありますよね。
ただ実際のコンサートのように遠目で見る限りは違和感のないレベルには仕上がっているようです。
生前の美空ひばりさんに触れる機会のなかった人たちにとっては初めての新曲発表会。
試聴会では辛辣な意見をぶつけていた後援会の方々も「驚きです。もう無限の可能性を感じましたね。神様を見ているような気持ちになって。神々しさを。もう感動いたしました。」というコメント。
天童よしみ「目の前でひばりさんにお会いできて本当に夢のようでした。とてもとても感動しました。」「歌手人生の中で一番うれしさと感動に包まれた時間でした。」
森英恵「胸がいっぱいです。いつまでもきっと・・・私たちの心の中に残る何か特別なものが彼女にはあるんですね。」
加藤和也「ホントに・・・どういう事になるかと思って今日楽しみにしてたんですけど、すごい・・・。すごい時代になったんですね。引っ込んでいく時に楽屋に行かなきゃって思いました。本当に素晴らしいものを作っていただいてありがとうございます。」「久々に会えました。」
「生き返らないなんて分かってるんですけど、この最先端の技術でここまで空いた隙間の時間を埋めてもらえる。AIの素晴らしい側面というのを改めて感じさせていただいた一日でもありました。」
才野慶二郎「この感動をこの場だけでは無くて、もっと色んな所に届けたいなと。その為にこの技術をどういう風にコントロールしなくてはいけないかというのを改めて考えたいなと思いました。」
“もっと色んな所”というのが紅白歌合戦の場を指しているのかは分かりませんが。
大道竜之介「ちゃんとひばりさんの声として届いたと思いますし、それが嬉しかったですね。」「技術の使い方を間違えると危うい面はあるけれども、今回は良い価値のある技術の使い方が出来たんじゃないかと思っています。」
秋元康「美空ひばりさんに会いたい。それと美空ひばりさんの新曲を聴きたいという思い。それにAIが力を貸してくれた。つまり人間の思いを科学がサポートしてるという。」
「ですからAIというテクノロジーは技術が先行していくんではなくて、思いがあってその思いを具現化する為に必要なものだと思いました。」
「やはり科学というのは人間の夢とか願いとか、それで奇跡を起こすものだと思います。」
AIの力によって人間の心を揺さぶる事が出来たのか？
涙尽くしのコンサート会場を見る限りは、その答えは「イエス」と言えそうですが、その根底にあったのは秋元康さんが指摘していたように「もう一度美空ひばりさんに会ってみたい。」「もう一度歌を聴きたい」という思いでした。
という事でAI美空ひばりの開発の全容について2回(19年10月1日放送の再放送分除く)に渡ってNHKで放送された内容についてのまとめでした。