AIきりたん

AI

AIきりたんによる自然な音声合成とその歴史【NEUTRINO】

AIきりたんとは

AIきりたんとは、「NEUTRINO」というフリーウェアに付けられた愛称です。

その由来は中々複雑なもので、時系列順に説明すると下記のようになります。

きりたんの歴史

東北きりたん誕生 2011年

東北きりたんが生まれたのは、実は9年前。(2020年起点)
当時はVOCALOIDとしてではなく、東日本大震災の復興支援のために生み出されたご当地キャラクター「東北ずんこ」の妹として誕生しました。

東北ずんこについて

東北 ずん子（とうほく ずんこ）は、SSS合同会社による、ずんだ餅をモチーフにした少女のキャラクター、およびその関連コンテンツの総称である。

2011年に東日本大震災からの東北復興支援を標榜し登場したもので、キャラクターとしての東北ずん子は、東北地方に本社を登記する企業であれば、手続きをせずに無償でPOP広告や商品パッケージ、WEBサイトなどに商用利用できる。また、非商用であれば東北6県に限らず、手続きをせずに無償で利用が可能である。

@Wikipedia

東北ずんこの妹、東北きりたん

東北きりたん
声 – 茜屋日海夏

ずん子の妹で3姉妹の三女。11歳。誕生日は2月13日[11]。ふるさと女学院小等部5年生。
包丁型のアクセサリーを頭に付けており、背中に巨大なきりたんぽを背負っている。きりたんぽから味噌を撃ち出す「きりたん砲」が特技。ずん子にきりたんぽの穴へずんだ餡を詰められてトラウマになりかけた事がある。
趣味は引き籠ることと同人誌漁り、ゲーム、ずん子好き。ずん子のことは「ずんねえさま」と呼び慕っているが、イタコは「タコねえさま」と蔑称で呼ぶ。

@Wikipedia

細かい公式設定もあるようです。
ここまでは、ご当地萌えキャラとして一部に認知されているだけでした。

※その後、実はiPhoneのゲームアプリがリリースされたり、小説化されたりしたらしいのですが、今回の音声合成技術とは関係ないため割愛します。

VOICEROID+ 東北きりたん EX 2016年

ここで初めて、きりたんがVOCALOIDとして誕生します。
あくまで、VOCALOIDとしてリリースされているため、AIによる合成機能等はありません。

現在もそのまま販売されていて、通常のVOCALOIDの機能に加え、文字読み上げソフト等が付いてくるため、
動画の音声読み上げ等によく使用されています。

研究者向け東北きりたん歌唱データベース公開 2018年

実は、AIきりたんのルーツはVOCALOIDではありません。
人工知能の研究者向けに無償公開された、歌唱データベースが元になっています。

著作権法の改正により「人工知能の学習データとして聴かずに使う」のであれば公開可能だと解釈できるようになったため、
明治大学の専任准教授、森勢将雅ら始めとする有志、学生ら、そして東北ずん子公式の協力によって、実際に公開される運びになりました。

VOCALOIDの音源とは別に、声優(茜屋日海夏)がユニットで歌っている曲を収録して、それを歌唱データベースとして公開したもの。
→1音1音収録するVOCALOIDとは対照的に、自然に歌った音声からAIに学習させるためのデータベースなのです。

NEUTRINO(AIきりたん) 公開 2020年

ニューラルネットワークによる統計的音声合成の手法を使ったフリーソフトです。
学習に使われた素材は「研究者向け東北きりたん歌唱データベース」です。

つまり、東北きりたんの声で、AIによる自然な音声合成ができるソフトが、無償で公開された事を意味しています。

このソフトは、「研究者向け東北きりたん歌唱データベース」を公開した方とは違う、一般の方が開発したものです。
→東北ずんこのガイドラインに沿って使用することができます。

AIきりたん おすすめ動画

AIきりたん調声有無聞き比べ

1番が、AIきりたんで出力された音声データに、手を入れた(調声した)もの。
2番が、AIきりたんで出力されたままの音声データ。

つまり、VOCALOIDによる楽譜入力と歌詞入力だけしたような状態で、調教せずにこのレベルの歌が出てくるのです。

さくらんぼ

自然だと思います。
普通に聞いてても、VOCALOID感がかなり薄い人間らしい歌になっていますね。

キリトリセン

最後に

AIきりたん(NEUTRINO)が出てきたのは、2020年2月。
フリーソフトという事もあって、今後どんどん使われていくツールになると思います。

実際私もダウンロードして使ってみましたが、DAWを一式そろえなくても、フリーソフトを駆使すれば楽曲が作れる時代になったと実感しました。

AIきりたん自体はCUIのツールで、設定ファイルを書き換えてバッチファイルを実行する形式なので初心者にはとっつきにくいものかと思いますが、既に「NEUTRINO調声支援ツール」も別の人によって無償公開されています。

それらを使えば、比較的簡単にAIきりたんが使えると思うので、みなさんも興味があれば色々調べてみる事をおすすめします。

ドリ音Pの人力ボーカロイドレベルに近いか超えたレベルの調整が、AIで自然にできる事になろうとは…

それでは！