概要

MMDAgent-EX の概要

MMDAgent-EX とは

MMDAgent-EX はモバイル・クラウド環境において対話システムの研究・開発・創作を行うための実験的なプラットフォームです。MMDAgent-EX は様々な対話コンテンツや音声インタラクションコンテンツを再生することができます。さらに、自分でコンテンツを作成してWeb上で共有することができます。

MMDAgent-EX は MMDAgent の拡張版であり、iOSおよびAndroidを含むマルチOS対応、Webベースのコンテンツ共有、PMX対応(ベータ)を含む MMD との互換性の向上、REST API および Apache Kafka によるログ収集機構、コンテンツ暗号化など様々な機能追加と改善を含んだアプリケーションです。

このプロジェクトの目標は、下記のようなことが自由に行える基礎的なシステムを提供することです:

  • 様々な対話システムを気軽に入手して楽しむ
  • 対話システムを自由自在に構築し、ネットワークを通じて共有する
  • 対話システムのユーザと製作者を繋いだコミュニケーションを支援する
  • 研究のための社会実験および大規模対話データ収集のプラットフォーム

オリジナル版との差異

オリジナル版MMDAgent からの主な違いは以下のとおりです。

  • コンテンツの直ダウンロードと自動更新
  • iOS / Android で最新の音声APIをサポート (VoiceProcessingIO / AAudio)
  • ダウンロード済みコンテンツの管理
  • データ収集とリアルタイムログ収集機構 (REST API / Apache Kafka)
  • PMX対応(ベータ)を含む MMD との互換性の向上
  • 多くのバグ修正、UIの更新、モバイル環境での安定化

すべての変更点の一覧はオリジナルからバージョン1.3の差分 ページにまとめられています。

どんな人のためのもの?

MMDAgent-EX はこんな人に向いているかもしれません。

  • スマホでエージェントとの会話を少し体験してみたい人
  • 大学・起業で対話システムを研究していて、大規模なデータ収集を検討したい人
  • 会話型ユーザインタフェースの未来に興味がある人
  • 「対話のメディアコンテンツ化」の考え方に興味がある人
  • MMD のファン
  • キャラクター創作に関わっていて面白い応用を考えたい人
  • 「キャラとの会話の創作」に興味があり実践してみたい人
  • MMDAgent を使ったことがあってもっと何かできないかと思ったことがある人

こんな人には向いていない?かもしれません。

  • 画面上のエージェントと会話するのに強い拒否感がある人
  • アニメ的な2Dキャラクター表現が好きでない人
  • 音声認識の誤りが絶対に許せない人
  • 古いデバイス(iOS <= 9, Android <= 5) で動かないのが許せない人

わかった、次に何をすればよい?

初めての人はまずスタートガイドを読んで、MMDAgent-EXのインストールから初回の動作までを試してみてください。操作マニュアル には、コンテンツの再生方法やブックマークの仕方、操作方法が書かれています。

MMDAgent-EX のための対話コンテンツを誰でも自由に作成することができます。まずはシステム概要でシステム構成の全体像を、コンテンツ概要で対話コンテンツがどのようなパーツから成り立っているかを知ることができます。対話シナリオは FST 形式で記述しますが、書き方は対話シナリオの書き方で解説しています。FST以外のファイルについてはファイル形式のページで解説しています。特にPMXモデルの利用については利用条件にご注意ください。

作成した対話コンテンツはWebサーバ上にアップすることで全世界へ公開することができます。コンテンツを置いたURLを mmdagent://... の形で人に教えるだけで、誰でもそのコンテンツをダウンロードして楽しむことができます。

MMDAgent-EX は多彩な機能を有しており、その活用方法はレシピとして随時まとめられています。レシピは、MMDAgent-EX の機能紹介やコンテンツの作例、ヒントです。また、ネットワーク接続を介して他のサービスAPIやプロセスと連携することも可能です。

コンテンツを作っていてメッセージやオプションの詳細な仕様が分からなくなったときは、リファレンスとして内部メッセージ一覧mdf オプション一覧を参考にしてください。

MMDAgent-EX はオリジナル版の MMDAgent を元に拡張されたアプリです。多くの仕様は MMDAgent の上位互換です。