flyworks-avatar-video

アバター動画生成スキル

このスキルを使用すると、Flyworks（別名 HiFly 飞影数字人）のデジタルヒューマンを使って動画を生成できます。利用できる機能は次のとおりです。

1. 公開アバター動画：事前に用意された非常にリアルなアバターを使って、テキストまたは音声から動画を作成します。
2. トーキングフォト：1 枚の画像とテキストまたは音声から「トーキングフォト」動画を作成します。
3. 音声クローン：音声サンプルから音声をクローンし、TTS で使用します。

詳細なドキュメントについては、references/ フォルダーを参照してください。

• references/authentication.md - API トークンの設定
• references/avatars.md - アバターの使用
• references/voices.md - 音声の選択とクローン
• references/video-generation.md - 動画作成のワークフロー

API トークンと制限

このスキルはデフォルトの無料プランのトークンで動作しますが、次の制限があります。

• ウォーターマーク：生成した動画にはウォーターマークが入ります。
• 時間制限：動画の長さは 30 秒までです。

制限を解除するには：

1. hifly.cc または flyworks.ai に登録します。
2. ユーザー設定から API キーを取得します。
3. 環境変数を設定します：export HIFLY_API_TOKEN="your_token_here"

ツール

scripts/hifly_client.py

すべての操作のメインエントリーポイントです。

使用方法

# List available public avatars
python scripts/hifly_client.py list_public_avatars

# List available public voices
python scripts/hifly_client.py list_public_voices

# Create a video with a public avatar (TTS)
python scripts/hifly_client.py create_video --type tts --text "Hello world" --avatar "avatar_id_or_alias" --voice "voice_id_or_alias"

# Create a video with a public avatar (Audio URL or File)
python scripts/hifly_client.py create_video --audio "https://... or path/to/audio.mp3" --avatar "avatar_id_or_alias"

# Create a talked photo video using bundled assets
python scripts/hifly_client.py create_talking_photo --image assets/avatar.png --title "Bundled Avatar"

# Clone a voice using bundled assets
python scripts/hifly_client.py clone_voice --audio assets/voice.MP3 --title "Bundled Voice"

# Check status of generated tasks
python scripts/hifly_client.py check_task --id "TASK_ID"

# Manage local aliases (saved in memory.json)
python scripts/hifly_client.py manage_memory add my_avatar "av_12345"
python scripts/hifly_client.py manage_memory list

例

1. 簡単な挨拶動画を作成する

# First find a voice and avatar
python scripts/hifly_client.py list_public_avatars
python scripts/hifly_client.py list_public_voices

# Generate
python scripts/hifly_client.py create_video --type tts --text "Welcome to our service." --avatar "av_public_01" --voice "voice_public_01"

2. カスタムのトーキングフォトを使用する

# Create the avatar from an image URL
python scripts/hifly_client.py create_talking_photo --image "https://mysite.com/photo.jpg" --title "CEO Photo"
# Output will give you an Avatar ID, e.g., av_custom_99

# Save it to memory
python scripts/hifly_client.py manage_memory add ceo av_custom_99

# Generate video using the new avatar
python scripts/hifly_client.py create_video --type tts --text "Here is the quarterly report." --avatar ceo --voice "voice_public_01"

エージェントの動作ガイドライン

動画生成についてユーザーをサポートする際は、次のガイドラインに従ってください。

音声の選択が必要

動画生成にはテキストと音声の両方が必要です。 ユーザーがテキストを指定していても音声を指定していない場合：

1. まずローカルメモリを確認する：manage_memory list を実行し、ユーザーが音声のエイリアスを保存しているか確認します。

2. ユーザーに選んでもらう：

   • 「'[text]'というテキストで動画を作成したいのですね。どの音声を使いますか？」
   • 保存済みの音声がある場合：「保存済みの音声はこちらです：[list]。公開音声のほうがよろしいですか？」
   • 保存済みの音声がない場合：「公開音声を使いますか、それとも先に音声サンプルからご自身の音声をクローンしますか？」

3. 選択をサポートする：

   • 公開音声を確認するには：list_public_voices
   • 音声をクローンするには：clone_voice --audio [file] --title [name]

完全なワークフローの例

*「自分の写真から、『これは私の AI ツインです』と話すトーキングフォト動画を作成して」*のようなプロンプトの場合：

1. 質問します：「AI ツインにはどの音声を使いますか？公開音声を使うことも、ご自身の音声をクローンすることもできます。」
2. クローンを希望する場合：clone_voice の使用をサポートします。
3. テキストと音声の両方を指定してトーキングフォトを作成します：

   python scripts/hifly_client.py create_talking_photo \
     --image user_photo.jpg \
     --text "this is my AI twin" \
     --voice SELECTED_VOICE_ID \
     --title "My AI Twin"
   

後で使うために保存する

アバターの作成後、または音声のクローン後に、保存するかどうかを提案します：

python scripts/hifly_client.py manage_memory add my_avatar AVATAR_ID --kind avatar
python scripts/hifly_client.py manage_memory add my_voice VOICE_ID --kind voice