帯域推定機能¶

配信側 (クライアントから Sora への方向)¶

• クライアントは、通し番号を付けたパケットを Sora に送信します
• Sora は、受信したパケットの受信状況を TWCC でクライアントにフィードバックします
• クライアントの libwebrtc は、TWCC のフィードバックをもとに送信側の帯域推定を行い、映像エンコーダーのビットレートを制御します
• 映像の TWCC は Sora 2025.1.0 以降で、音声の TWCC は Sora 2025.2.0 以降で有効にしています

視聴側 (Sora からクライアントへの方向)¶

• クライアントは、Sora から送信されたパケットの受信状況を TWCC で Sora にフィードバックします
• Sora は、パケットの到着間隔から求める遅延ベースの推定と、パケットロスから求めるロスベースの推定を組み合わせて帯域を推定します
• 推定した帯域は、次の用途で利用します
  • シグナリング通知 network.status の estimated_bandwidth
  • サイマルキャスト受信時の RID 自動切り替え

2026.1.0¶

• ネットワークの状態をシグナリングで通知する機能が正式版になりました (推定結果の通知も含みます)

2025.2.0¶

• 音声の TWCC を有効にしました
• 実験的機能として、サイマルキャスト受信時の RID 自動切り替えを追加しました
• 再送要求の頻度を利用した不安定レベルの通知機能を廃止しました

2025.1.0¶

• 帯域推定機能を追加しました
• 映像の TWCC を有効にしました
• Sora 自身の帯域推定を有効にしました
• 実験的機能として、シグナリング通知 network.status に estimated_bandwidth を追加しました

ビットレートの指定方法¶

音声と映像のビットレートは、次のいずれかの方法で指定します。

• クライアントがシグナリングの "type": "connect" で audio の bit_rate と video の bit_rate を指定する
• 認証ウェブフックのレスポンスで audio_bit_rate と video_bit_rate を指定する
• sora.conf の default_audio_bit_rate と default_video_bit_rate を指定する

指定した値は kbps 単位で扱われ、次のようにクライアントに通知されます。

• 映像: video の bit_rate で指定した値を、SDP の b=TIAS で通知
• 音声: SDP の maxaveragebitrate (Opus のパラメーター)

b=TIAS は、映像のビットレートの上限を伝えるための SDP の項目で、RFC 3890 で定義されています。 video の bit_rate はこの上限を指定する値であり、指定したビットレートでの送信を保証するものではありません。

libwebrtc のビットレート計算¶

• TWCC を利用しない場合、libwebrtc は受信側が通知してくる利用可能な帯域をもとに、目標ビットレートを決定します
• TWCC を利用する場合、libwebrtc はパケット単位のフィードバックから送信側で帯域を推定します
  • 帯域の配分には、映像や音声のデータ本体に加え、libwebrtc が把握しているパケットのオーバーヘッドも含まれます
  • エンコーダーには、目標ビットレートからオーバーヘッドと、データの欠落に備える保護分を差し引いたビットレートを指示します
• この挙動は libwebrtc の Only include overhead if using send side bandwidth estimation で M81 (2020 年) 以降に意図的に導入されています

実際の挙動¶

• ネットワークに余裕がある場合でも、映像の実ビットレートは video の bit_rate で指定した値より低くなることがあります
  • 差は一定の割合ではなく、指定したビットレートが低いほど、音声への配分やオーバーヘッドの影響が大きくなります
  • 音声と映像を送信する場合、映像には音声のビットレートと音声のオーバーヘッドを差し引いたビットレートが割り当てられます
  • 実際の差は映像の内容、パケットサイズ、フレームレート、コーデック、再送 (RTX) やデータ保護 (FEC) の利用状況により変わります
  • パケットサイズが小さいほど、オーバーヘッドの割合は大きくなります
• この差には、音声への配分やオーバーヘッドの差し引き、エンコーダーによる調整が影響します。設定値を下回ることだけでは、不具合とは判断できません
• Sora 2024.2.x 以前では TWCC を有効にしていなかったため、同じビットレートを指定しても Sora 2025.1.0 以降の方が実ビットレートは低くなることがあります
• Sora 2025.2.0 以降は音声も TWCC の対象になるため、音声を含めた帯域の推定が行われます

オーバーヘッドの内訳と差し引き¶

ここでは、後述する実測値と同じ libwebrtc M155、VP8、Opus、IPv4 の条件で、ネットワークに余裕がある場合の例を説明します。

ビットレートの実測値¶

libwebrtc M155 を利用して、 sendonly で計測した値です。

• 音声は Opus を指定し、ビットレートは指定していません
• 映像は VP8 を指定し、1280x720、30 fps のテスト映像 (FFmpeg の testsrc2) を入力しています
• 通信は IPv4 で、Sora 内蔵の TURN を経由しています

各値は、40 秒間の送信のうち、後半 20 秒間に取得した値の中央値です。

targetBitrate は映像の目標ビットレート、実ビットレートは音声+映像の合計です。

この計測では、音声のビットレートを指定していないためデフォルト値の 64 kbps になります。実際の音声ペイロードは約 63.7 kbps で送信されていました。

Opus は可変ビットレートで動作するため、音声の実ビットレートは入力内容によって変わります。 指定した映像のビットレートから、音声のビットレートと音声パケットのオーバーヘッドが確保されます

映像では配分とパケットサイズから 1 秒あたりのパケット数を求め、整数に切り上げた数をもとにオーバーヘッドを差し引きます。ビットレートが低いほど、これらのオーバーヘッドが相対的に大きな割合を占めます。

サイマルキャスト利用時の目標ビットレート¶

サイマルキャストでは outbound-rtp が RID ごとに出力され、 targetBitrate は RID ごとの目標ビットレートです。 RID ごとの目標値は設定ビットレートによって変わります。

libwebrtc M155 で、 sendonly の VP8 / VP9、1280x720、30 fps のテスト映像 (FFmpeg の testsrc2)、Opus 64 kbps、IPv4 を計測した値です。 各値は 40 秒間の送信のうち、後半 20 秒間の中央値です。

r0 / r1 / r2 は映像、合計は音声+映像です。 目標値は libwebrtc のテーブルと前述のオーバーヘッド計算から求めた値です。

配信側のビットレート制御¶

• クライアントの libwebrtc が、映像エンコーダーに指示するビットレートを下げます

視聴側の RID 自動切り替え¶

• サイマルキャスト機能の利用時に、現在実験的機能として提供している RID 自動切り替え を有効にしている場合、Sora はビットレートが低い映像に切り替えます
• 現時点の RID 自動切り替えは、ビットレートを下げる方向にのみ対応しています。帯域が回復しても、自動では高画質の映像に戻りません
• Sora は、RID 自動切り替え以外に、転送する映像のビットレートを直接制限しません

配信側のビットレート¶

クライアントの getStats() で、送信映像の outbound-rtp 統計を取得します。

• targetBitrate: 取得時点の映像エンコーダーの目標ビットレート (bps)
• bytesSent: 再送分を含む累積送信ペイロードのバイト数
• retransmittedBytesSent: 累積再送ペイロードのバイト数

同じ id の統計を 2 回取得し、次の式で計測区間の実ビットレート (bps) を算出します。

(bytesSent の差分 x 8) / 経過秒数

経過秒数は、2 回の timestamp の差分 (ms) を 1000 で割った値です。 targetBitrate と比較する場合は、各計測時の bytesSent から retransmittedBytesSent を差し引き、その差分を使って再送分を除いた実ビットレートを算出します。

視聴側の推定帯域¶

シグナリング通知機能が有効で、 sora.conf の signaling_notify_network が true の場合、シグナリング通知 network.status の estimated_bandwidth で、Sora からクライアントへの推定帯域を確認できます。 通知の条件と形式は ネットワークのシグナリング通知 をご確認ください。

サーバー側の TWCC の送受信¶

統計 API で、通信中に次のカウンターが増えているかを確認します。 配信側との通信では最初の 2 項目、視聴側との通信では後半の 2 項目が対応します。

設定したビットレートまで映像の実ビットレートが上がらないことはありますか？¶

はい。TWCC を利用する場合、libwebrtc は音声への配分やオーバーヘッドを差し引いたビットレートを映像エンコーダーに指示します。

そのため、ネットワークに余裕があっても実ビットレートは設定値を下回ることがあります。 差は一定の割合ではなく、低ビットレートでは音声への配分やオーバーヘッドの影響が大きくなります。

Sora のバージョンアップで実ビットレートが低くなることはありますか？¶

はい。Sora 2025.1.0 で映像の TWCC を有効にし、Sora 2025.2.0 では音声も TWCC の対象にしました。Sora 2024.2.x 以前と比べて、同じビットレートを指定した場合の実ビットレートが低くなることがあります。

TWCC を無効にすることはできますか？¶

いいえ。Sora には、TWCC を無効にする公開設定はありません。

TWCC のフィードバックを利用した帯域推定により、クライアントの libwebrtc は帯域の変化に合わせて送信ビットレートを調整します。これにより、ネットワークの混雑によるパケットの遅延やロスを抑えられます。