本番稼働に向けて¶

影響を受ける機能¶

• 認証ウェブフック
• セッションウェブフック
• イベントウェブフック
• 統計ウェブフック
• 音声ストリーミング機能

ただし、以下の設定で自前で CA 証明書を指定している場合は、この影響を受けません。

• webhook_tls_verify_cacert_file
• audio_streaming_tls_verify_cacert_file

NGINX のストリーム機能と ssl_preread 機能を利用する¶

• https://nginx.org/en/docs/stream/ngx_stream_core_module.html
• https://nginx.org/en/docs/stream/ngx_stream_ssl_preread_module.html

NGINX の機能を利用して、同一ポートの待受で複数のプロトコルを扱えるようにします。

その機能を利用した NGINX の参考設定です。証明書には Let's Encrypt を利用している想定です。

利用する証明書はマルチドメイン (SANs) またはワイルドカード証明書が前提となります。

• sora.example.com
  • シグナリングの WebSocket over TLS で利用するドメイン
• sora-turn.example.com
  • TURN-TLS で利用するドメイン

stream {
    # SNI のサーバー名が取得できない場合、または、該当するサーバー名が指定されていない場合は TURN-TCP へ
    # 該当するサーバー名が指定されている場合は TURN-TLS または シグナリングへ
    map $ssl_preread_server_name $upstream {
        default sora-turn.example.com;
        "sora-turn.example.com" unix:/tmp/tls.sock;
        "sora.example.com" unix:/tmp/https.sock;
    }

    # Sora の TURN-TCP へ転送
    upstream sora-turn.example.com {
        # Sora の TURN-TCP へ
        # ここの IP アドレスは Sora の ipv4_address に指定した値を指定してください
        # ここを 127.0.0.1 にすると Firefox で繋がらなくなることを確認しています
        server 192.0.2.1:3478;
    }


    # TURN-TCP, TURN-TLS, シグナリングを TCP で待ち受け
    server {
        listen 443;
        # IPv6 を利用している場合は下記を有効にしてください
        # listen [::]:443;

        proxy_pass $upstream;
        proxy_protocol on;

        ssl_preread on;
    }

    # TURN-TLS, シグナリングの TLS 終端し TURN-TCP へ転送
    server {
        listen unix:/tmp/tls.sock ssl proxy_protocol;

        # SNI を見て TURN-TLS の場合は TURN-TCP へ転送
        # シグナリング（HTTPS）の場合は HTTP へ転送
        proxy_pass $ssl_server_name;
        proxy_protocol on;

        ssl_certificate /etc/letsencrypt/live/sora.example.com/fullchain.pem;
        ssl_certificate_key /etc/letsencrypt/live/sora.example.com/privkey.pem;

        ssl_protocols TLSv1.2;
        ssl_prefer_server_ciphers on;

        ssl_handshake_timeout 10s;

        ssl_session_cache off;
        ssl_session_tickets off;
    }
}

http {
    include mime.types;
    default_type application/octet-stream;
    sendfile on;
    keepalive_timeout 65;
    gzip on;

    # $proxy_protocol_addr を利用することでクライアントの IP が保持できるようになる
    log_format proxy '$proxy_protocol_addr - $remote_user [$time_local] '
                        '"$request" $status $body_bytes_sent '
                        '"$http_referer" "$http_user_agent"';

    # 定義した proxy を利用する
    access_log /var/log/nginx/access.log proxy;

    server {
        listen unix:/tmp/https.sock ssl proxy_protocol;

        root /var/www/html;

        index index.html index.htm;

        ssl_certificate /etc/letsencrypt/live/sora.example.com/fullchain.pem;
        ssl_certificate_key /etc/letsencrypt/live/sora.example.com/privkey.pem;

        ssl_protocols TLSv1.2;

        ssl_prefer_server_ciphers on;

        ssl_session_cache off;
        ssl_session_tickets off;

        real_ip_header proxy_protocol;

        server_name sora.example.com;

        # シグナリングを Sora に Proxy します
        location = /signaling {
                proxy_http_version 1.1;
                proxy_set_header Upgrade $http_upgrade;
                proxy_set_header Connection "upgrade";
                proxy_pass http://127.0.0.1:5000/signaling;

                proxy_set_header X-Real-IP       $proxy_protocol_addr;
                proxy_set_header X-Forwarded-For $proxy_protocol_addr;
        }

        # Sora の HTTP API に Proxy します
        # 本番環境では認証などの機能を利用してください
        location /api {
                proxy_http_version 1.1;
                proxy_pass http://127.0.0.1:3000/;
        }

        # OBS (WHIP/WHEP) 向けのシグナリングを Sora に Proxy します
        location ~ ^/(whip|whip-session|whep|whep-session)/ {
                proxy_pass http://127.0.0.1:5000;
                proxy_set_header Host $host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Authorization $http_authorization;
        }

        # Sora のヘルスチェックに Proxy します
        # 公開するかどうかは検討してください
        location /.ok {
                proxy_http_version 1.1;
                proxy_pass http://127.0.0.1:5000;
        }
    }
}

TURN-TCP、 TURN-TLS、シグナリングを 443 番で使用する場合の sora.conf の設定は以下になります。

turn_tcp_port, turn_tls_port を 443 に変更します。

## TURN 機能を有効にするかどうかを指定してください
turn = true

## TURN 機能で利用するレルムを指定してください
turn_realm = sora-turn.example.com

## TURN 機能で TURN URL 払い出し機能で利用する FQDN (最後の . なし)を指定してください
turn_fqdn = sora-turn.example.com

## TURN 機能で TURN-TCP を有効にするかどうかを指定してください
turn_tcp = true

## TURN 機能で TURN-TCP を有効にした際に利用するポート番号を指定してください
turn_tcp_listen_port = 3478

## TURN 機能で TURN-TCP URL 払い出し時のポート番号を指定してください
turn_tcp_port = 443

## TURN 機能で TURN-TLS URL 払い出し機能を有効にするかどうかを指定してください
## オプションでデフォルトは false です
turn_tls = true

## TURN 機能で TURN-TLS URL 払い出し機能で利用する FQDN (最後の . なし)を指定してください
## turn_tls_fqdn は turn_fqdn の値を上書きします
turn_tls_fqdn = sora-turn.example.com

## TURN 機能で TURN-TLS URL 払い出し機能を有効にした際に利用するポート番号を指定してください
turn_tls_port = 443

Ubuntu の Nginx で Unix Domain Socket を利用する際の注意点¶

• SIGTERM を利用するようにしないと、リスタートすることができません
• セキュリティアップデートで強制的に apt upgrade が行われた際、 Unix Domain Socket ファイルが残って Nginx が再起動でき無くなる場合があります

$ sudo systemctl edit nginx.service

[Service]
ExecStartPre=
# 起動前に /tmp/tls.sock を削除する設定を追加
ExecStartPre=/bin/rm -f /tmp/tls.sock
# 起動前に /tmp/https.sock を削除する設定を追加
ExecStartPre=/bin/rm -f /tmp/https.sock
ExecStartPre=/usr/sbin/nginx -t -q -g 'daemon on; master_process on;'

ExecStop=
ExecStop=-/sbin/start-stop-daemon --quiet --stop --signal TERM --pidfile /run/nginx.pid

• ExecStartPre= を追加して、 既存の ExecStartPre= の設定をクリアしてください
• ExecStartPre=/bin/rm -f /tmp/tls.sock を設定してください
• ExecStartPre=/bin/rm -f /tmp/https.sock を設定してください
• ExecStop= を追加して、既存の ExecStop= の設定をクリアしてください
• ExecStop=-/sbin/start-stop-daemon --quiet --stop --signal TERM --pidfile /run/nginx.pid を設定してください。

その後、以下のコマンドを実行してください。

$ sudo systemctl daemon-reload
$ sudo systemctl restart nginx

NGINX の設定例¶

Sora からのウェブフックサーバーへのアクセスに、NGINX を使用したリバースプロキシを使用する場合の設定例です。

この設定は /etc/nginx/conf.d/webhook.conf に保存することを想定しています。

/etc/nginx/nginx.conf の http ディレクティブに、 include /etc/nginx/conf.d/*.conf; がない場合や、 コメントアウトされていて /etc/nginx/conf.d/webhook.conf が読み込まれない場合は、 include ディレクティブを追加、または、コメントアウトを外して /etc/nginx/conf.d/webhook.conf が読み込まれるようにしてください。

Sora からのウェブフックサーバーへのリクエストを NGINX で HTTP で受信して、HTTPS でウェブフックサーバーに転送します

Sora と NGINX 間の通信は HTTP のため、下記の設定例は Sora と同じサーバーに NGINX をインストールしてある前提です

この設定を使用する場合は、 nginx.conf の listen ディレクティブのポート番号は、 sora.conf の auth_webhook_url, event_webhook_url, session_webhook_url, stats_webhook_url の設定と合わせてください。

server {
    # 外からのリクエストは受信しない
    # ポート番号は sora.conf の auth_webhook_url, event_webhook_url, session_webhook_url, stats_webhook_url の設定と合わせてください
    listen 127.0.0.1:18080;

    # 名前解決に使用するリゾルバの設定
    # 転送先ウェブフックサーバーへのリクエスト時にホスト名の名前解決が必要な場合は、
    # resolver ディレクティブに、/etc/resolv.conf で利用している DNS サーバー、
    # または、環境標準の DNS サーバーの IP アドレスを設定してください
    # また、resolver ディレクティブを使用しない場合には、location ディレクティブの proxy_pass への
    # 転送先 URI 指定には変数を使用しないでください
    resolver 127.0.0.53 valid=30s;

    access_log /var/log/nginx/upstream_access.log;
    error_log  /var/log/nginx/upstream_error.log warn;

    # HTTP の HOST ヘッダーと TLS の SNI、proxy_pass での転送先指定で使用するホスト名の設定
    # 転送先ウェブフックサーバーのホスト名を設定してください
    set $upstream_host "webhook.example.com";

    proxy_http_version 1.1;
    proxy_set_header Host $upstream_host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto http;

    # Basic 認証をパススルーする場合は下記のコメントアウトを外します
    # proxy_set_header Authorization $http_authorization;

    # プロキシタイムアウト設定
    proxy_connect_timeout 5s;
    proxy_send_timeout 30s;
    proxy_read_timeout 30s;

    # リクエストサイズ制限
    client_max_body_size 1m;

    # リトライ抑制：POST の二重送信を避ける
    proxy_next_upstream off;

    # レスポンスの Location 書き換えを無効化
    proxy_redirect off;

    proxy_ssl_server_name on;
    proxy_ssl_name $upstream_host;

    proxy_ssl_verify on;

    # TLS の証明書検証で使用する CA 証明書の指定
    # 下記以外に、自己発行証明書を使用する場合や他のパスに設置した CA 証明書を使用する場合は、
    # その CA 証明書のパスを proxy_ssl_trusted_certificate ディレクティブに設定してください

    ## Ubuntu の場合
    # proxy_ssl_trusted_certificate /etc/ssl/certs/ca-certificates.crt;
    ## RHEL の場合
    # proxy_ssl_trusted_certificate /etc/pki/tls/certs/ca-bundle.crt;

    # Upstream TLS 証明書の検証時に許可する証明書チェーンの深さの指定
    #
    # 利用者環境によっては異なる証明書チェーンが使用されるため、
    # 以下のような証明書検証エラーが発生した場合は、
    # 転送先の証明書チェーンおよび CA 設定を確認し、
    # 必要に応じて proxy_ssl_verify_depth の値を調整を試みてください
    #
    #   unable to get local issuer certificate
    #   certificate verify error
    #
    proxy_ssl_verify_depth 3;

    # sora.conf の auth_webhook_url に設定した URI のパスと合わせてください
    location = /sora/webhook/auth {
        # POST 以外を拒否
        limit_except POST {
            deny all;
        }
        # 認証ウェブフックの転送先 URI を指定してください
        proxy_pass https://$upstream_host:28080/sora/webhook/auth;
    }

    # sora.conf の event_webhook_url に設定した URI のパスと合わせてください
    location = /sora/webhook/event {
        # POST 以外を拒否
        limit_except POST {
            deny all;
        }
        # イベントウェブフックの転送先 URI を指定してください
        proxy_pass https://$upstream_host:28080/sora/webhook/event;
    }

    # sora.conf の session_webhook_url に設定した URI のパスと合わせてください
    location = /sora/webhook/session {
        # POST 以外を拒否
        limit_except POST {
            deny all;
        }
        # セッションウェブフックの転送先 URI を指定してください
        proxy_pass https://$upstream_host:28080/sora/webhook/session;
    }

    # sora.conf の stats_webhook_url に設定した URI のパスと合わせてください
    location = /sora/webhook/stats {
        # POST 以外を拒否
        limit_except POST {
            deny all;
        }
        # 統計ウェブフックの転送先 URI を指定してください
        proxy_pass https://$upstream_host:28080/sora/webhook/stats;
    }

    # location で設定されていないパスは 404
    location / {
            return 404;
    }
}

認識するコア数と利用できるコア数に矛盾がないかの確認¶

Sora をコンテナ環境で利用する場合、 コンテナが認識するコア数と実際にコンテナが利用できるなコア数が異なる環境があります。

Sora は コンテナが認識するコア数を想定した挙動 をするため、 Sora の性能劣化が発生する場合があります。

コンテナが認識するコア数とコンテナが利用できるコア数が異なる場合は 必ずサポートまでご連絡ください 。

コンテナが認識するコア数は以下のコマンドで確認できます。

$ grep processor /proc/cpuinfo | wc -l

• AWS ECS on EC2 利用時にコンテナが認識するコア数と利用できるコア数が異なることを確認しています