Article updated in Oct 2023
圧縮技術の専門家、アントニン・デスカンペと少し話しましょう!
Antonin Descampe氏は、intoPIXの共同設立者であり、2005年よりJPEG 委員会のメンバーを務めています。彼はJPEG XSテクノロジーが他のコーデックとどのように違うのか、また他の既存のコーデックと比較してXSの利点は何かを説明します。
JPEG XSとは何ですか?また、JPEG 2000、MotionJPEG 、そして各種MPEG規格との違いは何ですか?
JPEG XSと、JPEG 、MPEGやその他の標準化委員会による既存のコーデックとの主な違いは、圧縮効率が主な目標ではないことです。他のコーデックが圧縮効率に重点を置き、レイテンシーや複雑さを無視するのに対し、 XSは次のような問題に取り組んでいます。 "最終的に非圧縮ビデオをどのように置き換えることができるか?"。
JPEG XSの目標は、非圧縮ストリームのすべての利点、すなわち相互運用性、視覚的なロスレス品質、複数生成の堅牢性、低消費電力、コーディングとデコーディングの低遅延、実装の容易さ、チップ上の小さなサイズ(追加の DDRメモリチップなし)、汎用CPU とGPU で実行する高速ソフトウェアを保護しながら、解像度、フレームレート、ストリーム数の増加を可能にすることを目的としています。
この一連の強力な要件を同時に満たすコーデックは他にありません。したがって、あらゆる面で非圧縮と「競合」することができます。
帯域幅/ビデオデータを大幅に削減します。
最終的に非圧縮映像に置き換えるにはどうすればいいのでしょうか?
JPEG XSでどのような圧縮が妥当なのか、また、JPEG XSでHD、4K、8Kのビデオにはどのような圧縮の選択肢があるのでしょうか?
一言で言えば、JPEG XSで視覚的にロスレス品質を実現するための一般的な動作点は10:1程度と言えるでしょう。
ただし、最大圧縮率を特定する際には、解像度とコンテンツの種類を考慮に入れておく必要があります。例えば、自然なコンテンツは、通常、特定の品質レベルに対して高い圧縮率に達します。
さらに、「視覚的にロスレス品質」は、異なる品質レベルを意味することができます。その開発中に、 JPEG XSは、最も厳しい品質評価手順(ISO/IEC 29170-2「視覚的ロスレスコーディングの評価手順」)に対してテストされており、元の画像と圧縮された画像-"視覚的透過性"として時折参照される間の「区別できないちらつき」を保証する閾値を求めています。
さまざまなコンテンツ(画面コンテンツ、CGI)、自然画像など、当社のテストに基づいて、次の表を定義しました。表の下側の圧縮ビットレートは、通常、自然コンテンツで使われるユースケースを定義し、上域は複雑なコンテンツまたは完全な視覚的透過性を必要とするユースケースを定義します。
フォーマット | XSビットレート(1bppまで) | IP ネットワークと SDI マッピング |
HD 720p60 HD 1080i60/p30 | 70~195Mbps | 1GbEで5~14ストリーム 10GbEで50~140ストリーム |
HD 1080p60 | 150~390Mbps | 1GbEで2~6ストリーム 10GbEで25~66ストリーム |
4K 2160p30 | 250 Mbps - 750 Mbps | 1GbEで1 ~ 4 のストリーム 2.5GbEで3 ~ 10 のストリーム 10GbEで13 ~ 40 のストリーム |
4K 2160p60 | 500 Mbps - 1,4 Gbps | 1GbEで1~2ストリーム 2.5GbEで1~5ストリーム 10GbEで7~20ストリーム シングル3G-SDI / シングルHD-SDI |
8K 4320p60 | 2 Gbps - 5,6 Gbps | 2.5GbEで1ストリーム 10GbEで1~5ストリーム シングル3G-SDI / シングル6G-SDI / シングル12G-SDI |
8K 4320p120 | 4 Gbps - 12,8 Gbps | 10GbEで1 to 2 streams シングル 6G-SDI / シングル 12G-SDI |
JPEG XS は、特にハイエンドのビデオ アプリケーションを対象としており、放送、放送コントリビューション、VRアプリケーションなどがあります。なぜ JPEG XSで、H.264またはH.265ではないのでしょうか?
放送、放送コントリビューション、バーチャルリアリティアプリケーションなどのビデオアプリケーションでは、MPEG-4 AVC / H.264やHEVC / H.265では提供できない機能が求められます。
JPEG XSは、MPEGのようなフレーム間コーデックよりもはるかに低い複雑さを持っています。これにより、実装コストが大幅に削減され、FPGA のフットプリントが小さくなり、フレームを追加のDDRメモリチップに保存する必要がありません。また、エンコーダーとデコーダーの複雑さのバランスが取れているため、エンコーダーとデコーダーの数が同じであるような環境に適しています。MPEG-4 AVC / H.264のエンコーダーは、デコーダーよりもはるかに複雑です。
レイテンシーの観点から、MPEG-4 AVC / H.264 と HEVC / H.265 を複数のエンコーディングとデコーディングのステップを持つライブプロダクションワークフローで使用すると、コンパイル時のレイテンシーが何秒 にもなることがあります。マイクロ秒遅延のJPEGXSは、MPEG-4 AVC / H.264のエンコーディング・デコーディングステップのレイテンシーを発生させることなく、ライブ制作ワークフロー全体を通じて実行することができます。消費者に配信するためのラストマイルにH.265が必要だとしても、配信前の制作ワークフローで追加のレイテンシが発生しないようにしています。放送とは別に、JPEG XSがターゲットとするアプリケーションはリアルタイム伝送を必要とする、自律走行システム、KVM拡張、VR/ARギアなどです。100ミリ秒以上の遅延は、これらのアプリケーションを使用できなくします(自律走行車の場合、事故につながることさえあります)。JPEG XSは、エンコードとデコードを合わせても1ミリ秒以下と、この指標を大きく下回っています。
実際 JPEG XSはハイエンドのビデオアプリケーションを対象とするだけでなく、非圧縮ビデオが現在使用されており、高い品質レベルを維持する必要がある場所であればどこでも適しています。そのため、モバイルデバイス、自動車、テレビ、その他の画面などの家電製品にも大きな焦点があります。
JPEG XSの標準化の状況はどうなっていますか?
標準化プロセス自体の状況については、JPEG XSは5つのパートで構成されており、いずれも初版が発行されています。
Part-1(Core coding system)では、実際の圧縮アルゴリズムが定義されていますが、Part-2(Profiles and buffer models)では、特定のアプリケーションやコンテンツタイプに適した操作ポイントと見られるいくつかのプロファイルが定義されています。Part-3(トランスポートおよびコンテナフォーマット)およびその他の標準化活動では、様々なファイルフォーマットおよびトランスポートフォーマットが規定されており、1つまたは複数のJPEG XSコードストリームを保存またはストリーミングすることができます(以下の表を参照)。Part-4(コンフォーマンステスト)とPart-5(リファレンスソフトウェア)では、コンフォーマンステストとリファレンスソフトウェアに関するすべての事項を扱い、実装者がJPEG XS に準拠した製品を開発するためのサポートとガイドを行います。
JPEG XS規格の初版が発行されて以来、JPEG 委員会は、新機能やユースケースをサポートするために、XSのさらなる強化と改善に注力してきました。特に、カラーフィルターアレイ(CFA)データ(主にベイヤーパターンとして知られている)の圧縮に特化した新しいコーディングツールを開発しています。 これらの新しいツールにより、JPEG XSは、自動車産業や業務用カメラに見られるようなイメージセンサーデータの圧縮を伴う使用例にさらに適したものとなります。 さらに、4:2:0クロマサンプリングや数学的ロスレス圧縮に対応した新しいプロファイルも提供しています。当初、これらの新機能はPart-1およびPart-2の修正として計画されていましたが、JPEG XSの完全な第2版(全5部構成)とすることに変更されました。
このプロセス以外にも、AIMS、VSF、SMPTE, TICO Alliance, IETFなど、標準化団体と産業組織の間でいくつかの継続的なリエゾンがあります。 前回のNABでの IP Showcase で、ST2110-22 のJPEG XS に関する発表がありました。いくつかの放送局のサプライヤーは、自社の実装をリリースしているか、今後発売される製品への実装を検討しています。
項目 | 説明 | 現在のステータス | 備考 |
---|---|---|---|
ISO/IEC 21122-1 | 第1部: コアコーディングシステム | 2nd edition, published 2022 | 3rd edition scheduled for Q2 2024 |
ISO/IEC 21122-2 | パート2 : プロファイルとバッファモデル | 2nd edition, published 2022 | 3rd edition scheduled for Q3 2024 |
ISO/IEC 21122-3 | パート3:トランスポートとコンテナのフォーマット | 2nd edition, published 2022 | 3rd edition scheduled for Q3 2024 |
ISO/IEC 21122-4 | 第4部:適合性試験 | 2nd edition, published 2022 | 3rd edition scheduled for Q3 2024 |
ISO/IEC 21122-5 | パート5 : リファレンスソフトウェア | 2nd edition, published 2022 | 3rd edition scheduled for Q3 2024 |
IETF RFC9134 | JPEG XS RTPペイロード | IETFペイロードWGにて承認 | 公開 |
SMPTE ST 2110-22 | ST 2110の圧縮エッセンス | 公開 | 公開 |
ISO/IEC 13818-1:2019/AMD1 | JPEG XSのためのMPEG-2 トランスポート ストリーム (TS) ラッパー | 公開 | 公開 |
SMPTE ST2124 | JPEG XSのためのMXF ラッパー | 公開 | 公開 |
VSF TR-07 | ビデオサービスフォームによるJPEG XS over MPEG-2 TS (SMPTE 2022-2 ) の技術勧告 | 公開 | 公開 |
VSF TR-08 | ビデオサービスフォームによるSMPTE 2110 を介したJPEG XSの技術勧告 | 公開 | 公開 |
AMWA BCP-006-01 | JPEG XSでAMWA NMOS | Published (2023) |
* 2021年7月に更新された日付とスケジュール
JPEG XSテクノロジーと、他のコーデックに対する優位性について、ご理解いただけましたでしょうか。 JPEG XSテクノロジーについてより詳しい情報をご希望の方は、お気軽にお問い合わせください!