単なる圧縮以上のもの――ウェーブレットスケーリング

05.06.26 08:45 AM By intoPIX

⏱ 7 min read

JPEG XSとウェーブレット技術

多くの人たちはJPEG XSを低遅延の圧縮コーデックだと考えていますが、確かにその通りです。しかし、そのウェーブレットアーキテクチャには、単なる圧縮をはるかに超える機能が組み込まれています。それは、どの受信機でも、単一の圧縮ストリームから、フル4Kフレーム、埋め込まれたHDレイヤー、あるいは特定のクロップ領域を個別にデコードできるという機能です。これが「ウェーブレット・スケーラビリティ」であり、IP配信に対する考え方を一変させるものです。

ウェーブレットが他と異なる理由

従来のビデオコーデック（H.264、H.265、JPEG 2000やさらに多くの構成で）は、フレーム間やブロック間の差異を予測することで、1フレームを圧縮します。画像の任意の部分を復号するには、受信側は通常、そのフレームの圧縮済みビットストリーム全体を必要とします。

JPEG XSはウェーブレットベースのコーデックです。ウェーブレット変換では、画像を周波数サブバンドの階層構造に分解します。具体的には、画像の全体的な構造を担う低周波成分と、細部を表現する高周波成分へと段階的に分解されます。この階層構造は、圧縮されたビットストリームにおいても保持されます。

重要なポイント:ビットストリームが周波数サブバンドごとに構成されているため、受信機はその一部のみをデコードすることで、より低い解像度ながらも有効かつ完全な画像を得ることができるという点です。低周波数サブバンドのみでも、画像の縮小版を再構成できます。サブバンドを追加するごとに、解像度は段階的に向上します。これは「解像度スケーラビリティ」と呼ばれ、ウェーブレットアーキテクチャに本来備わっている特性であり、後付けの機能ではありません。

実際にはどういうことか

JPEG XSストリームにおいて、ウェーブレット分解とは、単一の圧縮ビットストリームに以下の要素が同時に含まれることを意味します：

The full resolution image — 4K, 1080p, or whatever the source resolution is

An embedded half-resolution layer — HD from a 4K stream, for example

An embedded quarter-resolution layer — and so on down the hierarchy

クロップ領域への機能— 画像全体をデコードせずに、フレームの空間的な一部のみをデコードする

重要な点は、これらのサブ画像が独立したストリームではないということです。これらは単一の圧縮ビットストリーム内に埋め込まれています。4KソースからHD画質のみを必要とする受信側は、既存のストリームを部分的にデコードすることでこれを実現できます。送信側での再エンコードも、別途のネットワーク経路も、余分な帯域幅も必要ありません。

PROXYストリーム — 具体的な例

実際の製品において、ウェーブレットのスケーラビリティが最も即座に役立つ応用例が、PROXYストリームです。intoPIXのTitanium FPGA SoC EDKにおけるその仕組みは以下の通りです：

カメラまたはエンコーダーは、単一の1GbE を介して、MAINストリーム（4K60 JPEG XS 、通常500～700 Mbps）を送信します。同時に、同じ送信元は、エンコード中にウェーブレット係数から直接生成されるPROXYストリームqHD解像度（960×540）、約40～50 Mbpsの、独立してアドレス指定可能なセカンダリストリーム）を生成できます。これには、別途エンコード処理を行う必要はありません。

両方のストリームは、同じ1つの1GbEリンクを経由して送信されます。受信側は、 SDP またはNMOS IS-04/IS-05を使用して、いずれかのストリームを個別に受信します。PTZコントローラーやマルチビューアーはPROXYのみを受信し、不要な4Kデータは一切受信しません。プロダクションスイッチャーはMAINを受信します。互いに影響し合うことはありません。

これにより実現できる効率化：従来の非圧縮またはDCTベースのワークフローでは、低解像度のモニタリング用ストリームを提供するために、専用のダウンスケーラー、専用のエンコーダー、専用のネットワーク帯域幅、そして専用のケーブルが必要となります。一方、JPEG XSウェーブレットスケーラビリティを利用すれば、これはエンコードプロセスの副産物として得られるため、追加のハードウェアも、PROXYストリーム自体以外の追加の帯域幅も不要となります。

MAINストリーム内のデコード — 4K、HD、qHD、またはクロップ

PROXYは独立したストリームですが、MAINストリーム自体にもスケーラビリティ機能が組み込まれています。MAINストリームをデコードする受信機は、ウェーブレットサブバンドの処理数を減らすだけで、解像度を下げた状態でデコードを行うことができます：

フル4K— すべてのサブバンドをデコード、全ディテール、全処理コスト
4KからHD（またはqHD）へ――低周波数サブバンドのみをデコードすることで、デコードの複雑さを約4分の1に抑えながら有効な1920×1080の画像を取得できるほか、デコードの複雑さを約16分の1に抑えながら960×540の画像を取得することも可能です。
空間的クロップ— 画像全体をデコードすることなく、フレーム内の特定の関心領域に対応するサブバンドのみをデコードする機能。PTZデジタルズーム、フォレンジック分析、または関心領域（ROI）ワークフローに有用です。

これは、処理リソースが限られている受信機にとって特に重要です— 組み込みシステム、SoC、あるいは完全な4Kデコードパイプラインのコストをかけずに4K映像を監視する必要があるアプリケーションなどが該当します。

Capability	JPEG XS (wavelet)	H.264 / H.265
Sub-frame latency	✓ (line-based)	High latency
Resolution scalability	✓ inherent	Limited / profiles
Spatial crop decode	✓	—
PROXY from MAIN encode	✓ no re-encode	Requires re-encode
Visually lossless	✓	Lossy
FPGA hardware feasible	✓ low gate count	High complexity

注：JPEG 2000のウェーブレットを使用し、スケーラビリティに対応していますが、そのハードウェアおよびソフトウェアによるエンコードの複雑さと遅延のため、JPEG XSが達成する5ミリ秒未満のglass to glass処理という目標には適していません。JPEG XSは、最小限のゲート数でハードウェア実装が可能となるよう特別に設計されており、そのため、FPGAに組み込む際にも、プログラム可能なロジック領域を多く必要せず収まるのです。

実世界でのユースケース

BROADCAST

Camera → production switcher + multiviewer

スタジオカメラは1つのMAINストリームを送信します。制作スイッチャーはフル4Kフィードを受信します。マルチビューワーはPROXYを受信します。これらはすべて同じ1GbEリンクを介して行われ、追加のインフラは不要です。

MEDICAL

手術用カメラ → 手術室用ディスプレイ＋遠隔モニタリング

The surgical camera streams full 4K to the OR display with <5 ms latency. A remote monitoring workstation subscribes to the PROXY — adequate quality for observation, minimal network load across the hospital network.

PROAV

4K endpoint + PTZ controller

IPMXカメラは「MAIN」と「PROXY」の2つの映像を送信します。ディスプレイウォールは4K映像をデコードします。PTZコントローラーは、低遅延のジョイスティック制御ループにPROXY映像を使用します。これにより、決して使用することのない4Kストリームに帯域幅を浪費することなく済みます。

ROBOTICS

High-res sensor + low-latency control loop

ロボットビジョンシステムが高解像度の画像を撮影します。AI推論パイプラインは、切り出された関心領域（ROI）のデータを取得します。オペレーターインターフェースはPROXYのデータを取得します。センサーからの全データは、別途アーカイブされます。

What intoPIX delivers

ウェーブレットの拡張性は単なる理論上の可能性にとどまりません。スタンドアローンCODEC IPコアから、完全な組み込み開発キットやターンキーソリューションに至るまで、intoPIXの全製品に実装され、提供されています。

Codec IP cores & SDKs

TicoXS—JPEG Highプロファイル対応のエンコーダおよびデコーダ。FPGA IPコアとx86-64用ソフトウエアSDK、そしてARMプラットフォームに利用可能です。エンコード時に、フル解像度のスケーラビリティとウェーブレットからのPROXYストリーム生成をサポートしています。
TicoXS FIP—JPEG XS High + TDC（Flawless Imaging Profile）エンコーダーおよびデコーダー。4:4:4での最高品質が求められる収録およびマスタリングワークフロー向けに設計されており、TicoXSと同様のウェーブレットスケーラビリティを備えています。
TicoRAW —RAWセンサー用のウェーブレットベースのコーデック。カメラRAWワークフローに、スケーラビリティの原則を適用します。フル解像度でのデモザイク処理を事前に行うことなく、圧縮されたRAWから直接、解像度や関心領域（ROI）のスケーリングを可能にします。

IPトランスポート - 組み込み開発キット／ソフトウェア開発キット

Titanium FPGA EDK— AMD Zynq Ultrascale+ 向けの ST 2110 / IPMX 完全開発キット。TicoXSおよびTicoXS FIPは、プログラマブルロジック内でFPGA IPコアとして動作し、PROXYストリーム生成機能と、NMOS選択可能な独立したストリームサブスクリプション機能が含まれています。TXおよび RXパッケージが利用可能です。内蔵の1G GigE ポートを介して動作するため、外部 PHYやNICは不要です。

Titanium EDK— Nvidia Jetson、Qualcomm、RockchipなどのARM64 SoC向けST 2110 / IPMX開発キット。TicoXSは、ARM CPUやGPUでアクセラレーションされたソフトウェアコーデックとして動作します。PROXYストリームの生成や解像度スケーラブルなデコードを含め、ウェーブレットの完全なスケーラビリティに対応しています。

Titanium SDK — x86-64 Windowsおよび Linuxワークステーションやサーバー用ST 2110 / IPMX SDK。完全なウェーブレットスケーラビリティ、PROXYストリームのサポート、およびモニタリングワークフロー向けの解像度選択可能なデコード機能を備えた、CPUまたはGPUで加速されたTicoXSのエンコードおよびデコード。

1つの機能で、あらゆるプラットフォームに対応。 FPGA SoC、ARM組み込みシステム、x86サーバーのいずれで開発を行う場合でも、intoPIXの同じ製品ファミリーを通じて、JPEG XSの同じウェーブレットスケーラビリティ（MAIN＋PROXY生成、解像度スケーラブルなデコード、空間クロップ）をすべて利用できます。