まず、ES。 ESはエレメンタリストリームの略です。映像なら映像のデータそのまんま、音声なら音声のデータそのまんまと思えばいいです。いわば素のデータであり、後で述べるTSやPSを加工する再に一時的にESの状態に分離することはありますが、ESのまま保存するというパターンはあまりないと考えて差し支えないでしょう。

ES（実際には映像と音で別々）

次に、PES。 PESとはパケット化されたESという意味です。 PESはESを単に分割して、それぞれのパーツにヘッダという表書きをつけたものです。 1080iのHDVテープに記録されるのはこのPESになります。この表書きの部分には時刻情報が書き込まれています。

ESとPES

余談ですが、HDVの1080iはテープ性能（容量）に余裕がないので、PESで書き込まれています。 720pのHDVはデータ量に余裕があるため、この次に述べるTSで記録されています。 1080iのHDVはiLinkから出てくるときにきちんとしたTSになって出てくるそうです。

次に、TS。 TSはトランスポートストリームの略です。 TSというのはES状態の映像や音声をくっつけて（多重化といいます）、デジタル放送を受信したり、HDVでiLinkからデータを取り出したりする際に都合のいいようにパッケージしたものです。

TSは全体のデータを細かく区切って伝送することになっていますが、例えば、ネットワーク伝送の途中でデータの順番が入れ替わってしまっても大丈夫なように細かい区切りにそれぞれ番号がついています。他にも、HDVでは関係ないですが多チャンネルを伝送する仕組みに対応していたり、伝送エラーに対処する機能が備わっていたりと、デジタル放送に必要な仕組みが採用されているのがTSです。

PESとTS

その代わり、PCで取り扱うことはあまり考えられていなかったので対応していない（再生ができない）ソフトも多いです。

PSはプログラムストリームの略です。普通、PCの世界でMPEG2といったらこれを指します。 TSと違ってDVDなどのメディアに格納するために使われています。したがってデータ構造も比較的シンプルです。

PSを作るにはPESを適当に区切って「パック」というものを作ります。そして、このパックの集合体がPSになります。規格上、PESと「パック」は 1:1 である必要は無いのですが、DVDなどでは処理をシンプルにするため（？）に、1:1 になっているそうです。また、「パック」の長さも規格上はいろいろあるのですうが、DVDなどでは全部そろえてあるそうです。

PESとTS

理論的にはES、PES、TS、PSはそれぞれ画質・音質の劣化なしに相互変換できますが、出来ないソフトも多いです。というか、相互変換可能なソフトはそれを売り物にしています。