解説
新プロトコル「Homa」とは何か、AIクラスターの通信遅延を減らす仕組みを解説
GPUの待ち時間はわずか1ミリ秒でもコストに直結します。データセンター内部の通信を支えてきたTCPの仕組みに限界が見え始めており、代わりとなる新しいプロトコル「Homa」が研究と標準化の両面で進んでいます。
何が起きたか
TCPに代わる通信プロトコル「Homa」を、スタンフォード大学のジョン・オースターハウト名誉教授が提唱しています。データセンター内では物理的に近い多数のコンピューターが細かなリクエストを大量にやりとりするため、接続管理や送信順序の保証に伴う処理が通信時間に占める割合が大きくなるといいます。
AI向けの大規模クラスターでは、モデルの重みや勾配といった大規模なデータ転送と、KVキャッシュの検索やメタデータ調整などの短い通信が同じネットワーク上を流れます。オースターハウト氏は「重要なのはレイテンシーだ」と述べ、わずか1ミリ秒の遅延でも高価なGPUが処理を待つ時間につながると指摘しています。
オースターハウト氏がThe Registerに示した比較では、100Gbps・ネットワーク使用率80％の条件下で、短いメッセージの99パーセンタイル遅延がTCPで1.2ミリ秒だったのに対し、Homaは92マイクロ秒で約13分の1でした。長いメッセージでもHomaはTCPの約2倍の性能だったと、オースターハウト氏は主張しています。
40台のマシンを使った2021年のテストでも、HomaはすべてのメッセージサイズでTCPやDCTCPより低い遅延を記録し、短いメッセージの99パーセンタイル遅延はTCPの19分の1～72分の1、DCTCPの7分の1～83分の1だったと報告されています。
背景・解説
TCPは、インターネット通信を長年支えてきた通信プロトコルです。データを途切れない一続きの流れ（ストリーム）として扱い、送信側が受信側からの応答をもとに混雑具合を推測しながら送信量を調整します。
この仕組みには二つの弱点があります。一つは、個々の送信側が他の送信元を含めた受信側の混雑状況を把握しにくく、対応が後手に回りやすい点です。もう一つは、短いメッセージと長いメッセージを区別する機能がなく、短いリクエストが長いデータ転送の後ろに並んで待たされる点です。似た問題はウェブ通信でも指摘されており、HTTP/2ではパケット消失時に後続データが待たされる「Head-of-Line Blocking」が発生するため、ウェブ向けにはQUICを使うHTTP/3が登場した経緯があります。
Homaはこうした問題をデータセンター向けの通信設計から見直すことで解決しようとしています。研究は2018年の論文にさかのぼり、ベーナム・モンタゼリ氏やオースターハウト氏らが「短いメッセージの低遅延」と「高いネットワーク使用率」を両立するプロトコルとして提案しました。
Homaの特徴は、TCPのようなストリーム型ではなく「メッセージ型」で通信する点です。別のコンピューター上の処理を呼び出すRPC(Remote Procedure Call)を前提にしているため、送信するメッセージの長さが最初から分かります。受信側は残りのデータ量を把握でき、短時間で受信し終えられるメッセージを優先して処理できます。さらに混雑制御の主導権も受信側に持たせており、「GRANT」という通知でどの送信者がどれだけ送ってよいかを指定します。ネットワーク機器の優先度付きキューも活用し、残りデータ量が少ない通信ほど優先度を高くする方式を採っています。
Homaへの移行は段階的に進められる設計です。既存のTCP通信を一斉に廃止する必要はなく、公開されているLinuxカーネルモジュールを導入すればTCPと並行利用しながらアプリケーションを順に移行できます。IANAはHomaにIPプロトコル番号「146」を割り当て済みで、Linux本体への取り込みに向けたパッチも継続的に提出されています。
仕事や業務への影響 — AI Topicaの見方
社内のAI基盤やGPUクラスターの調達・運用に関わる担当者ほど、このプロトコルの動向を押さえておく価値があります。GPUは高額な投資であり、その稼働が通信の待ち時間で妨げられるなら、計算資源の価値が目減りします。例えば、自社で数十台規模のGPUサーバーを運用し、複数のAIモデルを並行推論させている製造業の情報システム部門なら、クラスター内部の通信遅延がモデル応答の遅れとして現れていないか点検する余地があります。
現時点でHomaはLinuxカーネルモジュールとして公開され、既存のTCPと並行して使える設計です。一斉移行を迫るものではないため、自社でクラスターを直接構築・運用していない企業が今すぐ対応を検討する必要はありません。クラウド事業者や基盤提供企業のインフラ選定を通じて、間接的に恩恵を受ける形になります。
一方で、自社データセンターやオンプレミスのAI基盤を抱える技術責任者は、ベンダーへの問い合わせ事項として「Homa対応の有無」を記録しておくと役立ちます。例えば、社内に50人規模の開発チームを抱え、自前の推論基盤でサービスを提供するIT企業なら、インフラ刷新の際にHomaサポート状況を選定基準の一つに加える判断があってよいでしょう。TCPの置き換えは一朝一夕に進むものではなく、低遅延が求められる領域から段階的に広がる構図は把握しておくべきです。
不確かな点・注意
数値の多くはオースターハウト氏本人の発言や関連論文に基づくもので、第三者による独立検証の結果ではない点に注意が必要です。100Gbps・ネットワーク使用率80％という特定条件での比較であり、異なる構成や負荷状況では結果が変わる余地があります。
Homaの標準化やLinuxへの統合は進行中の段階で、IPプロトコル番号の割り当てや一部ディストリビューションへのバックポートは行われているものの、業界全体での採用が確定したわけではありません。大手金融サービス企業との試作が進められているとされますが、具体的な導入事例や商用運用の実績は出典に記載がなく、今後の進展を見極める必要があります。また、データセンター向けにはRDMAなど別の低遅延通信技術も存在し、Homaとの使い分けがどう進むかも明らかではありません。