【第115号】分散ファイルシステム

最近の私の大きな興味のひとつに分散ファイルシステムがあります。

分散ファイルシステムには大きく２種類があり、クラスタ等に利用されるための高速な入出力を提供するローカル型と広域特にインターネット越しにファイルシステムを提供するグローバル型があります。いずれも高速にデータ 転送を行うためのメカニズムです。前者は一般的に利用されており、Lustreを始め、GlusterFS、Google File System、Hadoopなど多くのソフトウェアが提供されています。後者のソフトウェアはP2Pとして広く利用されてお り、Winny等は本当に良くできれた分散ファイルシステムでした。ただP2P以外では非常に少なく、AFSの後継であるCodaや日本のGfarmなどがあります。

いずれの分散ファイルシステムにしてもファイルの所在地を表すメタサーバを利用するのが一般的です。最近ではGNS(Global Name Space)を言う呼び方がされています。このメタサーバを如何に構成するかによって、アクセス 速度や信頼性が違ってきます。

特にグローバル型の場合にはメタサーバをどのように配置するかが問題になってきます。単純なメタサーバの例としてはDNS(Domain Name Service)があります。これはホスト名とIPアドレスという単純なデータベースです が、ツリー構造を取ることにより世界中で非常によく動作しています。これを奇跡と呼んでいる人もいるようです。

もうひとつ分散ファイルシステムで重要なのはファイルの分散方法です。単にファイルを一カ所に保存するのでなく、高速なアクセスと障害対応のために複数のコピーを持つのが一般的です。また、ファイル単位でなく、ブロッ ク単位などフラグメント化された形式で分散保管する方式もあります。

分散ファイルシステムは今後も広く利用されることとなります。特にグローバル型の分散ファイルシステムは将来データセンターを広域で仮想化する場等に重要な技術となります。

弊社ではGfarmとPSPACE社のInfiniStorを提供サポートしております。是非ご相談ください。