Lustre
此條目需要更新。 (2018年6月10日) |
開發者 | 多方 |
---|---|
目前版本 | 2.5.1 (maintenance),[1] 2.5.0 (feature)[2](2013年10月23日 ) |
原始碼庫 | |
作業系統 | Linux kernel |
類型 | 分散式檔案系統 |
許可協定 | GPL v2 |
網站 | lustre lustre |
Lustre,一種平行分散式檔案系統,通常用於大型計算機叢集和超級電腦。Lustre是源自Linux和Cluster的混成詞。最早在1999年,由皮特·布拉姆(英語:Peter Braam)建立的叢集檔案系統公司(英語:Cluster File Systems Inc.)開始研發,於2003年釋出 Lustre 1.0。採用GNU GPLv2開原始碼授權。
歷史
Lustre檔案系統架構是Peter Braam1999年開始的一個研究專案,皮特當時在卡內基梅隆大學擔任教職。2001年皮特成立了自己的公司——群集檔案系統。2007年9月,昇陽公司收購叢集檔案系統公司的資產,包括其智慧財產權。Sun在其高效能計算硬體產品中提供Lustre,以期將Lustre引入自家的ZFS和Solaris作業系統。2008年11月,Braam離開了昇陽微系統,由Eric Barton和Andreas Dilger接管Lustre專案。2010年,甲骨文公司收購Sun,開始管理和發布Lustre。
架構
Lustre檔案系統包括三種主要的功能單元。
- 元資料伺服器(metadata servers,MDSes)。一個Lustre檔案系統通常擁有兩個元資料伺服器(active和standby),一個元資料伺服器則擁有若干元資料目標(metadata targets,MDTs)。元資料目標儲存名字空間元資料:檔名、目錄、存取權限、檔案結構等資訊。不同於諸如GPFS和PanFS等基於塊並由元資料伺服器控制所有塊分配的分散式檔案系統,Lustre元資料伺服器僅僅關心路徑搜尋和權限檢查而不會牽涉任何的檔案I/O操作。該特性避免元資料伺服器成為叢集擴充的瓶頸。單個檔案系統擁有多個元資料目標是從2.4開始引入的新特性。
- 對象儲存伺服器(object storage servers,OSSes)將檔案資料儲存於一個或多個對象儲存目標(object storage targets,OSTs)中。取決於伺服器硬體,一個對象儲存伺服器通常有二到八個對象儲存目標,每個對象儲存目標管理一個本地檔案系統。Lustre檔案系統的空間等於所有對象儲存目標的容量總和。
- 客戶機(Clients)能訪問並使用資料。Lustre為所有客戶機提供統一的命名空間。
MDT、OST和Client可以位於同一節點(通常用於測試),但在典型的生產環境中這些功能組件安裝在使用網路進行通訊的不同節點。 Lustre Network(LNET)層可以使用多種類型的網路互連,包括InfiniBand、乙太網路等。如果遠端直接主記憶體訪問(RDMA)傳輸可用,Lustre將利用它提高吞吐量降低CPU使用率。
鎖
網路
高可用性
部署
參見
參考資料
- ^ Index of /public/lustre/latest-maintenance-release. [2014-06-13]. (原始內容存檔於2013-12-06) (英語).
- ^ Index of /public/lustre/latest-feature-release. [2014-06-13]. (原始內容存檔於2013-12-06) (英語).