BeeGFS

Från Wikipedia, den fria encyklopedin
Hoppa till navigation Hoppa till sökning
BeeGFS

BeeGFS -logotyp
Grundläggande information

utvecklare ThinkParQ / Fraunhofer ITWM
Utgivningsår 2007
Nuvarande version 7.2.1 [1]
(4 mars 2021)
operativ system Linux
kategori Distribuerat filsystem
Licens BeeGFS slutanvändarlicensavtal, öppen källkod
https://www.beegfs.io/

BeeGFS (tidigare FhGFS ) är ett parallellt filsystem med öppen källkod som är speciellt utvecklat och optimerat med avseende på dataflöde för högpresterande datorer (" High Performance Computing "). Under utvecklingen lade man stor vikt vid användarvänlighet samt hög flexibilitet och skalbarhet.

BeeGFS implementerades ursprungligen på Fraunhofer Center for High Performance Computing under ledning av Sven Breuner [2] , som senare tog över ledningen av ThinkParQ. ThinkParQ GmbH grundades som en spin-off 2014 för att professionellt underhålla filsystemet och erbjuda tjänster som support [3] .

BeeGFS -programvaran kan laddas ner gratis från projektets webbplats. [4]

berättelse

BeeGFS startade 2005 som ett internt utvecklat filsystem vid Fraunhofer Center for High Performance Computing för att ersätta det tidigare använda filsystemet på institutets nya kluster. [5]

År 2007 tillkännagavs den första betaversionen av programvaran under ISC 07 i Dresden och presenterades för allmänheten under SC 07 i Reno, Nevada. [6] Ett år senare kom den första stora utgåvan på marknaden.

2014 grundades Fraunhofer-spin-off ThinkParQ som tog över försäljning, kundservice och professionellt stöd för programvaran, samt stödde utveckling. [3] Samtidigt döptes FhGFS om till BeeGFS. Medan ThinkParQ sedan dess huvudsakligen har ansvarat för försäljning och support, fortsätter Fraunhofer ITWM att utveckla och optimera programvaran i samarbete med ThinkParQ.

Ytterligare en milstolpe för BeeGFS nåddes i början av 2016 när det meddelades att BeeGFS nu är tillgängligt som öppen källkod. [7]

Eftersom BeeGFS är tillgängligt för användare utan kostnad är det inte känt exakt hur många installationer som har gjorts hittills. Det finns dock nu över 250 kunder som professionellt stöds av ThinkParQ [8] . Dessa inkluderar många vetenskapliga institutioner, till exempel universitet och forskningsinstitut över hela världen, samt kommersiella företag från biovetenskaps-, finans-, fordons- och energisektorerna. [9]

BeeGFS används för närvarande i flera superdatorer, inklusive några av de snabbaste högpresterande datorerna i världen (enligt Top 500-klassificeringen). Exempel: Loewe-CSC [10] -klustret vid Goethe University Frankfurt, Tyskland (# 22 för installation), Wien Scientific Cluster [11] vid Technical University of Vienna, Österrike (# 56 för installation) och Abel-klustret [ 12] från universitetet i Oslo, Norge (# 96 vid installation).

Koncept och funktioner

Vid utvecklingen av BeeGFS var tre huvudområden särskilt viktiga för utvecklarna: enkel hantering, hög flexibilitet och hög skalbarhet.

BeeGFS körs på alla Linux -system och består av flera komponenter: klienttjänsterna, metadataservrarna och lagringsservrarna samt hanteringstjänsten. [13]

BeeGFS arkitekturöversikt

För att använda BeeGFS krävs minst en instans av metadataservern och lagringsservern. Men med BeeGFS är det möjligt att starta valfritt antal instanser av metadata och lagringsservrar för att distribuera belastningen med ett stort antal klienter.

Åtkomst till användardata parallelliseras genom att dela upp data i så kallade bitar. Bitarna lagras oberoende på flera servrar. Storleken på bitarna kan bestämmas av administratören. Administrationen av data och tilldelning av en fil till motsvarande bitar utförs av speciella metadataservrar. BeeGFS stöder metadata som distribueras över flera servrar, vilket innebär att filåtkomst är mycket skalbar. De enskilda servrarna är antingen anslutna med RDMA (t.ex.InfiniBand, Omni-Path, RoCE) eller via TCP / IP-anslutningar (t.ex. Ethernet).

Kunder samt metadata och lagringsservrar kan läggas till ett befintligt system utan avbrott. Klienttjänsten är en lätt modul för Linux -kärnan som inte kräver några kärnkorrigeringar. Med BeeGFS är det möjligt att köra servern över ett befintligt lokalt Linux -filsystem (t.ex. ext4, xfs, zfs), oavsett vilket filsystem det är, så länge det stöder POSIX. Det rekommenderas att använda ext4 för metadataservern och xfs för lagringsservern. [14] Båda typerna av servrar körs i användarutrymme.

Det finns inga strikta hårdvaruspecifikationer, så mjukvarudesignen ger administratören friheten att använda servrarna i valfri kombination på maskinerna. Ett mycket populärt alternativ bland BeeGFS -användare är därför att köra metadataservern och lagringsservern på samma maskin för att spara hårdvarukostnader.

BeeGFS stöder samtidigt olika nätverksanslutningar med dynamisk failover som t.ex. B. Ethernet eller InfiniBand och olika Linux -distributioner och Linux -kärnor (från Linux -kärnan 2.6.18 upp till de senaste tillgängliga kärnversionerna). BeeGFS använder init-skript för enkel installation och start, men du kan också använda ett grafiskt gränssnitt, det Java-baserade GUI (AdMon för "Administration och övervakning"). Detta gör att du kan övervaka och hantera BeeGFS eller identifiera prestandaproblem. [15]

BeeOND (BeeGFS on-demand)

BeeOND möjliggör skapandet av en BeeGFS inom en noduppsättning med endast en kommandorad. De möjliga användningsområdena sträcker sig från ett särskilt filsystem för ett specifikt klusterjobb till molnberäkning eller snabb och enkel skapande av testmiljöer. [16]

Benchmarks

Följande riktmärken gjordes på de interna SSD -enheterna i Fraunhofer Seislabs beräkningsnoder. Fraunhofer Seislab är ett utvecklingskluster av Fraunhofer ITWM med 25 noder (20 Compute + 5 Storage) och en 3-lagers lagring: 1 TB RAM, 20 TB SSD, 120 TB HDD. Prestanda för de interna SSD -enheterna i en enda nod i det lokala filsystemet utan BeeGFS är 1332 MB / s (skriv) och 1.317 MB / s (läs).

Noderna är utrustade med 2 × Intel Xeon X5660, 48 GB RAM, 4 × Intel 510 Series SSD (RAID 0), ext4, QDR InfiniBand och körs med Scientific Linux 6.3, Kernel 2.6.32-279 och FhGFS 2012.10-beta1.

Se även

webb-länkar

Individuella bevis

  1. Senaste stabila BeeGFS -utgåvan . 4 mars 2021.
  2. FhGFS: Ett snabbt och skalbart parallellt filsystem | Filsystem | Kolumner. Hämtad 13 januari 2019 .
  3. ^ A b ThinkParQ - Företaget bakom BeeGFS. Hämtad 4 maj 2017 (amerikansk engelska).
  4. Komma igång - BeeGFS . I: BeeGFS . ( beegfs.com [åtkomst 4 maj 2017]).
  5. Kompetenscenter High Performance Computing - Fraunhofer Institute for Industrial Mathematics ITWM. Hämtad 4 maj 2017 .
  6. Ett parallellt filsystem - tillverkat i Tyskland. (PDF) 7 mars 2012, öppnades 4 maj 2017 .
  7. BeeGFS parallella filsystem nu öppen källkod . I: HPCwire . ( hpcwire.com [åtkomst 4 maj 2017]).
  8. Bernd Lietzow: En introduktion till BeeGFS: Solid, snabb, flexibel - och enkel! (PDF) 13 december 2016, öppnades 4 maj 2017 .
  9. BeeGFS Flyer. (PDF) Hämtad 4 maj 2017 .
  10. Nyhetsbrev för lagring "... Och Fraunhofer. Hämtad 4 maj 2017 .
  11. VSC -2 - MEGWARE Saxonid 6100, Opteron 6132 HE 8C 2.2GHz, Infiniband QDR | TOP500 superdatorwebbplatser. Hämtad 4 maj 2017 .
  12. Abel - MEGWARE MiriQuid, Xeon E5-2670 8C 2.600GHz, Infiniband FDR | TOP500 superdatorwebbplatser. Hämtad 4 maj 2017 .
  13. Jan Heichler: En introduktion till BeeGFS. (PDF) November 2014, åtkomst den 4 maj 2017 .
  14. Jan Heichler: En introduktion till BeeGFS. (PDF) November 2014, åtkomst den 4 maj 2017 .
  15. BeeGFS Flyer. (PDF) November 2016, åtkomst den 4 maj 2017 .
  16. David Ramírez Alvarez: BeeGFS Solid, snabb och tillverkad i Europa. (PDF) Februari 2016, åtkomst 4 maj 2017 .