Karlsruhe Storage

Karlsruher Institut für Technologie (KIT)

Allgemeine Informationen

Das Steinbuch Centre for Computing (SCC) des Karlsruher Institut für Technologie (KIT) bietet im Rahmen der vom BMBF geförderten D-Grid-Initiative Virtuellen Organisationen die Möglichkeit, Rechenzeit auf verschiedenen Clustersystemen und Speicherplatz zu nutzen. Speziell für bwGRiD betreibt das SCC einen Cluster und das zentrale Storagesystem.

Kürzel der Site im D-Grid GRRS: kit
Name der Ressource im GRRS: bwgrid-storage

Informationen zu den Ressourcen

Das zentrale Storage-System für bwGRiD wurde aus Mitteln des Landes Baden-Württemberg und des Bundes nach Art. 91b GG beschafft. Hard- und Software wurden von HP geliefert. Als Software wird das auf dem parallelen Dateisystem Lustre basierende HP SFS G3 eingesetzt. Die Hardware besteht aus folgenden Komponenten:

Festplatten: 768 1TB SATA und 48 146 GB SAS
Speichersysteme: 18 HP MSA2212fc und 50 MSA2000 JBODs
Speichernetzwerke: 8 16-Port FibreChannel Switche
Serversysteme: 12 HP DL380G5 mit FibreChannel und InfiniBand Adaptern
Kommunikationsnetzwerk: 1 24-Port Infiniband DDR Switch
Middleware- oder Client-Systeme: 6 HP DL380G5 mit InfiniBand und 10 GE Adaptern

Diese Ressource steht ausschließlich Benutzern der VO bwgrid zur Verfügung. Der Speicher verteilt sich auf zwei Dateisysteme:

Backup (/bwfs/backup), 128 TByte (mit Backup)
Work (/bwfs/work), 256 TByte (kein Backup)

Wenn Sie einen Restore von Daten des Dateisystems Backup benötigen, wenden Sie sich bitte an den D-Grid-User-Support (siehe unten).

Der Zugriff ist mit den folgenden Middleware-Systemen möglich:

GridFTP: bwgrid-se.scc.kit.edu
GSI-SSH: bwgrid-se.scc.kit.edu

Beispiele:

Daten kopieren mit Kommandozeilen-Tool globus-url-copy:

$ globus-url-copy -r -cd -rp file://$HOME/Test/ gsiftp://bwgrid-se.scc.kit.edu:2811/Test/ 
$ globus-url-copy gsiftp://bwgrid-se.scc.kit.edu:2811/~/test.tgz gsiftp://sccbwgrid1.fzk.de:2811/~/ 
$ globus-url-copy -r -cd gsiftp://bwgrid-se.scc.kit.edu:2811/~/ file://`pwd`/bwgrid/ 
$ globus-url-copy file://`pwd`/test.tgz gsiftp://bwgrid-se.scc.kit.edu:2811/~/

Interaktiver Zugang mit uberFTP:

$ uberftp bwgrid-se.scc.kit.edu 
220 bwgrid-se4 GridFTP Server 3.15 (gcc64dbgpthr, 1222656151-78) [Globus Toolkit 4.2.1] ready. 
230 User dgbw0011 logged in. UberFTP(BETA2)> help

Job-Beschreibung (RSL) für einen Job mit Ein- und Ausagebdaten im zentralen Storage (Staging):

<job> 
     <executable>bwtest.sh</executable> 
     <stdout>${GLOBUS_USER_HOME}/bwtest.out</stdout> 
     <maxTime>5</maxTime> 
     <jobType>single</jobType> 
     <fileStageIn>
        <transfer>
           <sourceUrl>
              gsiftp://bwgrid-se.scc.kit.edu:2811/bwfs/backup/bwgrid/users/dgbw0011/bwtest.sh
           </sourceUrl>
           <destinationUrl>
              file:///${GLOBUS_USER_HOME}/bwtest.sh
           </destinationUrl>
        </transfer>
     </fileStageIn>
     <fileStageOut>
       <transfer>
           <sourceUrl>
              file:///${GLOBUS_USER_HOME}/bwtest.out
           </sourceUrl>
           <destinationUrl>
              gsiftp://bwgrid-se.scc.kit.edu:2811/bwfs/backup/bwgrid/users/dgbw0011/bwtest.out
           </destinationUrl>
        </transfer>
     </fileStageOut>
  </job>

Daten kopieren mit GSI-SSH (scp):

$ gsiscp test.tar bwgrid-se.scc.kit.edu:~/work
 test.tar                                      100%  222KB 221.9KB/s   00:00

Interaktiver Zugang mit GSI-SSH:

$ gsissh -x bwgrid-se.scc.kit.edu
 Last login: Wed Dec 23 11:38:23 2009 from iwrcgui.fzk.de
 HPC SFS G3.0-0
 [dgbw0011@bwgrid-se1 ~]$ ls work/
 test.tar

Für Anfragen hinsichtlich Support wenden Sie sich bitte an den D-Grid-User-Support.

Karlsruhe Storage

Karlsruher Institut für Technologie (KIT)

Allgemeine Informationen

Informationen zu den Ressourcen

Links