Sistemas de cálculo

En la FCSCL existen tres sistemas de cálculo: cluster MPI, cluster de sistemas de memoria compartida y cluster de GPU’s.

Cluster MPI

El cluster para proceso paralelo masivo está compuesto por 304 nodos, de los cuales 288 son para producción y 16 para desarrollo y pruebas. Se trata de un cluster de formato extremadamente denso, pues los nodos del cluster son servidores HP BLx220c de HP sobre chasis blade C7000. Este modelo es el blade de “hoja doble”, es decir, 32 servidores por chasis. Con cuatro chasis por armario, cada rack del cluster MPI tiene un total de 128 servidores y 1024 cores. Como se ha reflejado en el apartado de infraestructuras, esto representa un consumo a plena carga de 44Kw por armario.

El cluster está formado por un total de 10 chasis (uno de ellos sólo tiene 16 servidores). Cada nodo del chasis tiene las siguientes características:

• Dos procesadores Intel Xeon E5450.
• 16 GB/RAM (ratio de 2GB/core).
• Dos interfaces GbE.
• Interfaz Infiniband DDR.

Cada chasis tiene a bordo cuatro switches GbE y otros cuatro switches Infiniband DDR. Cada switch tiene un total de 20 puertos: 16 internos hacia los blades y 4 externos para uplink. En el caso de los switches Infiniband, se conectan al backbone con un ratio 2:1.

El procesador E5450 supone un buen compromiso entre prestaciones y consumo, pues gracias a él el cluster alcanza una potencia de cálculo de 30TeraFLOPS (RPeak) y 25TeraFLOPS en la ejecución de un test de Linpack con un consumo inferior a 100kw/h. Es un dato magnífico que muestra la altísima eficiencia energética alcanzada, pues el ratio MFLOPS/W permitirá al cluster MPI de Caléndula situarse en los primeros puestos de la lista Green500.

Cluster Memoria Compartida

Para aquellos programas muy intensivos en consumo de memoria, el cluster de sistemas de memoria compartida es una solución idónea. Está compuesto por 12 servidores HP Proliant DL 580 con cuatro procesadores Intel Xeon MP X7350 de cuatro núcleos (16 núcleos por nodo). Las características de cada nodo son:

• Cuatro procesadores Intel Xeon X7350
• Memoria RAM: 8 nodos con 256GB (ratio 16GB/core) y 4 con 128GB (ratio 16GB/core).
• Dos interfaces GbE.
• Interfaz Infiniband DDR.
• Dos controladoras de doble canal FC 4GB/seg cada una.
• Cuatro discos sas 2.5” 143GB 10k rpm (Raid 5).

Cluster GPU’s

El último equipo de cálculo incorporado ha sido el cluster de GPU’s. Los sistemas basados en GPU’s tienen cada vez más demanda, pues sus prestaciones son excelentes. Como contrapartida está su dificultad de programación. Pero muchas aplicaciones de cálculo pueden aprovecharse de las características de las GPU’s para obtener incrementos muy significativos de rendimiento.

El cluster de GPU’s está compuesto por seis servidores HP Proliant DL160G6 conectados a 3 servidores NVidia Tesla S1070.

Redes de Interconexión Internas

En la FCSCL existen tres redes, y todos los servidores están conectados a ellas:

• Red de administración: esta red no es accesible por el usuario, y su propósito es el control de hardware, así como la gestión de despliegue. cada servidor tiene uno o dos interfaces conectados a la red de administración. Si dispone de un interfaz específico para gestión del hardware (iLO, IPMI o similar), está conectado a esta red. Además, todos los servidores disponen de un interfaz gigabit conectado a la red de administración, por la que se realiza la monitorización, configuración software, etc. El backbone de esta red es 10GbE.

• Red de producción: esta red es la dedicada a producción, y es la que normalmente utilizará el usuario. El backbone de esta red es  10GbE, y todos los servidores disponen al menos de un interfaz GbE conectado a ella. Como es obvio, en esta red existen VLANes para separar los diferentes entornos.
• Red Infiniband: el núcleo del cálculo intensivo es la red Infiniband. El fabric es un conmutador Voltaire ISR 2012, al que se conectan los switches de los blades (cuatro por cada chasis C7000), y switches Voltaire ISR 9024D para los sistemas que no están a bordo de chasis blades (nodos del cluster de memoria compartida y del cluster de GPU’s). Cada servidor dispone al menos de un interfaz Infiniband DDR (20Gb/s).