Finisterrae
Finisterrae es el nombre del superordenador instalado en el CESGA de Santiago de Compostela (España) en 2007. Tiene la categoría de Infraestructura Científica y Técnica Singular.
| Finisterrae II | ||
|---|---|---|
| Información | ||
| Tipo | supercomputadora | |
| Ubicación | CESGA Santiago de Compostela (La Coruña) España 42°52′33″N 8°33′12″O / 42.87583, -8.55333 | |
| Datos técnicos | ||
| Memoria | 44,8 TB | |
| Número de procesadores | 7712 cores | |
| Rendimiento | 328 TFlops[1] | |
| Conjunto de instrucciones | Haswell 64 (Intel) | |
| TOP500 | ||
| Actual | >500 | |
| Mejor | 100 nov 2007 | |
| https://www.cesga.es/ | ||
Para el momento de su instalación ocupó el puesto del tercer más potente de España tras los superordenadores MareNostrum (Centro Nacional de Supercomputación) y Magerit (CeSViMa).[2] Ocupó también el número 100 de la lista general publicada por el TOP500 en noviembre del mismo año. Luego, en junio del 2008 se ubicó en el puesto 209. Ya en noviembre de 2008 apareció por última vez en la lista ocupando el puesto 427.
Aunque actualmente ya no se encuentra en esta lista del TOP500 el Finisterrae es muy importante pues tiene una característica muy especial en cuanto a su gran capacidad de memoria ram, que lo distingue de otros superordenadores HPC, pues permite la ejecución de programas que demanden gran cantidad de la misma. Se trata de un clúster HP de memoria compartida, para un entorno HPC, y una estructura NUMA, con una potencia de pico de 16 Teraflops.
El superordenador recibe el nombre de Finisterrae porque cuenta con 85 km de cable, distancia que separa a Santiago de Compostela de Finisterre.
Este proyecto está impulsado por la Junta de Galicia y el Consejo Superior de Investigaciones Científicas (CSIC), se inició en el año 2006 con un coste de 60 millones de euros aproximadamente. Actualmente funciona a pleno rendimiento y al 90% de su capacidad de procesamiento, proporcionando servicios de cálculo intensivo y comunicaciones avanzadas en varias ramas de la investigación. Puede conocerse el estado de trabajo del superordenador en cualquier momento visitando la página web donde puede consultarse entre otros datos la carga del equipo, el número de trabajos que están en ejecución, el número de trabajos que están en la cola para ser ejecutados, el uso de memoria o de disco entre otros datos. Desde el mismo enlace pueden consultarse del mismo modo, los mismos datos para el servidor virtual gallego (SVG).
Resumen
| Nombre | Año | SO | Arquitectura | Procesadores | Memoria (TB) | Potencia Rmax (TFlops) | Potencia Rpeak (TFlops) | Almacenamiento (PB) | Top500 Ranking |
| Finisterrae I | 2007 | Linux | Itanium 2 64 (Intel) | 2400 | 19,5 | 12,97 | 15,36 | 100 (nov 2007) | |
| Finisterrae II[3][4][5] | 2015 | Linux | Haswell 64 (Intel) | 7712 cores | 44,8 | 328 | 480 | 1,5 | |
| Finisterrae III | 2021 | Linux | 1968 aprox. |
Leyenda
- Rmax - La más alta puntuación medida usando el benchmark Linpack. Este es el número que se utiliza para clasificar a las computadoras.
- Rpeak - Este es el rendimiento máximo teórico del sistema.
Estructura
Finisterrae I
El Finisterrae está instalado en la primera planta del edificio, con forma de haba, de modo que si se divide en dos partes simétricas, este ocupa una de las partes.
Está formado por 48 Racks distribuidos en 8 filas donde se sitúan todos los nodos que lo componen: En los extremos se encuentran los nodos computacionales, en las dos filas del medio se sitúa el nodo central, de login, la Red de área de almacenamiento (SAN) y la red Infiniband y Gigabit.
Los nodos están situados de forma enfrentada en cada fila, de manera que en los pasillos donde se encuentra la parte frontal de los nodos, circula aire frío, y las partes traseras del nodo expulsan el aire, caliente. Los pasillos de aire frío tienen luces azules y los de aire caliente rojas, para proporcionar vistosidad a los visitantes.
Todos los componentes del sistema trabajan usando el sistema operativo Linux, versión SuSe.
Arquitectura
Finisterrae I
El superordenador está formado por 144 nodos de computación paralela, se componen de la siguiente manera:
142 nodos HP RX7640, cada uno de ellos con 8 procesadores Intel Itanium Montvale dual-core distribuidos en dos celdas con 4 procesadores (arquitectura NUMA) y una memoria RAM de 64 GiB cada una.
1 nodo HP Integrity Superdome, con 128 núcleos Itanium Montvale y 1024 GiB de memoria RAM. 1 nodo HP Integrity Superdome, con 128 núcleos Itanium 2 y 384 GiB de memoria RAM.
Se compone de un sistema de almacenamiento jerárquico, con 22 nodos y 96 núcleos de proceso. Es otro de los elementos importantes del Finisterrae pues se trata de un sistema HP-SFS de almacenamiento paralelo, compuesto por 72 cabinas conectadas a 864 disco duros SATA con una capacidad total de 216 terabytes. El software para la administración utilizado es LUSTRE basado en código abierto. También posee un almacenamiento en cintas HP ESL 712e Tape Library con una capacidad de 2,2 petabytes en formato comprimido y 1440 terabytes sin comprimir.
Los nodos están unidos por una red de interconexión infiniband 4 X DDR con un ancho de banda efectivo de 16 Gbit/s y una conexión de red externa a 10 Gbit/s.
Ocupa una superficie de 142 metros cuadrados, pesa 33 toneladas y cuenta con 85 kilómetros de cable.
La distribución del cableado estructurado, va por una plataforma de falso suelo de aproximadamente un metro de altura, la cual podemos ver en la imagen gracias a una parte decorativa implementada para agregar atractivo visual a los visitantes. La estructura del edificio no permite tener un metro de altura en toda la extensión del falso suelo, por lo que se dificultó la correcta distribución del cableado y de los conductos de aire frío.
Como alternativa a fallos de la red eléctrica, el CESGA posee un generador eléctrico que funciona gracias a un motor diésel de 12 cilindros, que para mantener la autonomía por 24 horas, requiere de dos depósitos de 1500 litros de gasóleo de capacidad. Está ubicado en el sótano del edificio y para su instalación fue necesario derrumbar una de las paredes laterales. Cuando se pone en funcionamiento es capaz de estremecer toda la estructura del edificio y sus alrededores.
También podemos apreciar un diagrama de la arquitectura del Finisterrae para entender mejor su distribución.
Finisterrae II
El FinisTerrae II está basado en procesadores Intel Haswell e interconectado mediante red Infiniband con un rendimiento pico de 328 TFlops y sostenido en Linpack de 213 Tflops. [6]
Instalaciones accesorias
Soporte eléctrico para el superordenador
El CESGA posee para asegurar un servicio 24x7 a todos sus equipos de una entrada de alimentación externa de 1,5 MW, un transformador de 1600 kV A, que complementa al instalado inicialmente de 630 kV A, dos sistemas de alimentación ininterrumpida de 400 kV A, dos unidades adicionales que dan hasta 180 kV A a mayores de todo lo anterior y el ya mencionado generador eléctrico de 1100 kV A y 8 toneladas de peso, que es el encargado de dar alimentación a toda la instalación para que continúe su funcionamiento normal durante los cortes prolongados del tendido eléctrico.
Condiciones climáticas del superordenador
El Finisterrae se encuentra situado en una sala de 340 metros cuadrados, toda ella con suelo técnico, que se encuentra permanentemente bajo unas condiciones de temperatura y humedad de 22 grados centígrados y de un 50% de humedad en el ambiente. Para lograr estas condiciones, el CESGA dispone de dos máquinas enfriadoras de agua de 580 kW cada una. El agua fría es utilizada por 10 ventiladores que se encuentran en el interior de la sala y distribuyen el aire previamente enfriado por los pasillos de frío de la misma. El Finisterrae se encuentra colocado siguiendo una distribución de pasillos de frío y de calor, de tal manera que los equipos toman siempre aire frío para refrigerarse y expulsan hacia otro pasillo el aire ya caliente, donde es expulsado hacia el exterior. Esta distribución permite una gran eficiencia en la refrigeración del superordenador habiéndose confirmado la misma recientemente con varios estudios.
Seguridad en caso de incendio
Con tanto equipamiento técnico funcionando en la misma sala, es necesario contar con unas buenas medidas de seguridad capaces de sofocar cualquier conato de incendio. En la sala se encuentra instalado un sistema de detección y extinción de incendios mediante gas HFC-227. El funcionamiento del sistema sería el de conseguir que todo el oxígeno de la sala se desplazase fuera de la sala por la acción del gas impidiendo la proliferación del fuego en la misma, ya que el oxígeno es un elemento necesario para que se produzca la combustión actuando como combustible de la misma. Esto supone un riesgo de asfixia para el personal que ocasionalmente estuviese trabajando en la sala, por lo que el sistema está preparado para dejar una mínima cantidad de oxígeno que permitiría a los operarios salir de la sala y ponerse a salvo del incendio.
Control de acceso
El acceso físico a la sala donde se encuentra situado el superordenador está restringido. Para poder acceder a la sala es necesario hacerlo mediante la superación de dos sistemas de identificación diferentes. Debe confirmarse la identidad de la persona mediante una tarjeta identificativa y además, que se corresponda la huella dactilar del usuario, con la identidad que se está acreditando mediante la tarjeta. Del mismo modo, el acceso a la sala está siendo grabado en vídeo permanentemente.
Servicios
Acceso desde el exterior
Los distintos usuarios solo tienen acceso al Finisterrae a través de un sistema de colas de prioridades, es decir, no tienen la posibilidad de conectarse directamente. Sin embargo si les está permitido ejecutar pequeñas pruebas de compilación, ejecución, etc., en dos nodos que están siendo utilizados solo para estas actividades. Con respecto al sistemas de colas, es el encargado de administrar el acceso de los distintos trabajos, siguiendo un criterio prioridades según recursos requeridos, usuario que realizó la petición, etc. Con lo de usuario que realiza la petición nos referimos a la importancia del trabajo a realizar y la necesidad de obtener los datos dentro de un periodo de tiempo, como por ejemplo el Sistema Meteorológico Gallego, sus trabajos deben de disponer de alta prioridad por causa de la necesidad de obtención del resultado en un corto periodo de tiempo.
Evolución histórica
Finisterrae I
Aunque el coste de este superordenador se dice que es del orden de los 61 millones de euros, realmente difiere un poco de la realidad. De esa partida, solo 19,4 millones son los que en realidad se destinaron a la adquisición del mismo; el resto del dinero se destinó a la construcción del nuevo edificio del CESGA, cuya ubicación en un principio iba a ser en el Monte del Gozo y que al final será en A Sionlla, en la zona norte de la capital gallega. También se destinó una partida de ese dinero a captar 145 investigadores, tanto nacionales como internacionales hasta el 2012. La financiación vino mayoritariamente de la Unión Europea y en menor medida, de la Junta de Galicia.
Cuando en el 2007 se instaló el Finisterrae en el CESGA, el edificio tuvo que sufrir unas remodelaciones para poder albergar una computadora de semejante envergadura y potencia. Se tuvo que construir una plataforma para albergar en el primer piso nuevas oficinas para los responsables técnicos y desarrolladores del CESGA, eliminando la luz natural que iluminaba la entrada al edificio y lo hacía más amigable. Así mismo, se tuvo que instalar un generador eléctrico que, literalmente, es un motor de barco. Para esto último fue preciso montar una grúa para transportar el generador por encima de una guardería colindante al CESGA, además de derruir una pared de hormigón para incorporarlo al sótano del edificio. A pesar de aportar en teoría una autonomía de 24 horas, en la práctica y con las computadoras en pleno rendimiento, a penas aporta mucho más de ocho horas.
Tras la finalización de la instalación del Finisterrae se tardaron más de seis meses en poner en marcha el superordenador debido a la complejidad de un sistema pionero en muchos aspectos (como por ejemplo el sistema de ficheros SFS sobre Infiniband, precursor de superordenadores posteriores.
En un principio, el Finisterrae se diseñó pensando en ser una infraestructura singular, con unas características especiales no en capacidad bruta de cálculo, sino en la resolución de retos gracias a su extensa memoria, centrándose en cálculos que requieren constantes consultas a datos previamente almacenados.
El Finisterrae fue construido y diseñado gracias a la alianza del CESGA, HP e Intel.
Finisterrae II
El equipo actualmente en servicio, el FinisTerrae II fue instalado en el año 2015 y puesto en producción en el año 2016.[7]
Al igual que el resto de superordenadores que existen en España, como el MareNostrum, Magerit o Altamira entre otros, el Finisterrae pertenece a la Red Española de Supercomputación, desde abril de 2015.
Del total se destina solo el 20% de su computación a aquellas universidades nacionales de fuera de Galicia que lo soliciten. El coste para las universidades gallegas, así como para el resto de órganos que forman el CESGA, de ejecutar allí aplicaciones, es el del consumo eléctrico que conlleve la ejecución de las mismas.
Finisterrae III
El Gobierno gallego aprobó el 5 de junio de 2020 la compra de un nuevo superordenador para el Centro de Supercomputación de Galicia (Cesga), el 'Finisterrae III' cuya puesta en marcha está prevista para marzo de 2021, que permitirá "multiplicar por seis" la capacidad del actual, el 'Finisterrae II', con una inversión total de 7 millones de euros. Además permitirá también ofrecer servicios de almacenamiento.[8]
Galería de imágenes
Referencias
- https://hosting8.cesga.es/es/infraestructuras/computacion/FinisTerrae2
- TOP500
- https://hosting8.cesga.es/es/infraestructuras/computacion/FinisTerrae2
- https://www.top500.org/system/9156
- http://hosting8.cesga.es/images/banners/dixitos/MemoriaCESGA18.pdf
- https://hosting8.cesga.es/pt/infraestructuras/computacion/FinisTerrae2
- https://www.cesga.es/infraestructuras/computacion/finisterrae-ii/
- https://www.galiciapress.es/texto-diario/mostrar/1982796/galicia-tendra-2021-nuevo-supercomputador-sextuplicara-capacidad-calculo-predecesor
Enlaces externos
- Centro de Supercomputación de Galicia
- Apariciones TOP500
- List - November 2007 (1-100)
- List - June 2008 (201-300)
- List - November 2008 (401-500)