1 Conceptos Preliminares Supercomputación: Fue definida para hacer referencia a computadoras con capacidades muy superiores a las de otras máquinas disponibles. Sistemas típicos: DEC VAX: 1-10 Mflops (nada en el medio ? performance gap) Supercomputadoras: Crays, CDCs: ~100 Mflops
2 Conceptos Preliminares Hoy en día la distinción ya no es clara (¡tabla hasta 1990!). (Gp:) 10 (Gp:) 1 (Gp:) 100 (Gp:) 1000 (Gp:) 1965 (Gp:) 1970 (Gp:) 1975 (Gp:) 1980 (Gp:) 1985 (Gp:) 1990 (Gp:) Supercomputadores (Gp:) Mainframes (Gp:) Minicomputadores (Gp:) Microprocesadores (Gp:) E f i c i e n c i a M F
3 Conceptos Preliminares Computación de Alto Rendimiento: Es aquella que proporciona un mayor capacidad de cómputo que la que se puede obtener de computadores individuales. Sistemas de memoria compartida. Sistemas distribuidos. Clusters. ? Máquinas paralelas En inglés: High Performance Computing o HPC.
4 Computación Paralela: Es la utilización de múltiples procesadores para resolver una tarea común. Se divide el problema es trozos más pequeños y se asignan a diferentes procesadores. Conceptos Preliminares (Gp:) … (Gp:) … (Gp:) … (Gp:) CPUs (Gp:) Mecanismo de switches o bus (Gp:) Bancos de Memoria (Gp:) Dispositivos de Entrada/Salida (Gp:) Memoria Compartida (Gp:) … (Gp:) Mecanismo de enrutamiento (Gp:) Memorias Locales CPUs (Gp:) Memoria Distribuida
5 Usamos computación paralela ya que… Los monoprocesadores limitan: El rendimiento. La memoria disponible. La máquinas paralelas permiten: Resolver problemas más grandes. Resolver problemas más rápido. Resolver más problemas. Hoy en día HPC es prácticamente computación paralela. Ejemplo: modelado y predicción climática. Conceptos Preliminares
6 Computación Distribuida: Es la utilización de múltiples sistemas, de alguna forma organizada, para trabajar en un objetivo común. Conceptos Preliminares
7 Computación Distribuida Requiere software para la coordinación de recursos y tareas. Computación paralela / HPC es computación distribuida. Computación Grid es computación distribuida. Conceptos Preliminares
8 Sistemas Operativos Distribuidos – Características Transparencia: Provee la visión de una sola máquina (máquina virtual) Acceso: a recursos remotos igual que a locales. Ubicación: Independencia de nombre – ubicación. Independencia de máquina – recurso. Replicación: Las replicaciones mejoran el rendimiento y la disponibilidad – el uso, nombre y control de replicas debe ser transparente. Conceptos Preliminares
9 Migración: por rendimiento, seguridad y disponibilidad, los objetos (procesos y/o datos) pueden migrar. Concurrencia: cada usuario tiene la impresión de ser el único usuario – así existan muchos. Escalabilidad: el sistema puede “crecer” sin afectar las actividades de los usuarios. Heterogeneidad: Soportar diferentes tipos de hardware y software. Seguridad: Protección contra destrucción y usos no autorizados. Conceptos Preliminares
10 Disponibilidad: debe operar todo el tiempo aún bajo fallas (quizás con cierta degradación). Evitar fallas: usar componentes de calidad. Tolerar fallas: redundancia de componentes Detectar y recuperar fallas: usar hardware y software para descubrir y reparar fallas. Flexibilidad: Facilidad para reemplazar, modificar o agregar componentes. Rendimiento: Las aplicaciones deben correr mejor (o al menos igual) que en monoprocesadores. Conceptos Preliminares
11 Los objetivos generales son los mismos que vimos para sistemas operativos distribuidos pero a un nivel superior. Debe operar con distintos sistemas operativos. Computación Grid (Gp:) GridMiddleware (Gp:) Linux A (Gp:) Solaris (Gp:) AIX (Gp:) HPUX (Gp:) IRIX (Gp:) Windows (Gp:) Linux B (Gp:) Mac OS (Gp:) AIX
12 Computación Grid es computación distribuida llevada a un nivel multi-organizacional / multi-sistemas. Computación Grid (Gp:) Dpto. (Gp:) Dpto. (Gp:) Dpto. (Gp:) Organización (Gp:) Dpto. (Gp:) Dpto. (Gp:) Dpto. (Gp:) Organización (Gp:) Dpto. (Gp:) Dpto. (Gp:) Dpto. (Gp:) Organización (Gp:) Dpto. (Gp:) Dpto. (Gp:) Dpto. (Gp:) Organización Son muchos sistemas locales, manejados por otras personas/organizaciones, cooperando.
13 Computación Grid Hoy en día tenemos: Conectividad global a través de Internet. Disponibilidad y confiabilidad en el ancho de banda. La velocidad de las redes se duplica cada 9 meses.
14 Computación Grid Usar Internet como unaplataforma de servicios de computación y no solo como una fuente de información.
15 (Gp:) Aplicaciones (Gp:) Grid Middleware (Gp:) Recursos Computación Grid Características Manejo de Recursos Balanceo de cargas Manejo de Fallas Monitoreo Garantizar el rendimiento Detección de intrusos Escalabilidad, etc Autentificación Políticas de Autorización Descubrimiento de recursos Ubicación de recursos Acceso a data remota Alta velocidad de transferencia de data
16 Un Grid debe prestar servicios en forma: Extendida: muchos recursos en muchos lugares Constante: 365 días x 24 horas Confiable: utilización de canales seguros Simple: fácil de usar Transparente: no importa donde se almacenan los datos o donde se ejecutan los programas. Económica: utiliza los recursos actuales y es sencillo adicionar nuevos recursos. Más Propiedades del Grid
17 Cluster vs. Grid CLUSTER Equipos homogéneos. Sistema operativo único. Administración y manejo centralizado – única. Equipos están concentrados. Objetivo: mejorar el rendimiento dedicando más recursos. GRID Equipos heterogéneos. Múltiples sistemas operativos. Administración y manejo descentralizado – multidominio Equipos están dispersos. Objetivo: mejorar el rendimiento compartiendo recursos sub-utilizados en otras partes.
18 Cluster
19 Grid
20 Cloud vs. Grid CLOUD Foco: Comercial – Servicio. Muchos basados en grids. Fáciles de usar. Compartir no es objetivo. No colaborativo. Los usuarios no posen la infraestructura: no inviertas en recursos, alquílalos. GRID Foco: HPC. Más complicados de usar. Compartir recursos, datos, conocimiento y trabajo (a través de VO – Virtual Organizations). Los usuarios aportan a la infraestructura: comparte/aporta recursos y podrás tener muchos más de lo que podrías adquirir por tu cuenta
21 Tipos de Grid Grid Computacional: Dedicadas al procesamiento de datos y cómputos intensivos aprovechando la capacidad ociosa de las diferentes máquinas del Grid. Grid de Datos: Proporciona una interfaz integrada para manejar grandes volúmenes de datos almacenados en diferentes repositorios. Grid Híbridas: Tienen características de las dos anteriores.
22 Analogía Grid (en inglés) ~ red eléctrica. Grid de Computo ~ red de recursos y servicios de computación.
23 EL CERN (Centro Europeo de Investigaciones Nucleares) Esta a la vanguardia en tecnología de redes. Su lema: “where the web was born” Lidera algunos de los proyectos en Grid más ambiciosos del mundo.
24 CERN – LHC: Large Hadron Collider
25 CERN – LHC: Large Hadron Collider 63.6 Km
26 CERN – LHC: Large Hadron Collider 63.6 Km
27 CERN – LHC: Large Hadron Collider 63.6 Km
28 CERN: Large Hadron Collider Instrumento científico más grande del mundo. Los datos son una mina de oro para físicos alrededor del mundo. Descubrir partículas fundamentales de la materia.
29 CERN Generará unos 10 Petabyte/año. Kilobyte KB 103 (o 210) Megabyte MB 106 (o 220) Gigabyte GB 109 (o 230) Terabyte TB 1012 (o 240) Petabyte PB 1015 (o 250) Exabyte EB 1018 (o 260) Zettabyte ZB 1021 (o 270) Yottabyte YB 1024 (o 280)
30 CERN 1 CD ? 700 MB 10 PB ? 14.285.714 CDs 7 CDs ? 1 cm 10 PB ? 20,4 Kms de CDs 1 DVD ? 6,7 CDs 3 Kms de DVDs Suponiendo los CDs o DVDs llenos!
31 CERN
32 CERN La solución posible para manejar/procesar esta enorme cantidad de información parece ser la computación Grid. Comentario de William Gropp: Con la computación Grid hay un fenómeno particular, la necesidad surgió antes que la tecnología.
33 CERN El problema no es solo el manejo de datos. Se estima que son necesarios unos 100.000 PCs actuales para analizar estos datos. Al pasar los años, la data se acumula!
34 LHC Computing Grid
35 Estándares Si distintas organizaciones deciden implementar un Grid, es muy probable que cuenten con plataformas diferentes. Se hace necesario la utilización de estándares para coordinar eficazmente los recursos a compartir.
36 Estándares Se ha definido y se esta actualizando un estándar para las tecnologías Grid: Open Grid Services Architecture (OGSA) Este se enfoca en la integración de servicios a través de organizaciones virtuales distribuidas, heterogéneas y dinámicas, para obtener servicios de calidad utilizando diferentes plataformas.
37 Estándares OGSA es el producto de personas que pertenecen a más de 60 compañías e instituciones de investigación, congregadas en una comunidad virtual de usuarios y desarrolladores denominada Global Grid Forum (GGF) http://www.ggf.org
38 Servicios especificados en OGSA Servicios de infraestructura: Proporcionan la comunicación entre diferentes plataformas. Servicios de gestión de recursos: Supervisión, reservación, configuración, etc. Servicios de contexto: describen los requerimientos de recursos y las políticas de utilización del Grid. Servicios de información: proporciona información sobre el Grid y sus recursos, su estado y disponibilidad de un determinado recurso.
39 Servicios especificados en OGSA Servicios de autogestión: automatizar procesos para reducir costos de administración. Servicios de Datos: Proporciona el movimiento de los datos al lugar donde se necesiten. Servicios de Seguridad. Servicios de gestión de ejecución: administración de tareas, flujo de procesos.
ESTA PRESENTACIÓN CONTIENE MAS DIAPOSITIVAS DISPONIBLES EN LA VERSIÓN DE DESCARGA