Computación paralela
* Definición: Un tipo de computación donde múltiples procesadores o núcleos dentro de una máquina única Trabaje simultáneamente en diferentes partes del mismo problema. El enfoque está en reducir el tiempo que lleva resolver un problema dividiendo la carga de trabajo.
* Características clave:
* memoria compartida (típicamente): Los sistemas paralelos a menudo usan memoria compartida, lo que significa que todos los procesadores pueden acceder al mismo espacio de memoria. Esto permite un fácil intercambio de datos y comunicación entre procesadores. Sin embargo, la memoria compartida puede ser un cuello de botella.
* acoplamiento apretado: Los procesadores están estrechamente acoplados, lo que significa que se comunican con frecuencia y tienen baja latencia.
* ambiente homogéneo (generalmente): Los procesadores a menudo son similares o idénticos en términos de arquitectura y capacidades.
* Sistema operativo único: Por lo general, se ejecuta en una sola instancia de un sistema operativo.
* Ubicación: Físicamente ubicados cerca el uno del otro, a menudo dentro de la misma computadora o estante.
* Ejemplos:
* Procesadores multinúcleo en su computadora de escritorio.
* GPU (unidades de procesamiento de gráficos) para simulaciones científicas o aprendizaje automático.
* Servidores multiprocesador de memoria compartida.
Computación distribuida
* Definición: Un tipo de computación donde múltiples computadoras independientes (nodos o máquinas) trabajan juntas en una tarea o un conjunto de tareas comunes. Estas máquinas se separan físicamente y se comunican a través de una red.
* Características clave:
* Memoria distribuida: Cada computadora (nodo) tiene su propio espacio de memoria privada. Los datos deben transferirse explícitamente entre nodos utilizando el paso de mensajes.
* Acoplamiento suelto: Los nodos están acoplados libremente, lo que significa que pueden comunicarse con menos frecuencia y tener una latencia más alta en comparación con los sistemas paralelos.
* entorno heterogéneo (a menudo): Los nodos pueden ser diversos en términos de hardware, sistemas operativos y conectividad de red.
* Sistemas operativos múltiples: Cada nodo generalmente ejecuta su propia instancia de un sistema operativo.
* Ubicación: Dispersado geográficamente, puede estar al otro lado de una habitación, un edificio o incluso en el mundo.
* Ejemplos:
* Plataformas de computación en la nube (AWS, Azure, Google Cloud).
* Computación de clúster (grupos de computadoras en red que trabajan juntas).
* Computación de cuadrícula (recursos distribuidos geográficamente).
* Redes de igual a igual.
Diferencias clave resumidas:
| Característica | Computación paralela | Computación distribuida |
| --------------------- | ------------------------------------ | ----------------------------------------------- |
| procesadores | Múltiples núcleos dentro de una sola máquina | Múltiples máquinas independientes (nodos) |
| memoria | Memoria compartida (típicamente) | Memoria distribuida (cada nodo tiene el suyo) |
| acoplamiento | Acoplamiento apretado | Acoplamiento suelto |
| Ubicación | Cerrar proximidad | Disperso geográficamente |
| comunicación | Acceso de memoria compartida o pase de mensajes | Paso de mensajes (comunicación de red) |
| homogeneidad | Generalmente homogéneo | A menudo heterogéneo |
| Sistema operativo | Instancia única | Múltiples instancias |
Impacto en la escalabilidad
* Escalabilidad informática paralela:
* Limitado por el número de núcleos/procesadores en una sola máquina: En última instancia, estás limitado por las limitaciones físicas de la máquina. La ampliación generalmente implica comprar hardware más potente con más núcleos, lo que puede volverse muy costoso.
* Cuidado de botella de memoria compartida: A medida que aumenta el número de procesadores, la contención de la memoria compartida puede convertirse en un cuello de botella significativo, lo que limita la escalabilidad. Las técnicas como el almacenamiento en caché y el NUMA (acceso a la memoria no uniforme) pueden ayudar a mitigar esto.
* Ley de Amdahl: La ley de AMDAHL establece que la aceleración de un programa que utiliza múltiples procesadores está limitada por la proporción del programa que puede ser paralelo. Si una parte significativa del programa es inherentemente secuencial, agregar más procesadores tendrá rendimientos decrecientes.
* bueno para: Tareas computacionalmente intensivas que se pueden dividir fácilmente en tareas más pequeñas e independientes y son adecuadas para las arquitecturas de memoria compartidas.
* Escalabilidad informática distribuida:
* horizontalmente escalable: Puede agregar fácilmente más nodos al sistema para aumentar su potencia de procesamiento. Esto a menudo se llama "escalar".
* Tolerancia a fallas: Si un nodo falla, el sistema puede continuar funcionando, siempre que la carga de trabajo se pueda redistribuir a otros nodos.
* maneja grandes conjuntos de datos: Bien adecuado para procesar y almacenar conjuntos de datos masivos que no serían prácticos para manejar una sola máquina.
* Latencia de red: La comunicación entre nodos a través de la red introduce la latencia, lo que puede limitar el rendimiento, especialmente para aplicaciones que requieren un intercambio de datos frecuente. Estrategias como la localidad de datos (procesamiento de datos cercanos a donde se almacena) son cruciales.
* Complejidad: Los sistemas distribuidos son más complejos de diseñar, implementar y administrar debido a problemas como la consistencia de los datos, la tolerancia a fallas y la seguridad.
* bueno para: Aplicaciones que se pueden dividir en tareas independientes que se pueden ejecutar en diferentes máquinas, como servidores web, tuberías de procesamiento de datos y simulaciones a gran escala.
En pocas palabras:
* La informática paralela prioriza la velocidad y la eficiencia dentro de una sola máquina. Su escalabilidad está limitada por limitaciones de hardware y cuellos de botella de memoria compartida.
* Computación distribuida prioriza la escala para manejar cargas de trabajo más grandes y volúmenes de datos, con tolerancia a fallas inherente. Su escalabilidad está limitada por la latencia de la red y la complejidad de administrar un sistema distribuido.
Elegir entre la informática paralela y distribuida depende en gran medida del problema específico que está tratando de resolver, los recursos disponibles y el nivel requerido de escalabilidad y tolerancia a las fallas. A menudo, se utilizan enfoques híbridos, que combinan el procesamiento paralelo dentro de cada nodo de un sistema distribuido.