1. Arquitectura y hardware:
* Computación paralela:
* Típicamente involucra bien acoplada procesadores dentro de una sola máquina o un clúster pequeño.
* Los procesadores a menudo comparten un espacio de memoria común (Arquitectura de memoria compartida) o tienen interconexiones muy rápidas para el paso de mensajes (por ejemplo, dentro de una supercomputadora).
* El enfoque es minimizar la latencia para la comunicación entre procesadores.
* A menudo se basa en arquitecturas de hardware especializadas como CPU múltiples, GPU o procesadores especializados.
* Computación distribuida:
* Implica acoplado libremente Los procesadores se extienden a través de múltiples máquinas, a menudo dispersas geográficamente.
* Las máquinas no comparten un espacio de memoria común . Cada máquina tiene su propia memoria local.
* La comunicación se basa en Conexiones de red , que generalmente son más lentos y menos confiables que las interconexiones utilizadas en los sistemas paralelos.
* Utiliza hardware de productos básicos (servidores estándar, escritorios, etc.) conectado por una red (por ejemplo, LAN, WAN, Internet).
2. Comunicación:
* Computación paralela:
* Memoria compartida: Los procesadores se comunican leyendo y escribiendo a una ubicación de memoria compartida. Requiere cuidadosos mecanismos de sincronización (cerraduras, semáforos) para evitar condiciones de carrera.
* Paso de mensaje: Se envían mensajes explícitos entre procesadores. Esto es más común en grupos estrechamente acoplados donde el intercambio de memoria directa no es factible o eficiente.
* La comunicación es generalmente rápida y de baja latencia .
* Computación distribuida:
* Paso de mensaje: La comunicación ocurre principalmente a través de mensajes pasados por la red. Los ejemplos incluyen TCP/IP, HTTP o protocolos especializados.
* Llamadas de procedimiento remoto (RPC): Una abstracción común en la que un programa en una máquina llama un procedimiento en otra máquina.
* La comunicación es generalmente más lenta y de mayor latencia Debido a la sobrecarga de la red. Las fallas de la red también son una gran preocupación.
3. Modelo de programación:
* Computación paralela:
* Los modelos de programación a menudo asumen un espacio de memoria compartido y requieren una gestión cuidadosa de la sincronización y la consistencia de los datos.
* Los modelos de programación comunes incluyen:
* Memoria compartida: OpenMP, pThreads
* Paso de mensaje: MPI (interfaz de pase de mensajes)
*Más fácil de programar en comparación con la computación distribuida, *Cuando se usa memoria compartida *, ya que los desarrolladores no tienen que administrar explícitamente los detalles de comunicación. El paso de mensajes en la informática paralela sigue siendo compleja, pero generalmente más simple que en los sistemas distribuidos.
* Computación distribuida:
* Los modelos de programación a menudo se centran en la tolerancia a las fallas, la distribución de datos y el manejo de problemas de red.
* Los modelos de programación comunes incluyen:
* MapReduce (Hadoop): Para procesamiento de datos a gran escala.
* microservicios: Diseño de aplicaciones como una colección de pequeños servicios independientes.
* colas de mensajes (por ejemplo, Rabbitmq, Kafka): Para comunicación asincrónica entre servicios.
* Programación más compleja en comparación con la computación paralela porque los desarrolladores deben manejar explícitamente la comunicación, la serialización de datos y la tolerancia a las fallas.
4. Tolerancia a fallas:
* Computación paralela:
* La falla de un solo procesador a menudo puede derribar todo el sistema, especialmente en las arquitecturas de memoria compartida.
* La tolerancia a las fallas suele ser una preocupación menos en comparación con los sistemas distribuidos, ya que a menudo se usan en entornos controlados.
* Computación distribuida:
* La tolerancia a fallas es una consideración de diseño crítico. El sistema debe poder continuar funcionando incluso si algunas máquinas fallan.
* Las técnicas incluyen:
* Replicación: Los datos y los cálculos se duplican en múltiples máquinas.
* Punta de control: Guardar periódicamente el estado de un cálculo para que se pueda reiniciar si se produce una falla.
* Algoritmos de consenso (por ejemplo, paxos, balsa): Para garantizar el acuerdo entre las máquinas en presencia de fallas.
5. Escalabilidad:
* Computación paralela:
* La escalabilidad a menudo está limitada por la arquitectura de la máquina. Escalar generalmente significa agregar más procesadores o memoria a la misma máquina, lo que puede ser costoso y tiene límites físicos.
* La escala a un número muy grande de procesadores se vuelve cada vez más difícil debido a la sobrecarga de comunicación y los cuellos de botella de sincronización.
* Computación distribuida:
* altamente escalable. Escala fácilmente agregando más máquinas a la red.
* Puede manejar cantidades masivas de datos y cálculos distribuyendo la carga de trabajo en un clúster grande.
* La escala horizontal (agregando más máquinas) a menudo es más rentable que la escala vertical (actualización de una sola máquina).
6. Ejemplos:
* Computación paralela:
* Simulaciones científicas (pronóstico del tiempo, dinámica de fluidos computacional).
* Bases de datos de alto rendimiento que se ejecutan en un servidor de múltiples núcleos.
* Procesamiento de imágenes y videos en una GPU.
* Computación distribuida:
* Motores de búsqueda (Google, Bing).
* Redes sociales (Facebook, Twitter).
* Plataformas de computación en la nube (AWS, Azure, GCP).
* Plataformas de comercio electrónico (Amazon, eBay).
* Redes de criptomonedas (Bitcoin, Ethereum).
En resumen:
| Característica | Computación paralela | Computación distribuida |
| -------------------- | ------------------------------------------------------ | --------------------------------------------------- |
| Arquitectura | Memoria firmemente acoplada, a menudo compartida. | Sin memoria, sin memoria compartida. |
| comunicación | Rápido, de baja latencia (memoria compartida o interconexiones rápidas). | Más lento, de alta latencia (basada en red). |
| Programación | Más simple (memoria compartida), complejo con el paso de mensajes | Más complejo (comunicación explícita, tolerancia a fallas). |
| Tolerancia a fallas | Menos énfasis, punto único de falla. | Consideración de diseño crítico, redundancia. |
| escalabilidad | Limitado por la arquitectura de hardware. | Escala horizontal altamente escalable. |
Piénselo de esta manera:
* Computación paralela: Un equipo de chefs que trabajan lado a lado en la *misma cocina *, comparten ingredientes y equipos, para preparar una comida rápidamente.
* Computación distribuida: Una red de restaurantes en diferentes ciudades, cada una con su propia cocina y personal, colaborando para cumplir con una gran orden de catering. Necesitan comunicar pedidos y coordinar la entrega.