Therac-25 ya demostró por qué hay que poner límites y probar todo tipo de escenarios
Therac-25 era una máquina de radioterapia controlada por software que terminó convirtiéndose en leyenda negra, ya que entre 1985 y 1987 estuvo involucrada en al menos seis accidentes relacionados con sobredosis masivas. Así, el caso no va de una "máquina mala", sino de una cadena de fallos que involucra una interfaz confusa, mensajes crípticos y una confianza excesiva en el software para tareas críticas.
En este escenario, investigaciones como las de Nancy Leveson describen condiciones de carrera, un tipo de error en el que dos acciones rápidas del operador se pisan y el sistema entra en modo peligroso. De esta forma, en algunos incidentes el paciente recibió una dosis cientos de veces superior a la prevista, un escenario que dio lugar a más de una lesión grave y alguna que otra muerte.
Cuando el software cobra vidas
Un punto clave en esta historia se produjo al quitar interlocks físicos que antes impedían disparar el haz en condiciones incorrectas, momento en el que se sustituían por comprobaciones de software que no eran infalibles. De esta forma, cuando los técnicos no podían reproducir el fallo, se llegó a insinuar que era "error del operador" y esa narrativa solo consiguió retrasar soluciones mientras la máquina seguía trabajando.
Al mismo tiempo, el caso también evidenció un problema de comunicación que reflejó que hospitales, fabricantes y reguladores no compartían señales con rapidez. Por ello, cada incidente parecía aislado a pesar de que no lo era. Esto, a su vez, terminó dando pie a un dilema moral: "¿quién responde cuándo un sistema automatizado hace daño: el fabricante, el hospital, el programador o todos a la vez?".
Hoy, las lecciones siguen vigentes con diseños centrados en humanos, registros claros, alarmas que obligan a parar y pruebas pensadas para escenarios raros, no solo para el día perfecto. Además, esta historia que tuvo lugar hace más de 40 años sirve para estudiar el escenario de 2026: cada vez que una IA entra en medicina o industria, conviene recordar a Therac-25 y por qué la confianza ciega es una mala consejera.
Imagen principal de 3DJuegos
En 3DJuegos | Seedance 2.0 hizo pelear a Brad Pitt y Tom Cruise en un tejado, y es lo más peligroso que puede pasar
En 3DJuegos | Cuando la IA vacía carteras, Microsoft confía en la alternativa "tradicional"
Ver todos los comentarios en https://www.3djuegos.com
VER 0 Comentario