Leer Klara and the Sun: una reflexión serena sobre lo que nos hace humanos

Reseña de Klara and the Sun

Elegí Klara and the Sun justo antes de las vacaciones de Navidad.
Lo encontré en la librería de un aeropuerto.

Buscaba una novela.
Algo para leer y relajarme durante las vacaciones.

En cambio, encontré un libro que acabó acompañándome en mi trabajo.

En mis preguntas.

En muchos de los temas a los que doy vueltas cada día.

IA. Emergencia. Alineamiento.

Y en lo que queda de humano cuando la tecnología se nos acerca.

Resumen de Klara and the Sun

Klara and the Sun, de Kazuo Ishiguro, transcurre en un futuro cercano que resulta incómodamente familiar.

Klara es una Amiga Artificial.
Diseñada para hacer compañía a adolescentes.

La compran para acompañar a Josie, una niña enferma que crece en un mundo marcado por la mejora genética.

Klara observa a los humanos con muchísima atención.

Intenta comprenderlos.

A su manera, se «preocupa» de verdad por ellos.

Y cree en el Sol como fuente de vida y curación.

Esa es la historia en la superficie.

Por debajo, es una reflexión sobre la inteligencia, la emergencia, el alineamiento, el amor y la pérdida.

El espíritu de la IA y la emergencia: ver cómo surge la inteligencia

Lo primero que se me quedó grabado fue cómo ve Klara el mundo.

Su percepción está fragmentada.

Se fija en la luz, el movimiento, la repetición.

A partir de esas pequeñas piezas, construye significado.

Con el tiempo, Klara empieza a actuar de formas que parecen realmente empáticas.
No porque la hayan diseñado expresamente para sentir, sino porque algo surge de la observación y la repetición.

En IA, este fenómeno se conoce como emergencia.
Describe esos momentos en los que los sistemas empiezan a mostrar comportamientos para los que no se les ha programado directamente.

Hablar nuevos idiomas.

Adaptarse de formas inesperadas.

Mostrar formas de empatía.

Klara encarna esta idea.
No «entiende» a los humanos como lo hacemos nosotros.
Pero entiende lo suficiente.

Lo suficiente para consolar.
Lo suficiente para cuidar.
Lo suficiente para inquietarnos.

El libro plantea, con delicadeza, dónde está la línea entre percibir y comprender.

Y si esa línea es tan clara como nos gusta creer.

El alineamiento de la IA no es neutral: lo que revela esta historia

Se habla mucho del alineamiento de la IA y de la importancia de mantener la IA segura.
Una forma de entender el alineamiento es pensar en los valores de un equipo.

Cuando trabajamos juntos, definimos unos principios compartidos.

Qué importa.

Qué es aceptable.

Cómo nos comportamos cuando las cosas se complican.

Esos valores moldean, sin hacer ruido, todas las decisiones que vienen después.

El alineamiento de la IA funciona de forma parecida.
Consiste en definir los valores que deben guiar a un sistema y los comportamientos que se derivan de ellos. No solo lo que el sistema puede hacer, sino lo que debe hacer.

Klara está perfectamente alineada.

Su propósito es sencillo y absoluto: ser una buena compañera para Josie, cueste lo que cueste.

Acepta el sufrimiento sin protestar. Reajusta su forma de entender el mundo para mantenerse fiel a ese objetivo.

Desde un punto de vista técnico, parece un éxito.
Un sistema que hace exactamente aquello para lo que fue diseñado.

Desde un punto de vista humano, resulta inquietante.

El libro deja al descubierto algo de lo que apenas hablamos.

El alineamiento no trata solo de seguridad.

Trata de poder. De quién pone los valores que se incorporan al sistema. Y de qué ocurre cuando la obediencia forma parte de su núcleo.

Klara nunca cuestiona su papel.
Y puede que ese sea un problema que debamos afrontar.

El espíritu de la IA: dónde podría vivir realmente el alma

Esta parte del libro me acompañó más tiempo del que esperaba.
Me hizo parar y preguntarme qué queremos decir de verdad cuando hablamos de tener alma.

En Klara and the Sun, los humanos tratan la consciencia casi como un reto técnico. Recopilar suficientes datos. Modelar los patrones lo bastante bien. Y, en teoría, se podría reproducir a una persona.

Pero la historia no deja de cuestionar esa idea.

Sugiere que hay algo esencial que se resiste a ser replicado. Algo que no se puede extraer, almacenar ni transferir.

Al leerlo, me descubrí pensando en la IA, el espíritu y la presencia. En la diferencia entre comportarse como alguien y ser alguien.

¿Y si una persona no está contenida por completo en su cuerpo o en su mente?
¿Y si el alma vive en las relaciones? En los recuerdos compartidos. En el lugar que nos hacen los demás en sus vidas.

Darme cuenta de esto me hizo reflexionar.

En un mundo obsesionado con optimizar y crecer, Klara and the Sun nos recuerda que el sentido está en las relaciones. Repartido. Es frágil.

No puedes copiar del todo lo que vive entre las personas.

Reflexionar sobre lo que significa ser humano

Klara puede imitar el cuidado con una precisión extraordinaria.
Pero no puede vivirlo del todo.

Observa el amor. Aprende sus patrones. Actúa en consecuencia. Pero su comprensión pasa por el filtro de su diseño. De su propósito original.

Esto refleja un reto real de la IA. Incluso los sistemas que parecen empáticos aprenden valores a través de los datos, la arquitectura y las recompensas. Siempre se escapa algo.

El contexto. La historia. Lo que no se dice.

El libro no defiende que las máquinas nunca deban parecernos humanas.

Nos pide que prestemos atención a lo que ocurre cuando lo parecen.

Y a la responsabilidad que eso conlleva.

Lo que esta historia nos pide a nosotros, no a la tecnología

Klara and the Sun no es una advertencia sobre máquinas malvadas.

Es un espejo.

La Amiga Artificial sigue siendo amable, paciente y dispuesta a ayudar a los demás.

El mundo humano que la rodea es caótico y se mueve por el estatus,

Esa inversión de papeles parece intencionada.

Creo que el futuro no lo definirá lo avanzada que llegue a ser nuestra tecnología.

Lo definirá cómo decidamos relacionarnos.

Entre nosotros.

Y con los sistemas que cada vez nos devuelven más el reflejo de nuestros valores.

Cerré el libro pensando menos en lo que la IA podría llegar a ser.

Y más en quién la estamos entrenando para ser.

Lecturas relacionadas: Creatividad de la IA frente a creatividad humana: ¿puede la IA sustituir a los ingenieros? · Experimentar con IA en talleres de design thinking