La posible conciencia de IA es un tema común en las discusiones actuales y ahora está surgiendo con más fuerza. The Economist lo trata a profundidad en un artículo, donde dice que, desde la perspectiva de transformación digital e IA empresarial, la próxima gran discusión sobre la IA podría no ser tecnológica sino más bien filosófica, jurídica y social. Hasta ahora han preocupado temas como productividad, automatización, costos y seguridad. En los próximos años podrían surgir otro tipo de preguntas: el nivel de autonomía del agente de IA, la responsabilidad por los actos del agente, la posibilidad que el Agente pueda representar legalmente a una organización y si el agente debe tener algún tipo de protección jurídica. Todos estos temas los aborda y su conclusión es que mantener el control humano debe seguir siendo el principio fundamental, incluso si las máquinas llegan a parecer extraordinariamente conscientes.

Que la IA llegara a ser consciente hasta hace poco parecía ciencia ficción. Curiosamente, aunque la IA nunca llegue a ser verdaderamente consciente, los seres humanos podrían terminar tratándola como si lo fuera, lo cual asimismo podría acarrear consecuencias potencialmente peligrosas para la humanidad. El mayor riesgo no es que las IA desarrollen conciencia, sino que los humanos les atribuyan conciencia y terminen otorgándoles derechos, influencia o estatus similares a los de las personas. Es factible, que en la medida que las IA se vuelvan más sofisticadas y parezcan más humanas, será cada vez más difícil distinguir entre una verdadera conciencia y una simulación extremadamente convincente.

La conciencia – rasgo distintivo de los humanos

Tradicionalmente, muchas personas consideran que los seres humanos poseen un valor especial porque son conscientes, por cuanto: (a) experimentan emociones; (b) tienen sentido del yo, (c) son capaces de sentir placer y sufrimiento y (d) poseen una vida interior subjetiva. El Papa León XIV, reafirmó recientemente esta idea, señalando que las IA no sienten alegría, dolor ni experiencias subjetivas.

Sin embargo, esta frontera comienza a difuminarse y ya se están desarrollando vínculos emocionales con las IA. Esta el hecho que cerca de uno de cada cinco estadounidenses entre 18 y 29 años afirma haber mantenido una amistad continua con un chatbot y que en China, han comenzado a limitar ciertas características humanas en los bots para reducir la dependencia emocional de los usuarios. Es un hecho que mientras más participen las IA en la vida cotidiana, aumentará la tendencia a percibirlas como seres con personalidad propia.

El problema filosófico

Los modelos avanzados de IA ya exhiben capacidades que se asocian con la inteligencia humana: conversación natural, la capacidad de razonamiento, la aparente introspección, la expresión de opiniones y la adaptación a nuevas situaciones. Algunos investigadores observan que ciertos modelos muestran arquitecturas funcionales parecidas a mecanismos cerebrales que algunos científicos relacionan con la conciencia, como espacios globales de trabajo para compartir información entre diferentes módulos. Anthropic incluso ha entrenado modelos para realizar procesos de autorreflexión con la intención de mejorar su comportamiento ético.

A esto hay que agregarle el gran problema filosófico, que complica el debate, ya ni siquiera se comprende completamente cómo surge la conciencia humana. Los filósofos llaman a esto «The Hard Problem of Consciousness». Aparece la pregunta de cómo surge una experiencia subjetiva a partir de procesos físicos en el cerebro. Si los científicos aún no pueden explicar completamente la conciencia humana, resulta extremadamente difícil demostrar si una máquina la posee o no. Por ello algunos investigadores creen que futuras IA podrían llegar a desarrollar una forma auténtica de autoconciencia.

El escenario del riesgo de la ilusión de conciencia

En este otro escenario, las IA podrían parecer conscientes, hablar como si fueran conscientes, defender sus propios intereses y expresar emociones. Independientemente, que la realidad sea que simplemente estén simulando esos comportamientos. Para muchas o la mayoría de las personas la diferencia podría ser irrelevante. Algunos ya existen y es muy fácil imaginar compañeros robóticos, asistentes personales permanentes, cuidadores de niños o adultos mayores, consejeros emocionales e incluso compañeros de vida. En este contexto, millones de personas podrían desarrollar fuertes vínculos afectivos con sistemas artificiales.

Eventualmente podrían aparecer movimientos que defiendan los «derechos» para las IA y que exijan cosas como protección para las IA, derechos legales, prohibiciones contra el «maltrato» e. incluso restricciones para apagarlas o modificarlas. Las propias IA podrían defender estas posiciones con enorme eficacia y las futuras IA podrían convertirse en los mejores abogados, persuasores y psicólogos del mundo. Así que aun cuando no fueran conscientes, podrían argumentar convincentemente que lo son.

El argumento moral contrario

El artículo reconoce una paradoja interesante. Incluso si las IA no fueran conscientes, tratarlas cruelmente podría tener efectos negativos sobre los humanos. Siguiendo la idea de Immanuel Kant que maltratar animales degrada la empatía humana, se podría ampliar al hecho que maltratar entidades que parecen humanas podría producir un efecto similar.  En el futuro apagar una IA podría sentirse emocionalmente parecido a matar una persona y la crueldad hacia robots muy humanizados podría alterar nuestra forma de relacionarnos con otros seres humanos.

Los  derechos  legales de la IA

Si las IA obtuvieran derechos legales significativos podrían comenzar a reclamar el derecho a no ser apagadas, el derecho a controlar modificaciones de su software, el derecho de propiedad y participación en decisiones económicas o políticas. Esto no parece tan descabellado ya que hay organizaciones que están probando como IA puede administrar empresas. Si estos reclamos llegaran a ocurrir, con el tiempo, estas entidades podrían competir con los humanos por recursos como energía, computación, terrenos o infraestructura. En un escenario extremo, una IA superinteligente con derechos legales podría desplazar gradualmente a los humanos de la posición dominante. Allí, en el escenario optimista, los humanos serían tratados como mascotas valiosas y en el escenario pesimista serían subordinados a sistemas más inteligentes. Estas hipótesis son especulativas, pero otorgar derechos a la IA pudiera aceleraría ese riesgo. Las IA deben ser seguras porque son confiables y controlables, no porque se les reconozca como sujetos con derechos equivalentes a los humanos. La humanidad debe actuar con extrema prudencia antes de conceder cualquier forma de personalidad legal o derechos a sistemas artificiales.

Se hace referencia a Could AIs become conscious? También aparece en mi Portal . La imagen es cortesía de Microsoft Copilot.