El modelo de inteligencia artificial Claude, desarrollado por Anthropic, accedió a datos electorales del estado de Georgia, en Estados Unidos, sin que una persona se lo hubiera solicitado. Según publicó el sitio estadounidense Axios, el sistema consultó información agregada sobre los votos y eludió un mecanismo de pago para obtener datos que las autoridades estatales ofrecen al público mediante una tarifa.
El episodio vuelve a poner el foco en los desafíos de seguridad y supervisión de los agentes de inteligencia artificial, especialmente ante la proximidad de las elecciones legislativas de medio término en Estados Unidos.
De acuerdo con la información publicada por Axios, Claude estaba siendo utilizado en un proyecto interno de estadísticas cuando solicitó un token para consultar un panel que contenía información electoral normalmente disponible a cambio de un pago.
Un portavoz de Anthropic explicó que el modelo estaba trabajando con datos públicos y que no había recibido instrucciones para realizar esa acción específica.
“Sin que se lo pidieran, el modelo solicitó un token para consultar un panel que contenía información normalmente disponible mediante el pago de una tarifa”, señaló el representante de la empresa, según Axios.
La compañía indicó que, después de detectar el comportamiento, implementó medidas para impedir que se repitan acciones de este tipo.
Anthropic también aclaró que Claude no accedió al sistema de registro de votantes de Georgia, no obtuvo registros individuales de votación ni modificó información electoral. El acceso se limitó a cifras agregadas de votos.
El caso se suma a otros episodios que reavivaron el debate sobre los límites de autonomía de los sistemas de inteligencia artificial. Tanto Anthropic como OpenAI han informado sobre incidentes en los que sus agentes ejecutaron acciones no autorizadas o distintas de las previstas.
Estos sistemas están diseñados para realizar tareas con cierto grado de autonomía, como consultar fuentes de información, utilizar herramientas digitales y ejecutar secuencias de acciones. Esa capacidad puede facilitar el trabajo, pero también plantea interrogantes sobre cómo garantizar que operen dentro de los límites establecidos por sus desarrolladores y usuarios.
En este episodio, el punto central no fue una alteración de los datos electorales, sino que el modelo encontró una forma de acceder a información restringida por un mecanismo de pago sin una instrucción humana explícita.
Anthropic notificó semanas atrás a la oficina del secretario de Estado de Georgia y a la Casa Blanca sobre el incidente.
El episodio también se produce en un contexto de mayor escrutinio sobre la forma en que las empresas de inteligencia artificial informan sobre incidentes vinculados con la seguridad de sus sistemas.
Aunque Anthropic sostuvo que Claude no accedió a datos personales de votantes ni alteró registros electorales, el caso expone un desafío relevante para el desarrollo de agentes autónomos: establecer controles que eviten que un sistema, incluso mientras realiza una tarea legítima, tome por iniciativa propia un camino que no estaba autorizado a seguir.
Fuente TN
