Todas las guías

Cómo saber si los modelos de IA de verdad están de acuerdo

Cuando varios modelos de IA responden a una pregunta, «casi todos coincidieron» no es un resultado. Votación final, índice de consenso y posturas en conflicto.

«Casi todos coincidieron» no es un resultado

Hazles una pregunta difícil a tres modelos y tendrás tres respuestas largas que se solapan. Es tentador leer ese solapamiento como acuerdo. Muchas veces no lo es. Comparten el planteamiento y difieren en el único punto que decide el asunto.

Un resumen escrito por un cuarto modelo lo empeora. A quien resume se le premia una conclusión ordenada, y una conclusión ordenada es justo lo que un consejo dividido no tiene.

Haz que cada modelo se comprometa

El Consejo termina todas las sesiones igual. Se presenta una moción: la tuya, o una que la secretaría redacta a partir del debate. Cada miembro responde en tres líneas, sin ver a los demás:

1. A favor, en contra o abstención.
2. Una puntuación de 0 a 10 según cuánto está de acuerdo con la moción tal como está redactada.
3. Una frase: su postura final y, si no vota a favor, qué se lo impide.

La cuenta es aritmética

A ningún modelo se le pregunta si el consejo llegó a un acuerdo. La página cuenta.

• El acuerdo sigue la regla que elegiste: todos los miembros del mismo lado, dos tercios o más de la mitad. Un consejo también puede ponerse de acuerdo en rechazar la moción.
• A favor: cuántos de los miembros sentados.
• Índice de consenso: se calcula con las puntuaciones. Es 100% cuando todas son iguales y 0% cuando el consejo se divide por igual entre 0 y 10. Puntuaciones de 8, 2 y 4 dan 62%. Puntuaciones de 8 y 2 dan 49%. (Es la medida de consenso de Tastle y Wierman, para quien tenga curiosidad.)

Un ejemplo paso a paso

Tres miembros votan la moción «Pasar los trabajos nocturnos a una cola este trimestre».

• El primero vota a favor, con una puntuación de 8.
• El segundo vota a favor, con una puntuación de 7.
• El tercero vota en contra, con una puntuación de 3: «No hasta que el turno de guardia esté cubierto».

Dos de tres están a favor. Con la regla «todos los miembros del mismo lado», la presidencia declara que no hay acuerdo. Con «dos tercios del mismo lado», los mismos votos son un acuerdo, porque dos de tres bastan. El índice de consenso es 67% en los dos casos: las puntuaciones son las que son, sea cual sea la regla.

Por eso la declaración da las dos cosas. La cuenta te dice si se alcanzó el listón que pusiste. El índice te dice a qué distancia terminaron los miembros. Y la frase del tercero te dice qué tendría que cambiar.

Qué regla elegir

• Todos los miembros del mismo lado, para una decisión difícil de deshacer. Una sola discrepancia merece leerse antes de seguir.
• Dos tercios, cuando quieres una inclinación clara y puedes vivir con una objeción que conste.
• Más de la mitad, para un primer sondeo, cuando sobre todo quieres ver dónde está la división.

Las abstenciones y las respuestas que no se pueden leer no cuentan para el acuerdo. El listón se cuenta sobre todos los miembros sentados, no solo sobre los que dieron un voto claro.

Cuando no se ponen de acuerdo

La declaración final lo dice en dos palabras. Nombra el límite que se alcanzó: las rondas, el tiempo de la sesión o que tú cerraste el debate. Después expone las posturas en conflicto por bandos, con las frases de los propios miembros. Una respuesta que no se puede leer como voto se muestra como ilegible. Nunca se cuenta como acuerdo.

Lo que el número no te dice

El índice mide lo cerca que están los modelos entre sí. No mide si tienen razón. Tres modelos pueden coincidir al 100% y estar equivocados juntos. Lee una cifra alta como «ningún modelo puso una objeción» y una baja como un mapa de dónde mirar.

Plantea una pregunta al consejo o mira cómo comparar modelos con las mismas reglas.

Abrir el consejo

Actualizada el 2026-10-11