¿Cómo funcionan los detectores de texto de IA y cómo son de fiables?

ChatGPT ha dado lugar a la creación de todo un nuevo ecosistema de productos y servicios construidos en torno a la generación de textos con IA. En consonancia con esto, han surgido muchos detectores de contenido de IA.

En este artículo intentaremos llegar al fondo del asunto. ¿Es cierto? ¿Pueden distinguir entre contenido escrito por humanos y contenido generado por IA? Si es así, ¿cómo funciona?

Te contaremos todo lo que necesitas saber sobre estas herramientas de software y si merece la pena utilizarlas o no.

¿Cómo funcionan los detectores de texto generado por IA?

Los detectores de texto de IA funcionan de forma muy parecida a como lo hacen los generadores de texto de IA: basándose en probabilidades.

Los generadores de IA completan las frases basándose en el resultado más probable. Aquí tienes tres ejemplos:

• "Es un pequeño paso para el hombre, un gran salto para la ____" - La IA probablemente completaría "humanidad".
• "El amor al dinero es la raíz de todos ____" - La biblia y otras innumerables publicaciones con las que se entrenó a la IA indicarían que "el mal" es la respuesta correcta.
• "Voy a hacerle una oferta que no podrá ____" - Cualquiera que haya visto El Padrino sabe que la respuesta es "rechazar". Sin embargo, eso también es lo que más sentido tiene desde cualquier perspectiva.

Ahora bien, aquí es donde la cosa se pone interesante. Los detectores de IA también utilizan esas probabilidades. Si utilizas la palabra más probable en tu frase, puede que sea etiquetada como generada por IA. Esa es la primera señal de alarma, porque no querrás cambiar el sentido de tu frase solo para que no sea marcada como generada por IA.

Los detectores de IA también tienen en cuenta dos factores a la hora de evaluar un texto: la perplejidad y el estallido.

Perplejidad

La perplejidad se reduce a la imprevisibilidad. Si al detector le "sorprende" la elección de palabras que viene a continuación, pensará que es más humano. A los modelos lingüísticos de IA se les enseña a producir textos con baja perplejidad. Las palabras utilizadas son las que cabría esperar, pero eso también las hace más predecibles.

Eso significa que una frase normal que cualquier público pueda entender tendría más probabilidades de ser marcada. Para eludir las acusaciones de perplejidad, tienes que escribir algo con una perplejidad alta como "El locuaz felino se encaramó sobre el lujoso y aterciopelado mobiliario, y su semblante destilaba un aire de despreocupada satisfacción".

Vaya.

Los detectores de IA también parten de la premisa de que la escritura humana utiliza opciones lingüísticas más creativas, pero también comete más erratas. ¿Pero qué pasa con Grammarly? Cualquier escritor que se precie pasará su texto por un programa informático para corregir errores.

Las empresas que están detrás de los detectores de IA han admitido que los textos se marcan por ser gramaticalmente correctos, sobre todo cuando se corrigen con una herramienta de software como Grammarly. El razonamiento subyacente es que el texto ha sido editado con IA, por lo que resulta antinatural e inhumano.

Explosividad

La explosividad se refiere a la variación en el número de palabras utilizadas y la estructura de las frases de un texto. El contenido de la IA suele tener una explosividad menor que la escritura humana, por lo que los detectores quieren que algunas frases muy cortas y otras muy largas se consideren escritas por humanos. Sin embargo, las frases largas y complicadas no son recomendables cuando se escribe un contenido que pretende ser fácil de leer para todos.

Esto plantea la cuestión de si los detectores de contenido de IA buscan cosas que van en contra de muchas buenas prácticas de escritura.

¿Son precisos los detectores de IA?

En una palabra, no. No son precisos. Los críticos consideran que las empresas de detectores de texto generado por IA se aprovechan de nuestra necesidad de control, dando la ilusión de tener el control sobre el texto creado con IA sin ninguna prueba concreta de que el software funciona de forma fiable.

En un caso, un usuario pasó la Constitución de los EE.UU. y el libro del Génesis por un detector de IA, y el resultado fue que habían sido generados por IA. Según esa lógica, en 1787 había robots escritores que ayudaron a redactar la Constitución.

¿Confiarías o pagarías a un asesor que se equivocara así?

Declaración de OpenAI

Si necesitas más pruebas, quizá confíes más en los propios pioneros de la IA generativa: OpenAI. Son el equipo que está detrás de ChatGPT e incluso tuvieron su propio detector de IA en un momento dado, que abandonaron rápidamente.

En una declaración dirigida especialmente a los profesores que utilizan estas herramientas para suspender injustamente a los alumnos, OpenAI admitió que los detectores de IA no funcionan.

Dependientes de la industria

Es importante tener en cuenta que algunas industrias utilizan naturalmente un lenguaje más formal que otras y un tono más firme y serio. Cuando escribes un texto técnico, no te iinetresa la perplejidad o el desparpajo . Te interesan los hechos.

Del mismo modo, las erratas son inaceptables en los trabajos académicos, así que las eliminarás todas y no te tomarás libertades, siguiendo al pie de la letra las normas gramaticales. Eso también hará que tu texto sea marcado más fácilmente.

Afirmaciones falsas de Originality AI

Luego tenemos lo que muchos considerarían mentiras descaradas por parte de algunas empresas, como Originality AI. Su enfoque para vender el producto se basa en utilizar estadísticas para demostrar su fiabilidad.

Más concretamente, utilizan porcentajes para representar los falsos positivos y la detección satisfactoria de la IA. Estas cifras parecen sacadas de la nada con conjuntos de datos muy pequeños (que son propiedad y están controlados exclusivamente por la empresa).

Cuando salió el modelo 2.0 de su software, anunciaron con orgullo que tenía una tasa de éxito del 99%. Luego, menos de un año después, lanzaron un nuevo modelo: Turbo 3.0, que de alguna manera debería ser mejor. Sin embargo, también tiene una "tasa de éxito del 99%", y ahora admiten que la versión 2 tiene una tasa de éxito del 90%.

Como las cuentas no cuadran, solo puede significar que la empresa ha estado inflando su tasa de éxito y engañando a los clientes.

Investigación de Topcontent

Por último, Topcontent es una plataforma de creación de contenidos fundada en 2013. Llevaron a cabo una investigación (https://topcontent.com/blog/how-ai-detectors-work-and-how-they-don-t/NewTab) con la esperanza de encontrar una buena herramienta de "detección de IA". Para ello, utilizaron diferentes versiones de textos escritos en su plataforma en 2016 (mucho antes de que existiera la IA).

Lo que encontraron fue realmente interesante. Cuanto mejor era el texto, mayor era la "puntuación de generado por IA" que obtenía de los detectores. Un primer borrador escrito por un humano obtendría una puntuación de "probabilidad de IA" baja. Pero después de que un editor lo puliera y corrigiera, el detector lo marcaría como más probable de ser generado por IA.

Es contradictorio, pero si volvemos a la sección anterior sobre cómo funcionan los detectores de contenido de IA, tiene sentido. Los generadores de texto de IA se entrenan con texto humano y reglas gramaticales. Así que, cuando un editor aplica esas reglas, el detector solo está siguiendo su entrenamiento al marcarlo como generado por IA.

Consecuencias de confiar en los detectores de IA

¿Qué ocurre cuando confías en los detectores de IA? Bueno, para empezar, estás malgastando dinero en algo que no funciona. Sin embargo, las consecuencias pueden ser mucho más graves. Ha habido innumerables historias en Internet de alumnos acusados falsamente por profesores que confían en estas herramientas, arruinando su futuro.

Afortunadamente, algunas escuelas como la Universidad de Vanderbilt está desactivando el uso del detector de IA de Turnitin.

Por último, desde un punto de vista empresarial, si empiezas a intentar cambiar tu texto solo para evitar la detección de IA, puedes acabar con algo que suene poco natural, esté plagado de errores y sea, en general, de menor calidad. Dado que Google y otros motores de búsqueda dan prioridad a la calidad por encima de todo, tu clasificación se resentiría.

Hablando de Google, incluso ellos están en el juego de la IA con Géminis y no hay penalizaciones SEO por utilizar IA en tu contenido web siempre que aporte valor al lector final.

Conclusión

En cuanto a la fiabilidad de los detectores de IA, la conclusión es que los detectores de IA no funcionan con precisión.

Un detective de verdad busca pistas concretas. Los detectores de IA se parecen más a los psíquicos que meten a la gente en la cárcel por una corazonada o intuición (probabilidades). No hay marca de agua, huella digital ni pistas concretas que "detectar".

Independientemente de si utilizas contenido de IA y para qué lo utilices, asegúrate de que tu texto siempre transmita lo que quieres que transmita. Igual que tú puedes hacer que un texto suene poco natural, la IA puede hacer lo mismo desde el principio si tus indicaciones no son precisas.