La Universidad de Kansas logra una precisión del 99 % detectando falsificaciones de ChatGPT

Gizmodo

Un grupo de investigadores de la Universidad de Kansas acaba de publicar un trabajo que podría ser revolucionario en los entornos de trabajo con IAs. El equipo detalla un algoritmo que, según dicen, detecta la escritura académica de ChatGPT con una tasa de precisión superior al 99%.

Dicho de otra forma, parecen haber dado con la fórmula contra las falsificaciones escritas utilizando el chatbot. Un algoritmo desarrollado con la capacidad de detectar con una alta tasa de precisión si un artículo de investigación fue escrito por un modelo de generación de texto, como por ejemplo, el popular ChatGPT.

El trabajo, publicado en Cell Reports Physical Science, afirma que dicho algoritmo logró una precisión del 100 % en la detección de artículos de investigación escritos por IA, todo ello basándose en un conjunto de 30 artículos de investigación escritos por humanos y 60 artículos escritos por IA. De hecho, cuentan los autores que cuando se probó a nivel de párrafo, el algoritmo tuvo una precisión del 92 %.

De ser así, lo cierto es que la herramienta sería un avance sin precedentes, con una precisión que otros algoritmos diseñados para el mismo propósito no han alcanzado. El propio algoritmo de detección ChatGPT de OpenAI no es tan preciso.

¿Y cómo funciona? El estudio, que fue revisado por pares, seleccionó un conjunto de 64 artículos de investigadores científicos escritos por autores humanos en una variedad de disciplinas, desde biología hasta física. Luego alimentaron esos datos a ChatGPT y los usaron para producir un conjunto de datos de 128 artículos de IA con un total de 1.276 párrafos “falsos” de chatbot. Los investigadores usaron esos párrafos falsos para construir su algoritmo de detección ChatGPT. Finalmente, reunieron un nuevo conjunto de datos para probar su algoritmo con 30 artículos reales y 60 artículos escritos por ChatGPT, lo que suma 1210 párrafos en total.

Nos esforzamos por crear un método accesible para que, con poca orientación, incluso los estudiantes de secundaria pudieran construir un detector de inteligencia artificial para diferentes tipos de escritura. Existe la necesidad de abordar la escritura de IA, y las personas no necesitan un título en informática para contribuir a este campo.

En definitiva, un gran avance, aunque no estará disponible para todos los ámbitos en breve. Por ejemplo, no funcionará de inmediato para los profesores de colegios o universidades buscando estudiantes que copian. El algoritmo se creó para la escritura académica, específicamente el tipo de escritura académica que se lee en las revistas científicas. Dicho esto, Desaire contó que en teoría se puede usar la misma técnica para construir un modelo que detecte otros tipos de escritura.

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información.

ACEPTAR
Aviso de cookies