¿Cómo funciona un LLM?
Un LLM genera texto un token a la vez. Estos tokens pueden representar un solo carácter, palabra o parte de una frase. Para crear una secuencia de texto coherente, el modelo predice el siguiente token más probable que debe generar. Estas predicciones se basan en las palabras anteriores y en las puntuaciones de probabilidad asignadas a cada token potencial.
Ejemplo de predicción de tokens
Por ejemplo, con la frase “Mis frutas tropicales favoritas son __.” El LLM podría comenzar a completar la oración con los tokens “mango,” “lilikoi,” “papaya” o “durian,” y cada token recibe una puntuación de probabilidad. Cuando hay una variedad de tokens diferentes para elegir, SynthID puede ajustar la puntuación de probabilidad de cada token predicho, en aquellos casos donde no comprometa la calidad, precisión y creatividad del resultado.
Proceso de generación de texto
Este proceso se repite a lo largo del texto generado, por lo que una sola oración podría contener diez o más puntuaciones de probabilidad ajustadas, y una página podría contener cientos. El patrón final de puntuaciones, tanto para las elecciones de palabras del modelo como para las puntuaciones de probabilidad ajustadas, se considera la marca de agua.
Fuente y créditos: www.theverge.com
Cats:
