En los equipos de investigación en experiencia de usuario (UX) de las grandes empresas como Telefónica, necesitamos hacer una gran gestión documental antes de arrancar una nueva investigación. Hacemos un estudio de mercado sobre lo que otras empresas han publicado en relación a un tema, para conocer qué han explorado y cuáles son las principales conclusiones de estudio de UX que han sacado. En muchas ocasiones investigamos temas que se enriquecen de lo que han aprendido otros.
Buscar toda esta información puede ser tedioso, porque este contenido suele estar disperso en múltiples repositorios y la información no suele estar bien etiquetada, ni los títulos reflejan el contenido de los documentos. Por esta razón, investigar requiere de la lectura concienzuda de cada vez más documentos, lo que conlleva una inversión de tiempo y esfuerzo que a menudo no tenemos.
Los repositorios compartidos dentro de una organización solucionan solo la parte del acceso a ellos, pero no el de su localización. Cuanto más grande es el repositorio, más complicado es encontrar el contenido que se busca.
Inteligencia artificial (IA) aplicada a la investigación en UX
Poco a poco se ha ido evolucionando la investigación en experiencia de usuario para que sea más ágil encontrar la información específica, pero las interfaces de búsqueda más tradicionales presentan dificultades, como que necesitan conocimiento especializado o que siguen siendo muy dependientes del etiquetado.
Por ello, la inteligencia artificial (IA) generativa, aplicada a la UX, puede ser de gran ayuda para solucionar estas dificultades, ofreciendo una interfaz intuitiva (preguntas y consultas en lenguaje natural) y conversacional (permitiendo un “diálogo con la biblioteca”), de forma que se pueda poner en valor todo el conocimiento almacenado en el repositorio.
Una de las ventajas que nos ofrece la tecnología al integrar IA, es que nos da respuesta al eterno debate de si el contenido ha sido o no generado por humanos. Con aplicaciones como VerifAI, ya es posible detectar si un contenido ha sido manipulado o creado por inteligencia artificial.
En el equipo de Discovery de Telefónica hemos trabajado en un sistema basado en arquitectura RAG (Retrieval-Augmented Generation), usada con las técnicas modernas de IA generativa, y que cuenta con tres elementos diferenciados:
-
Extracción de la documentación del repositorio documental: como vamos a utilizar un modelo de lenguaje, lo que extraemos será el texto contenido en los documentos, tratando de mantener al máximo posible su estructura. Este texto extraído se segmenta en porciones más pequeñas para insertarse en una base de datos que hace una doble búsqueda: tanto por similitud semántica como por coincidencia de términos para dar más precisión.
Además, el sistema de búsqueda no considera todos los términos de la misma manera, sino que los más identificativos para un contenido concreto tienen mayor importancia en las búsquedas. Esta forma de almacenamiento de los datos permite simultáneamente manejar grandes cantidades de información, así como facilitar búsquedas concretas.
- Para extraer valor del contenido almacenado, las peticiones de los experimentadores se convierten en búsquedas (semánticas y por términos) en la base de datos anterior. Se obtienen así los resultados más significativos respecto a la petición del experimentador. Este paso soluciona el problema de una consulta abierta, ya que cubre tanto términos más concretos como contenido relacionado, aunque se usen términos diferentes a los originales.
- Un modelo de lenguaje a gran escala (LLM) utiliza toda la información recuperada, la petición del experimentador y el contexto de la conversación para producir una respuesta clara y apropiada en lenguaje natural, solucionando el problema de la dificultad de interaccionar con la información sin un conocimiento especializado.
Para permitir más posibilidades de investigación a los usuarios, todos los resultados incluyen la respuesta textual y referencias (lo más detalladas posible) a las fuentes de la información en los documentos recopilados, para que los usuarios puedan analizarlas y contrastar los textos originales.
Investigación en UX, un proyecto en desarrollo
Las pruebas realizadas nos han permitido atestiguar viabilidad y utilidad potencial del sistema. Es una investigación que aún sigue en marcha y que tiene un doble objetivo a medio plazo:
- Por un lado, realizar pruebas más extensivas, integrando más documentos y ofreciendo el uso del sistema a los equipos de investigación de UX para que lo utilicen en su día a día. Para ello, el entorno contiene un elemento que permite al usuario ofrecer feedback inmediato sobre la idoneidad de los resultados; recogiendo esa señal podemos analizar fallos y aciertos para ver dónde incidir.
- Por otro lado, la evaluación inicial ha permitido identificar ya una serie de mejoras posibles, en las que estamos trabajando. Por ejemplo, la capacidad de conversación (calificada como uno de los rasgos más útiles puesto que permite refinar una pregunta/respuesta) se ve, a veces, dificultada por los problemas que tienen los modelos para reconocer cuándo el usuario está cambiando de contexto. Por eso, se ha introducido un mecanismo de identificación de esos cambios para producir resultados más fluidos.
En conjunto, esto es un primer paso en la creación de sistemas inteligentes, pero también un primer paso que ya es útil y práctico para nuestros equipos internos de investigación.
Principales conclusiones de la investigación
El sistema ha sido desplegado como prueba de concepto, integrando un conjunto de documentos e informes de resultados de investigaciones pasadas de los diferentes grupos de UX de Telefónica. Se realizó una sesión de trabajo con 8 equipos de investigación en la que se les presentó el sistema y pudieron interactuar con él recogiendo impresiones, opiniones y propuestas de mejora para facilitar su práctica profesional.
Las conclusiones principales fueron positivas. Los equipos reconocieron que el valor de contar con una herramienta así residía en:
- Reducción de tiempos en la búsqueda de documentación.
- Aumento en la calidad del análisis.
- Mejora de la colaboración entre equipos de investigación y posibilidad de referencias cruzadas.
- Mejora del proceso creativo en la selección de técnicas de investigación
Destacaron especialmente la capacidad de recoger información de documentos con múltiples formatos (diferentes idiomas, diferentes estructuras de información, gráficas…) y se identificaron una serie de casos de uso y mejoras que implementar al sistema para mejorar su eficiencia como aumentar información referencial por documento.
Por otro lado, percibían un riesgo asociado al mal uso del sistema por perfiles no experimentados que sacaran conclusiones basadas en la propia conversación sin verificar y contrastar las referencias y documentos proporcionados en los resultados. Esto podría llevar a conclusiones erróneas y decisiones equivocadas, lo que subraya la importancia de la formación y el conocimiento adecuado para utilizar el sistema de manera efectiva.
Este post ha sido hecho en colaboración con Ana Mendiola y Paulo Villegas del área de Discovery de Telefónica Innovación Digital.
