Alvi - AI Virtual Assistant

Brief

Alvi es un apasionado hincha del Club Atlético Talleres de Córdoba, uno de los equipos de fútbol más queridos y seguidos en Argentina. Este asistente virtual está diseñado para conectar con los socios del club y brindarles una experiencia interactiva y personalizada. Alvi no solo responde preguntas y resuelve inquietudes, sino que también juega un papel crucial en promover la afiliación al club, fomentando un sentido de comunidad y pertenencia entre los aficionados.

Overview

Mi rol en este proyecto fue como Diseñador de IA Conversacional (Conversational AI Designer), con una participación de aproximadamente dos meses.

Mis responsabilidades incluyeron el mapeo de tópicos, el diseño de la personalidad del bot y la definición de su tono y voz, así como la creación y testeo del system prompt.

Dirigí realicé workshops para compartir los conocimientos y metodologías desarrolladas durante el proyecto SAM (Santex AI Member) ,incluyendo la etapa del diseño conversacional, la optimización de los system prompts, las metodologías de evaluación, la estructura de los reportes, las métricas relevantes y la estructuración de las fuentes de datos para un mejor entrenamiento del modelo.

Goals

Mejorar la Experiencia del Socio: Proporcionar respuestas rápidas y precisas y una experiencia interactiva que aumente la satisfacción y lealtad.
Promover la Afiliación al Club: Facilitar la inscripción de nuevos socios, renovar membresías e informar sobre beneficios exclusivos.
Fomentar el Sentido de Comunidad y Pertenencia: Conectar a los socios con un asistente que refleje la pasión del club y compartir contenido exclusivo.
Optimizar la Comunicación del Club: Mantener a los socios informados sobre partidos, eventos y actividades y facilitar el acceso a redes sociales.

Proceso

METAS LOGRADAS

Alvi aun está en fase de prueba, sin embargo, para medir si se lograron los objetivos y evaluar su funcionalidad cualitativamente, se proponen las siguientes métricas:

Mejorar la Experiencia del Socio:

Medir la satisfacción del usuario: Implementar encuestas de satisfacción al final de cada interacción y calcular el Net Promoter Score (NPS).
Tiempo de respuesta: Monitorear el tiempo promedio que el asistente tarda en responder a las consultas de los socios.
Tasa de resolución en la primera interacción: Medir el porcentaje de consultas que se resuelven en la primera interacción sin necesidad de asistencia adicional.

Promover la Afiliación al Club:

Contar nuevas inscripciones: Registrar el número de nuevos socios inscritos a través del asistente virtual cada mes.
Tasa de renovación: Medir el porcentaje de socios que renuevan su membresía utilizando el asistente.
Conversión de consultas a afiliaciones: Evaluar el porcentaje de consultas sobre la afiliación que resultan en una nueva inscripción.

Fomentar el Sentido de Comunidad y Pertenencia:

Medir interacciones recurrentes: Contabilizar el número de socios que interactúan con el asistente más de una vez al mes.
Feedback positivo: Recopilar y analizar comentarios positivos y valoraciones de los usuarios sobre su sentido de pertenencia al club.
Engagement con contenido exclusivo: Medir la cantidad de visualizaciones y la interacción (likes, shares) con el contenido exclusivo proporcionado por el asistente.

Optimizar la Comunicación del Club:

Frecuencia de actualizaciones: Monitorear la regularidad con la que se actualizan las noticias y eventos en el asistente.
Tasa de interacción con noticias/eventos: Medir el porcentaje de usuarios que acceden a las noticias y eventos a través del asistente.
Tráfico hacia redes sociales y sitio web: Contar el número de redirecciones desde el asistente a las redes sociales y el sitio web oficial del club.

Lecciones Aprendidas

Ajustar un system prompt a regionalismos: Adaptar un system prompt al dialecto argentino no es tarea sencilla. Sería beneficioso explorar herramientas no generativas que permitan mantener la consistencia en este aspecto, asegurando una mayor precisión y coherencia en las respuestas del asistente.
Importancia de data sources estructurados: Es crucial contar con fuentes de datos bien estructuradas para optimizar el entrenamiento del LLM. La calidad y organización de estos datos influyen directamente en el rendimiento y precisión del modelo.
Investigación de UX previa mejor definida:Realizar una investigación de UX previa es esencial para definir el contenido que buscan los usuarios, en lugar de enfocarse únicamente en lo que el cliente desea mostrar. Esto mejora la efectividad del bot y asegura una experiencia más relevante y satisfactoria para los usuarios.

Mejoras a futuro

Integración con APIs adecuadas: Implementar la integración con APIs que proporcionen datos en tiempo real, como resultados de partidos y noticias relevantes, para enriquecer la conversación con el usuario y mantener la información actualizada.
Creación de guidelines: Desarrollar guías detalladas para establecer un proceso claro y eficiente en la creación de asistentes virtuales basados en LLMs, asegurando consistencia y calidad en el diseño y desarrollo.
Pruebas de interacción automatizadas: Sistematizar el proceso de pruebas mediante interacciones guiadas automatizadas es esencial para garantizar un rendimiento consistente y detectar problemas de manera temprana.

Pensamientos Finales

Evaluación de Soluciones: Aunque es posible personalizar asistentes virtuales basados en LLMs, es crucial evaluar si son la solución que mejor se adapta a las necesidades específicas del proyecto. Esta evaluación debe considerar factores como la precisión, consistencia y capacidad de manejo de regionalismos y otros aspectos únicos del proyecto.