Antonio Valderrábanos

Si estamos monitorizando datos de las Redes Sociales, probablemente estamos manejando un volumen de información que no se puede abordar de forma manual; y probablemente hemos automatizado el proceso de lectura y categorización de esta información. Antes de ver qué podemos hacer con estos valiosos datos (mejorar la percepción sobre la marca, identificar los clientes insatisfechos, detectar temas nuevos, seguir a la competencia…), necesitamos asegurarnos de que los beneficios que aporta la automatización son fiables, y que no están creando una nueva fuente de riesgos para nuestro negocio, en lugar de ser una ventaja competitiva. El riesgo de usar comentarios de usuarios que no se han analizado correctamente para tomar decisiones de marketing o de ventas es ciertamente mayor que el riesgo de ignorar el contenido de las Redes Sociales.

Por lo tanto, ¿cómo podemos verificar el nivel de fiabilidad de la herramienta que estamos usando para entender las Redes Sociales? Hasta donde sabemos, no hay procedimientos estándares en la industria a este respecto. Sin embargo, los investigadores han desarrollado métodos para medir problemas similares, y podemos reutilizar esta metodología aquí. Estos métodos tienen tres ventajas principales:

• Son comprensibles para los no expertos, así que se pueden compartir entre proveedores de herramientas y usuarios finales
• Son exhaustivos, miden la corrección en dimensiones diferentes (cobertura y precisión)
• Tienen reputación, los han usado un gran número de investigadores durante un largo periodo de tiempo
  En resumen, empleando esta metodología podremos medir el rendimiento de nuestra herramienta comparándola con un modelo objetivo (los comentarios analizados de forma manual por un especialista).

Este método incluye al menos los siguientes pasos:

• Definir las áreas de interés que vamos a evaluar: cuáles son los aspectos que son de interés para el negocio. Por ejemplo, si se desea comprobar la fiabilidad de nuestro análisis sobre un producto informático, podemos crear una categoría “Producto” bajo la que clasificar conceptos como “disco duro”, “teclado” o “pantalla”. Una ontología (el resultado de la clasificación de todos los aspectos relevantes de un área de negocio) es un buen modo de expresar los intereses de negocios de una empresa, y nos permite luego discriminar los comentarios de forma útil.
• Definir un conjunto de frases que sean buenos ejemplos de la presencia en las Redes Sociales de nuestra organización. Para ello, podemos tener en cuenta diferentes aspectos como la fuente del comentario (por ejemplo, ¿provienen la mayoría de nuestros comentarios de Twitter o de blogs?), o el área de interés al que hacen referencia. No es necesario que este conjunto de frases sea extremadamente alto, basta con que sea lo suficientemente representativo de los resultados habituales.
• Analizar este conjunto de frases manualmente, es decir, hacer manualmente la tarea que su herramienta de software lleva a cabo automáticamente. Como solemos ser subjetivos en nuestros análisis, es relevante que al menos dos personas etiqueten el texto manualmente.
• Analizar el mismo conjunto de frases con su herramienta de software.
• Finalmente, medir el rendimiento comparando los resultados del análisis manual (idealmente, los resultados en los que los distintos anotadores hayan coincidido, dejando fuera aquellos casos en los que incluso entre especialistas ha habido disensión) con los del análisis automático.

Tras seguir estos pasos, podemos contestar nuestra pregunta: ¿cuál es el porcentaje de comentarios en el que coinciden tanto las personas como la herramienta? Este nivel de coincidencia puede dividirse en diferentes indicadores. Los dos principales (que podrían tratarse en profundidad en otro artículo) son la precisión y la cobertura.

Por otra parte, incluso más importante que medir el rendimiento en un momento dado es el hecho de monitorizar continuamente las mejoras durante un periodo dado de tiempo. De esta manera no conoceremos sólo la fiabilidad puntual de la herramienta, sino también su consistencia a lo largo del tiempo, aumentando así la confianza sobre la misma. 

Si usamos estos métodos y los incluimos en nuestras prácticas de informes, habremos obtenido dos ventajas principales: primero, sabremos si la herramienta automatizada que estamos usando es lo suficientemente exacta para tomar decisiones de negocios. Segundo, habremos logrado avanzar hacia la medición del retorno de la inversión.