Nuestro experimento de título de IA continúa: ¿Rompimos la máquina?

Ahora estamos en la tercera fase del proyecto de aprendizaje automático, es decir, hemos superado la negación y la ira, y ahora nos deslizamos hacia la negociación y la depresión. Me han encomendado la tarea de utilizar un conjunto de datos de Ars Technica de cinco años de pruebas de titulares, que comparan dos ideas entre sí en una Prueba A / B Permite a los lectores seleccionar cuál se usa para un artículo. El objetivo es intentar construir un algoritmo de aprendizaje automático que pueda predecir el éxito de cualquier titular. Y el Desde mi último check-inNo estaba yendo de acuerdo al plan.

También gasté un poco de dinero en el tiempo de la cuenta de Amazon Web Services para averiguarlo. La experiencia puede resultar un poco cara. (Insinuación: Si tiene un presupuesto ajustado, no utilice el modo de piloto automático).

Hemos probado algunas formas de analizar nuestro grupo de 11.000 titulares de 5.500 pruebas de títulos: mitad ganadores y mitad perdedores. Primero, tomamos el conjunto completo en forma de valores separados por comas y probamos «Hail Mary» (o, como lo veo más adelante, «Jenkins Leroy‘) usando la herramienta de piloto automático en SageMaker Studio en AWS. Esto arrojó un resultado de precisión de validación del 53 por ciento. Resulta que esto no fue tan malo, más adelante, porque cuando usé un modelo creado específicamente para el procesamiento del lenguaje natural, AWS’ BlazingText—El resultado fue un 49 por ciento de precisión, o incluso peor que lanzar una moneda al aire. (Si mucho de esto suena como una tontería, por cierto, recomiendo Vuelva a visitar la parte 2, donde reviso estas herramientas con más detalle).

Fue un poco reconfortante y un poco decepcionante que el evangelista tecnológico de AWS, Julien Simon, tuviera una falta similar de suerte con nuestros datos. Intento modelo alternativo Con nuestro conjunto de datos en modo de clasificación binaria, obtuvimos una tasa de precisión de solo 53 a 54 por ciento. Así que ahora es el momento de ver qué estaba pasando y si podemos solucionarlo con algunos ajustes al modelo de aprendizaje. De lo contrario, puede que sea el momento de adoptar un enfoque completamente diferente.