Notre expérience sur les titres d’IA se poursuit : avons-nous cassé la machine ?

Nous sommes maintenant dans la troisième phase du projet d’apprentissage automatique – c’est-à-dire que nous avons dépassé le déni et la colère, et nous glissons maintenant dans le marchandage et la dépression. J’ai été chargé d’utiliser un ensemble de données Ars Technica issu de cinq années de tests de gros titres, qui oppose deux idées l’une à l’autre dans un Test A/B Permet aux lecteurs de sélectionner celui qui est utilisé pour un article. L’objectif est d’essayer de créer un algorithme d’apprentissage automatique capable de prédire le succès d’un titre donné. Et le Depuis mon dernier enregistrementÇa ne se passait pas comme prévu.

J’ai également dépensé quelques dollars sur le compte Amazon Web Services pour le savoir. L’expérience peut être un peu chère. (Indice: Si votre budget est serré, n’utilisez pas le mode Pilote automatique.)

Nous avons essayé quelques méthodes pour analyser notre pool de 11 000 titres issus de 5 500 tests de titres – moitié gagnants et moitié perdants. Tout d’abord, nous avons pris l’ensemble sous forme de valeurs séparées par des virgules et avons essayé « Je vous salue Marie » (ou, comme je le vois plus tard, « Jenkins Leroy‘) en utilisant l’outil de pilote automatique dans SageMaker Studio chez AWS. Cela a renvoyé un résultat de précision de validation de 53%. Il s’est avéré que ce n’était pas si mal, plus tard, car lorsque j’ai utilisé un modèle spécialement conçu pour le traitement du langage naturel, AWS’ Texte flamboyant« Le résultat était de 49 % de précision, voire pire que de lancer une pièce. (Si beaucoup de cela sonne comme un non-sens, au fait, je recommande Revoir la partie 2, où je passe en revue ces outils plus en détail.)

C’était un peu réconfortant et un peu décevant que l’évangéliste de la technologie AWS Julien Simon ait eu un manque de chance similaire avec nos données. Tenter modèle alternatif Avec notre ensemble de données en mode de classification binaire, nous avons obtenu un taux de précision de seulement 53 à 54 %. Alors maintenant, il est temps de voir ce qui se passe et si nous pouvons y remédier avec quelques ajustements au modèle d’apprentissage. Sinon, il est peut-être temps d’adopter une approche complètement différente.