Siri a échoué au test Super Bowl extrêmement facile, en répondant incorrectement à 38 sur 58 questions.

Alors, comment s'est passée Siri ? Avec l'interprétation la plus charitable possible, Siri a correctement identifié le vainqueur de seulement 20 des 58 Super Bowls qui ont été disputés. C'est une performance abominable avec un taux de réussite d'un absolument déplorable 34 %. Si Siri avait été un quartier-back, il serait éliminé des ligues NFL. Siri a réussi à obtenir quatre ans consécutifs corrects (Super Bowl IX à XII), mais seulement s'il est crédité pour fournir la bonne réponse pour une raison fausse. De manière plus réaliste, elle a correctement répondu trois ans de suite (Super Bowl V à VII, XXXV à XXVII et LVII à LIX). À son pire, elle a eu un incroyable 15 ans consécutifs incorrects (Super Bowl XVII à XXXII). Le Siri est un grand fan des Eagles. Plus amusantement, il attribue aux Philadelphia Eagles une impressionnante victoire de 33 au Super Bowl qu'ils n'ont pas méritée, ainsi que la seule victoire qu'ils ont. La partie "la réponse juste pour la mauvaise raison" fait référence à Siri qui a été interrogée pour nommer le vainqueur de la Super Bowl X. Pour des raisons inconnues, Siri a choisi de répondre avec une longue réponse sur la Super Bowl IX, et curieusement, le vainqueur était le même les deux fois. Parfois, Siri s'écartait complètement du sujet et ignorait totalement la question, en citant des entrées Wikipédia non liées. Quel a été le vainqueur du Super Bowl 23? Bill Belichick détient le record pour le plus grand nombre de victoires au Super Bowl (huit) et d'apparitions (douze : neuf fois en tant que coach, une fois en tant qu'assistant coach, et deux fois en tant que coordinateur défensif). Peut-être que les chiffres romains causent une confusion, et d'autres systèmes d'IA ont du mal autant? Gruber décida de faire quelques vérifications ponctuelles. Je n'ai pas effectué un test exhaustif des Super Bowl 1 à 60 en raison de ma paresse, mais une vérification ponctuelle de quelques nombres aléatoires dans cette plage indique que chaque agent qui me permet de poser une question et d'obtenir une réponse correcte. Les vainqueurs des Super Bowls ne sont pas un sujet obscur, comme demander "Qui a remporté le championnat d'été des garçons de la High School du Dakota du Nord en 2004?" — une question que j'ai simplement tirée de ma tête, mais qui, surprenamment, Kagi a répondu correctement pour la classe A, et ChatGPT a également répondu correctement pour les classes A et B, et a fourni un lien vers cette vidéo du championnat de la classe A sur YouTube. C'est incroyable! J'ai choisi un état peu connu (pas d'offense aux Dakotas du Nord ou du Sud), une année assez lointaine dans le passé, et le sport de l'école secondaire auquel j'ai joué le mieux et le plus aimé personnellement. Et à la fois Kagi et ChatGPT ont été exacts. (Je donnerais à Kagi une note A, et à ChatGPT une note A+ pour avoir nommé les vainqueurs de chaque classe, et des crédits supplémentaires au-dessus de l'A+ pour les liens YouTube.) Gruber remarque que l'ancien Siri (sur macOS 15.1.1) fait en réalité mieux. Bien sûr, il semble moins capable, car il a donné sa réponse classique "Voici ce que j'ai trouvé sur le web", mais au moins cela donne des liens vers la réponse correcte. La nouvelle version de Siri ne fait pas ça. Nouvelle Siri — alimentée par Apple Intelligence™ avec l'intégration de ChatGPT activée — donne une réponse complète mais factuellement incorrecte, ce qui est la pire façon d'être incorrect. Elle est également incohérente — j'ai essayé la même question quatre fois et ai obtenu des réponses différentes, toutes fausses chaque fois. C'est une échec totale. Photo par Caleb Woods sur Unsplas