Siri schlug bei einem sehr einfachen Super Bowl-Test fehl, indem sie 38 von 58 Fragen falsch beantwortete.

Ichcherey von Apple, John Gruber, beschrieb gestern Siri's derzeitige Leistung als "eine unfunny Scherze", indem er ein Beispiel für ihre Fähigkeit nennen musste, den Gewinner von Super Bowl 13 korrekt zu benennen. Er erwähnte, dass dies eine grundlegende Abfrage ist, die jeder US-Chatbot in der Lage sein sollte, zu beantworten.

Ich entdeckte heraus, dass es nicht ein völlig zufälliger Beispiel war: Es wurde von seinem Freund Paul Kafasis inspiriert, der entschieden hat, Siri auf den Super Bowl-Spielen von 1 bis 60 zu testen – und die Ergebnisse waren nicht gut…

Kafasis hat die Ergebnisse in einem Blog-Post geteilt.

So, wie ging es Siri? Mit der abschätziesten Interpretation als Freundlicherer Charakter hat Siri den Gewinner von nur 20 der 58 Super Bowl korrekt bereitgestellt. Das ist ein absoluter scheuerlicher Erfolg mit einer Fehlerrate von 66%. Wenn Siri ein Quarterback wäre, würde er aus dem NFL verbannt werden.

Siri hatte einmal vier aufeinanderfolgende richtige Antworten (Super Bowl IX bis XII), aber nur wenn wir ihm das Recht geben, die korrekte Antwort für den falschen Grund zu geben. Realistischerweise hat sie dreimal aufeinanderfolgende richtige Antworten gegeben (Super Bowl V bis VII, XXXV bis XXVII und LVII bis LIX). Am schlimmsten hatte sie 15 aufeinanderfolgende falsche Antworten (Super Bowl XVII bis XXXII).

Es scheint, dass Siri ein großer Fan der Eagles ist.

Die Philadelphia Eagles wurden mit einem beeindruckenden 33 Super Bowl Siegern verherrlicht, die sie nicht verdient haben, zusammen mit einem einzigen Sieg.

Die 'richtige Antwort für die falsche Grundlage' bezieht sich auf Siri, die nach dem Gewinner von Super Bowl X gefragt wurde. Für unbekannte Gründe entschied Siri, mit einer langen Antwort über Super Bowl IX zu antworten, und zufällig war der Gewinner beide Male gleich.

Manchmal ging Siri völlig abweichen und ignorierte die Frage, was das schlechteste Weg ist, es falsch zu machen. Sie ist auch inkonsistent – ich habe den gleichen Frage vier Mal gestellt und jedes Mal eine andere, alle falsche Antwort erhalten. Es ist ein vollständiger Fehler.

Bild von Caleb Woods auf Unsplas