Siri ha fallito il test Super Bowl super facile, ottenendo 38 su 58 risposte errate.

Il commentatore tecnologico di Apple, John Gruber, ha descritto oggi la performance attuale di Siri come "un'umoristica battuta", fornendo un esempio dell'imprigionamento nel nome del vincitore della Super Bowl 13. Sottolineando che questo è una domanda di base che qualsiasi chatbot degli Stati Uniti dovrebbe essere in grado di rispondere.

Si è reso evidente che non era un esempio completamente casuale: fu stimolato dal suo amico Paul Kafasis, che decise di testare Siri su Super Bowl 1 a 60 inclusi - e i risultati non furono buoni...

Kafasis ha condiviso i risultati in un post del blog.

Quindi, come è andata con Siri? Con l'interpretazione più generale possibile, Siri ha fornito correttamente il vincitore di solo 20 dei 58 Super Bowl che sono stati giocati. Questo rappresenta un assolutamente abissale percentuale di completamento del 34%. Se Siri fosse un quarterback, sarebbe stato espulso dalla NFL.

Siri ha una volta gestito di ottenere quattro anni consecutivi corretti (Super Bowl IX attraverso XII), ma solo se si dà il merito per fornire la risposta giusta per un motivo errato. In modo più realistico, ha risposto correttamente tre volte in fila (Super Bowl V attraverso VII, XXXV attraverso XXVII e LVII attraverso LIX). Al suo peggior momento, ha sbagliato un incredibile 15 anni consecutivi (Super Bowl XVII attraverso XXXII).

Si dice che Siri sia una grande fan degli Eagles.

Piuttosto divertente, ha attribuito ai Philadelphia Eagles una sorprendente vittoria di 33 Super Bowl che non hanno meritato, insieme a quella singola vittoria che hanno.

La "risposta giusta per la cattiva ragione" si riferisce a Siri che è stata chiesta di nominare il vincitore del Super Bowl. E Kagi e ChatGPT hanno entrambi risposto correttamente. (Darei a Kagi una A e a ChatGPT un A+ per nominare i vincitori di entrambe le classifiche, e extra credit in cima all'A+ per i link YouTube.)

Gruber sottolinea che l'antico Siri – su macOS 15.1.1 – funziona davvero meglio. Certamente sembra meno capace, dato che ha fornito la sua classica risposta "Ecco ciò che ho trovato sul web", ma almeno questo gli dà i link alla risposta corretta. La nuova Siri no.

Nuova Siri - alimentata da Apple Intelligence™ con l'integrazione di ChatGPT abilitata - fornisce una risposta completamente ma plausibilmente errata, che è la peggiora maniera per essere errata. È anche incoerente - ho provato la stessa domanda quattro volte e ricevuto risposte diverse, tutte errate, ciascuna volta. È un completo fallimento.

Foto di Caleb Woods su Unsplas