Zelfs Watson durfde zich te vergissen
In de categorie "Steden in de Verenigde Staten" was het antwoord waarop de kandidaten een vraag moesten stellen: "De grootste luchthaven van deze stad is genaamd naar een held uit de Tweede Wereldoorlog. De tweede grootste is genaamd naar een veldslag uit die oorlog". Ondanks het feit dat Watsons menselijke tegenkandidaten het juiste antwoord formuleerden (Chicago), schreef Watson “Wat is Toronto?????”. Toronto is nochtans een stad in Canada.
Verklaring: Watson heeft geleerd om de categorieën slechts een kleine betekenis te geven in zijn zoektocht naar een antwoord, omdat deze vaak heel algemeen en weinig zeggend zijn. Wanneer de categorie niet meegenomen wordt in de omschrijving, zal hij daar dus weinig rekening mee houden. In tegenstelling tot wanneer bijvoorbeeld de omschrijving zou zijn “De grootste luchthaven van deze VS-stad…”. Bovendien zijn er plaatsen in de VS die Toronto heten en is er in het Canadese Toronto een “American” League-baseballteam, waardoor de computer verward geraakte. Volgens IBM, dat de supercomputer ontwierp, stond Chicago op nummer 2 van mogelijke antwoorden, na miskleun Toronto dus.
Het been dat gemist werd
In de categorie "Olympische eigenaardigheden" kregen de kandidaten volgend antwoord: "Dit was een anatomische eigenaardigheid van VS-turner George Eyser, die in 1904 een gouden medaille won op de brug met gelijke leggers". Watson antwoordde met "Wat is een been?", maar dat was niet volledig correct, omdat hij vergeten was erbij te voegen dat het om een "geamputeerd" been ging.
Verklaring: Watson heeft wellicht niet de term "eigenaardigheid" begrepen, omdat dit een vrij subjectief begrip is. Hij weet dus niet dat een geamputeerd been eigenaardiger zou kunnen zijn dan een gewoon been. Toch zou hij, volgens IBM, door aan meer quizzen deel te nemen dergelijke "subjectieve" gegevens beter leren interpreteren, alsook makkelijker adjectieven kunnen toevoegen aan voor hem duidelijke en logische antwoorden. Al wordt er hier en daar geopperd dat de technologische ontwikkeling van deze "(subjectieve) aanpassing" tot vijf jaar kan oplopen.
Een fout antwoord herhalen
In de categorie "Noem het decennium" gaf de kandidaat die het eerst de knop induwde, het verkeerde antwoord. Watson, die als tweede mocht antwoorden, gaf exact hetzelfde foutieve antwoord.
Verklaring: Watson kan niet horen of zien, dus weet hij ook niet wat een tegenkandidaat heeft geantwoord. Volgens IBM werd deze fout door de ontwikkelaars over het hoofd gezien, omdat "we dachten dat rekening houden met de antwoorden van de andere kandidaten niet nodig zou zijn. We dachten niet dat een dergelijke situatie zich zou voordoen."
Conclusie: ondanks het verpulveren van de tegenkandidaten heeft IBM toch nog de nodige uitdagingen voor de boeg.