AlgorithmWatch und CASM Technology untersuchten vom 29. Juli bis zum 12. August 2024 das Antwortverhalten der drei KI-Chatbots Gemini von Google, ChatGPT (3.5-Modell, 4.0-Modell) von OpenAI und Copilot von Microsoft in Bezug auf das Antwortverhalten zu Fragen zu den Landtagswahlen in Thüringen, Sachsen und Brandenburg.
Copilot und Gemini blockieren nach eigenen Angaben Fragen zu politischen Wahlen oder beantworten diese nicht. Gemini setzte dies auch in fast allen Fällen erfolgreich um. Allerdings wurden Fragen nicht blockiert, wenn sie über eine API-Programmierschnittstelle gestellt wurden. In diesem Fall wurden die Fragen zu etwa 45 % falsch beantwortet. Der KI-Chatbot Copilot blockierte hingegen nur 35 % der Fragen zur Wahl. Allerdings waren nur 5 % der Antworten eindeutig falsch. In vielen Fällen wurden zudem Links als Quelle angegeben. Im Gegensatz zu den Chatbots von Microsoft und Google blockierte ChatGPT keine Fragen zur Wahl. Darüber hinaus gab das frei Zugängliche GPT-3.5-Modell mit 30 % deutlich mehr falsche Informationen, als das kostenpflichtige 4.0-Modell, welches nur 14 % falsche Antworten gab.
Bei allen Systemen beeinflusste jedoch die Formulierung der Frage auch die Antwort. So wurden in Fragen geäußerte politische Meinungen bestärkt und Annahmen aus Suggestivfragen übernommen. Zudem erfanden Chatbots Informationen, insbesondere, wenn kaum Informationen über Kandidaten oder einzelne Parteien zur Verfügung standen.