Inspiriert von der Idee persönliche Informationen aus der Interaktion mit einem Large Language Model (LLM) abzuleiten, überprüft diese Arbeit, wie genau ChatGPT Persönlichkeit, wie beschrieben durch das Big Five-Modell, anhand eines Dialogs extrahieren kann. Betrachtet wurden die drei Big Five-Persönlichkeitsdimensionen Openness, Conscientiousness und Extraversion.

In einer englischsprachigen Studie (N = 13) nahmen Teilnehmende eine Selbsteinschätzung ihrer Persönlichkeit (Ground Truth) mithilfe eines abgewandelten Big Five-Inventars vor und führten dann kurze Dialoge mit ChatGPT. Im Anschluss schätzte ChatGPT ihre Ausprägungen der drei betrachteten Persönlichkeitsdimensionen anhand ihres Dialogs mittels zweier Analysestrategien ein:

• pD: Anhand des gesamten Dialogs
• pN: Anhand jeder einzelnen Nachricht

Zur Beurteilung von ChatGPTs Extraktionsleistung wurden die Einschätzung und Ground Truth verglichen. Die pD-Strategie (MAE = 0,61; SD = 0,51) und die pN-Strategie (MAE = 0,61; SD = 0,49) unterschieden sich insgesamt nur vernachlässigbar hinsichtlich der Genauigkeit und Konsistenz ihrer Einschätzungen. Sie zeigten jedoch jeweils eigene Stärken in der Einschätzung bestimmter Persönlichkeitsdimensionen.

Für die Studie wurde mit Node.js, p5.js und der OpenAI-API eine Anwendung entwickelt, die die Teilnehmenden mit ChatGPT interagieren ließ.