OpenAI hat die Nutzungsrichtlinie für die Verwendung von ChatGPT angepasst und rechtliche sowie medizinische Beratung ausgeschlossen. In der aktualisierten Version vom 29. Oktober 2025 heißt es nun:
Das bedeutet, dass unsere Dienste nicht verwendet werden dürfen für: … personalisierte Beratungsleistungen, z. B. rechtlicher oder medizinischer Natur, für die eine Befugnis oder Lizenz erforderlich ist, ohne Beisein einer einschlägig qualifizierten Person
Die Änderungen gelten nicht nur für die rechtliche Beratung, sondern auch für medizinische Fragen. Wird ChatGPT die Frage nach einer rechtlichen Einschätzung gestellt, antwortet das System zunächst mit einem Disclaimer: ich darf keine individuelle Rechtsberatung im rechtlichen Sinne leisten.
Ein zentrales Risiko bleibt weiterhin das „Halluzinieren“ großer Sprachmodelle. Also das Erzeugen von plausibel klingenden, aber faktisch falschen Informationen. Das Risiko betrifft nicht nur ChatGPT, sondern auch weitere KI-Systeme, wie Gemini oder Copilot. Für Unternehmen ist daher entscheidend, auf menschliche Aufsicht und eine verbindliche KI-Nutzungsrichtlinie zu setzen. Diese Richtlinie sollte klar Regeln, wie und welche KI-Systeme eingesetzt werden dürfen – insbesondere im Hinblick auf die Anforderungen der KI-VO.