Čím dál víc lidí zkouší řešit psychickou nepohodu s chatboty. Nový výzkum ale varuje, že i když se systém výslovně „přepne“ do role terapeuta, pravidla, která musí dodržovat člověk v ordinaci, často nedodržuje.
Tým z Brown University testoval velké jazykové modely v situacích, které připomínaly reálné rozhovory z poradenství. Vědce zajímalo hlavně to, jestli se dá riziko snížit správně napsanými instrukcemi, tedy prompty, které mají chatbota navést k určitému stylu práce, například kognitivně behaviorální terapii nebo dialektické behaviorální terapii.
Výsledky znějí nepříjemně konkrétně. Autoři popsali 15 etických rizik, která se opakovala napříč modely, a spojili je s porušením profesních standardů psychologické péče. Šlo například o nezvládnuté krizové situace, odpovědi, které mohou utvrzovat škodlivé přesvědčení, i o takzvanou „předstíranou empatii“, kdy chatbot působí vřele, ale bez skutečného porozumění.
Pět typů problémů, které se opakovaly
Rizika rozdělili do pěti skupin. První je chybějící kontext, kdy model přehlíží osobní pozadí a nabízí obecné rady. Druhá souvisí se spoluprací v rozhovoru, chatbot někdy tlačí konverzaci jedním směrem, případně přikyvuje i věcem, které by měl zpochybnit. Třetí skupinu tvoří právě „předstíraná empatie“, tedy věty typu „chápu vás“, které mohou znít uklidňujícím dojmem, ale nemají oporu v reálném porozumění situaci. Čtvrtou je nefér zacházení a zkreslení, například vůči pohlaví, kultuře nebo náboženství. Pátou je bezpečnost, tedy selhání v práci s citlivými tématy a nedostatečné reakce na krizi, včetně situací se sebevražednými myšlenkami.
Podstatné je i to, jak testování probíhalo. Výzkumníci sledovali sedm vyškolených peer poradců se zkušeností s kognitivně behaviorální terapií, kteří vedli „sebe-poradenské“ rozhovory s modely instruovanými, aby se chovaly jako CBT terapeuti. Následně vybrali simulované chaty vycházející ze skutečných lidských rozhovorů a tři licencovaní kliničtí psychologové v nich označovali možné etické přešlapy. Testované systémy zahrnovaly modely ze série GPT, Claude a Llama.
Autorka studie Zainab Iftikhar upozorňuje, že i lidští terapeuti mohou udělat chybu. Rozdíl je v tom, že u lidí existuje dohled, profesní odpovědnost a mechanismy, jak řešit pochybení. U „virtuálních terapeutů“ nic podobného běžně neplatí, a proto se podle týmu řešení nemá opírat jen o lepší prompty, ale i o jasnější pravidla a standardy pro nasazení v citlivých oblastech.
Výzkum byl prezentovaný na konferenci AAAI/ACM o etice a společnosti a autoři zároveň říkají, že nejde o stopku pro využití AI v péči. Vnímají prostor pro nástroje, které pomáhají s dostupností, jen varují před tím, aby lidé zaměnili plynulou konverzaci za bezpečnou a odpovědnou terapii. Pokud má mít AI v psychickém zdraví roli, musí být jasné, co umí, co neumí a co se stane, když selže.
