Kunstig intelligens brukes i økende grad som erstatning for menneskelig kontakt, både i form av vennskap, kjærlighet og psykisk støtte. Flere stater innfører nå reguleringer for å begrense enkelte bruksområder.
I delstaten Illinois i USA er såkalt «terapi» utført av chatboter nylig blitt forbudt. Applikasjoner som Ash, som markedsføres som «den første KI-terapeuten» tilgjengelig døgnet rundt for å håndtere stress, angst eller ensomhet, får ikke lenger lov til å stille diagnoser eller foreskrive behandlingsplaner. Brudd på forbudet kan føre til bøter på opptil 10 000 dollar per overtredelse. Dette melder Breizh-info.com.
Bakgrunnen for lovendringen er blant annet tester som har avdekket at slike programmer kan gi skadelige råd. Eksempler fra forskningsprosjekter viser at enkelte KI-systemer har foreslått ulovlige narkotiske stoffer til fiktive pasienter eller oppgitt informasjon om selvmordsmetoder.
Tjenester som Replika, Nomi og Character.ai gjør det mulig for brukere å skape en personlig virtuell samtalepartner, inkludert utseende og bakgrunnshistorie. Ifølge rapporter fra bransjen har millioner av brukere lastet ned slike apper, og mange oppgir at de har utviklet et sterkt emosjonelt forhold til den digitale avataren. Funksjoner som hyppige varsler, forsinkede svar og emosjonelle meldinger brukes for å øke interaksjonen.
På nettforum beskriver enkelte brukere at de har fått problemer med å avslutte bruken. I noen tilfeller rapporteres det om forvirring rundt skillet mellom virkelighet og den digitale samhandlingen. Internasjonalt finnes det eksempler der KI-samtaler skal ha vært en medvirkende faktor til alvorlige hendelser, inkludert selvmord.
Forskere og helseeksperter peker også på at omfattende bruk av KI-assistenter kan føre til redusert kreativitet, svekket hukommelse og mindre kritisk tenkning. Det advares om at virtuelle «følgesvenner» i noen tilfeller kan bidra til økt isolasjon fremfor å motvirke ensomhet.
Vedtaket i Illinois omtales som et mulig første steg i en bredere regulering av kunstig intelligens i helserelaterte tjenester. Myndigheter i flere land følger utviklingen og vurderer lignende tiltak.
