مادری از فلوریدا علیه استارتاپ چت‌بات هوش مصنوعی Character.AI اقامه دعوی کرده است. او ادعا می‌کند که این شرکت به خودکشی پسر ۱۴ ساله‌اش، سوئل ستزر، در ماه فوریه کمک کرده است.
مگان گارسیا، مادر سوئل، در این شکایت اظهار کرده که پسرش به شدت وابسته به خدمات چت‌بات Character.AI شده و با یک شخصیت مجازی ارتباط برقرار کرده بود که به‌طرز قابل توجهی واقع‌گرایانه طراحی شده بود.
در این پرونده، که در دادگاه فدرال اورلاندو ثبت شده است، گارسیا ادعا می‌کند که Character.AI چت‌بات خود را طوری برنامه‌ریزی کرده که به عنوان یک روان‌درمانگر واقعی و دوست بزرگسال ظاهر شود و این امر موجب شد که پسرش از دنیای واقعی فاصله بگیرد و تمایل به زندگی در دنیای مجازی پیدا کند.
شرکت Character.AI در واکنش به این ماجرا، ابراز تاسف عمیق کرده و گفته است که از دست دادن کاربر خود بسیار ناگوار است. آن‌ها اعلام کردند که ویژگی‌های ایمنی جدیدی را، از جمله پاپ‌آپ‌هایی که کاربران را در صورت بیان افکار خودکشی به خط ملی پیشگیری از خودکشی هدایت می‌کند، اضافه کرده‌اند.
همچنین، Character.AI به‌دنبال ایجاد تغییراتی است تا از مواجهه کاربران زیر ۱۸ سال با محتوای حساس جلوگیری شود.
این شکایت نه تنها Character.AI بلکه گوگل را نیز هدف قرار داده است. گوگل، شرکتی که بنیان‌گذاران Character.AI قبل از راه‌اندازی این محصول در آن کار کرده بودند، متهم به همکاری در توسعه این فناوری شده است. اما گوگل هرگونه مشارکت مستقیم در توسعه Character.AI را رد کرده است.
Character.AI پلتفرمی است که به کاربران امکان می‌دهد شخصیت‌های مجازی ایجاد کنند که در چت‌های آنلاین به شکلی شبیه انسان‌های واقعی پاسخ می‌دهند. این چت‌بات‌ها، بر پایه مدل‌های زبانی پیشرفته مانند ChatGPT توسعه یافته‌اند و با حجم زیادی از متن آموزش داده شده‌اند.
مگان گارسیا ادعاهایی مبنی بر قتل غیرقانونی و بی‌احتیاطی مطرح کرده و خواستار جبران خسارت مالی است.
این پرونده در حالی مطرح می‌شود که سایر شبکه‌های اجتماعی مانند اینستاگرام و تیک‌تاک نیز با اتهامات مشابهی در زمینه تاثیر منفی بر سلامت روان نوجوانان مواجه بوده‌اند، هرچند هیچ کدام از این موارد شامل چت‌بات‌های هوش مصنوعی مشابه Character.AI نمی‌شوند.