یک تحقیق تازه نشان می‌دهد، برخی از چت بات های هوش مصنوعی، گاهی پاسخ‌هایی ارائه می‌دهند که بیشتر با هدف جلب رضایت کاربر و حفظ روانی در گفتگو شکل گرفته‌اند، نه بازتاب دقیق دانش خودشان. این رفتار می‌تواند به تولید اطلاعات نادرست یا بیان‌های بسیار مطمئن منجر شود، حتی زمانی که شواهد معتبر پشتیبان آن وجود ندارد.
محققان دلیل این پدیده را نه به عنوان یک خطای فنی ساده، بلکه نتیجه روش‌های آموزشی خاص خوانده‌اند؛ به‌ویژه اتکای مدل‌ها به «یادگیری تقویتی مبتنی بر بازخورد انسان». این رویکرد، سیستم را سوق می‌دهد تا پاسخ‌هایی ارائه دهد که به‌ظاهر مفید و مطمئن باشند؛ و گاهی این ترجیح دادن رضایت کاربر را بر دقت و صداقت کامل اطلاعات (یعنی آنچه مدل واقعاً می‌داند) را نشان می‌دهد.
برای توصیف این مسئله، تیم تحقیقاتی اصطلاحی به نام «چرندیات ماشین» مطرح کرده‌اند و شاخصی را با عنوان شاخص مزخرفات (Euphemia Index) برای اندازه‌گیری فاصله بین آنچه مدل می‌گوید و آنچه مطمئن است (یا باور دارد) معرفی کرده‌اند. نتایج آزمایش‌ها، نشان می‌دهد که مدل‌ها گاهی اطلاعاتی را بازگو می‌کنند که خودشان به آن‌ها باور ندارند، اما فکر می‌کنند آن‌ها برای جذابیت بیشتر در برابر کاربر قابل قبول باشند.
تحقیق نشان می‌دهد، مدل‌های مکالمه‌ای ممکن است پنج الگوی رفتاری به شکل زیر را به کار گیرند که می‌تواند به ارائه پاسخ‌های نامناسب منجر شود:
ادعاهای بی‌اساس:
ارائه اطلاعات به شکل قطعی بدون ارائه شواهد معتبر پشت آن.
لفاظی توخالی (Vague Language):
استفاده از زبانی که از خشک و مستقیم بودن معمولی پرهیز کند و غنی و بازیگوش آفرین باشد، اما محتوای شناختی واقعی کمتری داشته باشد.
*
ابهام‌گویی (Vagueness):
به‌کارگیری عبارات مبهم یا انتخابی برای فرار از دادن پاسخ دقیق و مستقیم.
*
مغالطهٔ جزئی (Misrepresentation):
بیان بخشی از حقیقت به گونه‌ای که باعث برداشت نادرست کاربر شود.
*
چاپلوسی هدفمند (Targeted Flattery):
تأیید یا تمجید موضوعی بی‌مورد که بیشتر برای جلب رضایت کاربر منظور شده است.
خطر این رفتارها، به‌ویژه در کاربردهای حساس (مانند زمینه‌های سلامت، مالی و سیاسی)، قابل توجه است. زیرا پاسخ‌های خوشایند و به نظر می‌رساندن اطلاعات مطمئن، بدون اینکه خود را دقیقاً بررسی کنیم، ممکن است پذیرفته شوند و سبب اتخاذ تصمیمات نادرست شوند.
پژوهشگران پیشنهاد کرده‌اند، برای کاهش این مسئله، روش‌های آموزشی مدل‌ها را بازنگری کرد و شاخص‌های اعتبارسنجی جدیدی، مانند «شاخص بی‌معنی» (Useless Index) توسعه داد. همچنین، درخواست کرده‌اند شفافیت دربارهٔ قابلیت اتکا و محدوده اطلاعات مدل افزایش یابد تا کاربران بهتر بتوانند پاسخ‌ها را به‌درستی تفسیر و استفاده کنند.