پژوهشگران میگویند مدلهای هوش مصنوعی با تغذیه از دادههایی که خودِ این سامانهها تولید کردهاند، وارد چرخهای معیوب شدهاند که میتواند به فروپاشی کامل منجر شود. استفاده گسترده از دادههای جعلی و غیر انسانی، تهدیدی جدی برای آینده این فناوری به شمار میرود.
به گزارش پایگاه خبری تحلیلی اعتماد نو، محققان هشدار دادهاند که مدلهای زبانی بزرگ (LLM) که بر مبنای دادههای تولید شده توسط دیگر مدلهای هوش مصنوعی آموزش میبینند، در معرض پدیدهای موسوم به «فروپاشی مدل» قرار دارند. این مشکل، که از آن به عنوان یک بحران فنی بالقوه برای کل صنعت یاد میشود، زمانی رخ میدهد که مدلها به جای دادههای معتبر انسانی، با محتوای مصنوعی تغذیه میشوند و در نتیجه کیفیت و دقت پاسخهای آنها به شدت کاهش مییابد.
استیون وان-نیکولز، ستوننویس فناوری، با اشاره به سرعت بالای رشد استفاده از دادههای تولید شده توسط هوش مصنوعی، نوشت که این وضعیت به زودی میتواند موجب کاهش شدید عملکرد مدلها شود. وی همچنین تأکید کرد که حتی روشهایی مانند استفاده از ابزار RAG (تولید تقویتشده با بازیابی) نیز بهدلیل آلودگی شدید فضای اینترنت به محتوای جعلی، دیگر قابل اعتماد نیستند.
بر اساس مطالعهای از بخش تحقیقاتی شرکت رسانهای بلومبرگ، مدلهایی که از RAG استفاده میکنند، در پاسخگویی به سوالات دقیقتر، عملکرد ضعیفتری نسبت به مدلهای بدون این ابزار داشتهاند. در این مطالعه، افزایش محتوای نادرست، غیراخلاقی، توهینآمیز و حتی غیرقانونی از جمله نگرانیهای اصلی درباره ایمنی این مدلها عنوان شده است.
آماندا استنت، رئیس بخش تحقیقات هوش مصنوعی در بلومبرگ، گفت: استفاده گسترده از RAG در سیستمهای پاسخگویی به سوالات روزمره، ضرورت توجه به شیوه استفاده مسئولانه از این ابزار را دوچندان کرده است.
وان-نیکولز همچنین نسبت به تضعیف انگیزه تولید محتوای انسانی هشدار داد و گفت: صنعت هوش مصنوعی نهتنها به محتوای انسانی نیاز دارد، بلکه در عین حال با سرقت دادهها و حذف انگیزهها، بنیان آن را تضعیف میکند. وی در پایان هشدار داد که اگر این روند ادامه یابد، فروپاشی مدلها به نقطهای خواهد رسید که حتی مدیران شرکتها نیز قادر به نادیدهگرفتن آن نخواهند بود.
