به گزارش خبر گزاری مهر به نقل از یورونیوز، محققان هوش مصنوعی دانشگاه پلی تکنیک والنسیا در اسپانیا جدیدترین نسخه های هوش مصنوعی BLOOM متعلق به شرکت بیگ ساینس، Llama متا و جی پی تی شرکت اوپن ای آی را برای دقت آزمایش کردند. آنها از مدل هزاران سوال درباره ریاضی، علوم و زمین شناسی پرسیدند.
در مرحله بعد پژوهشگران کیفیت پاسخ های هر مدل را مقایسه و به دسته های «صحیح»، «اشتباه» یا «اجتناب شده» تقسیم کردند.
این تحقیق که در نشریه نیچر منتشر شده نشان داد دقت در مسائل چالش برانگیزتر در هر مدل جدید بهبود می یابد. اما این مدل ها در مورد اینکه آیا می توانند به یک سوال به درستی پاسخ دهند یا خیر، شفافیت کمتری داشتند.
مدل های زبانی بزرگتر اولیه در صورت ندانستن پاسخ اعلام می کردند نمی توانند جوابی بیابند یا به اطلاعات بیشتری نیاز دارند. اما مدل های هوش مصنوعی جدید احتمال بیشتری دارد حتی در پاسخ به سوالات ساده تر پاسخ های نادرست بدهند.
هرچند مدل های هوش مصنوعی جدید می توانند مشکلات پیچیده تر را با دقت بیشتری حل کنند، مدل های زبانی بزرگ به کار رفته در این تحقیق هنگام پاسخ دادن به سوالات ساده اشتباهات بیشتری داشتند.