بررسی دقت نمودارهای رونمایی؛

بررسی دقت نمودارهای رونمایی؛.OpenAI متهم به نمایش آمار نادرست شد, مراسم رونمایی از مدل هوش مصنوعی که در شب گذشته برگزار شد، به دلیل نمایش نمودارهای با مقیاسهای گمراهکننده، مورد انتقاد جدی قرار گرفت.

اگرچه OpenAI تلاش کرد تا با نمودارهای دیداری، پیشرفتهای چشمگیر این مدل را ứ کند، اما تحلیلهای دقیق نشان داد که برخی از این چارتها دادهها را به درستی بازتاب نمیدهند و میتواند درک واقعبینانه مخاطبان را از تواناییهای واقعی مدل مختل کند. تضاد در نمودار نرخ فریب بر اساس گزارشی که توسط ورج منتشر شده، یکی از نمودارهای کلیدی مربوط به ارزیابی نرخ فریب مدلها در تسکهای کدنویسی، مقیاس نامناسبی داشت.

پایینتر، بلندتر از ستون ترسیم شده بود که نشاندهنده خطای پایه در بصریسازی دادههاست. تضاد عمیقتری نیز بین این نمودار و اطلاعات رسمی وجود دارد.

در وبلاگ رسمی OpenAI، نرخ فریب مدل رقم بسیار متفاوت و پایینتری معادل ۱۶.۵ درصد اعلام شده است که با نمودار نمایشداده شده در همخوانی ندارد. خطا در ترسیم مقیاس بنچمارک مشکل دوم در نمودار مربوط به بنچمارک مشاهده شد. همانطور که در تصویر زیر قابل مشاهده است، اگرچه امتیازهای مدلهای و اختلاف داشتهاند، اما ستونهای آنها با ارتفاع یکسان رسم شدهاند.

ن در شبکههای اجتماعی، به ویژه در پلتفرم X (توییتر سابق)، شناسایی و مورد حمله قرار گرفتند.

سم آلتمن، مدیرعامل OpenAI، این خطا را پذیرفت و آن را نمودارگیری نادرست نامید، با التأکید بر اینکه نسخه اصلاح شده در وبسایت شرکت منتشر شده است. همچنین یکی از اعضای تیم بازاریابی شرکت در پستی جداگانه عذرخواهی کرد و نوشت نمودار را در وبلاگ اصلاح کردیم، دوستان.

بابت این خطای ناخواسته عذرخواهی میکنیم. تأثیر بر اعتماد به روز رونمایی OpenAI تا لحظه نگارش این مطلب به درخواستهای رسانهها برای اظهار نظر جامعتر پاسخ نداده است. همچنان مشخص نیست که این نمودارها با کمک خود تولید شدهاند یا خیر، اما وقوع چنین اشتباهات اساسی در روز رونمایی یک محصول پرچمدار، زمانی که شرکت بر کاهش چشمگیر توهمات و خطاها تأکید دارد، ضربهای به اعتبار برند و شفافیت دادههای ارزیابی آن میزند.