متا طی روزهای گذشته به دلیل استفاده از یک نسخه آزمایشی و منتشر نشده از هوش مصنوعی مدل Llama ۴ Maverick برای دستیابی به امتیاز بالاتری در یک بنچمارک با انتقادات زیادی روبرو شد.
: این رویداد سبب شد نگهدارندگان این بنچمارک عذرخواهی کنند و سیاست هایشان را تغییر دهند و به vanilla Maverick اصلاح نشده امتیاز دهند.
نسخه اصلاح نشده ماوریک یا «Llama-۴-Maverick-۱۷B-۱۲۸E-Instruct»در رده ای پایین تر از مدل های جی پی تی ۴-o اوپن ای آی کلاود ۳.۵ سونت شرکت آنتروپیک و جمینای ۱.۵ گوگل قرار گرفته است. بسیاری از این مدل های هوش مصنوعی فقط چند ماه از عرضه شان گذشته است.
متا شنبه هفته گذشته با انتشار جدولی توضیح داد Llama-۴-Maverick-۱۷B-۱۲۸E-Instruct آزمایشی برای محاوره بهینه شده سازی شده است. این بهینه سازی ها به طور آشکار در LM Arena که امتیاز دهندگان انسانی بازده مدل ها را مقایسه و گزینه مورد ترجیحشان را انتخاب می کنند، به خوبی انجام شد.
LM Arena به دلایل مختلف معیاری معتبر برای عملکرد یک مدل هوش مصنوعی به حساب نمی آید. اما ساخت یک مدل برای عملکرد در یک بنچمارک علاوه بر آنکه گمراه کننده است، سبب می شود توسعه دهندگان نرم افزار برای پیش بینی آنکه هوش مصنوعی در بسترهای مختلف چقدر عملکرد مناسبی دارد، با چالش روبرو شوند.
سخنگوی متا در بیانیه ای در این باره نوشت متا نسخه های مختلفی از انواع سفارشی مدل های هوش مصنوعی را آزمایش می کند. وی در این باره گفت: Llama-۴-Maverick-۰۳-۲۶-Experimental در حقیقت یک نسخه بهینه چت بات است که ما آن را آزمایش کردیم که در بنچمارک LM Arena نیز عملکرد خوبی داشت. ما نسخه منبع باز این مدل را اکنون ارائه کرده ایم و منتظریم تا ببینیم توسعه دهندگان نرم افزار چگونه Llama۴ را برای موارد استفاده خود شخصی سازی می کنند.
