Scale Labs: AI tasvirlarni insondan ikki baravar yomonroq tushunadi
Scale Labs yaratgan vosita AI tasvir va videolarni, masalan, vaziyatni inson kabi baholash qobiliyatini tekshirdi. Eng yaxshi model insonnikidan deyarli ikki baravar past natija koʻrsatdi
Scale Labs va Google DeepMindʼning sobiq tadqiqotchisi asos solgan Elorian startapi *Humanityʼs Sixth Sense* nomli benchmarkni ishlab chiqdi. Ushbu vosita AI koʻzga tashlanmaydigan vizual ishoralarni qay darajada talqin qila olishini tekshiradi: masalan, mashina tor yoʻlakdan oʻta oladimi yoki xonada kim norasmiy taʼsirga ega ekanini aniqlash.
Test 522 ta topshiriqdan iborat: 288 ta statik sahna va 234 ta videofragment. Savollar inson ularni intuitiv tarzda hal qiladigan qilib tuzilgan. Nazorat guruhidagi odamlar testni 93,1% aniqlik bilan bajardi. Eng yaxshi multimodal model — GPT-6 Astra — atigi 53,6% natija koʻrsatdi. GPT-6.1 Sol va Claude Opus 5.5 mos ravishda 46,6% va 44,6% ball toʻpladi. Sinovdan oʻtkazilgan 25 ta model boʻyicha median natija 30,9% ni tashkil etdi.
8 500 dan ortiq xatolar tahlili asosiy muammoni koʻrsatdi: muvaffaqiyatsizliklarning 94 foizi mantiqiy xatolar bilan emas, balki AI muhim vizual belgilarni payqamasligi bilan bogʻliq. Xatolarning atigi 5 foizi fikrlash qobiliyatining zaifligiga toʻgʻri keldi. Hisoblash quvvatini oshirish — bir javob uchun 4 000 tagacha token ishlatish — natijalarni yaxshilamadi, ayrim hollarda esa aniqlikni pasaytirdi. Nigohning fokuslanishini taqlid qilish uchun kadrlarni qirqib koʻrish boʻyicha tajribalar ham minimal samara berdi.
Tadqiqotchilar xulosasiga koʻra, mantiqiy xulosa chiqarishni kengaytirish kompyuter koʻrishining fundamental cheklovlarini bartaraf etmaydi. Hatto eng ilgʻor modellar ham hozircha sahna kontekstini inson kabi idrok eta olmaydi.
