Scale Labs: ИИ понимает изображения в два раза хуже человека
Инструмент от Scale Labs проверил, насколько ИИ способен понимать изображения и видео — например, оценивать ситуацию так, как это делает человек. Лучшая модель показала результат почти в два раза хуже человеческого
Scale Labs и стартап Elorian, основанный бывшим исследователем Google DeepMind, разработали бенчмарк *Humanity's Sixth Sense*. Инструмент проверяет, насколько ИИ способен интерпретировать неочевидные визуальные подсказки — например, оценить, пройдёт ли машина в узкий проезд, или определить, кто в комнате обладает неформальной властью.
Тест включает 522 задания: 288 статичных сцен и 234 видеофрагмента. Вопросы составлены так, чтобы человек решал их интуитивно. Контрольная группа людей справилась с тестом на 93,1% точности. Лучшая мультимодальная модель, GPT-6 Astra, показала лишь 53,6%. GPT-6.1 Sol и Claude Opus 5.5 набрали 46,6% и 44,6% соответственно. Медианный результат по 25 протестированным моделям составил 30,9%.
Анализ более 8 500 ошибок выявил ключевую проблему: 94% неудач связаны не с логическими промахами, а с тем, что ИИ не замечает важные визуальные маркеры. Только 5% ошибок пришлись на слабость рассуждений. Увеличение вычислительных мощностей — до 4 000 токенов на ответ — не улучшило результаты, а в некоторых случаях даже снизило точность. Эксперименты с обрезкой кадров для имитации фокусировки взгляда дали минимальный эффект.
Вывод исследователей: масштабирование логического вывода не решает фундаментальных ограничений компьютерного зрения. Даже самые продвинутые модели пока не способны воспринимать контекст сцены так, как это делает человек.
