Великое заблуждение: как оценивают камеры смартфонов и что значат рейтинги DxOMark?
Недавно анонсированный Google Pixel стал самым крутым камерофоном в мире, iPhone 8 дышит ему в затылок. По крайней мере, так утверждают эксперты DxOMark, за которыми повторяют все остальные. Но что это за эксперты такие?
Американский техноблогер Маркес Браунли провел небольшое исследование, в котором разобрался в методике тестирования известного сайта и попытался донести до мира одну простую мысль — камеры смартфонов действительно проверяют очень тщательно, но итоговому рейтингу нельзя верить безоговорочно, с ним все не так просто.
Почему это важно?
С недавних пор рейтинги DxOMark стали мощным маркетинговым рычагом — производители с гордостью называют заветные цифры со сцены прямо во время презентаций новых устройств. Например, в 2016 году Google заявила, что ее Pixel не знает себе равных среди смартфонов, ведь его рейтинг составил 89 баллов. Позже по этой же шкале измеряли успехи HTC U11 (90), iPhone 8 Plus (94) и Google Pixel 2, который заработал целых 96 очков, снова захватив лидерство.
Эти цифры уже стали универсальным мерилом качества камер, которым некоторые энтузиасты верят больше, чем собственным глазам. А стоит ли?
Рейтинг — это цифра, а не процент
Главное, что нужно знать о DxOMark — их итоговые рейтинги исчисляются в цифрах, а не в процентах, так что близость оценок современных флагманов к 100 ничего особенно не значит. В 2018 году кто-нибудь доберется до 100, а потом будут 102, 105 и даже 378, если индустрия не упрется в барьер невозможного или сам сайт не перестанет к тому времени существовать.
Рейтинг состоит из множества оценок
Итоговая цифра, которую активно тиражируют в СМИ и среди блогеров — это посчитанная особым образом производная нескольких оценок. Камеры смартфонов (и не только, DxOMark проверяет любую фототехнику и ведет свои таблицы лидеров в каждой категории) проходят множество тестов на разные функции (на улице и в студии, при хорошем освещении и в сумерках, с приближением и в «портретном режиме», что угодно), и в каждом ставится своя оценка по результатам обсуждения квалифицированным жюри.
Батарея тестов DxOMark и правда выдает вполне валидные вердикты о качестве камер, но точнее и корректнее будет смотреть именно на отдельные графы, недели на единый счет — каждый снимает по-своему, и разные функции для разных людей имеют разную ценность.
Максимальный счет — не всегда то, что вам нужно
Все баллы по всем испытаниям разделяют на категории «фото» и «видео» и высчитывают две отдельные оценки за разные режимы работы. И это не среднее арифметическое, у разных функций разный приоритет и ценность. Например, высокий балл за автофокусировку окажет значительно больше влияния на оценку, чем провальный тест «портретного режима» с эффектом боке.
У «лучшего на рынке» Pixel 2 оценка за фотосъемку ниже, чем у Samsung Galaxy Note8, но из-за разницы в качестве видео флагман Google вырывается вперед. Более того, Samsung, хоть и заработал заветные 100 баллов против 99 у Google хуже справляется с передачей цветов, подбором экспозиции и освещенностью, но зато компенсирует это двукратным оптическим зумом и шумоподавлением. Вот такая арифметика.
DxOMark сотрудничает с производителями
Эксперты сайта не только оценивают готовые продукты, но и консультируют производителей камер в процессе создания новых продуктов. Они тестируют прототипы, предоставляют свои методики и дают ценные советы.
Получается нечто вроде ситуации с бенчмарками производительности процессоров и видеокарт — зная о маркетинговой ценности виртуальных попугаев, производители целенаправленно оптимизируют свое железо, чтобы оно набирало больше очков, и не заботятся о том, что в реальной жизни пользователи никогда не смогут этими мощностями воспользоваться и ощутить какую-либо разницу.
С тестами камер облажаться таким образом сложнее — тесты не совсем синтетические, да и баллы ставят люди-эксперты, а не компьютерный алгоритм. Но риск все равно есть.
А что вы думаете о тестах DxOMark, стоит ли доверять таким измерениям?
