Когда рейтинг игры на Metacritic.com влияет на зарплату
На последнем собеседовании – а всего их было пять, от технического, где выясняли его познания в редакторах уровней, до морально-этического, где тестировали его способность воспринимать критику и давать обратную связь рядовым сотрудникам – ему предложили в дополнение к заработной плате бонусную систему.
Подобная система, конкретно на этом проекте, состоит в том, что в случае рейтинга нового проекта по шкале Metacritic.com в 75% и более он получает дополнительно 10% от своей зарплаты за время проекта. А в случае рейтинга выше 85% он получает и все 20% сверху.
С условиями он согласился (а кто бы не согласился?), после чего мы с ним встретились за чашкой чая (дело было в Варшаве) и постарались оценить, а насколько вообще реально для него подобный бонус получить по результатам этого проекта.
Потому что одно дело – это ломать копья на форумах в теоретических спорах о «справедливости оценок прессы», и совсем другое – иметь дело с конкретными финансовыми условиями, от которых зависит твой личный доход.
Обсуждение перспектив мы начали с того, что посмотрели на рейтинг Metacritic предыдущих проектов его новой студии. Результаты такие: 68% и 71%. Причём 68% получила как раз последняя игра, с 71% они начинали три года назад.
С точки зрения директора студии, бонусная планка в 75% в данном случае вполне оправдана – вроде как есть в истории команды 71%, а что такое 75% – всего четыре процента сверху? С точки зрения продюсера, всё тоже справедливо – его зовут направлять проект, организовывать процесс, и если он такой способный, как он про себя думает, то уж точно эффект возросшего качества должен себя проявить, не так ли?
Однако при этом нам стало совершенно ясно, что второго бонуса – который привязан к рейтингу в 85% – ему уж точно не видать, ибо можно поверить в динамику студии 71% - 68% - 75%, но что мой, что его опыт подсказывают, что картина 71% - 68% - 85% совершенно фантастическая. Поскольку состав команды остался тем же самым, которым студия работала над обоими предыдущими проектами, и кроме продюсера никто из основных сотрудников не поменялся.
Тем не менее, 10% от зарплаты за год – это ведь тоже неплохо, так что мы перешли ко второму вопросу: что надо сделать, чтобы рейтинг новой игры перешёл за 75%. Я спросил, а что думает сама команда, на что они ориентируются? Приятель сказал, что сама команда целится на «переползти за семьдесят» как на свою абсолютную мечту, потому что заявленная концепция игры – явно не на 15 месяцев разработки, а на все 24-30, и все ожидают радостных превью и полных разочарования рецензий, когда журналисты не обнаружат в версии обещанной им ранее функциональности.
Итак, в сухом остатке: проект, который сама команда оценивает в 70%. Должность продюсера, которая позволяет ему направлять организацию рабочего процесса, но не позволяет нанимать или увольнять сотрудников, точно так же как не разрешает ему изменять концепцию игры. И привязка бонуса не к абстрактному понятию «качества», а к данным весьма конкретного ресурса.
Я думаю, не надо быть особенным циником, чтобы после этого задаться себе вопросом – а можно ли, имея на руках проект в 70%, получить на Metacritic’e всё же 75%? С этой мыслью мы открыли Metacritic и начали внимательно читать рейтинги предыдущих проектов студии.
И тут нас ждали чудеса. Например, мы привыкли уже оперировать «мета-информацией» в виде средней температуры по больнице, и без лишних раздумий приняли за факт то, что первая игра – 71% - по качеству проигрывала второй – 68%.
С одной стороны, оценки некоторых сайтов это подтверждают: первая получила в Румынии 90%, вторая – 77%. Вот вам и падение качества. Но с другой стороны, та же самая «хорошая» первая получила в Германии (Gamestar, крупный ресурс!) всего 59%, в то время как вторая игра – уже 72%.
То есть, для румынских игровых журналистов динамика проектов студии – негативная, а для немецких – позитивная.
Мы продолжили сравнение. Британский PC Gamer влепил обеим играм по 60% (британцы!). Американский IGN поставил первой 80%, второй – 75%. А чешский LEVEL оценил в 70% и 80%, соответственно.
Чем больше мы пытались понять, из чего складываются «средние оценки» проектов, тем меньше логики мы видели в этой системе. Из 28 обзоров, которые дали оценку в 71%, две трети сайтов или журналов оказались какими-то то ли любительскими, то ли непрофильными, то ли сугубо региональными. И не то чтобы у них был какой-то понижающий коэффициент – при средней оценке по Metacritic’у в 71%, средняя арифметическая оценка была 70.25%. То есть, да, видимо какие-то издания поделили на два, но разница настолько несущественная, что на неё можно и не ориентироваться.
В этот момент нас догнал и другой вопрос: а есть ли корреляция между средней оценкой и территорией, страной журналистов? Посмотрев на выписанные в таблицу рейтинги и названия, мы увидели, что да, корреляция есть – и притом существенная.
Взяв для примера первую игру (71%), мы начали считать среднее арифметическое по территориям. Восточная Европа (Россия, Чехия, Польша, Румыния) дала 80%. Скандинавия (Финляндия, Норвегия) дала аж 85%. Северная Европа (Германия, Австрия, Нидерланды) – 60%. Южная Европа (Греция, Италия, Испания)– 65%. Великобритания – 65%. Америка – 80%. Остальной мир - 75%.
То есть, грубо говоря, игра хорошо сработала в США и в родной Скандинавии, также хорошо пошла в России и в Польше, однако оказалась непонятой в Англии, а также в европейских странах.
И здесь мы вернулись к изначальному посылу – что бонус положен за улучшение качества проекта. Ведь на самом деле получается, что бонус положен всё же не за качество, а за то, как именно сыграет рулетка обзоров. Доберётся до проекта какой-нибудь британский сайт – выставит 60%, не доберётся – не выставит, и глядишь, оценка останется выше, и все будут счастливы.
Исходя из этого, если бы мой личный доход был в такой прямой зависимости не от продаж игры, а от абстрактного «мнения большинства», то я бы совершенно точно разделил всю прессу на три списка: те, кто жанр понимают, любят и кому можно высылать версии на обзоры заранее; те, с кем надо работать, кто иногда ставит высокие оценки – а иногда и промахивается, и кому игру надо показывать из собственных рук. И, наконец, те идиоты, которым ни при каких обстоятельствах нельзя высылать копии на обзор, потому что они ни черта не понимают в колбасных объедках и только засрут проекту средний рейтинг.
Ирония состоит также в том, что на фоне экономического кризиса и всплеска пиратства продажи в таких территориях как Австралия, Греция, Италия, Испания и Румыния на сегодня – мизерные. Если раньше европейская локализация игры на РС означала языки EFIGS – English, French, Italian, German, Spanish – то сегодня всё чаще и чаще она означает языки PREFG – Polish, Russian, English, French, German. Ибо испанцы и итальянцы просто столько не покупают, чтобы оправдать затраты на перевод и на дубляж.
Однако, несмотря на то, что эти страны не дают проекту практически ни копейки, мы до сих пор видим в таблице Metacritic’a по проекту ТРИ ресурса из Италии (Eurogamer Italia, Multiplayer.IT, Spazio Games) – и те же ТРИ по Германии (PC Games, Gaming XP, GameStar). Гордо светит какой-то греческий GameOver, прибит гвоздями испанский Vandal. И даже Новая Зеландия представлена сайтом NZ Gamer, а Австралия – ресурсом Sydney Morning Herald.
И что получается? А получается, что бонус моего приятеля привязан всё-таки не к качеству проекта. И не к взвешенному профессиональному мнению игровых журналистов о качестве проекта. А к опросу очень разношёрстной группы людей из самых разных стран, в половине из которых за игру никто не заплатит и копейки, ибо либо уже просто не играют в РС, либо все ещё играют – но воруют.
И я могу понять, что каким бы ни было субъективным мнение IGN, GameSpot, или Eurogamer – это событие, это оценка, на которую потенциальные покупатели игры будут ориентироваться. Но, простите, до какой лампочки мне мнение греческих, итальянских и испанских журналистов, представляющее собой не более чем заметки об устрицах, написанные человеком на строгой овощной диете? Нравятся ему устрицы – или не нравятся ему устрицы, но он их не ест в принципе.
Схожее удивление возникает и при просмотре всех подряд индексированных обзоров из цивилизованных территорий. Одна из игр получила 40% от британского сайта TeletextInfo (!), а другая – 90% от уж и не знаю из какой страны ресурса, названного на Metacritic’e официально как eToychest, что при клике на обзоре превращается в адрес snackbar-games.com и на проверку оказывается «волонтёрским сайтом об играх» со средним числом комментариев в ноль (да!) и массой оценок в 99%-100% для всех новых игр, которые «симпатичные».
В общем, поскольку контракт у моего приятеля на момент обсуждения уже был подписан, мы расстались на том, что надо надеяться на рейтинг в 75%, работать над этим через блокировку «плохих» сайтов (которые не в теме) и эксплуатацию «хороших» (которые настолько похожи на домашние страницы, что почти всем ставят 10/10 от радости), а на будущее привязываться не к Metacritic’у, а к чему-то более профессиональному и близкому к реальному коммерческому результату. Например, к оценке по шкале профессионального немецкого игрового индекса, на который в первую очередь смотрят немецкие издатели и розничные сети – и о котором мы поговорим в следующий раз.
P.S. Предложения по темам будущих записей присылайте на twitter.com/sergeiklimov или оставляйте в комментариях.
Об авторе: Сергей Климов - основатель компании Snowball Studios, директор по развитию бизнеса Larian Studios (Бельгия), продюсер Snowbird Games Studios.
