Баяна Гордыни Народный... манифест к изменению системы оценивания и пересмотру уже существующих оценок

+59
в блоге ОКИ
Буду краток. Текущая система оценивания имеет семь спорных критериев без формальных определений по шкале от 0 до 100, причём что считать за 100 — никто не знает.

Это приводит к тому, что каждый оценивает непонятно что и непонятно как, что, в свою очередь, сводит ценность итоговой оценки к абсолютному нулю.

Моё рацпредложение:

1. Максимальная оценка 10 баллов. За 10 баллов оценивающий принимает ту игру (критерий игры) из конкурса, которая (который) ему больше всего понравилась. Все остальные оцениваются относительно неё (него).
2. Изменена система критериев, даны определения, а именно:

1. Художественная работа (объединяет графику, звук и сюжет старой системы, но не состоит из них): как разработчик справился с художественной частью работы. Насколько приятно и/или интересно читать, смотреть, слушать игру;
2. Взаимодействие с пользователем (объединяет интерфейс и управление старой системы, но не состоит из них): насколько удобно играть в игру;
3. Игровой процесс: насколько интересно играть в игру;
4. Оптимизация: насколько мало в игре тормозов, как мало ресурсов она потребляет, способность игры хорошо работать на слабом железе;
5. Общие впечатления: насколько игра понравилась в целом. Может соответствовать среднему арифметическому предыдущих оценок, а может и не соответствовать, что будет говорить о то, что разработчик не смог (или напротив, блестяще смог) собрать отдельные элементы игры в единое целое.

П.С. Помогите дать полноценное определение первому критерию оценивания, дабы исключить различные его толкования.

91 комментарий

П.С. Помогите дать полноценное определение первому критерию оценивания, дабы исключить различные его толкования.
Сложна-а. В целом это называется «контент» в противовес «логике» — игровому движку, который этот контент вертит и обеспечивает с его помощью работу игры в целом (в том числе управление, механики гейплея, отображение и все вот это). Но. Тут сложность в том, что геймплей рождается на стыке логики и контента — типа, конкретные виды юнитов в стратегии это контент, а принципиальные типы юнитов (здания, пешие, летающие, плавающие, в таком духе) это логика. Так что назвать так будет ниоч корректно.

Мб просто «антураж» или как-то так.
просто «антураж»

Ещё хуже чем «Художественная работа», тк ещё более расплывчато.
Глянь систему ЮПОКИ. За вычетом одного небольшого патча, она более-менее близка к тому, что ты хочешь, но пытается учитывать неравноценность некоторых критериев
ДА! Давайте ЕЩЁ РАЗ посрёмся по поводу оценок и оценивания! Чо бы и нет! Давайте вместо понятных введём уй знает что, чтобы потом ещё раз посраться! ЕЙ! Движуха!
Помогите дать полноценное определение первому критерию оценивания,

А уй его знает, что ты хотел сказать, так что сам выкручивайся.
Да по-моему тут относительно новый случай, когда проблема не столько в системе оценивания, сколько в ее интерпретации самим ее автором, когда за одну и ту же вещь ловишь минусы сразу в двух критериях. Не знаю, как можно додуматься тормоза отражать в графике.
Не знаю, как можно додуматься тормоза отражать в графике.

Откуда мне знать, ТОРМОЗИТ ЛИ ОНО, блять? Может это фига, я знаю? А про тормоза отдельно ещё было, когда тупо фризилась игра на пару секунд.
Повторю ещё раз:
ЕБУЧИХ БЕГУЩИХ БИЗОНОВ Я НЕ ОТНОСИЛ КАК ТОРМОЗИТ, А ПОТОМУ Я ОЦЕНИВАЛ ЭТО КАК ДВЕ РАЗНЫЕ ВЕЩИ.

Сука, вы меня так до инфаркта доведёте
Ну, если ты занизил, то ты всё-таки считаешь, что оно тормозит ¯\_(ツ)_/¯
Занизил я потому, что кроме этого одного экрана ничего нет. Там используется 3 картинки за всю игру: фон, пирог, бизон. Всё. Мне за это ставить 100 баллов? По такой логике моя игра идеально и ей тоже за графику стоит ставить 100 баллов.
Тут просто вопрос аргументации. Ты именно написал «тормозит» в критерии по графике. Напиши ты аргументацию из этого коммента с той же оценкой, никто бы и слова не сказал.
Она понятная, но немного тормознутая. Не понятно, это баг или фича)))

Вот то, что я написал. Графика тормознутая, в том плане, что она криво смотрится. И опять же я неуверен, потому и пишу
это баг или фича


Перекручиваете слова как хотите, но при этом я всё-равно не прав))) То что вы себе надумали, я ХЗ
Ну написал бы «кривая», чо уж)

Я написал, как я понял твои обоснования оценок, только и всего.
«Тормознутая» больше подходило, потому и написал так))) «Кривая» имеет другое обозначение немного)))
Ну как хочешь, просто из-за такого выбора слов возникает недопонимание
Змейка имеет примерно три спрайта: тело, голова, еда. По твоей логике она хуже моей игры, ибо у неё нет фона, и вообще она монохромная.

А конкретно у меня используется бегущий бизон, падающий бизон, фон, летящий пирог, пирог в запасе, если уж об этом речь зашла.
Но в 100 баллов змейку точно не оценишь))) Или о чём сейчас речь?
Что ты имеешь против классики?
Ничего против неё не имею, но оценивал бы я её баллов в 40-50, не выше))) В змейку сам поигрываю, когда скучно)))
Потрясающая у тебя система, где самая популярная мобильная игра будет иметь оценку такую же, как интерьер на Unreal Engine, ибо интерьер проигрывает змейке только по геймплею и оптимизации, по графике и звуку он сильно обходит змейку, а по остальным критериям полный паритет.
самая популярная мобильная игра

И что? Я так оцениваю, да. Ты понимаешь, что оценки всё-равно выльются в субъективные оценки? Или чего ты хочешь вообще?
Или чего ты хочешь вообще?

У меня целый грёбанный пост про то, чего я хочу.
У меня целый грёбанный пост про то, чего я хочу.

Изменить систему оценок… Я не изменю её, что дальше? Можешь голосовать как хочешь, на итоговые баллы это не повлияет никак. Закрыли тему?
У кого сейчас бюджет?
А какая разница?
не у него
Солидарен, только это к тебе её показывать надо)))
ДА! ДАВАЙТЕ ОЦЕНИВАТЬ ХЕР ЗНАЕТ ЧТО ХЕР ЗНАЕТ КАК, И ВСЕ ПО РАЗНОМУ! ЭТО БУДЕТ ТАК ОХЕРЕННО ОБЪЕКТИВНО И ОСМЫСЛЕННО!
ДЫА! ТЫ НАКОНЕЦ ПОНЯЛ СУТЬ ОКИ!
Так в любом случае каждый понимает по-своему и ставит по-своему, только в рамках критериев.
ОБЪЕКТИВНО И ОСМЫСЛЕННО

Объективно твоя игра херня. Пожалуйста, доволен? Теперь переходим дальше)))
Нет, не доволен. Насколько она херня? По каким критериям? Насколько хреновые другие игры? Все ли оценщики оценивали хреновость по одинаковым критериям и одинаковой шкале?
Все ли оценщики оценивали хреновость по одинаковым критериям и одинаковой шкале?

Такой вопрос был в конфе, и я отвечал на него. Для лл: похер, как оценивает отдельно взятый человек, пока он всех оценивает по одним и тем же мерилам.
Так ведь итоговое место оценивается исходя из суммы всех оценок. Или вы собираетесь вычислять место игры у каждого оценщика, а потом вычислять среднее место игры у всех оценщиков, и из этого составлять топ?

Всё равно получается херня, просто потому что кто-то хочет, чтобы в змейке была миникарта, компас и развитая диалоговая система, и потом ставит ей в интерфейсе 25, ибо она отображает только текущий счёт. И у этого гипотетического человека выше по местам будут игры с развесистым интерфейсом. А другой оценивал сюжет. Напрямую сравнивая аркады и сюжетные РПГ, из чего логично, что РПГ получат высшие места в его топе.
И как сводить оценки этого осла и бобра? ХЕРНЯ получается.
Ты хоть понимаешь, что ты выглядишь бомбящим идиотом, потому что твоя игра «не заслуженно» получила низкие баллы?
Нет, гражданин, бомбящим идиотом выглядишь ты, потому что твои «оценки» посчитали запутанной в самой себе хернёй.
Да, у меня бомбануло, но бомбануло, потому что мои оценки поставили под вопрос, по непонятной мне причине. И чего именно ты добиваешься? Я оценки не изменю, потому что оценил так как считаю.
Систему оценивания тоже менять не буду, потому что поздно уже.
Короче говоря, чего ты вообще хочешь? Прямо напиши)))
Ну на то и оценшиков много. У всех разные приоритеты, все оценивают по-разному. В том-то и ценность судей, что у всех свое мнение и свой подход, который даст более детальный обзор и картину. И я докапывался только до ровно одной вещи у Шэда, которая откровенно нелогична.

И, кстати, твоя система не решает озвученную тобой проблему, равно как любая другая.
У всех разные приоритеты, все оценивают по-разному.

Именно поэтому оценки стараются максимально формализовать.

И, кстати, твоя система не решает озвученную тобой проблему, равно как любая другая.

Давай критику, будем редактировать систему. Что в ней может сломаться?

А из систем оценивания, когда каждый судья оценивает по своим критериям каким-то, я знаю лишь одну:
Каждый судья составляет топ игр/критериев (каждый критерий в отдельном топе!), а потом смотрится среднее место игры/критерия во всех топах.
Причём даже в этом случае каждый критерий должен быть максимально формально описан.
Твоя игра в любом случае будет на дне, как не крути)))
Именно поэтому оценки стараются максимально формализовать.

Никогда не видел. В идеально формализованной системе все судьи будут оценивать одинаково, а это лишено смысла. Отдельно взятый судья может для себя расписать критерии, как ему будет угодно, и до тех пор, пока оно применяется системно и не имеет голимых проебов, это справедливо. Точка.

Критику? Поехали:
0. Не нужно, не решает проблему (а проблему ли?) поставленную в самом посте;
1. Тем более не нужно менять систему оценивания посреди голосования. Какашка в сторону Шэда, что не было ни единого слова относительно системы оценивания в процессе самого конкурса, обычно это чуть ли не со старта было известно и можно было вонять сразу;
2. Сложно выбрать самую лучшую игру по одному критерию, да и долго. Не делай сложную низкоуровневую структуру, иначе такой гемор нахер никому не упрется;
3. Первый критерий перегружен, несёт кучу смысла, но мало влияет на оценку для такого размера;
4. Нихуя не понятно, как работает последний критерий и итоговая оценка самой игры. Если по факту учитывается только он, остальное нахуй не вперлось. Если он в сумме среди остальных, то он бесполезен, потому что просто служит субъективной хотелкой.
В идеально формализованной системе все судьи будут оценивать одинаково, а это лишено смысла.

В идеально формализованной оценке будет сведено к минимуму оценивание судьёй своих шиз вместо конкретных критериев. А большое число судей нужно не для разнообразия, а для сведения итоговой оценки к среднему.

Критику? Поехали:

Я не понял твою нумерацию. Это ты свои тезисы нумеруешь? Если да, то я буду расценивать именно так. Если нет, то поправишь.

0. Не нужно, не решает проблему (а проблему ли?) поставленную в самом посте;

Из-за нумерации не могу понять, о чём ты. Что не решает проблему? Какую проблему?

1. Тем более не нужно менять систему оценивания посреди голосования.

Категорически не согласен. Строго говоря, это весьма субъективный пункт. Можно вынести его на всеобщее голосование.

2. Сложно выбрать самую лучшую игру по одному критерию, да и долго. Не делай сложную низкоуровневую структуру, иначе такой гемор нахер никому не упрется;

Если человек может поставить оценки каждому параметру каждой игры, то выбор лучшей игры однозначен и прост.
В крайнем случае можно сделать это через буфферные оценки: сперва оцениваются от балды, как душа ляжет, а потом во второй проход человек просто перечитывает оценки, пять минут думает и переписывает их относительно лучших.
Я же напротив, постарался облегчить низкоуровневую систему, объединив непонятные и лишние критерии.

3. Первый критерий перегружен, несёт кучу смысла, но мало влияет на оценку для такого размера;

Ммм, нет, это просто описание кривое. Ты не должен давать оценку графике, звуку и сюжету, а потом их склеивать. Ты должен оценить, как тебе понравилась художественная составляющая, которая включает в себя г., з., с., но не ограничивается ими. В целом.
Ну вот например моя игра. Нет разнообразия среди бизонов, музыка не закручена в лупу, нет звукового отклика на различные действия, хотя он сам собой напрашивается, но в игру красиво интегрирован счётчик пирогов (ага, интерфейс относится и к художественной части, и к удобству. Можно сделать очень красивый, но совершенно ублюдский интерфейс. А можно наоборот), да и в целом адекватно использована графика из сериала -> условно, 3/10
Или майнкрафт: выполнен в едином стиле нарочитого минимализма, хорошая музыка в тему, всё сделано аккуратно и в тему, придраться не к чему. 10/10.

4. Нихуя не понятно, как работает последний критерий и итоговая оценка самой игры. Если по факту учитывается только он, остальное нахуй не вперлось. Если он в сумме среди остальных, то он бесполезен, потому что просто служит субъективной хотелкой.

Согласен, это я не прояснил. Впрочем, у меня нет подобной уверенности и по отношению к текущей системе, поэтому я постарался максимально сохранить структуру оценки, чтобы ничего вокруг неё не сломалось.
Но если делать до конца, то я бы сделал как предлагали снизу: есть топы по каждому из критериев. Последний критерий образует топ лучших игр. Остальные критерии это отдельные топы номинаций по отдельным критериям. Они нужны, прежде всего, чтобы дать разработчику понять, в чём он уже хорош, а что ему нужно подтянуть.
В идеально формализованной оценке будет сведено к минимуму оценивание судьёй своих шиз вместо конкретных критериев

Либо судья все ещё может оценить взаимодействие в 0 из-за отсутствия элементов интерфейса, либо оценку можно поставить без судьи.

Дальше впадлу с телефона цитировать, и да, нулевой первый, потому что им одним можно ограничиться.

0. Сфорсулируем иначе: нахуя? Это «нахуя» делится на две части: «нахуя весь сыр-бор?» и «нахуя менять систему?». Ответ на первое дан, на второе нет.

1. Коней на переправе не меняют. Система с небольшими правками пережила десяток конкурсов, она кривая, но не настолько, чтобы был резон посреди оценивания вдруг ее менять.

2. Под низкоуровневым я понимаю гайдлайны, по которым нужно ставить конкретную цифру, а не критерии (что есть высокий уровень — выхлоп). Не вижу смысла в написанном том мессиве вообще. Тут мимокрокодилы, которые пришли игры посмотреть, им нахер не вперлось, чтобы им указывали, как именно писать цифры.

3. Это все ещё склейка кучи всего, и по сути самая титаническая часть работы участников. Я знаю людей, которые тот же майнкрафт по твоим же критериям оценят в <5/10, потому что модельки говно, музыка говно, сюжета нет, окружение тухлое, пусть даже и подходит друг к другу (ещё раз, это пример, не мое личное мнение). И да, как оценивать между собой игру, которая нарисована в пеинте, но потрясающим саундом, что ты закрытыми глазами все можешь представить, и ту, в которой визуал на уровне кинца, но из звуков только шуршание диска?

4. Внутренние топы для каждого судьи по отдельности не нужны, это имитация нормирования экспертных оценок, которая по канонам, написанными очень умными людьми много лет назад, никогда не производится. Я хочу иметь право поставить все оценки ниже 3, если я вижу одну только хрень. Был у меня в универе потрясающий предмет «Теория принятий решений», всем бы его тут пройти.
Насколько она херня?

Зайди в мой пост с оценками, специально для тебя расписал в комментах)))
Так в любом случае каждый понимает по-своему и ставит по-своему, только в рамках критериев.


Ну у меня тут даже слов нет. No comments.
Ну у меня тут даже слов нет.

Незаметно, что слов у тебя нет)))
И я ещё думал, что это в моём конкурсе полное разгильдяйство шалопаев…
В чём именно твоя претензия?
что за конкурс?
а вообще шад последний раз орг вроде бы, так что… в следующем конкурсе уже, вестимо, будет другая система оценивания (и всё же я настаиваю на дифференцированную, как в ПСОКИ, где по каждой категории отдельные топы и награды)
Да, у TabunLadreamа хорошо получилось)))
Уважаемый, рецензии писать не пробовали?
В смысле?
В прямом. Вы видели рецензии к видеоиграм? А я видел, особенно критические. И там все перечисленные пункты как раз оцениваются в деталях, со всеми «вилками и возможностями», с тем что смогли достичь (в чем собственно был замысел автора, например), и с тем что упустили.
Нет, не пробовал.
Попробуйте. Сами несколько напишите, а после как затянет, что не сможете оторваться.
Это уже как традиция ОКИ предлагать свою систему оценивания :D
Хэй, где саундтрек в отдельном критерии? Кто-то вообще-то в игру оригинальный подгоняет.
А музыкальное сопровождение у нас уже не относится к худ.части?
К тому же, процитирую свой же пост:
Художественная работа (объединяет графику, звук и сюжет старой системы, но не состоит из них):
Ниче себе, сюжет объединил с музыкой, да это в натуре бан от сценариста и композитора.
Вообще, весело, конечно, объединить все художественные критерии в один, а технические — по отдельности. Причём ещё и взаимосвязанные, как будто интерфейс не влияет на то, как интересно играть. Бан, бан, бан. Пожизненный.
Ну а если без шуток, то мне и старая система нравится. Чего ломать то, что работает, до гос.уровня всё равно не дойдём. Коли уж я критикую, я бы предложил вообще размельчить критерии, от текстур с моделями (по отдельности) до кода и музыки (тоже по отдельности). Но учитывая, что тут вообще половина игр не доделывается, потому что лень, оно такой скурпулёзности и не требует.
А критика — это всегда хорошо, это двигатель прогресса. Твоя критика толковая, но и я оставляю за собой право критиковать твою критику))0))))
Критикую критику моей критики:

Ты используешь модный и современный подход оценивания каждой части чего-то по отдельности, и целой оценкой будет совокупность таких мелких оценок.
Я же использую более старомодный подход к оценке предмета в целом, с естественным расчленением на важные компоненты.

объединить все художественные критерии в один, а технические — по отдельности.

Не все. Первые три пункта больше относятся к художественной части, и лишь оптимизация несёт явно технический характер.
Далее, я считаю, что интерфейс влияет именно на удобство, ибо это система взаимодействия пользователя с приложением.
На интерес влияет художественная часть, и игровой процесс. Причём игровой процесс это нечто управляемое игроком, а художественное — контент, который он в результате игрового процесса посредством интерфейса — будет потреблять. В пункте игрового процесса ты поставил ударение не на то слово. Не "Интересно играть", а «интересно играть» — т.е. получать отклик игры на свои действия.
ой, кажется я сам запутался

Чего ломать то, что работает


Мы все время чувствовали непреодолимое желание жаловаться и, как свойственно советским людям, вносить предложения. Хотелось писать в советский контроль, и в партийный контроль, и в ЦК, и в «Правду»
«Одноэтажная Америка»
Намудрил, ага. Одна из главных фишек оценочной системы сейчас — это её простота, а если она не будет простой, народ задолбается оценивать игры по ней. Так или иначе, у тебя слишком связаны пункты. В игру не будет интересно играть, если там сюжет плохой. Ну только если в механика вся из себя такая охеренная, что на сюжет внимания не обращаешь. Темн не менее, если игра преподносит сюжет, а чаще всего так в нормальных играх и происходит, то, как минимум, плохим он не должен быть, чтобы игралось интересно. А это, блинб, прямиком из первого твоего пункта пинок, из художественной работы.
Вообще, ты в натуре захотел бана. Да тут блин вся игра — одна большая художественная работа, и ты с этим не поспоришь, а значит, каждый из твоих критериев можно кинуть в первый, по художественной работе. В твоих критериях всё слишком абстрактно.Тут либо их должно быть много и простых (выше описал, почему так делать никто не будет), либо оставлять уже, как есть. И я скорее за второй вариант.
Ты хочешь сказать, что нынешняя система оценивания ПРОСТАЯ? С 7 долбанутыми параметрами, без описаний, с жанровой привязкой к графической РПГ игре, ибо все другие автоматом получат меньше?
нормальные параметры, просто должны быть дифференцированные топы по категориям, как было на ПСОКИ + категория личной симпатии к проекту
В ней хотя бы саундтрек выделяется в отдельный критерий.
ЗАЧЕМ? Какой в этом смысл?
затем, что смешивать сюжет, ост и графику в одно — глупость. Это кардинально разные составляющие. Так можно тот же Dead Bits только из-за оста оценить лучше, чем тот того заслуживает. Большие номинации оценивают сюжет, звук и графику раздельно не без причины
можно тот же Dead Bits только из-за оста оценить лучше, чем тот того заслуживает.

Нельзя, потому что у меня нет критерия «звук», в отличие текущей оценки. У меня комплексный параметр «Худ. часть».

Большие номинации оценивают сюжет, звук и графику раздельно не без причины

Потому что у них есть отдельные номинации по всем этим составляющим, представь себе.
А почему такое деление бессмысленно у нас — я уже говорил.
Текстовая градостроительная песочница про эпоху Раздора по нынешней оценке получит 0/0/0, а по моей оценке получит, скажем, 7.5, ибо концептуальная идея и воплощение такой песочницы весьма оригинальны.

А оценка игры почти всегда != среднему арифметическому оценок каждой её составной части.
а потому и нефиг делать общую усреднённую оценку, а надо таки отдельные топы! И да — можно и ещё как, ибо звук там будет достаточно сильно перевешивать, чтобы оценивающий тупо из-за него значительно завысил баллы. + 10 на три как-то вот не делится, чтобы ограничить максимум от каждого из трёх составляющих. имхо, но такое смешивание как-то сосёт на мой взгляд
. + 10 на три как-то вот не делится, чтобы ограничить максимум от каждого из трёх составляющих. имхо, но такое смешивание как-то сосёт на мой взгляд

Я уже несколько раз прямым текстом написал, что «Художественная часть» это не сумма оценок за звук, графон и сюжет. Не. Сумма. И даже не среднее.
Давай приведу пример в виде фильма.
«Отряд самоубийц».
Музыка — отпад, и даже более-менее в тему.
Но фильм — говно. И оценку фильму ты из-за музыки не повысишь, просто потому что напротив, тебе обидно, что крутую музыку они купить смогли, а фильм сделать вокруг неё не смогли.
вот только Dead Bits я поставлю 6 по твоей категории. И я такой буду не один. А если по текущей системе (с оговоркой, что макс — 10), то там среднее будет где-то рядом 3,66, ибо за сюжет нуль, за графику 1 и за музыку 10. Просто из-за того насколько она там перевешивает эти две вещи. Проблема кривой интерпретации в твоей системе лишь усугубится. Лучше или убирать критерии нахрен при общей оценке или делать как сейчас, но при разделённых топах
Давай ещё раз.
Есть две игры. Одна — сделаная на РПГ-maker моя игра ЭКВЕСТРИЕ В ОПАСНАСТИ. Это РПГ с сюжетом, музыкой и графикой. Очень фиговая, но всё же.
А есть «Текстовая градостроительная песочница про эпоху Раздора». Офигенная игра.
Как распределятся оценки?
Текстовка будет иметь 0 за графику — очевидно. 0 за звук — его там тоже нет. 0 за сюжет — это песочница без сюжета.
Моя игра будет иметь 15/100 по каждому пункту.

Средняя оценка у хорошей игры 0/100.
Средняя оценка у говна 15/100.

Просто потому что хорошая игра не вписывается в парадигму оценивания этого конкурса.

Это всё равно, что создать конкурс:
«Лучшее транспортное средство»
Участники: танк, инвалидная коляска и машина.
И поставить в качестве оценки потребление топлива, комфорт, средняя скорость по дороге и стоимость.
Вопрос: а нафига тогда в этом конкурсе участвует танк? Потому что он является транспортным средством? Но нет, оценки-то в конкурсе направлены на выявление лучшего гражданского личного транспорта, а лучшего транспортного средства нет, потому что победитель зависит от конкретной задачи.
Так и в этой системе. Она заточена под сюжетные графические игры.
поэтому лучше вообще не использовать оценку с критериями, если в итоге будет браться ОДНО среднее. Или если что-то отсутствует ввиду задумки, жанра и т.д. — ставить null вместо оценки и НЕ учитывать их при подсчёте (ибо их нет), а не превращать систему в оценочную кашу, в которой дичь может получить оценку лучше из-за того, что один её подкритерий преобладает настолько, что делает оценку значительно выше.
не превращать систему в оценочную кашу, в которой дичь может получить оценку лучше из-за того, что один её подкритерий преобладает настолько, что делает оценку значительно выше.

Так именно это я и исправил (попытался) в своей системе.

если что-то отсутствует ввиду задумки, жанра и т.д. — ставить null вместо оценки и НЕ учитывать их при подсчёте (ибо их нет),

верно

поэтому лучше вообще не использовать оценку с критериями

Да
Так именно это я и исправил (попытался) в своей системе.

ну, как по мне — вышло не особо, ибо смешение кардинально разных вещей — такое себе
Миллион-миллиард раз говорил, что система оценивания хуйня, но то, что она хуйня — это хуйня, потому что роляет система подсчёта. А от системы оценивания нам нужно просто получить ранжированый список игр: какая понравилась больше всего, а какая — меньше всего, и то, как именно выставляются оценки здесь в среднем похуй. Дальше повторяться не буду: бессмысленно это, да и ебал я.
В тот раз когда я проводил один из ОКИ, то совсем убрал разбиение по пунктам, т.е. просто, на сколько понравилась игра и уже сам оценивающий расписывал почему он поставил именно эту оценку, самостоятельно выделяя сильные и слабые стороны. Ну, так подразумевалось.
вот, кстати, да, такая система тоже годная. Когда уже по сути нет пунктов вообще, но есть имхо, которое надо объяснить.
Это хороший подход, чтобы выяснить, какая игра больше нравится людям. И оценки писать легче.
Вдобавок, он никак не конфликтует с системой номинаций по отдельным критериям. Где-то тут вроде писали, что такое тоже было.
Я только ЗА, хотя я бы внедрил свою систему из лит. конкурса:

Оценка: субъективно/объективно
с — понравилась ли работа вам, как личности; о — насколько вы оцениваете работу, стараясь быть объективным; оценки принимают значения от -2 до +2
Почему с: объясните, что вам понравилось как игроку, с субъективных позиций.
Почему о: стремящийся к объективности анализ произведения.
Комментарий: Здесь пишите всё, что считаете нужным сказать, но что не подходит под предыдущие пункты.


По задумке, получается так, что оценивающий сперва выхлестнет эмоции в субъективной оценке, а потом задумается: «ну, мне эта игра понравилась только потому что в ней есть пони и она не совсем говно. Но не-брони наверняка оценит её ниже...». А в комментарии напишет свой, ну, комментарий. В духе «выпусти вторую часть, но добавь больше ёлок».
с объективностью в оценке игр можно улететь на Татуин, ибо она крайне субъективна как ни крути. Тому же Сашеньке (Sasha Flyer) сильно нравятся микротранзакции, ввод мультиплеера везде куда не надо и т.д. Так что его оценка синглплеерного проекта будет сильно занижена ввиду отсутствия мультиплеера + он может просить добавить донат и т.д. Объективно? Нихрена, но по его мнению — очень даже. А если как современные эксперты, то там и тлоу 2 — шедевр 10/10
Если человек не может в своей голове отделить субъективное от объективного хотя бы в какой-то мере (а никто и не говорит, что «объективно» в моей системе это действительно абсолютно объективно), то его можно просто забраковать. Для этого и нужен орг, который за этим следит. В нашей системе, я думаю, тоже это работает. Если я вдруг обижусь, что Бизоны набрали мало баллов, и пойду с калькулятором посчитаю, кому какие оценки поставить, чтобы моя игра поднялась по шкале как можно выше, и потом влеплю Вазе 0 баллов (или 10-15, чтобы не так подозрительно было) по всем номинациям — почти наверняка мою оценку не будут учитывать в виду её не оценочной, а политической сущности.
у нас оценок каждый год и так кот наплакал, а ты ещё и браковать их хочешь. Но да, шулеры могут появится
Они переусложнены и непонятны. Я вот не хочу сперва проходить 10 игр, потом писать на каждую по СЕМЬ оценок (каждой из шкал), причём выравнивая оценки так, чтобы побеждала игра не с лучшей суммой по номинациям, а которая лично мне больше понравилась в целом. И это при том, что другие оценщики обесценят моя оценки тем, что выставляют оценки по иной парадигме.

Тут говорят, что плевать, как оценивают, главное чтобы был топ. Нет, это фигня.
Допустим, мне больше всего понравилась игра про летающую Радугу. Но по сумме оценок победила игра про фабрику Радуги.
Я буду корректировать свои оценки так, чтобы в топе была Радуга. А другой судья не будет, и у него игра про Фабрику победит чисто из-за формальности, хотя ему игра про Радугу тоже больше понравилась, например.
Да г-споди, если человеку вдруг не нравится, он просто оценивает сам, как ему угодно, выравнивая нужные выходные числа (у нас это только сумма, других нет) по ожидаемой шкале. Я три раза оценивал по вообще своим механизмам, все три раза это работало. Не надо навязывать.
шедевр 10/10
а там, похоже, уже всё 10/10 что-то недавно полез какой-то проходнячок глянуть на мете — 10/10 от 90% критиков
Строго говоря, любая оценка — это относительный инструмент. Оценка — шкала «хорошо-плохо». Что такое хорошо? В чём хорошо?
Первое, что нужно сделать, прежде чем искать систему оценивания — это определить, а что мы, собственно, хотим оценить, с какой целью, что хотим выявить, какую мысль донести до автора оцениваемой работы, если вообще хотим. С этого треба начинать.
Несмотря на то, что автор ведёт себя как ебанутая истеричка, нельзя не признать справедливость изложенного мнения. Абсолютно непонятно нахуя было делать СТОбальную оценку КАЖДОГО критерия, если все оценки всё равно кратны пяти, то есть 20 баллов хватило бы за глаза, хотя в принципе и десяти было бы вполне достаточно. Опять же некоторые критерии не вполне понятно как вообще оценивать в итоге получаем 700-бальную систему, по которой каждый как хочет так и оценивает сея хаос в итоговых результатах.
Впрочем, не вижу в этом никакой проблемы, благо голосующие не отбитые наглухо идиоты, что хорошим играм надо ставить больше баллов чем плохим сами наверное догадаются, это не так уж и сложно. Хотя лично я оставил бы просто стобальную систему, а всякие критерии и прочую шлабуду сделал опциональными, просто как наглядный пример оценкообразования.
Абсолютно непонятно нахуя было делать СТОбальную оценку КАЖДОГО критерия

Таки это решается менее радикально, чем пересмотр вообще всей системы, и вроде пока никому не пришло в голову абузить «а ну-ка обоснуй, почему ты мне поставил 30, а не 39!!!!».
Суть в том, что какой-нибудь неоднозначный критерий можно оценить сильно по разному, а несколько таких критериев разом могут сильно поколебать общий баланс оценок. Конечно, скорее всего существенного влияния такие колебания не окажут, но зачем создавать лишние проблемы, если эту стобальность всё равно никто по факту не использует.
ну так-то да, возьми и поставь 3.2/5 в чём проблема?
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.