Баяна Гордыни Народный... манифест к изменению системы оценивания и пересмотру уже существующих оценок
Буду краток. Текущая система оценивания имеет семь спорных критериев без формальных определений по шкале от 0 до 100, причём что считать за 100 — никто не знает.
Это приводит к тому, что каждый оценивает непонятно что и непонятно как, что, в свою очередь, сводит ценность итоговой оценки к абсолютному нулю.
Моё рацпредложение:
1. Максимальная оценка 10 баллов. За 10 баллов оценивающий принимает ту игру (критерий игры) из конкурса, которая (который) ему больше всего понравилась. Все остальные оцениваются относительно неё (него).
2. Изменена система критериев, даны определения, а именно:
1. Художественная работа (объединяет графику, звук и сюжет старой системы, но не состоит из них): как разработчик справился с художественной частью работы. Насколько приятно и/или интересно читать, смотреть, слушать игру;
2. Взаимодействие с пользователем (объединяет интерфейс и управление старой системы, но не состоит из них): насколько удобно играть в игру;
3. Игровой процесс: насколько интересно играть в игру;
4. Оптимизация: насколько мало в игре тормозов, как мало ресурсов она потребляет, способность игры хорошо работать на слабом железе;
5. Общие впечатления: насколько игра понравилась в целом. Может соответствовать среднему арифметическому предыдущих оценок, а может и не соответствовать, что будет говорить о то, что разработчик не смог (или напротив, блестяще смог) собрать отдельные элементы игры в единое целое.
П.С. Помогите дать полноценное определение первому критерию оценивания, дабы исключить различные его толкования.
Это приводит к тому, что каждый оценивает непонятно что и непонятно как, что, в свою очередь, сводит ценность итоговой оценки к абсолютному нулю.
Моё рацпредложение:
1. Максимальная оценка 10 баллов. За 10 баллов оценивающий принимает ту игру (критерий игры) из конкурса, которая (который) ему больше всего понравилась. Все остальные оцениваются относительно неё (него).
2. Изменена система критериев, даны определения, а именно:
1. Художественная работа (объединяет графику, звук и сюжет старой системы, но не состоит из них): как разработчик справился с художественной частью работы. Насколько приятно и/или интересно читать, смотреть, слушать игру;
2. Взаимодействие с пользователем (объединяет интерфейс и управление старой системы, но не состоит из них): насколько удобно играть в игру;
3. Игровой процесс: насколько интересно играть в игру;
4. Оптимизация: насколько мало в игре тормозов, как мало ресурсов она потребляет, способность игры хорошо работать на слабом железе;
5. Общие впечатления: насколько игра понравилась в целом. Может соответствовать среднему арифметическому предыдущих оценок, а может и не соответствовать, что будет говорить о то, что разработчик не смог (или напротив, блестяще смог) собрать отдельные элементы игры в единое целое.
П.С. Помогите дать полноценное определение первому критерию оценивания, дабы исключить различные его толкования.
91 комментарий
Мб просто «антураж» или как-то так.
Ещё хуже чем «Художественная работа», тк ещё более расплывчато.
А уй его знает, что ты хотел сказать, так что сам выкручивайся.
Откуда мне знать, ТОРМОЗИТ ЛИ ОНО, блять? Может это фига, я знаю? А про тормоза отдельно ещё было, когда тупо фризилась игра на пару секунд.
Повторю ещё раз:
ЕБУЧИХ БЕГУЩИХ БИЗОНОВ Я НЕ ОТНОСИЛ КАК ТОРМОЗИТ, А ПОТОМУ Я ОЦЕНИВАЛ ЭТО КАК ДВЕ РАЗНЫЕ ВЕЩИ.
Сука, вы меня так до инфаркта доведёте
Вот то, что я написал. Графика тормознутая, в том плане, что она криво смотрится. И опять же я неуверен, потому и пишу
Перекручиваете слова как хотите, но при этом я всё-равно не прав))) То что вы себе надумали, я ХЗ
Я написал, как я понял твои обоснования оценок, только и всего.
А конкретно у меня используется бегущий бизон, падающий бизон, фон, летящий пирог, пирог в запасе, если уж об этом речь зашла.
И что? Я так оцениваю, да. Ты понимаешь, что оценки всё-равно выльются в субъективные оценки? Или чего ты хочешь вообще?
У меня целый грёбанный пост про то, чего я хочу.
Изменить систему оценок… Я не изменю её, что дальше? Можешь голосовать как хочешь, на итоговые баллы это не повлияет никак. Закрыли тему?
Объективно твоя игра херня. Пожалуйста, доволен? Теперь переходим дальше)))
Такой вопрос был в конфе, и я отвечал на него. Для лл: похер, как оценивает отдельно взятый человек, пока он всех оценивает по одним и тем же мерилам.
Всё равно получается херня, просто потому что кто-то хочет, чтобы в змейке была миникарта, компас и развитая диалоговая система, и потом ставит ей в интерфейсе 25, ибо она отображает только текущий счёт. И у этого гипотетического человека выше по местам будут игры с развесистым интерфейсом. А другой оценивал сюжет. Напрямую сравнивая аркады и сюжетные РПГ, из чего логично, что РПГ получат высшие места в его топе.
И как сводить оценки этого осла и бобра? ХЕРНЯ получается.
Систему оценивания тоже менять не буду, потому что поздно уже.
Короче говоря, чего ты вообще хочешь? Прямо напиши)))
И, кстати, твоя система не решает озвученную тобой проблему, равно как любая другая.
Именно поэтому оценки стараются максимально формализовать.
Давай критику, будем редактировать систему. Что в ней может сломаться?
А из систем оценивания, когда каждый судья оценивает по своим критериям каким-то, я знаю лишь одну:
Каждый судья составляет топ игр/критериев (каждый критерий в отдельном топе!), а потом смотрится среднее место игры/критерия во всех топах.
Причём даже в этом случае каждый критерий должен быть максимально формально описан.
Никогда не видел. В идеально формализованной системе все судьи будут оценивать одинаково, а это лишено смысла. Отдельно взятый судья может для себя расписать критерии, как ему будет угодно, и до тех пор, пока оно применяется системно и не имеет голимых проебов, это справедливо. Точка.
Критику? Поехали:
0. Не нужно, не решает проблему (а проблему ли?) поставленную в самом посте;
1. Тем более не нужно менять систему оценивания посреди голосования. Какашка в сторону Шэда, что не было ни единого слова относительно системы оценивания в процессе самого конкурса, обычно это чуть ли не со старта было известно и можно было вонять сразу;
2. Сложно выбрать самую лучшую игру по одному критерию, да и долго. Не делай сложную низкоуровневую структуру, иначе такой гемор нахер никому не упрется;
3. Первый критерий перегружен, несёт кучу смысла, но мало влияет на оценку для такого размера;
4. Нихуя не понятно, как работает последний критерий и итоговая оценка самой игры. Если по факту учитывается только он, остальное нахуй не вперлось. Если он в сумме среди остальных, то он бесполезен, потому что просто служит субъективной хотелкой.
В идеально формализованной оценке будет сведено к минимуму оценивание судьёй своих шиз вместо конкретных критериев. А большое число судей нужно не для разнообразия, а для сведения итоговой оценки к среднему.
Я не понял твою нумерацию. Это ты свои тезисы нумеруешь? Если да, то я буду расценивать именно так. Если нет, то поправишь.
Из-за нумерации не могу понять, о чём ты. Что не решает проблему? Какую проблему?
Категорически не согласен. Строго говоря, это весьма субъективный пункт. Можно вынести его на всеобщее голосование.
Если человек может поставить оценки каждому параметру каждой игры, то выбор лучшей игры однозначен и прост.
В крайнем случае можно сделать это через буфферные оценки: сперва оцениваются от балды, как душа ляжет, а потом во второй проход человек просто перечитывает оценки, пять минут думает и переписывает их относительно лучших.
Я же напротив, постарался облегчить низкоуровневую систему, объединив непонятные и лишние критерии.
Ммм, нет, это просто описание кривое. Ты не должен давать оценку графике, звуку и сюжету, а потом их склеивать. Ты должен оценить, как тебе понравилась художественная составляющая, которая включает в себя г., з., с., но не ограничивается ими. В целом.
Ну вот например моя игра. Нет разнообразия среди бизонов, музыка не закручена в лупу, нет звукового отклика на различные действия, хотя он сам собой напрашивается, но в игру красиво интегрирован счётчик пирогов (ага, интерфейс относится и к художественной части, и к удобству. Можно сделать очень красивый, но совершенно ублюдский интерфейс. А можно наоборот), да и в целом адекватно использована графика из сериала -> условно, 3/10
Или майнкрафт: выполнен в едином стиле нарочитого минимализма, хорошая музыка в тему, всё сделано аккуратно и в тему, придраться не к чему. 10/10.
Согласен, это я не прояснил. Впрочем, у меня нет подобной уверенности и по отношению к текущей системе, поэтому я постарался максимально сохранить структуру оценки, чтобы ничего вокруг неё не сломалось.
Но если делать до конца, то я бы сделал как предлагали снизу: есть топы по каждому из критериев. Последний критерий образует топ лучших игр. Остальные критерии это отдельные топы номинаций по отдельным критериям. Они нужны, прежде всего, чтобы дать разработчику понять, в чём он уже хорош, а что ему нужно подтянуть.
Либо судья все ещё может оценить взаимодействие в 0 из-за отсутствия элементов интерфейса, либо оценку можно поставить без судьи.
Дальше впадлу с телефона цитировать, и да, нулевой первый, потому что им одним можно ограничиться.
0. Сфорсулируем иначе: нахуя? Это «нахуя» делится на две части: «нахуя весь сыр-бор?» и «нахуя менять систему?». Ответ на первое дан, на второе нет.
1. Коней на переправе не меняют. Система с небольшими правками пережила десяток конкурсов, она кривая, но не настолько, чтобы был резон посреди оценивания вдруг ее менять.
2. Под низкоуровневым я понимаю гайдлайны, по которым нужно ставить конкретную цифру, а не критерии (что есть высокий уровень — выхлоп). Не вижу смысла в написанном том мессиве вообще. Тут мимокрокодилы, которые пришли игры посмотреть, им нахер не вперлось, чтобы им указывали, как именно писать цифры.
3. Это все ещё склейка кучи всего, и по сути самая титаническая часть работы участников. Я знаю людей, которые тот же майнкрафт по твоим же критериям оценят в <5/10, потому что модельки говно, музыка говно, сюжета нет, окружение тухлое, пусть даже и подходит друг к другу (ещё раз, это пример, не мое личное мнение). И да, как оценивать между собой игру, которая нарисована в пеинте, но потрясающим саундом, что ты закрытыми глазами все можешь представить, и ту, в которой визуал на уровне кинца, но из звуков только шуршание диска?
4. Внутренние топы для каждого судьи по отдельности не нужны, это имитация нормирования экспертных оценок, которая по канонам, написанными очень умными людьми много лет назад, никогда не производится. Я хочу иметь право поставить все оценки ниже 3, если я вижу одну только хрень. Был у меня в универе потрясающий предмет «Теория принятий решений», всем бы его тут пройти.
Зайди в мой пост с оценками, специально для тебя расписал в комментах)))
Ну у меня тут даже слов нет. No comments.
Незаметно, что слов у тебя нет)))
Вроде оно
К тому же, процитирую свой же пост:
Вообще, весело, конечно, объединить все художественные критерии в один, а технические — по отдельности. Причём ещё и взаимосвязанные, как будто интерфейс не влияет на то, как интересно играть. Бан, бан, бан. Пожизненный.
Ну а если без шуток, то мне и старая система нравится. Чего ломать то, что работает, до гос.уровня всё равно не дойдём. Коли уж я критикую, я бы предложил вообще размельчить критерии, от текстур с моделями (по отдельности) до кода и музыки (тоже по отдельности). Но учитывая, что тут вообще половина игр не доделывается, потому что лень, оно такой скурпулёзности и не требует.
А критика — это всегда хорошо, это двигатель прогресса. Твоя критика толковая, но и я оставляю за собой право критиковать твою критику))0))))
Ты используешь модный и современный подход оценивания каждой части чего-то по отдельности, и целой оценкой будет совокупность таких мелких оценок.
Я же использую более старомодный подход к оценке предмета в целом, с естественным расчленением на важные компоненты.
Не все. Первые три пункта больше относятся к художественной части, и лишь оптимизация несёт явно технический характер.
Далее, я считаю, что интерфейс влияет именно на удобство, ибо это система взаимодействия пользователя с приложением.
На интерес влияет художественная часть, и игровой процесс. Причём игровой процесс это нечто управляемое игроком, а художественное — контент, который он в результате игрового процесса посредством интерфейса — будет потреблять. В пункте игрового процесса ты поставил ударение не на то слово. Не "Интересно играть", а «интересно играть» — т.е. получать отклик игры на свои действия.
ой, кажется я сам запутался
Вообще, ты в натуре захотел бана. Да тут блин вся игра — одна большая художественная работа, и ты с этим не поспоришь, а значит, каждый из твоих критериев можно кинуть в первый, по художественной работе. В твоих критериях всё слишком абстрактно.Тут либо их должно быть много и простых (выше описал, почему так делать никто не будет), либо оставлять уже, как есть. И я скорее за второй вариант.
Нельзя, потому что у меня нет критерия «звук», в отличие текущей оценки. У меня комплексный параметр «Худ. часть».
Потому что у них есть отдельные номинации по всем этим составляющим, представь себе.
А почему такое деление бессмысленно у нас — я уже говорил.
Текстовая градостроительная песочница про эпоху Раздора по нынешней оценке получит 0/0/0, а по моей оценке получит, скажем, 7.5, ибо концептуальная идея и воплощение такой песочницы весьма оригинальны.
А оценка игры почти всегда != среднему арифметическому оценок каждой её составной части.
Я уже несколько раз прямым текстом написал, что «Художественная часть» это не сумма оценок за звук, графон и сюжет. Не. Сумма. И даже не среднее.
Давай приведу пример в виде фильма.
«Отряд самоубийц».
Музыка — отпад, и даже более-менее в тему.
Но фильм — говно. И оценку фильму ты из-за музыки не повысишь, просто потому что напротив, тебе обидно, что крутую музыку они купить смогли, а фильм сделать вокруг неё не смогли.
Есть две игры. Одна — сделаная на РПГ-maker моя игра ЭКВЕСТРИЕ В ОПАСНАСТИ. Это РПГ с сюжетом, музыкой и графикой. Очень фиговая, но всё же.
А есть «Текстовая градостроительная песочница про эпоху Раздора». Офигенная игра.
Как распределятся оценки?
Текстовка будет иметь 0 за графику — очевидно. 0 за звук — его там тоже нет. 0 за сюжет — это песочница без сюжета.
Моя игра будет иметь 15/100 по каждому пункту.
Средняя оценка у хорошей игры 0/100.
Средняя оценка у говна 15/100.
Просто потому что хорошая игра не вписывается в парадигму оценивания этого конкурса.
Это всё равно, что создать конкурс:
«Лучшее транспортное средство»
Участники: танк, инвалидная коляска и машина.
И поставить в качестве оценки потребление топлива, комфорт, средняя скорость по дороге и стоимость.
Вопрос: а нафига тогда в этом конкурсе участвует танк? Потому что он является транспортным средством? Но нет, оценки-то в конкурсе направлены на выявление лучшего гражданского личного транспорта, а лучшего транспортного средства нет, потому что победитель зависит от конкретной задачи.
Так и в этой системе. Она заточена под сюжетные графические игры.
Так именно это я и исправил (попытался) в своей системе.
верно
Да
ну, как по мне — вышло не особо, ибо смешение кардинально разных вещей — такое себе
Вдобавок, он никак не конфликтует с системой номинаций по отдельным критериям. Где-то тут вроде писали, что такое тоже было.
Я только ЗА, хотя я бы внедрил свою систему из лит. конкурса:
По задумке, получается так, что оценивающий сперва выхлестнет эмоции в субъективной оценке, а потом задумается: «ну, мне эта игра понравилась только потому что в ней есть пони и она не совсем говно. Но не-брони наверняка оценит её ниже...». А в комментарии напишет свой, ну, комментарий. В духе «выпусти вторую часть, но добавь больше ёлок».
Тут говорят, что плевать, как оценивают, главное чтобы был топ. Нет, это фигня.
Допустим, мне больше всего понравилась игра про летающую Радугу. Но по сумме оценок победила игра про фабрику Радуги.
Я буду корректировать свои оценки так, чтобы в топе была Радуга. А другой судья не будет, и у него игра про Фабрику победит чисто из-за формальности, хотя ему игра про Радугу тоже больше понравилась, например.
Первое, что нужно сделать, прежде чем искать систему оценивания — это определить, а что мы, собственно, хотим оценить, с какой целью, что хотим выявить, какую мысль донести до автора оцениваемой работы, если вообще хотим. С этого треба начинать.
Впрочем, не вижу в этом никакой проблемы, благо голосующие не отбитые наглухо идиоты, что хорошим играм надо ставить больше баллов чем плохим сами наверное догадаются, это не так уж и сложно. Хотя лично я оставил бы просто стобальную систему, а всякие критерии и прочую шлабуду сделал опциональными, просто как наглядный пример оценкообразования.
Таки это решается менее радикально, чем пересмотр вообще всей системы, и вроде пока никому не пришло в голову абузить «а ну-ка обоснуй, почему ты мне поставил 30, а не 39!!!!».