Вопросы по ОКИ

1) Самое главное, что меня напрягает — конкурс проходит под негласным дивизом «Ребята, ну сделайте же вы хоть что-нибудь», а как дело доходит до оценок, почему-то начинают оценивать то, чего нет. Разбиение оценки на критерии парило меня с самого первого появления, поскольку отсекало текстовые игры и игры с однокнопочным геймплеем. Пожалуй, одна оценка с обоснованием по любым удобным оценивающему критериям была лучшим решением. Ну и совершенно неучтённая возможность абьюза системы оценивания, конечно. Есть мнение, что это можно пофиксить
а) добавив вес оценки в итоговой сумме в зависимости от количества оценок (грубо говоря, если ты оценил 3 игры из 10 — вес твоих оценок будет 0,3)
б) нормализовав оценки, то есть, если ты по десятибальной шкале выставил всем от 2 до 3, то мы приводим твои оценки к диапазону 0-10 — ai' = (ai — amin) / (amax — amin)

2) Вообще не мотивирует, если не измеряется в килобаксах, конечно XD. В виду отсутствия базы для плэйтестинга меня мотивировала
а) возможность получить критический разбор (да, мне важнее знать, где у меня косяки, чем, какой я замечательный— это я и так знаю)
б) сам конкурс вообще был хорошим стимулом оторвать жопу от дивана и взяться за дело (Однако задор мне поубавил ответ на вопрос «а что можно уже сейчас делать?», который прозвучал как «Ничего, только ресурсы готовить» — Я, блядь, тут идеями фонтанирую, не терпится руками всё попробовать, а мне ничего нельзя, да я ещё не уверен, что мне может понадобиться. Пришлось заняться утилитарным матаном: тесселяция, парсинг, скриптинг — да в нём и зарыться)

3) Однозначно никаких «потом посмотрим» и «сами узнаете». Должна быть «конституция», в которой будут прописаны базовые правила.
Я бы ещё добавил модификаторы а-ля литературный промпт. Они, кстати, очень могут подсобить при недостатке идей.
Однозначно нужны недельные/двухнедельные отчёты, но в исключительно добровольном порядке — когда они не довлеют, они не демотивируют, а когда тебе есть, чем похвастаться — вполне мотивируют. Кроме того, они могут послужить источником фидбэка вида «а не заигрался ли ты с этим аспектом, у тебя же ещё вон там и там понь не валялся?»

4) Ну он есть — это плюс. Он всё больше напоминает полный пиздец раздрай и шатание — это минус.

5) Да, но его уже ведёт Шадовик. Да, но его уже ведёт Шадовик XD
Серьёзно, очень скользкий вопрос. Я безмерно восхищаюсь Шадовиком за то, что он это затеял и до сих пор прёт. Но у меня ощущение, что он задолбался, разочаровался и ему некогда. Но при этом он не хочет делить этот проект с кем-то, создать, пусть и переменную, но орг-бригаду (как делают Коны, например). И не в обиду, конечно, но зря он так.

Серьёзно, очень скользкий вопрос. Я безмерно восхищаюсь Шадовиком за то, что он это затеял и до сих пор прёт. Но у меня ощущение, что он задолбался, разочаровался и ему некогда. Но при этом он не хочет делить этот проект с кем-то, создать, пусть и переменную, но орг-бригаду (как делают Коны, например). И не в обиду, конечно, но зря он так.

Тут такое дело, что всё три: задолбался, разочаровался и некогда. Что-то в этом году много напрягов появилось, да ещё и в больнице был, а после выхода ещё больше проблем было. Просто год не задался, как я думаю. А если помнишь, то на ТОКИ я такое дело пытался мутить, я про орг-бригаду. Но не задалось как-то. Я же каждый конкурс пытался учитывать и советы и пожелания по ОКИ, но чтобы это не шло вразрез с его изначальной целью. Но не задалось как-то)))

Я отвечу на вопросы под этим коммом, потому что во многом мои ответы будут близки или совпадать.
1) Личто я просто могу расписаться под всеми этими словами. Разве что:

добавив вес оценки в итоговой сумме в зависимости от количества оценок

и

если ты по десятибальной шкале выставил всем от 2 до 3

Как мне кажется, все существующие дырки системы оценивания зарегламентировать нереально и не факт, что нужно. Вот здесь лучше по ситуации решать, как мне кажется, ту же самую нормализацию нужно проводить аккуратно, если ни одной игре не проставлено меньше 4/10, то это не обязательно значит, что оценщик такой лютый и потерял треть шкалы, скорее, что по его мнению нет игр, которые он оценивает на ниже 4/10.2) Скорее как приятное дополнение. Я в ТОКИ пришел просто потому, что он был в то же время, когда я хотел что-то начать пилить.3) Тут сложно сфомулировать из-за определения слова «правила» в этом контексте. Я сторонник того, чтобы дать разрабам максимальную свободу, особо ни в чем их не ограничивая. Но как показал ТОКИ, все же некоторые базовые жесткие ограничения должны быть (вроде строгого дедлайна, а не когда игры начинают делаться после срока сдачи конкурса и сдаются через пару дней, алсо понеориентированность. Ну и, видимо, хотя бы один отчет за срок разработки быть должен). Равно как и жесткий костяк для оценивания (не регламентировать каждый критерий, а скорее требование нормального обоснования и некоторого минимума числа оценок). А все остальное… на уровне рекомендаций что ли оставлять.4) Ну плюс как минимум в том, что *ОКИ представляют собой отличный пендель под зад, который стимулирует что-то делать. Минус — если он был единственным стимулом, то по окончанию больше ничего не делается. Это такой концептуальный минус *ОКИ, который непонятно, как решать. В момент, когда появляется время на допиливание, с вероятностью в 95% проводится очередной *ОКИ. Если я не ошибаюсь, в новогодние ОКИ было разрешено допиливать свои игры, в этом ЧОКИ тоже стало возможно, но механизм оценивания этого дела все еще нужно дорабатывать. В общем, как я и говорил, все зависит от того, хотите вы конкурс, или готовые игры. Это не недостаток, оно просто есть.Алсо конкретно в ЧОКИ складывалось ощущение, что всем пофиг.5)

Да, но его уже ведёт Шадовик. Да, но его уже ведёт Шадовик XD

Это ничего не изменит, основная масса идет на конкурс просто потому, что он есть, либо просто потому, что он в удобное время, и личность орга может повлиять на решение… ну максимум на человек 3-4. Да и повлияет это (равно как ковыряние правил) лишь на всякие мелочи и процедуру оценивания, а не на выходной результат. Я, канеш, в каждом годовом ОКИ прикапываюсь ко всем подряд, но я ж любя.

если ни одной игре не проставлено меньше 4/10, то это не обязательно значит, что оценщик такой лютый

М-м, нет, для ЧСВ можно показать исходные оценки, но, если всем поставили 8-9, а тебе — 2, значит человек считает, что среди оцененых игр твоя была худшей.И вот это как раз важно для итоговой оценки.Грубо говоря, вот эти вот баллы вообще не нужны, достаточно точки на условной шкале 0–1, которые затем домножаются на весовые коэффициенты и суммируются.В итоге, если трое (например) оценили все игры, и человек занял в среднем высокие места, то он их и получит.Если чисто за него кто-то втянется и кинет ему (и только ему) топовый бал, то его учтут, конечно, но он не сможет оказать существенного влияния на итог из-за малого веса.Если кто-то чисто против него вкинет низкий балл — то же самое.

Но это как раз кишки системы, про которые не говоришь =)

Переходя к теме правил:Если мы не принимаем оценки, которые не обоснованы хотя бы по трём критериям из заранее опубликованного списка, то делать N фейковых обзоров, чтобы вбросить за одну игру человек тупо обломается, мне кажется.Ну и да, нужен орг состав, который будет оперативно работать с оценщиками, предупреждая, что их обзорам недостаёт того-то и того-то, чтобы включить их в итог.

сложно сфомулировать из-за определения слова «правила» в этом контексте.

Поэтому я и сказал «конституция» — свод базовых нерушимых правил, к которым можно дописывать толкования, основанные на практике. Желательно в отдельном посте, чтоб можно было срачи разводить =/

Но это как раз кишки системы, про которые не говоришь =)

Я пока ни разу не видел целенаправленного занижения/завышения баллов конкретному участнику, и при достаточной массовости голосования этой проблемы вообще не должно быть (и даже твоя система эксплойтится использованием тьмы левых аккаунтов, только остается вопрос, а на кой черт это вообще нужно). В любом случае, не вижу смысла дико усложнять систему подсчета баллов. Банального наблюдения с организаторской стороны должно хватить (уж на крайняк в коммах срач поднимется).

Вообще, можно попробовать погонять численные модели.
Просто у меня есть предчувствие, что, при дозволенности оценивать не всё, могут возникнуть перекосы из-за одно- двух-оценочников.
А при развесовке, если их будет большинство, то они сами себя уравновесят, если их будет меньше половины, то они не исказят результат — считаем-то мы взвешенную сумму.
Систему это не усложняет, если результат для широкой публики выкладывать в виде приведённых к некоторой шкале (1-5, 1-6, 1-8, 1-10, 1-12) оценок.
А для тех, кому любопытно — ещё и в виде удобно оформленной и открытой для просмотра и комментирования гугл-таблицы.
Думаю, человек, способный написать игру, сможет разобраться в простой по сути формуле.

То есть система принимает на вход простые данные: «Этому 2 из 5, а вон тому 4 из 5»
И выдаёт на выход простые данные «У этого вышло 3, а у того — 5»
Кроме того, она может дать первому простой ответ на вопрос «схуяли?» — «потому высокие оценки тебе ставили какие-то фанбои, которые оценивали только тебя, а низкие оценки тебе ставили люди, потрудившиеся оценить и сравнить работы большого числа (если даже не всех) участников»
И просто, и справедливо, и компенсирует вкусовщину КМК =/

Я все еще считаю, что в этом нет смысла на данный момент, потому что инцидентов нет. На ЧОКИ можно было оценивать не все, и перекосов из-за этого не было. И все еще можно просто слать оценщиков, которые оценили две игры из 10.

Ну, на ТОКИ, например было сильно гуще.
Поэкспериментирую, как освобожусь.

слать оценщиков, которые оценили две игры из 10

Ага, а представь, что оценило шесть человек1 оценил все 102 оценили 3 и 53 оценили 2, 3, 2Кого гнать будешь? А если во второй группе перекрытие 0-2, а в третьей у двоих полное перекрытие, а третий с ними вообще не пересекается?(Ситуация, когда в финал вышли две игры-конфетки-пальчики-оближешь и народ на них позарился)В моём варианте можно функцию определения веса поменять на логарифмическую, чтобы подбавить веса.

Я все еще считаю, что в этом нет смысла на данный момент, потому что инцидентов нет.

инцидентов нет

Не надо гипотетических ситуаций.

«Не надо гипотетических ситуаций.» — это первый шаг к «по ходу разберёмся», не считаешь?
Хотел, кстати, уточнить(для пущей остроты =), что тот первый — это ты

Я уже сколько твержу, что надо держать баланс. Невозможно правилами запрограммировать конкурс, чтобы оргу оставалось просто сидеть на диване. И не нужно полностью пускать все на самотек (потому что твоя гипотетическая ситуация по сути и есть «по ходу [при подсчете] разберёмся»).
Я искренне не вижу смысла говнокодить в системе подсчета ради ситуации, которая вряд ли возникнет (я никогда и нигде не видел такой ситуации).
И даже если вдруг человек не до конца оценил игры, ему можно указать на это. Но я не вижу смысла дальше разбирать ситуацию, которой еще нет.

Касательно ЧОКИ — те 2 оценки из 7 не влияли на финальную таблицу, поэтому фиолетово на них, можешь сделать вид, что их не было. 5 из 7 — допустимо, потому что вкидывать игры через неделю (тем более через две) после окончания — тоже некоторое свинство.

Хотел, кстати, уточнить (для пущей остроты =), что тот первый — это ты

Где?

Я уже сколько твержу, что надо держать баланс.

Согласен

Невозможно правилами запрограммировать конкурс, чтобы оргу оставалось просто сидеть на диване.

Тоже согласен, но я этого, вроде бы, и не предлагал

не вижу смысла говнокодить

А всё же заморочился (правда, там было больше мороки с проставлением оценок)Из любопытства забил туда результаты 3ОКИ и долго не мог въехать, почему ВаХА на первом месте =/Хотел, кстати, сравнить с твоей альтернативной версией итогов, но ссылка вела не на тогдашнюю, а на нынешнюю =/

И даже если вдруг человек не до конца оценил игры, ему можно указать на это.

На что он может ответить, «а я ебал не хочу»

Где?

в примере с распределением количества оценок

А всё же заморочился

Люто веселит, что ты половину ветки распинался о пустующих оценках у судей (и не надо Каскету ставить 86%, не станет же он свое оценивать?), но при этом посчитал их нулями при вычислении финальных оценок и влетел в косяк ВОКИ. А еще нормализация у тебя какая-то странная.

На что он может ответить, «а я ебал не хочу»

Ну и мы тоже не хотим учитывать его оценки.

в примере с распределением количества оценок

Прилинкуй комментарий. Я не издеваюсь, я серьезно не помню.

У нас в этот раз, кстати, два неполных комплекта (причём, хоть один, но вообще не полный) было из семи. Как раз семи оценок не хватило, но с перекрытием. gawk и ruslan из-за этого по две оценки не получили =/

Проблема оценок в том что их почти нет. Омегалул
Основная доля тех кто поставил оценки — сами участники. И если в LD такая схема работает, т.к. он не явления традиционным конкурсом, а мотивацией хоть что-нибудь сделать (само название намекает), то ОКИ позиционирует себя как серьезный конкурс с оценками и призами, и такая схема больше похоже на очень плохую шутку.
Кроме участников, мало кому есть дело до ОКИ, т.к. имхо не всем нравиться играть в недоделанные игры, большую часть которых сделали на хюнити/ауе4 и кроме почти рабочего огрызка кода они ничем не выделяются.

Ну, во-первых, оценивали и не дошедшие участники. А во-вторых, тех, кто разбирается в том, что делает и регулярно выставляет полный комплект оценок, человека три наберётся — чем тебе не классическое жюри конкурса + особое мнение заезжих присяжных?)

Здесь нужно со стороны организатора обеспечить огласку и набрать народа. Конкретно в ЧОКИ ситуация осложнялась крайне скверной ситуацией с готовыми играми.

обеспечить огласку

SIC! А её в этот раз не было от слова вообще. И если раньше конкурс каждую неделю светился, то в это раз — голова-туловище-жопа

И сколько внимания привлекал полупостой пост? Или были люди которые фанатели с крутых абзацев в духе: «чёт сделал, а чёт не сделал» и в лучшем случае скриншот по которому понятно что ничего не понятно.

Ну так-то можно полистать блог да посмотреть, я вот одиннадцать только отдельных постов с оценками к ТОКИ насчитал, глубже копнуть пока не могу — не с руки. Опять же, хоть какая-то движуха в информационном пространстве, постоянное мельтешение в ленте — лучше, чем отсутствие в информационном пространстве, всплытие раз в месяц не в счёт — не сравнимо это.

Пока конкурсов ОКИ не проводили доллар стоил 30рубасов. Совпадение? Не думаю.
Может не будет вертеть статистику на всех возможных местах?

1) Я уж точно и не упомню, но вроде в ТОКИ была нормальная система оценивания, когда игры просто ранжировались по N-бальной системе, просто и понятно.
2) Ваще пофиг, вородор никогда на призовые даже не расчитывал.

3) Неплохо было бы ввести более строгие правила, в смысле что бы сразу было понятно чё-как, а не «ТЫ ОПОЗДАЛ С ЕЖЕДНЕВНЫМ ГЕЙМДЭВ ОТЧЁТОМ — МИНУС СТОПИЦОТ БАЛЛОВ ГРИФФИНДОРУ».
4) Да вроде забавный такой конкурс, звёзд конечно с неба не хватает, да и с аудиторией как-то бедновато, но пока вроде в трэш ещё не скатился.
5) Я бы провёл Черезвычайно Полный Обнимашек Конкурс Игростроения.

А что же организатора не спрашиваешь, у тоже хочу ответить)))
1) Так за все 4 конкурса так и не была выявлена нормальная система оценки. Почему? Да потому что в любом случае, появляется энное количество недовольных и понятно, что угодить всем не получится. Поэтому в ЧОКИ я решил вернуться к, по моему мнению, самому успешному конкурсу, то есть второму. Но видно зря…
2) Видимо он не нужен и зря я его вводил…
3) Посмотри на ТОКИ. Там было всё очень подробно, да и ты со мной работал над этим. И как по мне, конкурс прошёл не совсем удачно…
4) А вот на этот вопрос я хочу написать ОЧЕНЬ подробно. Как я вижу на данный момент, плюсов вообще мало осталось. Изначально задумывалось как, «Вот заделаю я конкурс, люди будут делать игры и будет во что поиграть. А когда они начнут, то потом будут такие классные вещи делать, что можно будет и на все эти новинки не обращать внимания.» Но к моему задору никто там и не приблизился. Вот сколько проектов ОКИ дошло до своей полной версии? Насколько я помню, 0. Да и вообще, мотивация проходит почти сразу, что и у меня почти убило желание это всё продолжать. Ну уже пытаюсь и строго и максимально свободно, и чтобы никого не обидеть и всё как об стенку горохом. Вот приводил кто-то, извиняюсь, не помню кто а искать лень, про двухдневный Dare какойто, где всё намного лучше и вообще там единороги скачут. Вот чем ОКИ отличается от него, кроме срока?
5) Да Селестии ради, проводите. Главное, чтобы играли делались. Может просто дело во мне и поэтому игры не делаются. Если получится, буду только рад передать права на проект и уйду на покой)))

Вот приводил кто-то, извиняюсь, не помню кто а искать лень, про двухдневный Dare какойто, где всё намного лучше и вообще там единороги скачут. Вот чем ОКИ отличается от него, кроме срока?

Тем что он проводится не на табуне, где сидит сотня понелюбов и полтора программиста, а на специализированном сайте где сидит почти 300 тысяч людей занимающихся разработкой видеоигр???

Будь ты проклят, капитан очевидность(((

1)Ну, как раз из-за того, что из-за разности важности отдельных элементов от игры к игре стоит оставить просто одну оценку по нной шкале. А голосующие уже сами разберуться, как её высчитывать.
2)Приятное дополнение, которое для некоторых может перерасти в цель, благодаря которой они не дропнут проект на полпути. Чисто за интерес я быстрее угасну, чем за какой-либо приз, ибо всё же мелочь (или не мелочь :\), а приятно :D
3)Нужна максимальная чёткость… и всё. Чтобы условия были сразу понятны.
4)В этот раз до конца дошло мало проектов. Это минус. Плюсы… Я не могу выявить плюсы, т.к. не следил за предыдущими конкурсами :\ Для меня и за этим было интересно следить, на самом деле.
5)А толку? Я тут ноунейм :D Стал бы участвовать при наличии хотя бы трёх участников, а то будет как-то практически не интересно.

6) Как сейчас норм, кому некогда — просто не участвует. Если вообще народа не наскребается, можно пропустить.
7) Больше — лучше. Мы не LD, где достаточно геймплея, еще надо игру как-то к цветным лошадям присобачить, то есть всякий контент и прочая.
8) Если того желает сам автор.
9) Не вижу, но тогда нужен строгий дедлайн, а не как сейчас.

А тут вопрос, а что именно ты считаешь по твоим вопросам. Задал определённые вопросы — молодец. Но и дай свою версию ответов. Ну а я и тут праздник испорчу:
6) Неважно, чтобы участники просто были готовы.
7) Я всё-ещё остаюсь при мнении, что 3 месяца — это идеал для такого конкурса. Почему? Да потому больше времени на то, чтобы сделать не демку, а полноценную игру, плюс время на проверку этой самой игры.
8) Если учатники считают, что эти «недоделки» достойны конкурса, то почему не включать.
9) А в чём смысл их допускать? Тут такой вопрос. Хоспади, регистрация длится месяц, МЕСЯЦ. Кто захотел зарегистрироваться, тот зарегистрировался. Остальные были либо неуверены в своих силах, либо сомневаются в подобной конкурсе. В любом случае, кто хочет делать игры, зарегится в сроки, остальные могут идти лесом, по понятным причинам…

9) На самом деле можно попросту пропустить даже этот чертов месяц, особенно если нечасто заходить на табун (и особенно с текущим уровнем огласки). Точно помню, что кто-то сразу не успел.