Следует ли так уж полагаться на этот рейтинг? ============================================================== Предлагаемое Вашему вниманию письмо - первое в серии писем, необходимость в которых, как нам кажется, стала очевидной. Как и последующие, оно вызвано к жизни пониманием того, что ситуация с рейтингом стала совершенно неудовлетворительной. Преамбула. ------------ Все, написанное ниже, можно полностью или частично цитировать на иных листах. В то же время автор предупреждает заранее, что не намерен втягиваться в дискуссию, в том числе на листе рейтинга, и особенно - с Максимом Сидоровым, который просто делает то, что ему хочется и кажется правильным. Я придерживаюсь совершенно иных взглядов на то, как должен быть устроен рейтинг и как его следует исчислять и поддерживать. Тому же Сидорову я говорил о них не раз. Появление этих писем - следствие того, что распространяется информация о готовящейся замене текущей рейтинг-систему на некую новую. Боюсь, что она опять будет устроена так, как кажется правильным и удобным Сидорову. :((( В предлагаемых материалах я постараюсь ответить на вопрос, чем плох нынешний рейтинг и как можно было бы устроить его по-иному. Еще раз подчеркну, что не буду участвовать ни в какой дискуссии, но на личные конкретные письма могу ответить лично или публично. --------------------------------------------------------- Часть 1. Чем же плохо то, что есть? ----------------------------------- Нынешний рейтинг (именуемый "физтеховский" и поддерживаемый группой энтузиастов в лице Дениса Мамонтова и Максима Сидорова - далее ГЭ) имеет целый ряд серьезных недостатков как концептуального, так и организационного характера. Остановимся на них подробнее. 1. Необоснованная сложность математического аппарата. Безусловно, любая рейтинговая формула содержит в себе элемент волюнтаризма. Как и любая формула подведения итогов вообще. Можно спорить о том, какая формула адекватнее в том или ином случае (и о том, что это значит - "адекватнее"), но не вызывает сомнений то, что при прочих равных формула не должна быть слишком сложной. Адекватность выбора экспоненциальных функций, да еще с обилием всевозможных "поправочных коэффициентов", также выбранных весьма случайным и прихотливым образом (причем небольшое изменение их приводит к резкому изменению результата), производит весьма странное впечатление. 2. Непрозрачность. Как ни странно, саранский рейтинг критиковался ГЭ именно за непрозрачность, выражавшуюся в том, что результаты турниров не публиковались, регистрировались лишь изменения рейтинга. Что ж, как мы теперь видим, непрозрачность может быть и иной природы. Сложность расчетов, требуемых для вычисления нынешнего рейтинга, оказалась куда более эффективным барьером для прозрачности. Зная свои баллы по итогам конкретных турниров, команда еще может с грехом пополам посчитать, сколько она в итоге получит рейтинга по итогам некоего периода, но вот рассчитать эти самые баллы - задача поистину для проворных математиков, да еще и обладающих мощной базой. Естественно, решение этой задачи становится прерогативой ГЭ - со всеми вытекающими отсюда последствиями, как-то: фактической непроверяемостью и отсутствием наглядности. 3. Отсутствие наглядности. Из-за сложной, малопонятной формулы и громоздкости расчетов, основанных на трудоемких преобразованиях большого массива информации, команда, закончив турнир, зачастую не может даже понять, выиграла она в рейтинге после этого выступления или проиграла. Это усугубляется и тем, что изменение рейтинга зависит не только от выступления команды, но и от того, результаты каких турниров из ее прошлой истории выпадают отныне прочь из рейтингового учета. 4. Неаддитивность. Идея аддитивного рейтинга выглядит настолько привлекательной и реализуется в иных областях настолько часто, что до сих пор непонятно, во имя чего ГЭ от нее отказалась. Смысл аддитивного рейтинга - в том, что по окончании очередного турнира для каждой команды рассчитывается некая прибавка к ее рейтингу по итогам выступления в данном турнире (она может быть как положительной, так и отрицательной), так что новый рейтинг оказывается суммой предыдущего рейтинга и этой прибавки. Если правила вычисления этой прибавки окажутся достаточно просты, то для команды не составит никакого труда понять, успешным было ее выступление или не очень, а сам рейтинг становится вполне прозрачным и наглядным. Эти цели мне представляются настолько важными, что я полагаю допустимым даже и то, что такой рейтинг, возможно, будет не столь гибок и более прямолинеен. Кстати, возможно, это даже и неплохо. Рейтинг - не очень точный инструмент. 5. Сумбурность и гигантомания. Отсутствие стимула для команд, не относящихся к лидирующей группе. Рейтинг-лист, публикуемый ГЭ, содержит не одну сотню команд. Положа руку на сердце, много ли радости испытает команда от того, что в очередном рейтинге она переместилась, скажем, с 458-го места на 418-е? А ведь это - довольно большой скачок, не так ли? Причина всего этого - в том, что рейтинг рассчитывается "чохом", сразу для всех. И места в турнире тоже учитываются единообразно. Мне представляется, что в этом кроется серьезнейшая методологическая, концептуальная ошибка. Представьте себе ситуацию, когда в некоем турнире играет штук десять элитных команд, а остальные - фактически любительские, не претендующие на то, чтобы занять первые места. Фактически мы имеем здесь два подтурнира на одних и тех же вопросах: в одном гранды бьются между собой, во втором - играет низшая лига, для представителя которой занять 11-е место - уже победа в своем классе. Ну, а если удастся потеснить кого-то из грандов - победа вдвойне. Нынешний рейтинг этого никак не учитывает. Выход - в декомпозиции рейтинга, позволяющей разложить "мухи отдельно, котлеты - отдельно". Параллельно у команд из середины и хвоста нынешнего рейтинг-листа появится возможность бороться за высокие места "в своем классе", что окажет должное стимулирующее действие. Кстати, и сам расчет рейтинга станет проще и понятнее. 6. Различные зачеты. Нынешний рейтинг весьма странно решает вопрос о том, как именно учесть результаты турнира, если в нем использованы различные зачеты. Хорошим примером может служить, скажем, Кубок Губернатора в СПб. В нем есть предварительный тур (отдельно для питерцев и приезжих) и финал. Ясно, что это разные этапы, так что, коль скоро команда участвовала в обоих - она показала два разных результата и ОБА следует учесть. Если за прекрасной игрой в отборе последовал провал в финале, почему этот провал хранители рейтинга склонны прощать? Всякое лыко должно вписываться в строку, провал столь же судьбоносен и информативен, как и успех. А как быть с турниром, в котором финал проходит "с гандикапом", т.е. в нем команды стартуют, уже имея некий бонус, начисленный в зависимости от результата предыдущих этапов (например, как в Великих Луках)? На выбор - либо вообще не учитывать этот финал для рейтинга, либо (что правильнее), обсчитывать результаты, показанные без учета гандикапа (но и тут команды, выбывшие "по пути", учесть не удастся). Пусть это будет для организаторов таких вычурных схем неким предупреждением. Несколько по-иному обстоит дело в том случае, когда на одном и том же пакете проводятся несколько _одновременных_ зачетов. Типичным примером может служить Кубок России, на котором в Москве проводился одновременно очный турнир "Moscow open". Здесь выбор для рейтинга лишь одного (лучшего в этом смысле) результата - вполне оправдан. То же относится и к многотуровым соревнованиям, проводимым с большими интервалами между турами и с подведением итогов по отдельным турам. Например, это Суперлига, Кубок 16 или тот же ГРАН-ПРИ Москвы. Рейтинг - вещь сиюминутная, турнир, длящийся в течение года, плохо отражает динамику его изменения. В этой связи логично считать отдельные туры (коль скоро их результаты подводятся отдельно, как в ГРАН-ПРИ Москвы, где по итогам туров начисляются специальные баллы и победитель определяется не по общему количеству взятых вопросов, а по сумме этих баллов в течение года) просто отдельными (в смысле исчисления рейтинга) подтурнирами. Это и технически проще и методологически понятнее. Другое дело - обычный большой двух- или однодневный турнир, где разделение на туры чисто техническое. Здесь можно считать, что сила команды от тура к туру примерно постоянна, и считать общие результаты. 7. Дополнительные критерии. Очень крупный недостаток нынешнего рейтинга - стремление учесть всевозможные (обычно совершенно случайные) вторичные показатели, при посредстве которых устроители турниров пытаются избежать дележа мест. Цели устроителей турниров можно понять и порой даже оправдать, но цели рейтинга вовсе с этими целями не совпадают. Если две команды набрали в турнире одинаковое количество очков - значит, они сыграли одинаково. Дальнейшее их "искусственное" разведение имеет смысл для турнира, но не для рейтинга. 8. Полное отсутствие истории. Нынешний рейтинг открыто декларирует, что учитывает турниры, проведенные лишь в течение последнего года. Возникает парадоксальная ситуация: команда отлично сыграла в течение трех месяцев, а рейтинг ее упал. Почему? Выпали из рассмотрения успешные выступления прошлого года. А почему, собственно? Понятно, что с течением времени вес прошлых достижений может снижаться, но почему так резко, до нуля? 9. Опора именно на энтузиазм. В отличие от предыдущих недостатков, этот носит чисто организационный характер. Итак, ГЭ, опираясь на собственные силы, совершенно бескорыстно начинает вести большую, очень большую работу. Низкий им поклон? Да. Но не все так просто и однозначно. Со временем становится ясно, что ГЭ считает в свете этого своим естественным правом вести эту работу так, как она считает нужным, а критику и замечания просто игнорировать. Действительно! Они же - Хранители! Так и хочется добавить: лорды-хранители! В общем, и с этим можно было согласиться - до тех пор пока эта работа являлась их личным делом. Не нравится, дескать, - ну, и не ешь. Но теперь ситуация меняется. На основании этого рейтинга планируются важные выводы. А лорды-хранители, проникнувшись сознанием своей важности, нужности и незаменимости, потихоньку начинают, помимо своей основной, регистрационной деятельности, давать инструкции и указания по совсем иным вопросам. И это никак не контролируется. Очень похоже на "Обыкновенное чудо". Был там такой министр-администратор. Если этот рейтинг МАК собирается сделать официальным, то следует, наконец, открыто сказать, что он не должен опираться на энтузиазм, а должен - на профессионализм. И за ним должен быть контроль, чтобы никаких самовольных решений его хранитель не предпринимал. Ибо оный Хранитель - просто хранитель, регистратор, а вовсе не Хозяин и не Властелин. См. Толкиена, он хорошо разграничил эти понятия. ;-) Хранитель - важная должность, но роль его - чисто техническая. И, ей-богу, следует подумать над тем, чтобы эту функцию исполнял не энтузиаст, с которого и спросить-то толком невозможно, а специалист. Специально приглашенный специалист, пардон за тавтологию. Безусловно, эта работа должна и как-то оплачиваться; так что если иных источников финансирования нет, можно ввести и специальный "рейтинговый сбор". Он не будет слишком большим. Есть и иные пути - об этом в следующий раз. Продолжение следует. С уважением, Анатолий Белкин