[Формула расчета шансов на победу / Chance to win formula]

[seriych 2,178]

 

 

Т.е. границы полезности 30% и 70%? А почему именно такие?

нет, границы полезности в моей оценке - это 0 и 1, оценка дается по значению функции нормального распределения в зависимости от отклонения от реального результата боя, плюс сначала пересчитываю предсказания всех сравниваемых формул так, чтобы они давали одинаковые среднеквадратичные отклонения.

 

 

Что-нить в таком духе не рассчитывалось?

Да. Распределение прогнозов близко к нормальному.

 

 

Я просто хочу понять, есть ли какая-то разница между, к примеру, шансом 30% и 40%.

Да.

[neverexist 0]

нет, границы полезности в моей оценке - это 0 и 1, оценка дается по значению функции нормального распределения в зависимости от отклонения от реального результата боя, плюс сначала пересчитываю предсказания всех сравниваемых формул так, чтобы они давали одинаковые среднеквадратичные отклонения.

Ну вы сами писали: "шанс предсказанный формулой высокий (30%, 70%)" - с какого значения шанс можно считать высоким?

И на счет функции нормального распределения: да, стандартное распределение - это с матожиданием 0 и отклонением 1. Можно подробнее как вы его применяете к результатам боя?

Да. Распределение прогнозов близко к нормальному.

Оно и должно быть близко к нормальному, это понятно. Если бы было отклонение, то подтвердился бы заговор "почему олени всегда только в зеленой команде??!!!111"

меня больше интересует, на сколько совпадают предсказания и реальные результаты боя. Т.е. речь идет не о распределении, а о корреляции. Просто хотелось бы увидить такой график для наглядности.

[seriych 2,178]

 

 

 с какого значения шанс можно считать высоким?

 С какого хочешь.

 

 

стандартное распределение - это с матожиданием 0 и отклонением 1

Я использую не стандартное нормальное распределение, а нормальное распределение, где матожидание и отклонения могут быть любыми. Отклонение я задаю сам и перед оценкой привожу прогноз всех сравниваемых формул к этому отклонению.

 

 

Оно и должно быть близко к нормальному

В идеале оно нифига не должно быть нормальным. В идеале формула дает прогнозы только 0% и 100% и всегда угадывает.

 

 

Если бы было отклонение, то подтвердился бы заговор "почему олени всегда только в зеленой команде?

Это никак не зависит от вида распределения прогнозов. Любая адекватная функция прогноза будет давать в точности противоположные относительно 50% прогнозы, если ее посчитать за своих или за врагов.

Кстати, выборка по 750 боям нерепрезентативна, так как собиралась по логам отдельных пользователей и их скилл естественно выше среднего и процент побед в данной выборке заметно выше, чем поражений. Но это я тоже учитываю в своей оценке: предварительно я в случайном порядке меняю прогноз(и реальный итог) на обратный и привожу соотношение побед/поражений к 1/1.

 

 

Т.е. речь идет не о распределении, а о корреляции.

Корреляцию тут другой пользователь считал выше в теме.

 

 

хотелось бы увидить такой график для наглядности.

Не совсем понял, какой именно график нужен, как его строить?

 

 

Можно подробнее как вы его применяете к результатам боя?

Вот с чего всё началось:

http://www.koreanrandom.com/forum/topic/2598-формула-расчета-шансов-на-победу-chance-to-win-formula/?p=33419

и к чему пришло:

http://www.koreanrandom.com/forum/topic/2598-формула-расчета-шансов-на-победу-chance-to-win-formula/?p=34553

[neverexist 0]

С какого хочешь.

Нет, так нельзя. Это сводит на нет всю полезность формулы. Должна быть экспертная оценка, основанная на реальных боях, которая показывает, начиная с какого значения шанса на него можно полагаться.

 

В идеале оно нифига не должно быть нормальным. В идеале формула дает прогнозы только 0% и 100% и всегда угадывает.

Теперь понятно, мы говорим о разных вещах. Я говорил о распределении вероятности победы, которую нам даёт ВБР и балансер. При честной игре это распределение будет нормальным с максимумом в 50% (если не считать ничьих). Т.е. речь не о формуле. Вы говорите о распределении значений выдаваемых формулой.

 

Корреляцию тут другой пользователь считал выше в теме.

Да, я посмотрел расчеты, сделанные @antey007. Очень толково. Жаль что он полгода не появлялся в этой теме. По его оценке 3 из 4 формул работают не лучше подбрасывания монетки. Какой смысл в этих всех математических выкладках, если мы тычем пальцем в небо?

 

Не совсем понял, какой именно график нужен, как его строить?

Я же подписал: По горизонтали - шанс посчитанный xvm-ом, по вертикали - реальные бои. 

Нужна только достаточно большая выборка из xvm-stat.log, хотя бы несколько тысяч боёв.

Выбираем бои с предсказанным шансом 5%, считаем соотношение win/lose, потом для 6% и т.д.

Хотя лучше брать диапазонами 5%-10%, 10%-15%.

Я думаю при хорошей формуле график будет монотонно растущим с двумя резкими подъемами.

Средняя формула даст тоже растущий график, но более пологий.

Формула на уровне "бросание монетки" даст график стремящийся к горизонтальной линии(при увеличении выборки)

Достаточно простая оценка на мой взгляд. И всё наглядно без сложной математики.

[seriych 2,178]

 

 

начиная с какого значения шанса на него можно полагаться.

Ты хочешь знать, начиная с какого процента предсказания вероятность ошибки ниже какой-то константы? От выбора этой константы зависит ответ.

 

 

Я говорил о распределении вероятности победы, которую нам даёт ВБР и балансер.

Что значит "вероятности победы, которую нам даёт ВБР и балансер"? Мы никогда не узнаем истинную вероятность победы в бою. Даже примерно.

 

 

Вы говорите о распределении значений выдаваемых формулой.

Естественно. Потому что распределение значений, выдаваемых итогами боев и так понятно- это 0, 0.5 и 1.

 

 

По его оценке 3 из 4 формул работают не лучше подбрасывания монетки. Какой смысл в этих всех математических выкладках, если мы тычем пальцем в небо?

Как бы без этих выкладок мы бы этого не узнали. Для этого они и нужны. И насколько я помню, там он сначала накосячил где-то и потом нормально посчитал. Потом перечитаю, как оно было.

 

 

По горизонтали - шанс посчитанный xvm-ом, по вертикали - реальные бои. 

У нас выборка 750 боев, получится пилообразный график вверх-вниз, из которого ничего не понятно.

 

 

Хотя лучше брать диапазонами 5%-10%, 10%-15%.

Так можно попробовать.

Только я всё равно не понял, реальные бои- это просто количество боев, в которых такой шанс показала формула, без учета итога боя? Дак я уже писал- распределение близко к нормальному. А если что-то другое имеешь в виду- напиши точно, что по какой оси откладывать. И судя по всему ты именно что-то другое и имеешь в виду, ибо остальные твои слова в противном случае неверны.

[neverexist 0]

Ты хочешь знать, начиная с какого процента предсказания вероятность ошибки ниже какой-то константы? От выбора этой константы зависит ответ.

Да, я это понимаю, но ответ не только от константы зависит. Конкретный пример - я выхожу в бой, вижу шанс на победу 27%. Исходя из личного опыта(первое допущение) я считаю что это гарантированный слив. Т.е. я округлил до 0%. В результате - да, слив. Потом несколько боёв с шансом 47%, их пропускаем. Опять бой с шансом 28%, снова поражение. Скажем из 20 сливов я один раз ошибся (второе допущение). Такая точность меня устраивает. Имеем два параметра, взятых из личного опыта. А хотелось бы из общесерверной статистики.

 

Что значит "вероятности победы, которую нам даёт ВБР и балансер"? Мы никогда не узнаем истинную вероятность победы в бою. Даже примерно.

Не узнаем, но хочется верить что балансер дает всем равные шансы.

 

У нас выборка 750 боев, получится пилообразный график вверх-вниз, из которого ничего не понятно.

получится или получился? Хотелось бы проверить. У меня есть выборка только из 70 боёв, не очень репрезентативная.

 

Так можно попробовать.

Только я всё равно не понял, реальные бои- это просто количество боев, в которых такой шанс показала формула, без учета итога боя? Дак я уже писал- распределение близко к нормальному. А если что-то другое имеешь в виду- напиши точно, что по какой оси откладывать. И судя по всему ты именно что-то другое и имеешь в виду, ибо остальные твои слова в противном случае неверны.

алгоритм следующий

1. Имеем лог(упрощенно):

chance:49 results: win

chance:29 results: lose

chance:40 results: win

chance:39 results: lose

chance:59 results: lose

chance:44 results: lose

chance:69 results: win

...

chance:49 results: win

2. Группируем по диапазонам:

chance:05-10: wincount: 0, losecount: 4; ratio(wincount/(wincount+losecount)): 0

chance:10-15: wincount: 1, losecount: 10; ratio: 0.09

chance:15-20: wincount: 3, losecount: 15; ratio: 0.17

chance:20-25: wincount: 2, losecount: 13; ratio: 0.13

chance:25-30: wincount: 3, losecount: 24; ratio: 0.11

...

chance:90-95: wincount: 3, losecount: 0; ratio: 1

Получили 18 значений

3. Рисуем график: по х - chancegroup, по y - ratio

[seriych 2,178]

 

 

хочется верить что балансер дает всем равные шансы

Не знаю, как там с ВБР, но вероятность победить у всех разная, ибо сам игрок является частью боя, и если он играет ниже среднего, то шанс победы его команды в среднем ниже, чем если мы возьмем игрока, который играет выше среднего.

 

 

алгоритм следующий

сделаю

[neverexist 0]

Не знаю, как там с ВБР, но вероятность победить у всех разная, ибо сам игрок является частью боя, и если он играет ниже среднего, то шанс победы его команды в среднем ниже, чем если мы возьмем игрока, который играет выше среднего.

Ну мы же не знаем как балансер устроен. Может игрок играет ниже среднего, то балансер в команду противника закинет тоже игрока "ниже среднего". А может и нет. Ну гадать думаю не стоит.

[seriych 2,178]

Рисуем график: по х - chancegroup, по y - ratio

 

[neverexist 0]

ratio.png

Круто!

А бои с шансами 5-20 реально все проигрышные или их просто нет?

Я думал в районе 50% вырисуется горизонтальная "полочка", а её нет

может диапазон 40-60 разбить мельче, чем 5%?

[seriych 2,178]

А бои с шансами 5-20 реально все проигрышные или их просто нет?

Вне диапазона 20-80% Один неправильно угаданный бой из 36

Распределение прогнозов:

может диапазон 40-60 разбить мельче, чем 5%

Статистики маловато, график скачет, но вроде нету полки

@TurinDeNar,

Кстати, из текущей формулы растягивающий коэффициент 1,5 не убрали? А то прогнозы больно редко заметно отклоняются от 40-60%

[TurinDeNar 576]

@TurinDeNar,

Кстати, из текущей формулы растягивающий коэффициент 1,5 не убрали? А то прогнозы больно редко заметно отклоняются от 40-60%

Не, не убирали. 1,5 и есть.

Но можем в принципе еще чутка растянуть до каких 1,8-2,0 скажем.

не...2,0 это уже многовато будет

Не знаю, толи я нашел но вроде вот этот коэффициент в текущей реализации в моде. 

var p = Math.max(0.05, Math.min(0.95, (0.5 + (Ea / (Ea + Ee) - 0.5) * 1.5))) * 100;

http://wot-xvm.googlecode.com/svn-history/r2159/trunk/src/xvm/src/com/xvm/Chance.as

Edited July 31, 2013 by TurinDeNar

[seriych 2,178]

 

 

Но можем в принципе еще чутка растянуть до каких 1,8-2,0 скажем.

С моей точки зрения среднеквадратичное отклонение должно быть s=16,667%. Тогда точки 50%+-s будут делить промежуток 0-100% на равные диапазоны по 33.33%. Коэффициент 1,8 в этом случае надо сделать.

Но честно говоря уверенность в правильности такого отклонения скорее интуитивная, нежели чем-то логически объяснимая.

[neverexist 0]

Вот теперь по графикам видно, можно делать выводы:

- даже если формула предсказывает 35% шанс, не стоит опускать руки, и вполне реально вытащить бой. А если 30% и меньше - можно плакать.

- даже 55% победы говорят о существенном преимуществе нашей команды.

- даже на предельных значениях формула может ошибиться, хоть и редко, и при 80% прогнозе можно проиграть (т.е. 100% гарантии нет вообще)

И повод задуматься о том, что бОльшая часть боёв будет в диапазоне 40-65%, где формула предсказывает очень приблизительно. И значит ли это, что балансер пытается раскидать оленей одинаково по обеим командам.

----

А действительно ли дело в растягивающем коэффициенте? Если команды на самом деле так подбираются, чтоб шанс был близкий к 50%, то какой смысл растягивать?

Edited July 31, 2013 by neverexist

[TurinDeNar 576]

С моей точки зрения среднеквадратичное отклонение должно быть s=16,667%. Тогда точки 50%+-s будут делить промежуток 0-100% на равные диапазоны по 33.33%. Коэффициент 1,8 в этом случае надо сделать.

Но честно говоря уверенность в правильности такого отклонения скорее интуитивная, нежели чем-то логически объяснимая.

Окейно тогда, давай попросим Макса сделать 1,8. Хуже точно не сделаем:) а диапазон немного растянем.  

Но с другой стороны на расчетных значениях 40-60% не сильно то оно и растянется по сравнению с 1,5:) 

Edited July 31, 2013 by TurinDeNar

[seriych 2,178]

 

 

Если команды на самом деле так подбираются, чтоб шанс был близкий к 50%

 

Ты умеешь определять, какой в реальности шанс? Поделись умением.

Может на самом деле в каждом бою всё предрешено на 99%, но мы не знаем формулы.

[neverexist 0]

Ты умеешь определять, какой в реальности шанс? Поделись умением.

Может на самом деле в каждом бою всё предрешено на 99%, но мы не знаем формулы.

Я разве говорил что умею? Я хочу сказать, что немного странно, что по официальным данным балансер просто накидывает в обе команды приблизительно равносильную технику, не учитывая скил игроков вообще. Но при этом по формуле которая учитывает игроков мы тоже имеем приблизительно равносильные команды. Почему так выходит?

[seriych 2,178]

Потому что в командах по 15 игроков

[neverexist 0]

Типа закон больших чисел - если особо не стараться и брать всех игроков подряд, то чаще команды будут получаться почти равные?

[seriych 2,178]

@neverexist, да, естественно.