篝火#6のシーディングは波乱を招いたといえるのか
2022/01/18 追記
アユハ氏が統計学的見地から篝火#6で波乱が起きたのかを追加検証してくださいました。
アユハ氏の分析によると篝火#6で波乱が起きたとは言い切れませんが、「シードの正確性を増すために多くの大会結果データを参照すべき」という本記事の主張は間違ってもいないと考えられるため、本記事はこのまま残します。
2022/01/17 追記
SPRとUFの定義がPG Statsの定義と異なるものとなっていたので、修正しました
はじめに
篝火#6では直前に発表されたシードが順当ではないのではないかという意見がTwitter上で散見されました。その後、前日になってコロナの感染拡大によりキャンセルする人が続出し、シードの議論は下火になりました。しかし、今後も大会は開催されるため、今一度シードの妥当性について検討する必要があると考え、本記事を執筆しました。
断り書き
本記事はあくまでシードの妥当性を検討するものであって、特定のプレイヤーを貶めたりするような意図は一切ございません。実際のデータを使っている関係上、個人プレイヤー名が登場しますが、それらはシードの妥当性を示すためだけの意図しかないことをご承知おきください。
シードの計算方法について
本記事は篝火#6のシードが妥当であったかを検証する記事ですので、どのようにシーディングが行われていたのかという知識が前提となります。
スマブラ大会 篝火のシーディング｜P- @p_ddd_ #note https://t.co/HyMPU3lL03
— Pー@ (@p_ddd_) 2021年12月10日
上記記事を先に読んでいただくようにお願いいたします。
波乱は歓迎されないのか
みなさんは大会で波乱が起こるほうが良いとお考えでしょうか？一般に「判官びいき」という言葉があるほど、番狂わせ（波乱）を好む人々はいます。
ただ考えてみると、波乱には歓迎されるものと歓迎されないものがあります。実力が低いと見なされていたプレイヤーが良いプレイをして番狂わせを起こすことはまったくもって歓迎されます。逆にプレイヤーがコントロールできる外側、例えばシード順が不適切な場合は歓迎できません。アユハ氏もこの点を鋭く指摘しています。
「波乱が見たいから1回戦で強豪同士が当たって欲しい」「だからシード割当は無い方が良い」と言う方もいらっしゃるのですが、
— Ayuha Nakamura/アユハ (@ayuha167) 2021年12月6日
その1大会だけを見れば面白いものの、長期的にランキングが重要な競技で続けると「勝っても強いか分からない」世界が出来てしまい、競技全体の信頼が損なわれます。
篝火#6で、このシード順の不正確さによるアップセット（番狂わせ）が起きてたかを検討するのが本記事の趣旨となります*1。
どうやって波乱かどうかを示すか
まずプレイヤーが波乱（意外）な結果に終わったかを検討し、それを大会全体で検討することによって、大会自体が波乱だったかを検討します。そして波乱だった場合、シード順が影響していたのかを考察します。
単純計算の問題
プレイヤーが意外な結果に終わったかどうかは、そのシードと結果の順位を比較することで分かります。しかし、単純に引き算をするわけにはいきません。なぜなら、シード1のプレイヤーがベスト32（25th）に終わると-24となり、シード65のプレイヤーがベスト128(97th）に終わると-32となりますが、前者の方が波乱であると見なすべきだからです。
Seed Performance Rating (SPR)
そこで、PG Statsが公開しているSeed Performance Ratingという概念を導入します。
これを計算するには、Losers Rounds from Victory (LRV) という概念が必要になります。LRVを端的に説明すると、勝利から何ラウンドの位置の順位かを計算するものです。例えば、2位の選手はあと1つ勝利すれば優勝だったので1、5位の選手はLQF/LSF/LF/GFの4つを勝てば優勝だったので4となります。順位に対して計算したLRVをplacement LRV (pLRV) と本記事では呼称します。
同様に、シードに対しても計算することができ、こちらは seed LRV (sLRV)と呼びます。pLRVとsLRVの差（pLRV - SLRV）がSPRとなり、プレイヤーの躍進・不振度を測定できます。
Upset Factor (UF)
後に登場するので先に説明しておきます。UFは試合の勝者と敗者それぞれのsLRVの差です。敗者のsLRVが勝者のsLRVより大きいほど、大きなアップセットが起きたと考えられます。
大会全体での波乱度
人間は大きな出来事ほど記憶に残りやすい印象がありますので、僅かな波乱を比較することはあまり意味がありません。そこで今回は、大きな躍進（SPR>>0）と大きな不振（SPR<<0）に該当する上位数プレイヤーを抽出し、検討します。特にシード下位の比較的に知名度の低いプレイヤーが勝ったことよりも、シード上位の知名度が高いプレイヤーが負けたことのほうが、人々の印象に残りやすいと考えられます。そのため、大きな不振を中心に検討します。
プレイヤーのグルーピング
ここで、これから先の検討をしやすくするために、プレイヤーを以下のように分けておきます。
- 最上位プレイヤー（最上位勢） 32あるプールにおいてどのようにシードを考えても間違いなく第一シードと考えられるシードTOP16に割り当てられているプレイヤー
- 上位プレイヤー（上位勢） 32あるプールにおいて第四シードまでに割り当てられているTOP17〜128のプレイヤー
- 一般プレイヤー（一般勢） それ以外の参加プレイヤー*2
最上位プレイヤーは大きな躍進は起きづらく、一般プレイヤーは大きな不振は起きづらいです。そのため、上位プレイヤーが一番シードの影響を受けると考えられます。
篝火#6は過去大会に比べて波乱だったのか？
まず、SPRが-4以下の、大きな不振を篝火#6について確認してみましょう。
このデータだけだと分かりづらいので、過去の篝火#4,#5と比較してみます*3。
これらのデータから、篝火#6では黄色の行で表されている最上位勢の不振が多く*4、それを詳しく分析することで大会全体が波乱傾向にあったことを示せそうです。
逆に、上位勢の不振は少なく、上位勢のシードに割り当てられたプレイヤーたちは一般勢よりも強かったと言えそうです。「おばすまOFT#1」や「HSTSP extend 2021」などの遠征勢が少なかった大会の結果がシードに色濃く反映されていることについて様々な意見が飛び交いましたが、そこで上位の結果を残した人が上位勢に相当するシードに割り当てられていたことはある程度の妥当性があると考えられます*5*6。
最上位勢の不振を大会ごとに比較してみましょう。シード1〜16のプレイヤー（DQは除く）の平均SPRを計算しました。
確認すると、3大会の中では篝火#6が一番波乱だったことがわかります*7。
波乱をもたらしたのはなにか？
波乱（不振）の要因を細かく分析するために、篝火#6で大きな不振となった最上位勢すべてのマッチアップを確認します。
上から、より大きくシードをひっくり返した順番になっています。
ここで「※後述」がポイントとなります。これは、勝者側のプレイヤーが、篝火#6から過去半年間に出場した、smash.ggで開催された大会の数です。色分けしているように、これがシーディングのルールとなる3大会よりも少ないプレイヤーがより大きなアップセットを起こしています*8。
つまり、機械的なシーディングにおいて、その元となるデータが少ないことが波乱を演出したと考えられます。
よりよいシーディングをするために
最後に、篝火#6で大きな躍進をしたプレイヤーたちを見ながら、今後のシーディングの改善案を考えていきましょう。
ここで注目していただきたいのは、オムアツ選手とシッショー選手です。結果論だけで言えば、この表のすべてのプレイヤーはもっとシードが高くあるべきだったのですが、この２選手については事前にもう少し考慮することができました*9。
それは彼らがsmash.ggによるコミュニティ大会が開催されていない、中国地方と九州地方の在住だという点です。同様に大きなアップセットを起こした選手のうち、Munekin選手とあしも選手が同じ条件を満たす中国地方と四国地方に在住しています*10。
これらの地域に住む篝火出場を検討している選手は、各地域の大会運営にsmash.ggを利用してもらうことをお願いしたほうがよさそうです。また、もしその実現が難しい場合は、篝火スタッフはこれらの地域の大会結果を手入力でも反映したほうが望ましいと考えられます*11。
結論
結論としては、
- 今回のシードによって波乱は起こった
- シードが高すぎる選手がいたことによる波乱はほとんど起きなかった
- シードが低すぎる選手がいたことによる波乱が起きた
- 上記を踏まえると、どれだけ多くの大会結果データを得られるかが肝要
となります。長文を最後までお読みいただき、ありがとうございました。
*1:ただし、もし篝火が強さ順よりも優先したい別のコンセプトによってシードを決めたいならば、今回の記事は的はずれな部分があります。例えば、マエスマTOPではオンラインとオフラインの架け橋というコンセプトがあるため、オフ大会の結果のみで単純にシードを決めていないと思われます
*2:そもそも篝火に参加しようと考えている時点である程度の実力があると思われますが、強豪プレイヤーと呼ぶと分かりづらいので今回は一般プレイヤーとします
*3:篝火#3以前は参加人数が少なすぎたため割愛します
*4:人数だけだと僅かな差ですが、SPRの値自体もより小さいものとなっています
*5:この傾向は海外でも同様であり、最上位勢がほとんど参加しなかった「Hold The Line」という大会で優勝したZombaはご存知のとおり、その後SWTで大活躍しました
*6:ただし、DQが多く予選抜けしやすかったことが影響しているかもしれませんので、次の大会でも注視する必要があります
*7:3大会とも負の値になっていますが、そもそもシードが高い選手のみを抜き出しているので躍進が起きづらいことは断っておきます
*8:さらにLea選手の3大会には参加人数に対してレベルが非常に高いSWT東アジア予選とSWTチャンピオンシップが含まれます
*9:それ以外の選手については、初出場だったり長らく大会で成績が振るわなかったりした選手ですので、どうあっても高いシードにすることは難しく、歓迎すべき躍進であったと考えられます
*10:ただし、あしも選手は遠征を積極的に行っていたため、目立って参加大会数は少なくありませんでした
*11:しかし、私もJJPRという自動計算のランキングを作っている立場上、手入力での集計、特に同一人物確認が非常に面倒なことは理解しています