Article
Kaggle ROGII参加記:銅メダル(ソロ)
ROGII - Wellbore Geology Predictionで最終429位になった解法を振り返る。
目次
kaggleのwriteupsKaggleの解法記事も書きましたが、慣れない英語で書いているので、こちらでは日本語で書き直したいと思います。基本的には同じ内容ですが、少し加筆・調整しています。
Kaggleの「ROGII - Wellbore Geology Prediction」に参加し、最終順位は6,125人中429位でした。最終提出時のPublic順位は3,581位だったので、Privateでは3,152位上がったことになります。正直、上がる自信はありましたが、ここまで上がるとは思っていませんでした。ドメインが気になる内容で勉強の気持ちが強い状態で参加していたのでメダルを取れたことはラッキーでした。
| 評価 | スコア | 順位 |
|---|---|---|
| 最終提出時のPublic | 10.021 | 3,581 / 6,125 |
| 最終結果のPrivate | 8.861 | 429 / 6,125 |
どんな予測課題だったか
課題は、水平坑井の値が分かっている区間から、その先のTVTを予測することです。入力には、坑井の軌道、GRログ、既知区間のTVT、対応するtypewellが含まれていました。
最初は、これらを特徴量にしてTVTを直接回帰すればよいように見えました。ただ、TVTには坑井の軌道から分かる成分と、未知の地質構造による成分が混ざっています。
そこで、まず軌道で説明できる成分を取り除きました。次に、既知区間とtypewellから地質上の現在位置を推定し、残る地質の違いを近隣坑井の情報で控えめに補正しました。この分解が、最終解法の基礎になっています。
終了2週間前に、Publicを追う方針を変えた
序盤は、単純な特徴量と一般的な勾配ブースティングモデルを中心に試していました。しかし、行ごとの特徴量だけでは、同じ坑井内の離れた区間どうしの関係を十分に捉えられず、予測区間の先へ進むほど誤差が大きくなりました。
坑井ごとにサンプル数が大きく違うことも難しさの一つです。似た地質構造を通っていても、座標や軌道、ログの見え方は異なります。近隣坑井を使えば改善しそうですが、検証時に本来使えない情報まで参照すると、成績を実力以上に良く見積もってしまいます。
Publicテストの構造に合わせた補正も魅力的に見えました。ただし、Privateでも同じ情報を使える保証はありません。Public固有の補正や、固定のPublic IDに依存する処理は最終候補から外しました。
終了の約2週間前には、新しく公開されるNotebookを追うのをやめました。それ以降は、手元で再現できるCVとOOFを判断の軸にしました。
候補を採用する際は、坑井単位のOOF/CVが改善するかを確認しました。foldの割り当てを変えても改善の傾向が安定し、空間的に区切った領域や難しい坑井群で大きく悪化しないことも条件です。Privateでも同じ情報だけで計算できるかを含めて判断しました。
CodexとKaggle CLIの使い方
開発では主にCodex 5.6 Sol Low or Midiumを使い、Kaggle CLIの使用も許可していました。すると、こちらの方針に反して、Publicに合わせて調整したように見える公開Notebookの手法を取り込もうとすることがありました。 そのたびに、ローカルでの再評価を求めました。Publicスコアが良くても、CVを計算し直して、その時点のベースラインと比較するまでは採用しませんでした。コンペを進めながらハーネスの整備に勤しみました。
TVTを直接予測せず、軌道の影響を分ける
最初に手応えを得たのは、TVTそのものではなく、坑井の軌道による影響を取り除いた残差に相当する量を予測する方法でした。
既知区間の末端にあるTVTを基準点にし、予測区間の鉛直方向の変化は既知として扱います。こうすると、モデルが軌道由来の基本的な傾向を学び直さずに済み、地質構造がその先でどう続くかに集中できます。
この上に、複数の系列モデルと行単位のモデルの予測を組み合わせる凸ブレンドを構築しました。各モデルのスコアだけでなく、OOFの残差どうしの相関も確認し、似た誤りをする候補を減らしました。
近隣坑井からは、絶対値ではなく差分を使う
最終解法で加えたのは、近隣坑井の地質の変化を使う小さな補正です。
参照坑井のEGFDUを絶対値のまま移すと、その坑井固有のずれまで予測に持ち込んでしまいます。そこで、参照坑井ごとに次の差分を求めました。
アンカー差分 = EGFDU(予測対象の位置) - EGFDU(基準点の位置)
この差分を取ると、参照坑井に一定のずれがあっても相殺され、基準点から予測区間へ向かう地質の変化を残せます。
さらに、評価対象の坑井と同じ検証foldに属する坑井は参照から除外しました。OOF評価と実際の推論で、使える情報の制約をそろえるためです。解法名の「Fold-Safe」は、この扱いを指しています。
参照する坑井は、予測対象の位置と基準点の両方に近いものに限定しました。予測対象には近くても、基準点から遠い坑井が同じ地質構造を共有しているとは限らないためです。
差分は距離に応じた重み付き平均で集約しました。補正が極端にならないよう、ブレンドの重みは少数の固定候補から選び、坑井ごとにモデルを切り替える処理は使いませんでした。
v8から最終版までの検証結果
v8以降は、複雑な候補を追加する前に、ベースラインとは異なる情報を得られるかを確認しました。代表的な開発段階の結果は次のとおりです。RMSEは小さいほど良い値ですが、評価環境やfold構成が異なる値を厳密に比較することはできません。
| 段階 | 主な変更 | ローカルOOF/CV RMSE | 判断 |
|---|---|---|---|
| v8 | 凸ブレンドによるベースライン | 9.9775 | 以降の比較の基準に採用 |
| v10 | 基準値・傾き・終端値への分解と外れ値への対処 | 9.7436 | 比較用の候補として維持 |
| v15 | foldを考慮したtrellisのブレンド | 9.9247 | v10を上回らず不採用 |
| v16 | 同じfoldの参照を除いたEGFDUのアンカー差分 | 9.7080 | 最終提出に採用 |
v15のtrellisは独立した情報を加えられそうに見えましたが、ブレンドしてもベースラインを上回りませんでした。v16では、坑井固有のずれを差分で相殺し、同じfoldの参照坑井も除外しました。その結果、v8と比べてOOF RMSEが0.2695改善しました。
坑井単位の5分割で確認したこと
v16では坑井単位で5つのfoldに分け、各foldの評価時に同じfoldの参照坑井を除外しました。
| fold | 差分の重み | 差分のカバー率 | ベースラインRMSE | ブレンド後RMSE |
|---|---|---|---|---|
| 0 | 0.20 | 94.45% | 9.4786 | 9.7967 |
| 1 | 0.10 | 99.58% | 9.9697 | 9.3832 |
| 2 | 0.20 | 97.02% | 10.5729 | 10.2768 |
| 3 | 0.20 | 100.00% | 10.3808 | 9.9933 |
| 4 | 0.20 | 99.61% | 9.4331 | 9.0397 |
| 全体 | 0.20 | 98.13% | 9.9775 | 9.7080 |
全体では改善しましたが、fold 0では悪化しています。すべてのfoldで良くなる補正ではありません。重みを0.1〜0.2に抑えることで、地質の補正が不確かな場合に大きく外すのを避けました。
一つのfoldで出た最良値だけでは判断しませんでした。foldの割り当てを変えても改善の傾向が保たれるか、参照情報のカバー率は十分かも確認しています。近隣情報をシャッフルした負の対照とも比べ、実際の差分情報を使う意味があるかを調べました。
提出履歴では、PublicとPrivateの評価が分かれた
Kaggle CLIで取得した履歴から、主な提出を抜き出した表です。スコアが返らなかった提出は省いています。Publicは提出時点で分かる値ですが、Privateが分かったのはコンペ終了後です。
| 提出日 | 提出内容 | Public | Private |
|---|---|---|---|
| 2026-07-15 | CVベースライン候補 | 15.883 | 14.488 |
| 2026-07-19 | v6 residual anchor | 10.248 | 9.729 |
| 2026-07-19 | v7 medal-bias meta | 10.050 | 9.341 |
| 2026-07-20 | v8 control-first trend wall | 9.989 | 9.434 |
| 2026-07-21 | v12 direct | 10.022 | 9.710 |
| 2026-07-21 | v13 neural spline | 10.098 | 9.576 |
| 2026-07-21 | v14 DTW/NCC/PF/GBDT | 10.590 | 9.594 |
| 2026-07-25 | v9 pseudo-typewell PF | 10.106 | 9.149 |
| 2026-07-25 | v10 datum/slope/rescue | 9.648 | 9.122 |
| 2026-07-25 | v11 datum feature | 9.977 | 9.422 |
| 2026-08-01 | v16 Fold-Safe Delta Blend | 10.021 | 8.861 |
Publicで最も良かったのはv10の9.648でした。一方、Privateで最も良かったのは最終版v16の8.861です。
Publicだけを見ると、v16はv10より悪く見えます。それでも、ローカルで確認したfold間の情報分離と、Privateでも同じ処理を再現できることを優先しました。結果として、この判断はPrivateでも良い成績につながりました。
最終提出の処理
最終提出では、まず既知区間とtypewellから坑井の地質上の位置を推定します。次に、複数の系列モデルと行単位のモデルを凸ブレンドで組み合わせます。
そこへ、同じfoldの参照を除いて計算した近隣坑井のEGFDUアンカー差分を、小さな重みで加えます。推定した地質上の位置からTVTへ戻すことで、出力と坑井の軌道との物理的な関係を保ちます。
試したものの、採用しなかった手法
OOFで良く見えた候補でも、最終提出には使わなかったものがあります。
Publicテストに固有の固定補正
PublicのIDと、Publicテストと重複するラベルを使った補正では、診断上かなり良い数値が出ました。しかし、同じラベルをPrivateでも使える保証はなかったため、最終提出から除外しました。
坑井ごとのモデル選択
坑井ごとに最良の候補を選ぶ方法も試しました。学習データ内では魅力的に見えましたが、親となる坑井をfold間で分離すると不安定になりました。最終版では、すべての坑井に共通する小さな重みのブレンドに絞っています。
trellisを大きな重みで混ぜる方法
GRとtypewellの位置合わせに基づくtrellisは、物理的に解釈できる候補でした。ただし、重みを大きくすると誤差が増えました。解釈しやすさだけで重みを決めず、残差の相関とfoldごとの結果を確認しました。
よく似た差分補正の追加
複数の地層面から差分を作ると、候補の数は増えます。しかし、ほぼ完全に相関するものもあり、独立した情報は増えていませんでした。補正を重ねる前に、候補どうしの重複を確認しました。
今回学んだことと、次に改善したいこと
一番の学びは、近隣情報を使うこと自体よりも、どんな差分として使い、どのfoldの参照を許すかが結果を左右するということでした。
近隣坑井は役立ちますが、絶対値を移すと坑井固有のずれまで持ち込みます。同じfoldの坑井を参照すれば、検証結果も楽観的になります。アンカー差分とfoldの分離を組み合わせたのは、この二つに対処するためでした。
OOFが最良の候補をそのまま提出するのではなく、複数foldや空間的な分割でも改善するか、難しい坑井を大きく悪化させないかを確認しました。シャッフルした情報との比較と、Privateでの再現性も判断材料です。こうした検証を重ねたことで、Publicでの改善が最終評価にもつながりそうかを考えられるようになりました。
一方で、公開Notebookへの警戒を強めすぎた反省もあります。Publicへの過適合を避けようとして、有用なアイデアまで取りこぼしてしまいました。
Working Note Awardの期間を含め、コンペ中に参考になる解法記事を読めたのは幸運でした。コードをそのまま追うのではなく、記事に書かれた考え方と検証結果を読み、自分の処理に組み込める部分を取り入れました。次は、公開情報から他のデータにも通用しそうな仮説を取り出し、自分のCV/OOFで確かめる力をもっとつけたいです。