自前でポケカのカード検索のデータベース作ろうとしたら色々面倒だった

トレーナーズウェブサイトのカード検索

https://www.pokemon-card.com/card-search/

が使いづらいので、私用のデータベースを作ることにしました(作業中です)。
(私的利用を目的として作成しているので、完成しても外部への公開はしません)

公式のカード検索の不満な点として、
・ページの再読み込みで検索結果が消えてしまう
・条件を付ける際にAND検索かOR検索か選んで検索できない
・「特性をもつ」ポケモンや「ポケモンGX」は条件として選べるのに、「特性をもたない」や「ポケモンV・GXでない」は条件として選べない
・画像で表示されるため、通信環境が良くないと検索結果が出ても表示に時間がかかる

といったところがありました。

トレーナーズウェブサイトから既に意見は送っていますが、自分で作った方が早そうだったので、作ることにしました。

おおざっぱな手順としては、
1.カード詳細ページのhtmlから必要な情報を取得する(カード名とか)
2.データベースに流し込めるようにデータの体裁を整える　←現在作業中
3.データを流し込み、データベースの完成

ですが、
1の段階で色々面倒(主にカード検索ページの仕様)なところがあったので、後進のためにここに書き残しておきます。

・カード詳細ページのURLが連続じゃない

カード詳細ページのURL中には、基本的に発売された順で数字が割り振られています。
例：ザシアンV

https://www.pokemon-card.com/card-search/details.php/card/37656/regu/XY

スタンダードレギュレーションなのにここでXYが入っているのはさておき、この数字は商品の発売、プロモカードの発表された順に割り振られており、後から発売したものの方が数字が大きくなっていくのですが、ところどころで途切れています。
例えば、

https://www.pokemon-card.com/card-search/details.php/card/35935/regu/XY

はブースターGX、シャワーズGX、サンダースGXのスターターセットに収録されているリーリエの詳細ページですが、次の商品であるタッグボルトの最初のカードは

https://www.pokemon-card.com/card-search/details.php/card/35945/regu/XY

と35935から35945まで数字が飛んでおり、この間の数字のカード詳細ページは存在しません(この間の数字のURLを直接入力するとカード検索ページに飛びます)。
数字の飛びはここ以外にもぽつぽつ存在しており、カードの情報を取得する際このことの把握と確認にかなり時間を費やされました。

・内容がおかしなカード詳細ページが存在している
カード名は合っているのに、内容がおかしな詳細ページが存在しています。
例えば、「なぞの化石」について、
と、ミラクルツインで収録されたものの詳細ページ

https://www.pokemon-card.com/card-search/details.php/card/36830/regu/XY

では、本来「グッズ」と書かれるべきところが「トレーナー」と書かれています(禁断の光に収録されたものの詳細ページ

https://www.pokemon-card.com/card-search/details.php/card/34752/regu/XY

では正しく「グッズ」となっています)。

また、ジュカインGX(TAG TEAM GX タッグオールスターズ収録)の詳細ページ

https://www.pokemon-card.com/card-search/details.php/card/37214/regu/XY

では、ポケモンGXがきぜつした際の説明文の前に、わざのエネルギーなしのマークが入っており、検索した際にこれが引っかかるようになってしまっています。

他にも、
・URL中の数字は正確にはカード検索ページに追加された順なので、ブイズスターターからタッグボルトまでの間にXY時代のポケモンEXや、レギュレーションマークAのポケモンGX,サポートのSRカードの詳細ページが含まれている
・タイプを表すアイコンが画像のため、テキストだけでなくアイコンのクラス名も取得する必要がある(テキストだけ取得するとタイプのところが
・レギュレーションマーク(B,Cとか)の情報がhtml内にない(カード画像のみ)
・ウルトラビーストかどうかを表す情報がhtml内にない(カード画像のみ)(プリズムスターは名前のところにspan class="pcg pcg-prismstar"と、クラス名が入っている)

といったことがありました。
先駆者が見つからなかったのでこの辺のことを把握しつつ解決するのは自分の力になりましたが、もうやりたくないです……

自分と同じことをしようとしている方にこれが助けになれば幸いです。