この記事はあやしいネットワーク関連 Advent Calendar 2018の6日目の記事です https://adventar.org/calendars/3098
Luminati
ざっくり説明するとHola VPNユーザのネットワークを勝手に使って提供するProxyサービスです。これを住居用(Residential)、モバイル(3G,4G,LTE)のIPアドレスが使えるためクローラにブロックされないということをウリにしており、1GBあたり12.5$と強気な価格設定で企業を対象に提供しているようです
Luminatiを試してみる
アカウント登録して適当に使っているとなぜか日本人のサポート担当が付いてました。
Residential IPとMobileは月額最低500$から、と高額なため格安のDatacenterのIPを購入します データ伝送量課金か、固定IPベースか選べます
データ伝送量課金は20,000IPがローテーションで使えるみたいですが1GBあたり0.5$と高額です。 一方でPay per IPはデータ伝送量無制限で50IPで一か月50$で使い放題です。これはProxyプロバイダの標準的な価格です(1IP=1$) またCountryも選べます。Japanは10,000強IPがあるようです。
購入して試してみると、上位ネットワークはM247 Ltdっぽいです
% This is the RIPE Database query service. % The objects are in RPSL format. % % The RIPE Database is subject to Terms and Conditions. % See http://www.ripe.net/db/support/db-terms-conditions.pdf % Information related to '176.105.248.0 - 176.105.251.255' % Abuse contact for '176.105.248.0 - 176.105.251.255' is 'abuse@hostwagon.com' inetnum: 176.105.248.0 - 176.105.251.255 netname: US-HOSTWAGON2-20181015 country: JP org: ORG-HL185-RIPE admin-c: OH1789-RIPE tech-c: OH1789-RIPE mnt-routes: GLOBALAXS-MNT status: ALLOCATED PA mnt-by: RIPE-NCC-HM-MNT mnt-by: us-hostwagon-1-mnt created: 2018-10-15T11:43:27Z last-modified: 2018-10-17T08:24:10Z source: RIPE organisation: ORG-HL185-RIPE org-name: Host Wagon LLC org-type: LIR address: 8259 riverside station blvd address: 07094 address: Secaucus address: UNITED STATES e-mail: support@hostwagon.com admin-c: OH1789-RIPE tech-c: OH1789-RIPE abuse-c: AR48703-RIPE mnt-ref: us-hostwagon-1-mnt mnt-by: RIPE-NCC-HM-MNT mnt-by: us-hostwagon-1-mnt created: 2018-10-11T20:03:52Z last-modified: 2018-10-16T11:16:02Z source: RIPE phone: +1-307-313-3090 person: Owen Hain address: 8259 riverside station blvd address: 07094 address: Secaucus address: UNITED STATES phone: +1-307-313-3090 nic-hdl: OH1789-RIPE mnt-by: us-hostwagon-1-mnt created: 2018-10-11T20:03:52Z last-modified: 2018-10-11T20:03:52Z source: RIPE
さて、購入したIPで色々とテストしていたのですが頻繁に500番台のエラーが出る。テスト先が悪いわけでもなく、どうテストしてもProxyのネットワークでコケている模様。
どう考えてもDatacenterのIPは安定するはずですが、担当者はResidential IPに変更すると改善するかもしれないという意味不明なことを言い出したため契約解除しました Residential/Mobile IPってHola VPNユーザのネットワークを勝手に使っているわけですからね。改善するどころか悪化するでしょう
このサービスは使えないわけではありませんが、ネットワークの品質が悪すぎるうえ安くはないのでResidentialとMobile以外は利用する価値なさそうです。
そして、日本の担当者はResidentialのIPアドレスの使用を強く薦めてくるが、Skypeで通話をして審査をする必要があるとのこと。
やはりこればかりは、日本のOCNやらフレッツやらのコンシューマ向けISPネットワークでサイバー犯罪に悪用されてしまう可能性があるからでしょうか。審査があるとのことで少し安心しました。が、勝手にユーザのネットワークを使用しているのは問題であり、審査があろうともいくらでもごまかせるわけで悪用されると誤認逮捕に繋がりかねないサービスです。さすがにこのサービスを経由されると、どうあがいてもクローラー対策とかは無理でMaxMindとかのFraud判定サービスとかでも無力となってしまう気がします。
クラウド家計簿サービスなどはコンシューマ向けのIPアドレスでスクレイピングが必要で、このようなサービスを使用していると思われます。
倫理的にも、法律面でもグレーな気がします。が、このサービスを使う日本企業が増えているとのことでした