# 取得禁止サイト規範ライブラリ（blocked_sites.md）

このファイルは、`scraper_kit` が実行の**最初**に読み込む規範ライブラリです。
取得先のドメインが下の表に該当すると、**ネットワーク通信を行う前に**停止して理由を表示します。

- 区分「禁止」… 取得先の公式表示（規約・robots.txt 等）で自動収集が明示的に禁止されているサイト。**設定では解除できません。**
- 区分「要確認」… 自動収集の可否が規約上はっきり確認できていない／公式 API の利用が前提になっているサイト。
  初期状態では停止します。使用者が規約を確認したうえで、設定ファイルの `review_confirmations` に
  確認者・確認日・メモを記録した場合に限り、記録付きで実行を許可します（実行ログにも残ります）。

> ⚠️ このリストは「既知の代表例」です。**網羅的ではなく、法的な適合を保証するものでもありません。**
> 表にないサイトでも、規約・robots.txt を確認するのは使用者の責任です（robots.txt の確認は本ツールが自動で行います）。
> 行を追加・編集するだけで、プログラムの修正なしに反映されます（ドメインは小文字、サブドメインも自動で対象）。

| ドメイン | 区分 | 理由 | 根拠 | 確認日 |
|---|---|---|---|---|
| instagram.com | 禁止 | 書面許可のない自動化手段によるデータ収集を禁止する旨の公式表示 | https://www.instagram.com/robots.txt 冒頭の Notice（原文確認） | 2026-11-03 |
| facebook.com | 禁止 | 同上（Meta Automated Data Collection Terms） | https://www.facebook.com/robots.txt 冒頭の Notice（原文確認） | 2026-11-03 |
| linkedin.com | 禁止 | 事前の明示的許可のないロボット等によるアクセスを禁止する旨の公式表示 | https://www.linkedin.com/robots.txt 冒頭の Notice（原文確認） | 2026-11-03 |
| x.com | 禁止 | 事前の書面同意のないクロール・スクレイピングを利用規約で禁止（2023-09 改定） | 利用規約 https://x.com/tos ／ 報道 https://techcrunch.com/2023/09/08/x-updates-its-terms-to-ban-crawling-and-scraping （報道で確認。規約原文は未確認） | 2026-11-03 |
| twitter.com | 禁止 | x.com と同一サービス | 上記 x.com に同じ | 2026-11-03 |
| amazon.co.jp | 要確認 | 公式の商品情報 API（Product Advertising API 等）の利用が前提。ご利用条件の該当条文は取得できず未確認 | https://www.amazon.co.jp/gp/help/customer/display.html?nodeId=GLSBYFE9MGKKQXXM （確認時 503 で閲覧不可） | 2026-11-03 |
| rakuten.co.jp | 要確認 | 公式 API（楽天ウェブサービス）が提供されている。規約上の自動収集の扱いは未確認 | https://webservice.rakuten.co.jp/ | 2026-11-03 |
| mercari.com | 要確認 | 規約・ガイドに自動収集の明文は確認できず（未確認）。私的利用を超える取得は要確認 | https://jp.mercari.com/terms （確認時 404） | 2026-11-03 |
| tabelog.com | 要確認 | 利用規約に「複写・複製」「運営の妨げ」「営利目的の利用」等の禁止があり、自動取得が該当し得る（クローラーの明文なし） | https://tabelog.com/help/rules/ 第6条・第9条 | 2026-11-03 |
| shopping.yahoo.co.jp | 要確認 | 公式の商品検索 API（Yahoo!ショッピング Web API）が提供されている。規約上の扱いは未確認 | https://developer.yahoo.co.jp/ | 2026-11-03 |
| google.com | 要確認 | 検索結果ページ（/search）は robots.txt で取得不可。Google の規約は自動化クエリを制限 | https://www.google.com/robots.txt | 2026-11-03 |
| lancers.jp | 要確認 | 他社プラットフォーム。サイト内の情報は利用規約・ガイドライン上の取り扱いを確認してから | https://www.lancers.jp/robots.txt | 2026-11-03 |
| crowdworks.jp | 要確認 | 同上 | https://crowdworks.jp/robots.txt | 2026-11-03 |

## 更新のしかた

1. 行を 1 つ追加する（`| ドメイン | 区分 | 理由 | 根拠 | 確認日 |` の 5 列）。
2. 根拠には、確認した公式ページの URL と、確認できた範囲（原文確認／報道のみ／未確認）を必ず書く。
3. 確認できなかったものを「禁止」と書かない。分からない場合は「要確認」にする。