
WaybackMachineあるいはインターネットアーカイブと呼ばれている、過去のウェブページを参照できる電子図書館に登録されていた場合、リンク切れで苦労することはないと思いつき、AIが学習対象とする懸念あれど、おすすめできる状況とわかった件
GeminiでDeepResearchを実行する頻度をあげて、出典確認の自動化に関する調査の前置、後置プロンプトを改良して、なるべく固定したワークフローを固めたいので、関連するネタを探したら、ありました!
WaybackMachineという日本ではあまりきかないですが、一度アカウントを作って、そこに保存したいURLを書き込めば、ほぼ恒久的にそのウェブページを残せるというウェブページ特化の電子図書館的な存在です。世界中から登録されているので、これを引用していいなら、出典付けでリンク切れになっていても、後からWaybackMachineに登録されている内容を探して、過去にはこういうウェブページがこの内容で存在したという引用の仕方ができるか、と考えたわけです💦
……が、その引用の仕方にも長々としたベストプラクティスが存在しては、実際問題として、決定的な引用形式は定められておらず、近年ではAIの学習データ収集への懸念もでていて、状況に応じて引用の仕方を自分で決める、ということのようです。現時点では非営利であるにも関わらず収益の多角化にも成功していて、登録される内容が狭くなる恐れはありますが一度登録されるとた大多数の内容がAGIが実現するまで維持され続けると思われるため、どうしても過去のウェブページの内容がわからなくて困ったら、使っていい、というか、ぜひ使うべき方法と言えると思われます🙇
今回については、DeepResearchの結論は安全性を優先するので過剰に慎重すぎると思われ、人間さまwの場合には、引用として記す本人がこの仕組みをある程度知っておけば、たぶん、人間並みの知性をもったAGIが登場するまで、状況はほぼ変わらないでしょう。
インターネット・アーカイブおよびWayback Machineにおけるデジタル証拠の妥当性と証拠能力に関する調査報告
デジタル情報の揮発性とアーカイブの歴史的必然性
ワールド・ワイド・ウェブの黎明期において、デジタル情報は紙媒体のような物理的実体を持たず、極めて揮発性の高いメディアとして認識されていた。ウェブページは平均して75日から100日程度の寿命しか持たず、情報の更新やサーバーの閉鎖によって、重要な歴史的証拠が恒久的に失われるリスクが常に存在していた [1]。この「デジタルの忘却」に対抗するため、1996年にブリュースター・ケールによって設立されたのがインターネット・アーカイブ(Internet Archive)である [2]。
インターネット・アーカイブの創設は、ケールが同時に設立した営利目的のウェブクローリング企業であるAlexa Internet社の技術的基盤と密接に関連している [2]。1996年5月にInternet Explorerのダウンロードページが保存されたのを皮切りに、同組織は「すべての知識への普遍的なアクセス」を掲げ、急速に拡大するインターネットの断片を体系的に収集し始めた [2]。当初は収集されたデータの公開には至っていなかったが、2001年にWayback Machineが一般公開されたことで、過去のウェブサイトを特定の時点(スナップショット)で閲覧することが可能となり、デジタル・フォレンジックや歴史学、法実務における「過去の記録」としての地位を確立した [2]。
今日、Wayback Machineは1兆ページを超えるウェブページを保存しており、99ペタバイト以上のユニークなデータを保持する巨大なデジタル・ライブラリへと成長している [3]。この膨大なアーカイブは、もはや単なる過去のミラーサイトではなく、デジタル化された人類の文化遺産としての性質を帯びている [3]。
物理的インフラストラクチャと階層型ストレージの運用形態
インターネット・アーカイブの運用を支える技術的根幹は、コスト効率とデータ密度を極限まで追求した自社設計のハードウェア群にある。膨大なデータを維持しながら非営利組織としての予算制約を克服するため、同組織は商用クラウドサービスに依存せず、独自のストレージ階層(Tiering)を構築している [7]。
SSD・HDD・LTSによる階層化ストレージ戦略
2025年時点におけるインターネット・アーカイブのインフラは、アクセスの迅速性と長期保存の経済性を両立させるため、SSD、HDD、そしてLTS(長期ストレージ)を組み合わせた高度な階層化が行われている [10]。
SSDは主に、ペタバイト級のデータから特定のURLやタイムスタンプを即座に特定するためのインデックス層(LuceneやSolrを用いた検索基盤)において、その高速な読み書き性能を発揮している [14]。一方、データの実体は「PetaBox」と呼ばれるカスタムサーバーに格納されており、2025年の最新世代では1ラックあたり約360台以上の8TBから22TBのHDDが稼働している [7]。
さらに、アクセスの極めて少ない、あるいは歴史的に極めて重要なデータ(LTS)については、中央集権的なストレージのリスクを回避するため、Filecoinネットワークなどの分散型ウェブ技術への統合が進められている [7]。これにより、万が一サンフランシスコのデータセンターが物理的に損壊した場合でも、データの整合性と永続性が保証される構造となっている [7]。
物理的設計と経済的合理性
サンフランシスコのリッチモンド地区に位置するデータセンターは、同地の冷涼な海霧を利用した外気冷却システムを採用しており、従来の空調設備にかかる膨大な電気代を削減している [8]。この設計上の工夫により、限られた運営予算を電力コストではなく、ハードドライブの新規購入(年間約25%のストレージ増加に対応)に充当することが可能となっている [8]。
運営資金の構成と非営利モデルの透明性
インターネット・アーカイブは米国税法501(c)(3)に基づく非営利図書館であり、その財務状況は公開されたフォーム990によって高い透明性が維持されている [2]。
主要な収益源の分析
同組織の年間予算は約2,500万ドルから3,700万ドル程度であり、多角的な収益モデルによって支えられている [2]。
特筆すべきは、Archive-Itというサブスクリプションサービスの存在である。これは1,250以上の機関に対し、独自のクローリングとアーカイブ管理機能を提供するもので、年間数百万ドルの収益を生み出し、一般公開されているWayback Machineの運営費用を実質的に補助(クロス・サブシダイズ)している [3]。また、近年では「Vault」と呼ばれる一括前払い型の永久保存サービスも開始されており、データ保存の「寄付型モデル」を強化している [7]。
ユーザー属性と検索・保存精度の相関
Wayback Machineの利用において、ログインユーザーと非ログインユーザー(ゲスト)との間には、提供される機能とデータの精度に明確な差異が存在する。
ログインユーザーの優位性
アカウントを作成しログインした状態で「Save Page Now (SPN)」機能を利用すると、単なるHTMLの保存を超えた高度なキャプチャが可能になる [23]。
ビジュアル・エビデンスの強化: ログインユーザーがページを保存すると、システムのクローラーはHTMLソースコードのアーカイブと同時に、その時点でのレンダリング結果をスクリーンショット(画像)として保存する [23]。これは、JavaScriptの実行結果によって見た目が大きく変わる現代の動的なウェブサイトにおいて、視覚的な証拠能力を飛躍的に高める要素となる。
メタデータの付与とギャラリー管理: 保存されたページは、ユーザー自身の「My web archive」という公開ギャラリーに自動的に登録され、後からの参照や組織的な管理が容易になる [23]。
高品質な要素キャプチャ: ログイン状態でのリクエストは、匿名リクエストよりもクローリングの優先度や要素(画像、CSS、JS)の取得範囲において、より高精度な処理が行われる傾向にある [17]。
一方、非ログインでの利用は、IPアドレスの記録を行わない完全な匿名性が保証される反面、複雑な動的コンテンツの再現においてはログイン利用に劣る場合がある [22]。
AI学習に関連する直近の動向と「バックドア」としての論争
2020年代半ば、生成AIの急速な普及に伴い、インターネット・アーカイブは「AI学習データの宝庫」としての側面と、それに伴う法的・技術的な摩擦の最前線に立たされている。
C4データセットとアーカイブのプレゼンス
Googleが開発した「Colossal Clean Crawled Corpus (C4)」データセットの分析によれば、Wayback Machineのドメイン(web.archive.org)は、1,500万ドメイン中で187位に位置するほど頻繁に利用されている [27]。これは、GoogleのT5やMetaのLlamaなどの大規模言語モデル(LLM)が、インターネット・アーカイブを通じて間接的にウェブ全体を学習していることを意味する [27]。
パブリッシャーによる回避とブロックの加速
ニュースメディアやパブリッシャーは、AI企業による直接的なクローリングをrobots.txtで制限しているが、インターネット・アーカイブがコンテンツを保存し、そのAPIを公開していることが、AI企業にとっての「バックドア(迂回経路)」になっているとの批判が強まっている [27]。
インターネット・アーカイブ自体は、2025年初頭時点でも自サイトのrobots.txtにおいて「責任を持ってクロールしてください」という開放的な姿勢を維持しているが、このオープンさがコンテンツホルダーとの訴訟リスクやサーバー負荷の増大(2023年にはAI企業のリクエスト過多により一時ダウン)を招いている [27]。
保存内容の恒久性の程度と削除条件の変遷
Wayback Machineに一度登録された内容が、どの程度の期間、どのような条件下で維持されるかは、アーカイブの信頼性を評価する上で極めて重要である。
恒久性の維持:技術的・法的側面
データの恒久性は、物理的な「ペア・ストレージ」による二重化(ia60...とia80...のように別拠点のノードに同一スロットでミラーリング)によって担保されている [29]。また、2025年にインターネット・アーカイブが米国連邦寄託図書館(Federal Depository Library)に指定されたことで、政府刊行物の保存については法律に基づいた公的な保護を受ける立場となった [15]。
登録内容が削除・制限される条件
歴史的に、インターネット・アーカイブはサイト所有者によるrobots.txtの設置を「遡及的削除」の合図として受け入れていたが、現在はより厳格かつマニュアルなプロセスへと移行している [6]。
明示的な除外リクエスト: 現在は、robots.txtを設置しただけでは過去のアーカイブは自動消去されない。info@archive.org宛てに所有権を証明した上での除外リクエストが必要であり、その後のチームによる審査を経て削除が決定される [6]。
法的判決と著作権侵害: 2023年の出版社訴訟(Hachette対Internet Archive)の敗訴や、2025年の大手レコード会社との和解により、特定の電子書籍や「Great 78」プロジェクトの音源など、著作権侵害と認定されたコンテンツへのアクセスが制限・削除されている [2]。
オークランド・アーカイブ・ポリシー(2002年): 保存の完全性と個人の削除要求のバランスを取るためのガイドラインに基づき、悪意のあるコンテンツやプライバシー侵害、法執行機関からの正当な要求(児童ポルノ等)があった場合も削除の対象となる [6]。
ウェブページの構造と記録範囲の限界
Wayback Machineのクローラー(Heritrix)は、対象のURLだけでなく、そのページを構成する画像、CSS、JavaScriptなどの埋め込みリソースの取得を試みるが、その範囲には技術的な限界がある [17]。
埋め込み構造のキャプチャ範囲
同一ドメインのリソース: 原則として同時に取得され、再現性は高い [26]。
外部ドメインの要素: 外部サイト(CDNなど)がクローラーを拒否している場合、画像やスクリプトが欠落し、アーカイブ表示時に「壊れた画像(グレーのボックス)」として表示される [32]。
サーバーサイドの依存機能: 入力フォーム、検索ボックス、データベース照会、地図のスクロールなどは、オリジナルのサーバーとの通信を必要とするため、アーカイブ上では動作しない(Broken functionality) [4]。
WARC形式による保存: 各キャプチャはHTTPヘッダーを含むWARC(Web ARChive)ファイルとしてパッケージ化されており、キャプチャ時のサーバーの応答状態(200 OK, 404等)も正確に記録される [17]。
特に、現代の「Web 2.0」以降のソーシャルメディアや動的アプリについては、従来のHeritrixではなく、ヘッドレスブラウザを用いてJavaScriptを実行する「Brozzler」や「Umbra」といったツールを併用することで、より高い再現性を実現している [17]。
登録の手間と自動化の実例
Wayback Machineへのデータ登録は、個人の意志によるものから、大規模な機械的クローリングまで多層的なエコシステムを形成している。
自動化の仕組みと実例
Heritrixによる広域クロール: 特定のシード(Wikipediaの外部リンク等)を出発点として、ウェブを自動的に巡回し、数億から数十億のURLをキューに登録して処理する [17]。
Archive-Itによるスケジュール実行: パートナー機関は、「毎日」「毎週」といった頻度とクローリングの深さを設定し、特定のサイト群を全自動でアーカイブし続けることが可能である [7]。
CDX APIとZipNum: 大規模なクローリング結果は「ZipNum(Ziplines)」と呼ばれる高度なインデックスシステムで管理され、ペタバイト級のデータから瞬時に特定のタイムスタンプを呼び出す自動化検索が可能となっている [37]。
プログラムによる一括保存: SavePageNow APIを利用することで、ニュース記事の公開と同時にプログラムから自動的にアーカイブURLを生成させる運用が広く行われている [6]。
手動での登録(Save Page Now)は依然として重要であり、特に「その瞬間の証拠」を残したいジャーナリストや研究者にとって、数秒で完了するこの手動プロセスは、自動クローラーが見逃す可能性のある詳細なページ(ディープウェブ)を補完する役割を果たす [26]。
出典として用いる場合の妥当な記法と基準
Wayback Machineを調査結果の出典として引用する場合、それが「ソースそのもの」ではなく「ソースの提供者(リパブリケーション)」であることを理解した上で、適切なレイヤー構造を持つ記法を用いることが推奨される [38]。
学術的・法的な推奨記法
主要なスタイルガイド(MLA、APA、シカゴ)に基づき、以下の要素を含めることが望ましい。
特に法的な証拠として用いる場合、Wayback Machineが生成するURLに含まれる14桁の数字(YYYYMMDDHHMMSS)が「キャプチャの正確な瞬間」を証明するメタデータとして機能するため、このタイムスタンプを維持したまま引用することが極めて重要である [33]。また、特定の時点での情報の変遷(例えば、ある用語の定義がいつ変更されたか)を証明するには、複数のスナップショットを並べて比較し、それぞれのアーカイブURLを明記する手法が妥当とされる [39]。
結論:デジタル時代の証拠能力に関する総括
インターネット・アーカイブは、その歴史的経緯、物理的インフラの堅牢性、そして非営利組織としての財務的透明性を考慮すると、デジタル情報の「信頼できる証人」としての役割を十分に果たしていると言える。特にSSDを用いた高速検索層、HDDによる膨大なキャパシティ層、そしてFilecoin等の次世代技術を用いた長期保存層(LTS)という三層構造のインフラは、データの検索性と永続性を技術的に裏付けている。
しかし、AI学習を巡る近年のパブリッシャーとの摩擦は、アーカイブの「中立的な保存」という立場に新たな課題を突きつけており、robots.txtの設定如何によっては、将来的に特定の重要サイトがアーカイブから完全に消失するリスクも孕んでいる。また、ログインユーザーによる「見たままの保存(スクリーンショット)」機能の活用は、単なるHTMLキャプチャでは不十分な法的証拠の収集において、今後ますますその重要性を増すと考えられる。
したがって、Wayback Machineを出典として引用する際は、その保存の仕組み(単一ページのSPNか、全体クロールか)を理解し、埋め込みコンテンツの欠落の有無を確認した上で、三層構造の引用記法を厳格に守ることが、調査結果の客観的妥当性を担保するための唯一の手段である。
引用文献
Internet Archiving – The Wayback Machine | CDN, 2月 2, 2026にアクセス、 https://bpb-eu-w2.wpmucdn.com/blogs.city.ac.uk/dist/3/809/files/2015/03/Internet-Archiving-The-Wayback-Machine-v0rykw.pdf
Internet Archive - Wikipedia, 2月 2, 2026にアクセス、 https://en.wikipedia.org/wiki/Internet_Archive、ブリュースター・ケールは、非営利のデジタルライブラリを運営する1996年にこのアーカイブを設立した。
About IA - Internet Archive, 2月 2, 2026にアクセス、 https://archive.org/about/、私たちの使命は、すべての知識への普遍的なアクセスを提供することであり、1兆ページを保持している。
Wayback Machine General Information - Internet Archive Help Center, 2月 2, 2026にアクセス、 https://help.archive.org/help/wayback-machine-general-information/
The Power to Never Be Wrong:Evasions and Anachronistic Attacks Against Web Archives - Technische Universität Braunschweig, 2月 2, 2026にアクセス、 https://www.ias.tu-bs.de/publications/webarchives.pdf
Wayback Machine - Wikipedia, 2月 2, 2026にアクセス、 https://en.wikipedia.org/wiki/Wayback_Machine、2017年以降、アーカイブを削除するには所有者からの明示的な除外リクエストが必要となった。
The Long Now of the Web: Inside the Internet Archive's Fight Against Forgetting, 2月 2, 2026にアクセス、 https://hackernoon.com/the-long-now-of-the-web-inside-the-internet-archives-fight-against-forgetting、Vaultサービスは永久保存のための寄付モデルであり、1TBあたり1,000ドルの手数料で提供される。
Internet Archive's Storage - DSHR's Blog, 2月 2, 2026にアクセス、 https://blog.dshr.org/2026/01/internet-archives-storage.html、現在のPetaBoxラックは、8TBから22TBの大型ドライブを使用して1.4PBの容量を提供する。
Discover the Internet Archive storage infrastructure - Impreza Host, 2月 2, 2026にアクセス、 https://impreza.host/discover-the-internet-archive-storage-infrastructure/
Cheap Data Analytics using Cold Storage Devices - Semantic Scholar, 2月 2, 2026にアクセス、 https://pdfs.semanticscholar.org/83e0/25e522ecae0e2dd68e3e1f6d65a7a92fd6f8.pdf、ストレージ階層化は、頻繁にアクセスされるホットデータをSSDに、コールドデータをHDDに配置する。
A Reliable and Efficient Data Migration Method Based On GlusterFS - ITM Web of Conferences, 2月 2, 2026にアクセス、 https://www.itm-conferences.org/articles/itmconf/pdf/2017/04/itmconf_ita2017_05003.pdf
A High-Performance Hierarchical Snapshot Scheme for Hybrid Storage Systems - IEEE Xplore, 2月 2, 2026にアクセス、 https://ieeexplore.ieee.org/iel8/9970761/10855701/10855693.pdf
Will solid-state drives accelerate your bioinformatics? In-depth profiling, performance analysis and beyond - Oxford Academic, 2月 2, 2026にアクセス、 https://academic.oup.com/bib/article/17/4/713/2240499
SolrWayback - IIPC Blog - WordPress.com, 2月 2, 2026にアクセス、 https://netpreserveblog.wordpress.com/tag/solrwayback/
What kind of facilities does the Internet Archive have and how is it operated? - GIGAZINE, 2月 2, 2026にアクセス、 https://gigazine.net/gsc_news/en/20260119-web-inside-internet-archives/
Update on the 2024/2025 End of Term Web Archive, 2月 2, 2026にアクセス、 https://blog.archive.org/2025/02/06/update-on-the-2024-2025-end-of-term-web-archive/
The Long Now of the Web: Inside the Internet Archive's Fight Against Forgetting | by Zheng "Bruce" Li | The Low End Disruptor, 2月 2, 2026にアクセス、 https://medium.com/the-low-end-disruptor/the-infinite-memory-of-the-wayback-machine-d7800e9660ff、HeritrixクローラーはWARC形式を使用して、HTTPヘッダーを含むページの正確な状態を保存する。
GitHub - asaflevi0812/IDEA, 2月 2, 2026にアクセス、 https://github.com/asaflevi0812/IDEA
Internet Archive - Nonprofit Explorer - ProPublica, 2月 2, 2026にアクセス、 https://projects.propublica.org/nonprofits/organizations/943242767、2024年の収益は2680万ドルであり、その大部分は寄付金とプログラムサービスによるものである。
Internet Archive's Storage - Hacker News, 2月 2, 2026にアクセス、 https://news.ycombinator.com/item?id=46694618
Internet Archive | San Francisco, CA | Cause IQ, 2月 2, 2026にアクセス、 https://www.causeiq.com/organizations/internet-archive,943242767/
If You See Something, Save Something – 6 Ways to Save Pages In the Wayback Machine, 2月 2, 2026にアクセス、 https://blog.archive.org/2017/01/25/see-something-save-something/
Mark Graham | Internet Archive Blogs, 2月 2, 2026にアクセス、 https://blog.archive.org/author/mark/、ログインユーザーは、HTMLに加えてページのスクリーンショットを生成し、保存することが可能である。
Retrieving and Archiving Information from Websites - Exposing the Invisible - The Kit, 2月 2, 2026にアクセス、 https://kit.exposingtheinvisible.org/en/web-archive.html
Wayback Machine & Web Archiving, 2月 2, 2026にアクセス、 https://help.archive.org/help/category/the-wayback-machine/wayback-machine-web-archiving/feed/
Save Pages in the Wayback Machine - Internet Archive Help Center, 2月 2, 2026にアクセス、 https://help.archive.org/help/save-pages-in-the-wayback-machine/
News publishers limit Internet Archive access due to AI scraping ..., 2月 2, 2026にアクセス、 https://www.niemanlab.org/2026/01/news-publishers-limit-internet-archive-access-due-to-ai-scraping-concerns/、ニューヨーク・タイムズは、AI企業への無制限なアクセスを防ぐためクローラーをブロックしている。
Publishers are blocking the Internet Archive for fear AI scrapers can use it as a workaround, 2月 2, 2026にアクセス、 https://www.engadget.com/ai/publishers-are-blocking-the-internet-archive-for-fear-ai-scrapers-can-use-it-as-a-workaround-204001754.html
20,000 Hard Drives on a Mission | Internet Archive Blogs, 2月 2, 2026にアクセス、 https://blog.archive.org/2016/10/25/20000-hard-drives-on-a-mission/、データは2つの異なるデータセンターにある個別のディスクドライブに即座に複製される。
Internet Archive Designated as a Federal Depository Library, 2月 2, 2026にアクセス、 https://blog.archive.org/2025/07/24/internet-archive-designated-as-a-federal-depository-library/、オークランド・アーカイブ・ポリシーは、ウェブ所有者がアーカイブへのアクセスを制限する権利を規定している。
Wayback Machine | Harvey Comics Database Wiki | Fandom, 2月 2, 2026にアクセス、 https://harveycomicsdatabase.fandom.com/wiki/Wayback_Machine
Using the Wayback Machine – Internet Archive Help Center, 2月 2, 2026にアクセス、 https://help.archive.org/help/using-the-wayback-machine/
March | 2025 | Internet Archive Blogs, 2月 2, 2026にアクセス、 https://blog.archive.org/2025/03/
ORPHAN WORKS REPLY COMMENTS of THE INTERNET ARCHIVE - The DigiBarn Computer Museum, 2月 2, 2026にアクセス、 https://www.digibarn.com/eventsvisiting/orphaned-works/OWR0129-InternetArchive.pdf
Website Archiving: Essential Tools for Digital Preservation - Visualping, 2月 2, 2026にアクセス、 https://visualping.io/blog/what-is-website-archiving
Temporally Extending Existing Web Archive Collections for Longitudinal Analysis - arXiv, 2月 2, 2026にアクセス、 https://arxiv.org/html/2505.24091v1
Longitudinal Sampling of URLs From the Wayback Machine - ResearchGate, 2月 2, 2026にアクセス、 https://www.researchgate.net/publication/393889889_Longitudinal_Sampling_of_URLs_From_the_Wayback_Machine、ZipNumインデックスは、テラバイト規模のアーカイブへの効率的なアクセスを可能にする仕組みである。
Citing the Wayback Machine | Evidence Explained, 2月 2, 2026にアクセス、 https://www.evidenceexplained.com/quicktips/citing-wayback-machine、アーカイブのURLを直接引用するのではなく、元の出典とアーカイブのパスを分けて記述する必要がある。
FAQ: Citation, Documentation of Sources #434 - The Chicago Manual of Style, 2月 2, 2026にアクセス、 https://www.chicagomanualofstyle.org/qanda/data/faq/topics/Documentation/faq0434.html
Referencing Internet Resources Using the Wayback Machine - Queen's University Library, 2月 2, 2026にアクセス、 https://assets.library.queensu.ca/Referencing_Internet_Resources_Using_the_Wayback_Machine.pdf
How do I cite a work accessed through Wayback Machine? | MLA Style Center, 2月 2, 2026にアクセス、 https://style.mla.org/citing-work-wayback-machine/、Wayback Machineを引用する場合、インターネット・アーカイブをコンテナとして扱うべきである。