들어가기 전에
"보이지 않는 웹(Invisible Web)"이라는 말을 들어보셨나요? 간단히 말해서 검색 결과나 웹 디렉토리에 나타나지 않는 온라인 콘텐츠를 가리키는 말입니다. 정확한 통계 수치는 없지만 보이지 않는 웹은 보이는 웹보다 몇 배는 큰 것으로 알려져 있습니다. 일반 상식 차원에서, 그리고 혹시 나중에 찾아볼 일이 생길 경우를 대비하여 읽어보시기 바랍니다.
※ 주의: 본격적으로 탐색하기 전에 다크 웹에서 위험한 콘텐츠를 피하기 위한 방법을 알아야 합니다. 이와 관련해서는 [여기]를 참고하세요.
※ 이 글은 아래 기사 내용을 토대로 작성되었습니다만, 필자의 개인 의견이나 추가 자료들이 다수 포함되어 있습니다.
- 원문: The 12 Best Deep Search Engines to Explore the Invisible Web
- URL: https://www.makeuseof.com/tag/10-search-engines-explore-deep-invisible-web/
'보이지 않는 웹' 개요
'보이지 않는 웹'이란 간단히 말해서 검색 결과나 웹 디렉토리에 나타나지 않는 온라인 콘텐츠를 가리키는 용어입니다. 공식적인 데이터는 없지만 대부분의 전문가들은 보이지 않는 웹이 보이는 웹보다 몇 배 더 크다는 데 동의합니다. 인터넷의 실제 규모는 알 수 없듯이 보이지 않는 웹도 마찬가지입니다. 보이지 않는 웹은 크게 딥웹(Deep Web)과 다크웹(Dark Web)으로 나눌 수 있습니다.
딥 웹
딥 웹은 일반적으로 액세스하려면 어떤 형태의 인증이 필요한 콘텐츠로 구성됩니다. 예로는 도서관 데이터베이스, 이메일 받은 편지함, 개인 기록(재무, 학술, 건강 및 법률 등), 클라우드 스토리지 드라이브 및 회사 인트라넷이 있습니다. 세부 정보가 정확하면 일반 웹 브라우저를 통해 콘텐츠에 액세스할 수 있습니다.
다크 웹
다크 웹은 딥 웹의 하위 섹션입니다. 다크 웹 콘텐츠에 액세스 하려면 Tor와 같은 전용 브라우저를 사용해야 합니다. 일반 웹보다 익명성이 높기 때문에 종종 불법 활동이 발생하는 곳이기도 합니다. 그러나 다크웹의 모든 것이 불법은 아닙니다. 최고의 다크 웹 웹사이트 중 일부 는 일반 사이트의 버전일 뿐이지만 전체주의 정권의 사용자가 액세스할 수 있도록 숨겨져 있습니다.
최고의 심층 검색(Deep Search) 엔진 12개
1. Pipl
Pipl은 세계 최대의 인물 검색 엔진으로 브랜드화되었습니다. Google과 달리 Pipl은 검색 가능한 데이터베이스, 회원 디렉터리, 법원 기록 및 기타 심층 인터넷 검색 콘텐츠와 상호 작용하여 개인에 대한 자세한 스냅샷을 제공할 수 있습니다. Pipl을 사용하여 직접 검색할 수도 있습니다.
2. 웨이백 머신
일반 검색 엔진은 사용 가능한 최신 버전의 웹사이트에서만 결과를 제공하지만 웨이백 머신(Wayback Machine)은 다릅니다. 서버에는 8,500억 개 이상의 웹페이지 사본이 있으므로 눈에 보이는 웹에서 더 이상 사용할 수 없는 콘텐츠를 검색할 수 있습니다. 또한 웹사이트의 이전 버전을 볼 수 있는 편리한 사이트이기도 합니다.
3. WWW 가상 도서관
WWW 가상 도서관(WWW Virtual Library)은 웹에서 가장 오래된 카탈로그로, 1991년 월드와이드웹(World Wide Web) 창시자인 팀 버너스 리(Tim Berners-Lee)에 의해 시작되었습니다. 자원봉사자들은 링크 목록을 직접 작성하여 수십 개의 카테고리에 걸쳐 딥 웹 콘텐츠에 대한 고품질 색인을 생성합니다.
4. 덕덕고
덕덕고(DuckDuckGo)는 눈에 보이는 웹을 위한 최고의 개인 검색 엔진 중 하나로 잘 알려져 있으며 최고의 개인정보 보호에 초점을 맞춘 스마트폰 브라우저 중 하나를 제공합니다.
하지만 이 회사는 다크 웹을 탐색할 수 있는 어니언 사이트도 제공하고 있습니다. 일반 검색 엔진조차도 Google보다 더 심층적인 웹 콘텐츠를 제공합니다. 500개가 넘는 독립형 검색 도구의 결과를 모아 결과를 찾습니다. 일반 DuckDuckGo 엔진을 Onion 버전과 페어링하면 전체 웹 검색을 수행할 수 있습니다. DuckDuckGo Onion 사이트는 [여기]에서 찾을 수 있습니다.
5. USA.gov
USA.gov의 콘텐츠 양은 매우 인상적입니다. 이는 모든 연방 기관과 주, 지방 또는 부족 정부에 필요한 모든 공개 자료에 대한 포털입니다. 또한 정부 일자리, 대출, 보조금, 세금 등에 관한 정보도 찾을 수 있습니다. 사이트에 있는 대부분의 정보는 Google에 표시되지 않습니다.
6. 오픈 액세스 저널 디렉토리
오픈 액세스 저널 디렉토리(Directory of Open Access Journals)는 학술 논문에 대한 액세스를 제공하는 심층 인터넷 검색 엔진입니다. 이 서류는 누구나 무료로 이용할 수 있습니다. 현재 저장소에는 모든 주제에 걸쳐 천만 개 이상의 기사가 포함된 20,000개 이상의 저널이 있습니다. Google Scholar에서 무료 기사를 쉽게 찾을 수 있고 일부 정보에 액세스할 수 있지만 DOAJ가 더 나은 연구 도구라고 생각합니다.
7. 검색 XNG
눈에 보이는 웹에서도 데이터를 가져오는 다크 웹 검색 엔진을 찾고 있다면 SearXNG를 확인해 보세요. 해당 사이트에는 Onion 도메인 이름이 있으므로 표준 웹 브라우저를 통해 액세스할 수 없습니다. 로드하려면 Tor와 같은 다크 웹 브라우저를 열고 주소 표시줄에 다음 URL을 붙여넣으세요.
http://searx3aolosaf3urwnhpynlhuokqsgz47si4pzz5hvb7uuzyjncl2tid.onion/
8. 베리디언
베리디언(Veridian)은 전 세계 모든 역사 신문에 대한 단일 포털을 제공하는 것을 목표로 합니다. 이는 연구자들, 특히 가족 역사가, 계보학자, 학생들에게 환상적인 자료입니다.
사이트에 있는 많은 신문은 딥웹에만 게재되어 있습니다. Google에는 표시되지 않습니다. 이 글을 쓰는 시점에 360만 개 이상의 신문을 이용할 수 있습니다. Veridian Software는 현재는 사라진 역사 신문 포털인 Elehind를 운영하는 회사입니다.
9. 토치
가장 오래된 딥 웹 검색 엔진 중 하나인 토치(Torch)는 최고의 엔진 중 하나입니다. Torch는 어떠한 검색 결과도 검열하지 않는다는 점에 자부심을 갖고 있으며 Tor 네트워크에서 공개적으로 이용 가능한 새로운 Onion 웹사이트를 찾기 위해 매일 딥 웹을 샅샅이 뒤지고 있습니다.
이 글을 쓰는 시점에서 검색 엔진에 의해 색인된 문서는 300만 개가 넘습니다. Torch에 액세스하려면 Tor에 다음 링크를 복사하여 붙여넣으세요.
http://xmh57jrknzkhv6y3ls3ubitzfqnkrwxhopf5aygthi7d6rplyvk3noyd.onion/
10. 아미아
아미아(Ahmia)는 다크 웹 검색 엔진이지만 일반 웹에서 사용할 수 있는 몇 안 되는 다크 웹 검색 엔진 중 하나입니다. 물론 컴퓨터에 Tor 브라우저가 설치되어 있지 않으면 모든 링크와 결과를 열 수 없습니다.
그러나 이는 다크 웹 사용에 따른 본질적인 위험에 노출되지 않고 다크 웹에서 사용할 수 있는 기능을 맛볼 수 있는 좋은 방법입니다. 탐색하기 전에 먼저 다크 웹에서 위험한 콘텐츠를 피하는 방법을 알아야 합니다. 이와 관련해서는 [여기]를 참고하세요.
11. 월드캣
여러분 지역의 여러 지역 도서관에 어떤 책이 있는지 어떻게 알 수 있나요? 각 도서관의 사이트를 개별적으로 살펴보는 것은 시간이 많이 걸리고 오류가 발생하기 쉽습니다.
대신 WorldCat을 확인하세요. 이 심층 인터넷 검색 엔진에는 일반적으로 데이터베이스 검색을 통해서만 사용할 수 있는 많은 링크를 포함하여 전 세계 도서관에서 색인된 20억 개의 항목이 있습니다.
12. 구텐베르크 프로젝트
Google에서 저작권이 없는 저작권이 없는 eBook을 검색하는 경우 다운로드 링크를 제공하는 결과를 찾으려면 여러 페이지를 클릭해야 합니다.
프로젝트 구텐베르크(Project Gutenberg)는 확인하고 다운로드할 수 있는 70,000개 이상의 무료 전자책을 제공합니다. 다양한 형식과 다운로드할 유사한 도서 목록을 제공합니다. 이는 의심할 여지없이 전자책을 무료로 다운로드할 수 있는 최고의 사이트 중 하나입니다.
마치며
여기서 소개한 12개의 검색 엔진은 콘텐츠 검색을 시작하는 데 견고한 기반을 제공합니다. 안타깝게도 과거 가장 유명한 심층 검색 엔진 중 하나인 Deeppeep은 더 이상 존재하지 않지만 기사에 포함된 모든 사이트는 손실된 기능을 재현하는 데 도움이 될 수 있습니다.
'IT Info' 카테고리의 다른 글
| 70쪽 분량의 구글 Gemini 프롬프트 가이드를 읽고 배운 것 (0) | 2024.07.03 |
|---|---|
| 챗GPT 및 Gemini 프롬프트를 개선하는 방법 (0) | 2024.07.02 |
| MS Copilot+ PC: 기대해야 할 이유와 기대하지 말아야 할 이유 (43) | 2024.07.01 |
| 구글 Gemini를 다음 단계로 끌어올리는 고급 기술 (2) | 2024.06.30 |
| 최고의 생성형 AI 강좌 5개 (0) | 2024.06.30 |
