ABC procesu OSINT
W tym artykule odsłonimy trochę kulis z procesu OSINT*. Co prawda, biały wywiad, to przeszukiwanie informacji publicznych, ale nie zawsze ogólno- lub łatwodostępnych. Informacje i dane często są mocno rozproszone, trudno dostępne, częściowo ukryte lub szczątkowe. Cały proces polega na przeszukiwaniu ogromnej ilości takich źródeł i obróbce jeszcze większej ilości danych. Tak więc, w rachubę wchodzą jedynie działania zautomatyzowane, wykorzystujące specjalistyczne narzędzia informatyczne i ekspercką wiedzę.
Ze zrozumiałych względów (tajemnica biznesowa i ochrona autorskich rozwiązań), w niniejszej publikacji odsłaniam jedynie niewielką część. Mimo tego, już ta odsłonięta część, dosyć dobrze obrazuje, jak duże i czasochłonne byłoby to zadanie, gdyby nie odpowiednie technologie i narzędzia.
* – Więcej informacji na temat białego wywiadu:
Przykłady przeszukiwanych źródeł
Do pracy oczywiście zaprzęgane są wszystkie popularne i część mniej znanych oraz wiele specjalistycznych wyszukiwarek, a więc zasoby Internetu. Jednak to tylko pierwszy z wielu kroków. Pod uwagę brane są również bazy i źródła, które są dostępne publicznie, ale nie w formie otwartych portali internetowych. Kolejnym krokiem, z tych oczywistych, jest pozyskiwanie informacji z social mediów. Są to ogromne zasoby informacji, dobrowolnie udostępnianych przez samych użytkowników, którzy podają mnóstwo prywatnych informacji. Często więc można stosunkowo łatwo zbudować 'profil psychologiczny’ takiej osoby, a dalej, na jego podstawie kształtować metody analizy w kolejnych krokach. Do tego dochodzi szereg systemów, narzędzi i technologii informatycznych, mających dostęp np. do informacji technicznych, z których część wskazuję w kolejnym punkcie. Przeszukiwane są również zasoby Darkweb’u. Istnieje też cała grupa źródeł, do których dostęp wypracowałem w ciągu kilku lat oraz specjalistycznych narzędzi, w tym własnego autorstwa.
Cały proces wymaga pewnych nakładów, zarówno pod względem finansowym (np. koszt licencji, sprzętu, narzędzi, dostępów), czasowym (np. analiza danych), jak w końcu edukacyjnym (konieczność ciągłego poszerzania specjalistycznej wiedzy).
Przykład najprostszych narzędzi i technologii
Narzędzia, technologie i metody, których używam w realizacjach OSINT, generalnie mogę podzielić na kilka grup:
- Wyszukiwarki. Tak, te ogólnodostępne. Przy czym, wiele z nich, poza powszechnie znanymi funkcjami, udostępnia cały szereg opcji i możliwości. Przykładem może być tutaj Google hacking (odpowiednio dobrane zapytania), Google mapy lub Google grafika (wyszukiwanie wg zdjęć).
- Wyszukiwarki oraz systemy API rejestrów publicznych, urzędowych i branżowych, jak np. baz przedsiębiorców, KRS, systemów analitycznych doniesień medialnych, notowań giełdowych. Giełd wierzytelności i długów, rejestrów pojazdów, polis i szkód ubezpieczeniowych. Danych o przetargach publicznych i konkursach na stanowiska publiczne, BIP’ów, monitoringu mediów. Systemów map i danych geograficznych, branżowych systemów wymiany informacji, itd.
- Wyszukiwarki specjalistyczne oraz rejestry techniczne, w rodzaju: AbuseIPDB, Accounts, AdBlockCheck, Ahmia, AlienVaultOTX, AlienVaultIPReputation, Apility, Archive, AzureBlobFinder, badips, BambenekC&CList, Base64, BinaryEdge, Bing, Bing(SharedIPs), BinaryStringExtractor, Blocklist, BotScout, BuiltWith, Censys, CINSArmyList, CIRCL, CitadelEngine, CleanTalkSpamList, Clearbit, CoinBlockerLists, CommonCrawl, CompanyNames, Cross-Reference, CertificateTransparency, CustomThreatFeed, cybercrime-tracker, Darksearch, DigitalOceanSpaceFinder, DNSBrute-force, DNSLook-aside, DNSRawRecords, DNSResolver, DroneBL, DuckDuckGo, FileMetadata, Flickr, Fortiguard, Fraudguard, F-SecureRiddler, FullContact, Github, GoogleTools, Greynoise, HackerTarget, HaveIBeenPwned, HoneypotChecker, Hosts-fileMaliciousHosts, Hunter, Iknowwhatyoudownload, IntelligenceX, InterestingFiles, IPInfo, Ipstack, InternetStormCenter, JunkFiles, Malwaredomainlist, Malwaredomains, MalwarePatrol, MetaDefender, MnemonicPassiveDNS, MultiproxyOpenProxies, NameExtractor, NeutrinoAPI, Nothink, Numverify, OnionLinks, Onionsearchengine, OpenCorporates, OpenPhish, PasteBin, PGPKeyLook-up, PhishTank, PortScanner-TCP, Pulsedive, RiskIQ, Robtex, S3AmazonBucketFinder, Scylla, SecurityTrails, SHODAN, SocialMediaProfiles, SORBS, SpamCop, Spamhaus, Spider, SpyOnWeb, SSLCertificates, SSLTools, TalosIntelligence, ThreatCrowd, ThreatExpert, ThreatMiner, TLDSearch, Tool-CMSeeK, Tool-DNSTwist, Tool-WhatWeb, TORCH, TORExitNodes, TotalHash, UCEPROTECT, URLScan, ViewDNS, VirusTotal, VoIPBLOpenPBXIPs, VXVault, Watchguard, WhatCMS, Whoisology, Whoxy, Wigle, Wikileaks, WikipediaEdits, XForceExchange, Zone-HDefacementCheck.
- Skrypty i systemy automatyzujące, pozwalające na skrócenie etapu poszukiwań z tygodni do godzin.
- Oprogramowanie analityczne, dzięki któremu staje się w ogóle możliwe wychwycenie różnych powiązań pomiędzy różnego rodzaju i formatu danymi.
- Systemy raportowania i wizualizacji (graficznej prezentacji).
Kilka specjalistycznych narzędzi
Jak już wspominałem, nie mogę zdradzić wielu pozostałych elementów, ale wskażę kilka najprostszych, ogólnie dostępnych narzędzi (również bezpłatnych):
- Hunchly – narzędzie do przechwytywania stron internetowych, zaprojektowane specjalnie do prowadzenia dochodzeń online. Jako dodatek do przeglądarki internetowej, pozwala zbierać, dokumentować i opisywać każdą odwiedzaną stronę.
- SpiderFoot – automatyczne zbieranie informacji na temat adresów IP, nazw domen, adresów e-mail, nazw użytkowników, podsieci, itp. Monitorowanie źródeł danych i wykrywanie zmian, rekurencyjna analiza powiązań pomiędzy adresami, linkami, itd.
- Kali Linux (wybrane narzędzia) – pochodząca z Debiana pochodna systemu Linux, specjalnie stworzona do testów penetracyjnych, posiadająca również kilka narzędzi przydatnych w OSINT, jak np.:
- Maltego – automatyzacja wyszukiwania, gromadzenia i prezentacji informacji. Udostępnia szereg danych na temat domeny, przedsiębiorstwa, osoby prywatnej. Wykaz numerów IP, DNS i nazw domen, sieci połączeń pomiędzy domenami. Informacje personalne, e-maile, telefony, używane oprogramowanie.
- Shodan – wyszukiwarka 'informacji technicznych’. Potrafi identyfikować wersje oprogramowania, komputery i składniki sieci, skanuje porty i wiele innych informacji przydatnych informatykowi.
- TinEye – wyszukiwarka obrazów, która wykorzystuje technologię identyfikacji obrazu zamiast słów kluczowych, metadanych lub znaków wodnych. Zweryfikuje wykorzystanie obrazu w Internecie, w tym modyfikacje oparte na tym obrazie, poda czas ich opublikowania.
- Wayback Machine Internet Archive – cyfrowa baza zasobów historycznych, np. zarchiwizowanych stron WWW. Bywa przydatna np. w sytuacjach, kiedy to właściciel witrynu usunął wcześniej publikowane informacje.
Bezpłatne zasoby i narzędzia OSINT
Częścią procesu OSINT jest zbieranie informacji z bezpłatnych zasobów, za pomocą niedrogich lub darmowych narzędzi. Poniżej interaktywny (kliknij w dowolny punkt) diagram, stworzony i udostępniony przez @jnordine. Niektóre z wymienionych witryn mogą wymagać rejestracji lub oferują większe możliwości i/lub ilości danych odpłatnie.
Przykładowy fragment raportu OSINT
Przykład raportu, w którym dane osobowe i identyfikacyjne zostały usunięte, a zamieszczony diagram jest wyłącznie poglądowy. Ponadto przykład nie zawiera części informacji i diagramów, udostępnionych Klientowi:
W jaki sposób można skorzystać z usługi OSINT?
Serdecznie zapraszam do współpracy:
