Przyszły twórca potęgi FBI urodził się 1 stycznia 1895 roku jako najmłodsze z czworga dzieci państwa Hoover. Była to dość nietypowa rodzina. Jego ojciec, Dickerson Naylor Hoover, cierpiał prawdopodobnie na głęboką depresję lub inną niezdiagnozowaną chorobę psychiczną, która doprowadziła go do śmierci w wieku 65 lat.
Charakter syna ukształtowała surowa i kochająca matka – Anne Marie Hoover. John mieszkał z nią przez czterdzieści lat, aż do jej śmierci w 1938 roku.
Drugą kobietą w jego życiu była siostrzenica Margaret Fennel, która uwielbiała wujka, dorastała przy nim i utrzymywała stały kontakt przez 60 lat.
Hoover przez całe życie pozostał kawalerem. Krążyło wiele plotek o jego bujnym życiu homoseksualnym, ale nie znalazły one żadnego udokumentowanego potwierdzenia. Margaret Fennel twierdziła, że powodem życia w samotności wcale nie był ukrywany homoseksualizm, ale niechęć do jakichkolwiek kontaktów intymnych z innymi ludźmi. ,,Czasem myślałam, że on naprawdę... nie wiem, jak to ująć... obawia się bliskich kontaktów z ludźmi" – wspominała po latach.
Faktycznie, Hoover zdecydowania bardziej lubił zwierzęta, a w szczególności psy, niż ludzi.
Odpoczywał w pustych bibliotekach i kościołach. Jako nastolatek uwielbiał snuć godzinami rozważania o państwie i historii. W szkole średniej Central High School w Waszyngtonie dał się poznać jako zapalony działacz klubu dyskusyjnego.
Po ukończeniu liceum swój czas dzielił między Bibliotekę Kongresu w dni powszednie i nabożeństwa w kościele prezbiteriańskim w niedziele. Dzięki rozpracowaniu zawiłości systemu katalogowania Biblioteki Kongresu dorabiał sobie na studiach, pomagając odpłatnie znajdować książki.
Wieczorami i rano studiował na Uniwersytecie Jerzego Waszyngtona, gdzie w czerwcu 1917 roku otrzymał dyplom magistra prawa.
6 kwietnia 1917 roku historia Ameryki zmieniła się nieodwracalnie. Tego dnia Stany Zjednoczone przystąpiły do działań wojennych w Europie. Kraj ogarnęła psychoza strachu przed dywersantami z Niemiec. Prezydent Woodrow W. Wilson ostrzegał obywateli, że ,,Niemcy zapełnili szpiegami nasze niczego nie spodziewające się społeczności, a nawet instytucje rządowe i wszędzie knują zbrodnicze spiski".
Argument ten przekonał młodego Hoovera do wstąpienia w szeregi służby chroniącej ojczyznę.
Strach przed obcymi zaszczepiony w 1917 roku pozostał z nim do końca życia.
26 lipca 1917 roku, w wieku dwudziestu dwóch lat, po raz pierwszy wyruszył z domu rodziców do siedziby Departamentu Sprawiedliwości. Jego zadaniem miało być identyfikowanie i wyłapywanie politycznie podejrzanych obcokrajowców mieszkających w USA.
Błyskawicznie awansował na kierownika w wydziale Biura do spraw Wrogich Cudzoziemców. Mając zaledwie 23 lata nadzorował 6200 Niemców przetrzymywanych w obozach internowania oraz 450 000 innych cudzoziemców.
Już wtedy, żeby ułatwić sobie pracę, stworzył kartotekę, której system katalogowania wykorzystał do zbierania kompromitującego dossier na niemal wszystkich polityków amerykańskich.
