Francis Albert Sinatra december 12-én született, 1915-ben született a New Jersey állambeli Hobokenben, a Monroe Street 415. szám alatti bérházban, Natalina “Dolly” Garaventa és Antonino Martino “Marty” Sinatra olasz bevándorlók egyetlen gyermekeként. A pár 1913-ban, Valentin-napon szökött meg, és a New Jersey City-i városházán házasodtak össze; később egy templomban újra összeházasodtak. Sinatra születésekor 13,5 fontot (6,1 kg) nyomott. Farfekvéses szülés volt; csipesszel kellett világra hozni, ami súlyos hegeket okozott a bal arcán, a nyakán és a fülén, és kilyukasztotta a dobhártyáját, ami egy életre szóló sérülés maradt. A születéskor szerzett sérülései miatt a keresztelője több hónapot késett. Egy gyermekkorában a masztoid csontján végzett műtét súlyos hegeket hagyott a nyakán, serdülőkorában pedig cisztás pattanásoktól szenvedett, amelyek hegesítették az arcát és a nyakát. Tizenegy éves korában néhány gyerek “Sebhelyesarcúnak” nevezte; ez annyira feldühítette, hogy fizikailag is meg akarta támadni az orvost, aki világra hozta. Sinatra római katolikusnak nevelkedett.
-Sinatra lánya, Nancy Dolly fontosságáról Sinatra életében és jellemében.
Amikor Sinatra édesanyja, Natalina még gyerek volt, csinos arca miatt a “Dolly” becenevet kapta. Felnőttként kevesebb mint két méter magas volt, és körülbelül 90 kilót nyomott. Sinatra életrajzírója, James Kaplan úgy jellemzi, hogy “politikus temperamentummal rendelkezett – nyughatatlan, energikus, reflektálatlan”. Egy litográfus lánya volt. Az észak-olaszországi Genovában született, és két hónapos korában hozták az Egyesült Államokba. Dolly befolyásos volt Hobokenben és a helyi demokrata párti körökben. Az olasz nyelvjárások ismeretét és a folyékony angol nyelvtudását arra használta, hogy a bevándorlók számára fordítson a bírósági eljárások során, különösen az állampolgársági kérelmek esetében. Ezzel kivívta a helyi politikusok tiszteletét, akik a demokrata körzet vezetőjévé tették. Ő volt az első bevándorló nő, aki ezt a tisztséget betöltötte a helyi harmadik kerületben, és megbízhatóan adott akár hatszáz szavazatot a demokrata jelölteknek. 1919-ben a női választójogi mozgalom támogatására a városházához láncolta magát. Emellett bábaként is dolgozott, minden szülésért 50 dollárt keresett, ami akkoriban nem kevés pénz volt. Ezek a tevékenységek miatt Dolly a fia gyermekkorának nagy részében távol volt otthonról. Kitty Kelley, Sinatra életrajzírója azt állítja, hogy Dolly egy illegális abortusz-szolgáltatást is működtetett, amely olasz katolikus lányokat látott el, és annyira ismert volt erről, hogy az orvosok hozzá irányították pácienseiket, akikért egészen Jersey Cityig és Union Cityig utazott.
Sinatra apja, Antonino – egy kicsi, kék szemű, vöröses arcú férfi – a szicíliai Palermo melletti Lercara Friddiből származott. Szülei eredetileg szőlősgazdák voltak. Anyjával és nővéreivel 1903-ban érkezett Ellis Islandre, ahol csatlakoztak apjához, Francesco Sinatrához, aki 1900-ban vándorolt be az Egyesült Államokba. Francesco 17 évig dolgozott az American Pencil vállalatnál, ami Nancy unokája szerint “tönkretette a tüdejét”. Antonino kisváltósúlyú bokszoló volt, aki Marty O’Brien néven küzdött. Bár bokszoló volt, aki “hangosan és durván” beszélt, szelíd, visszafogott viselkedése volt. 1926-ban vonult vissza az ökölvívástól, miután mindkét csuklóját eltörte, és később a dokkoknál talált munkát, mint kazánkészítő, de hamarosan elbocsátották asztmás problémái miatt. 24 évig szolgált a hobokeni tűzoltóságon, ahol kapitányi rangig küzdötte fel magát. Kaplan azt állítja, hogy Marty soha nem tanult meg olvasni.
1920-ban az Egyesült Államokban törvénybe iktatták az alkoholtilalmat. Dolly és Marty ezekben az években kocsmát üzemeltetett, amelyet a helyi tisztviselők, akik nem voltak hajlandóak betartatni a törvényt, nyíltan engedtek működni. Kaplan megjegyzi annak lehetőségét, hogy Sinatráék az amerikai maffia tagjaitól szerezték be az italt. A kocsmát, amelyet Marty O’Brien’s-nek neveztek el, Dolly szüleitől kölcsönkért pénzből vásárolták meg. Amikor a kocsmával voltak elfoglalva, Sinatra-ra a rokonok és néha egy Mrs Goldberg nevű zsidó szomszédasszony vigyázott, aki jiddisül tanította őt. Amikor Sinatra hatéves volt, nagybátyját, Babe-et, Dolly bátyját letartóztatták, mert menekülő autót vezetett, miután meggyilkoltak egy Railway Express kamionsofőrt. Bár Dolly naponta részt vett a tárgyalásán, és igyekezett szimpátiát kelteni, a bátyját elítélték, és 15 év börtönre ítélték. Más családtagoknak is voltak kisebb összeütközései a törvénnyel; Sinatra apját és nagybátyjait is letartóztatták különféle kisebb szabálysértések miatt. Sinatra később úgy emlékezett, hogy a bárban töltötte az idejét, a házi feladatával foglalkozott, és időnként aprópénzért énekelt egy-egy dalt a lejátszó zongora tetején. A nagy gazdasági világválság idején Dolly pénzt adott fiának a baráti kirándulásokra, és arra, hogy drága ruhákat vásároljon. Zsebpénzt is keresett azzal, hogy az utcasarkokon énekelt. A szomszédok a “környék legjobban öltözött gyerekeként” és a “leggazdagabb gyerekként” jellemezték, amihez hozzájárult, hogy egyetlen gyerek volt, és saját hálószobája volt. Kaplan szerint Dolly imádta a fiát, de bántalmazta is, amikor feldühítette, és megütötte a Marty O’Briennél tartott kis ütővel. A gyermekként és fiatalemberként túlzottan sovány és alacsony Sinatra sovány testalkata később saját és a Rat Pack tagjainak vicceinek alapjává vált a színpadi fellépések során, az egyik önironikus vicc a következő volt: “Egy kisgyerek, sovány. Olyan sovány, hogy a szemeim egysorosak voltak. A kettő és a köldököm között az öregem azt hitte, hogy klarinét vagyok.”