Francis Albert Sinatra blev født den 12. december, 1915 i en lejebolig ovenpå i 415 Monroe Street i Hoboken, New Jersey, som eneste barn af de italienske immigranter Natalina “Dolly” Garaventa og Antonino Martino “Marty” Sinatra. Parret var stukket af på Valentinsdag 1913 og blev gift på rådhuset i Jersey City, New Jersey; de blev senere gift igen i en kirke. Sinatra vejede 6,1 kg (13,5 pund) ved fødslen. Han blev født i sædefødsel; han måtte fødes ved hjælp af en tang, hvilket forårsagede alvorlige ar på hans venstre kind, hals og øre og perforerede hans trommehinde, en skade, der forblev resten af livet. På grund af de skader, han fik ved fødslen, blev hans dåb forsinket i flere måneder. En operation i barndommen på hans stødknogle efterlod store ar på hans hals, og i ungdomsårene led han af cystisk akne, der gav ar i ansigtet og på halsen. Nogle børn kaldte ham “Scarface”, da han var elleve år gammel; dette gjorde ham så vred, at han ønskede at angribe den læge, der havde født ham, fysisk. Sinatra blev opdraget som katolik.
-Sinatras datter Nancy om Dolly’s betydning for Sinatras liv og karakter.
Da Sinatras mor, Natalina, var barn, fik hendes smukke ansigt kælenavnet “Dolly”. Som voksen var hun mindre end 1,5 meter høj og vejede ca. 90 pund. Sinatra-biografen James Kaplan beskriver hende som havende “politikerens temperament – rastløs, energisk, ureflekteret”. Hun var datter af en litograf. Hun blev født i Genova i Norditalien og blev bragt til USA, da hun var to måneder gammel. Dolly var indflydelsesrig i Hoboken og i det lokale demokratiske partis kredse. Hun brugte sit kendskab til italienske dialekter og sit flydende engelsk til at oversætte for indvandrere under retssager, især i forbindelse med ansøgninger om statsborgerskab. Dette skaffede hende respekt hos de lokale politikere, som gjorde hende til demokratisk distriktsleder. Hun var den første indvandrerkvinde, der beklædte denne post i sin lokale tredje afdeling, og hun leverede pålideligt op til 600 stemmer til demokratiske kandidater. I 1919 lænkede hun sig selv til rådhuset for at støtte kvindernes valgretbevægelse. Hun arbejdede også som jordemoder og tjente 50 dollars for hver fødsel, hvilket var et rimeligt beløb på den tid. Disse aktiviteter holdt Dolly væk hjemmefra i en stor del af hendes søns barndom. Sinatra-biografen Kitty Kelley hævder, at Dolly også drev en ulovlig aborttjeneste, der henvendte sig til italienske katolske piger, og at hun var så kendt for dette, at lægerne henviste deres patienter til hende, for hvem hun rejste så langt væk som Jersey City og Union City.
Sinatras far, Antonino – en lille mand med blå øjne og rødlige komplekser – var fra Lercara Friddi, nær Palermo på Sicilien. Hans forældre havde oprindeligt været vinbønder. Han ankom til Ellis Island med sin mor og sine søstre i 1903, da de sluttede sig til sin far, Francesco Sinatra, som var immigreret til USA i 1900. Francesco arbejdede i 17 år i det amerikanske blyantfirma, hvilket “ødelagde hans lunger” ifølge barnebarn Nancy. Antonino var en bantamvægtsbokser, der kæmpede under navnet Marty O’Brien. Selv om han var en bokser, der talte “højt og groft”, havde han en blid og reserveret opførsel. Han trak sig tilbage fra boksning i 1926 efter at have brækket begge håndled og fandt senere arbejde på havnen som kedelsnedker, men blev snart afskediget på grund af problemer med astma. Han var ansat i Hoboken Fire Department i 24 år, hvor han arbejdede sig op til kaptajn. Kaplan hævder, at Marty aldrig lærte at læse.
I 1920 blev forbuddet mod alkohol lovfæstet i USA. Dolly og Marty drev et værtshus i disse år, som de fik lov til at drive åbenlyst af lokale embedsmænd, der nægtede at håndhæve loven. Kaplan nævner muligheden for, at Sinatra’erne skaffede deres spiritus fra medlemmer af den amerikanske mafia. De købte baren, som de kaldte Marty O’Brien’s, med penge, som de lånte af Dollys forældre. Når de havde travlt med værtshuset, blev Sinatra overvåget af slægtninge og nogle gange af en jødisk nabo ved navn Mrs. Goldberg, som lærte ham jiddisch. Da Sinatra var seks år, blev hans onkel Babe, Dollys bror, arresteret for at have kørt en flugtbil, efter at en lastbilchauffør fra Railway Express var blevet myrdet. Selv om Dolly dagligt deltog i hans retssag og forsøgte at vække sympati, blev hendes bror dømt til 15 års fængsel. Andre familiemedlemmer havde mindre sammenstød med loven; Sinatras far og onkler var blevet arresteret for forskellige mindre forseelser. Sinatra huskede senere, at han tilbragte tid i baren, arbejdede på sine lektier og lejlighedsvis sang en sang oven på spilleklaveret for at få småpenge. Under den store depression gav Dolly penge til sin søn til udflugter med venner, og til at han kunne købe dyrt tøj. Han tjente også lommepenge ved at synge på gadehjørner. Naboerne beskrev ham som “den bedst klædte dreng i kvarteret” og “den rigeste dreng i kvarteret”, hvilket blev hjulpet på vej af, at han var enebarn og havde sit eget soveværelse. Ifølge Kaplan var Dolly meget glad for sin søn, men hun mishandlede ham også, når han gjorde hende vred, og slog ham med et lille bat, som hun opbevarede hos Marty O’Brien’s. Sinatras overdrevent tynde og lille som barn og ung mand blev Sinatras magre skikkelse senere en fast bestanddel af hans egne og Rat Pack-medlemmernes vittigheder under sceneshows, hvoraf en selvudslettende vittighed var: “Et lille barn, tynd. Så tynd, at mine øjne var enkeltfiltede. Mellem de to og min navle troede min farfar, at jeg var en klarinet”.