Francis Albert Sinatra se narodil 12. prosince, 1915 v nájemním domě v patře na ulici Monroe 415 v Hobokenu ve státě New Jersey jako jediné dítě italských přistěhovalců Nataliny „Dolly“ Garaventy a Antonina Martina „Martyho“ Sinatry. Manželé utekli na Valentýna 1913 a vzali se na radnici v Jersey City ve státě New Jersey; později se znovu vzali v kostele. Sinatra při narození vážil 13,5 libry (6,1 kg). Narodil se koncem pánevním; musel být porozen pomocí kleští, což mu způsobilo vážné jizvy na levé tváři, krku a uchu a perforaci ušního bubínku, která mu zůstala po celý život. Kvůli zraněním při porodu se jeho křest opozdil o několik měsíců. Operace mastoidní kosti v dětství zanechala na jeho krku velké jizvy a během dospívání trpěl cystickým akné, které mu zanechalo jizvy na obličeji a krku. V jedenácti letech mu některé děti říkaly „Zjizvená tvář“; to ho tak rozčílilo, že chtěl fyzicky napadnout lékaře, který ho přivedl na svět. Sinatra byl vychován jako římský katolík.
-Sinatrova dcera Nancy o významu Dolly v Sinatrově životě a povaze.
Když byla Sinatrova matka Natalina ještě dítě, její hezká tvářička jí vysloužila přezdívku „Dolly“. V dospělosti měřila necelých 180 cm a vážila přibližně 90 kg. Sinatrův životopisec James Kaplan ji popisuje jako osobu s „temperamentem politika – neklidnou, energickou, nereflektující“. Byla dcerou litografa. Narodila se v Janově v severní Itálii a do Spojených států byla přivezena, když jí byly dva měsíce. Dolly měla vliv v Hobokenu a v místních kruzích Demokratické strany. Svou znalost italského dialektu a plynulou angličtinu využívala k překládání pro přistěhovalce během soudních řízení, zejména těch, která se týkala žádostí o občanství. Tím si získala respekt místních politiků, kteří z ní udělali vedoucí demokratického okrsku. Byla první přistěhovalkyní, která tuto funkci v místním třetím okrsku zastávala, a spolehlivě dodávala až šest set hlasů pro demokratické kandidáty. V roce 1919 se připoutala k radnici, aby podpořila hnutí za volební právo žen. Pracovala také jako porodní asistentka a za každý porod vydělávala 50 dolarů, což byla v té době slušná částka. Díky těmto aktivitám byla Dolly po většinu dětství svého syna mimo domov. Sinatrova životopiskyně Kitty Kelleyová tvrdí, že Dolly také provozovala ilegální potratovou službu, která se zaměřovala na italské katolické dívky, a byla díky tomu tak známá, že k ní lékaři posílali své pacientky, za nimiž jezdila až do Jersey City a Union City.
Sinatřin otec Antonino – malý, modrooký muž s ruměnou pletí – pocházel z Lercara Friddi poblíž Palerma na Sicílii. Jeho rodiče se původně věnovali pěstování vinné révy. Na Ellis Island dorazil s matkou a sestrami v roce 1903, kdy se připojili ke svému otci Francescovi Sinatrovi, který do USA emigroval v roce 1900. Francesco pracoval 17 let ve společnosti American Pencil, což mu podle vnučky Nancy „zničilo plíce“. Antonino byl boxer v bantamové váze, který zápasil pod jménem Marty O’Brien. Ačkoli byl boxer, který mluvil „hlasitě a drsně“, měl jemné, zdrženlivé chování. S boxem skončil v roce 1926 poté, co si zlomil obě zápěstí, a později si našel práci v docích jako kotlář, ale brzy byl propuštěn kvůli problémům s astmatem. U hobokenského hasičského sboru sloužil 24 let a vypracoval se na kapitána. Kaplan tvrdí, že se Marty nikdy nenaučil číst.
V roce 1920 začala v USA platit prohibice alkoholu. Dolly a Marty v těchto letech provozovali hostinec, který jim místní úředníci, odmítající vymáhat dodržování zákona, dovolili otevřeně provozovat. Kaplan upozorňuje na možnost, že Sinatrovi si obstarávali alkohol od členů americké mafie. Bar, který pojmenovali Marty O’Brien’s, koupili za peníze, které si půjčili od Dollyiných rodičů. Když se věnovali hospodě, hlídali Sinatru příbuzní a někdy i židovská sousedka paní Goldbergová, která ho učila jidiš. Když bylo Sinatrovi šest let, byl jeho strýc Babe, Dollyin bratr, zatčen za řízení únikového auta po vraždě řidiče kamionu Railway Express. Přestože se Dolly denně účastnila jeho soudního přelíčení a snažila se vzbudit soucit, byl její bratr usvědčen a odsouzen na 15 let do vězení. Drobné střety se zákonem měli i další členové rodiny; Sinatrův otec a strýcové byli zatčeni za různé drobné přestupky. Sinatra později vzpomínal, že trávil čas v baru, pracoval na domácích úkolech a občas si za drobné zazpíval písničku na klavíru. Během velké hospodářské krize Dolly poskytovala synovi peníze na výlety s přáteli a na nákup drahého oblečení. Vydělával si také kapesné zpíváním na nárožích ulic. Sousedé ho popisovali jako „nejlépe oblékaného kluka v sousedství“ a „nejbohatšího kluka v bloku“, k čemuž přispělo i to, že byl jedináček a měl vlastní ložnici. Podle Kaplana Dolly svého syna zbožňovala, ale také ho týrala, když ji rozzlobil, a bila ho malou pálkou, kterou měla u Martyho O’Briena. V dětství a mládí byl Sinatra nadměrně hubený a malý, jeho hubená postava se později stala základem vtipů jeho vlastních i členů Rat Packu během pódiových vystoupení, přičemž jeden sebeironický vtip zněl: „Malý kluk, hubený. Tak hubený, že jsem měl oči jen pro sebe. Mezi nimi a mým pupkem si můj otec myslel, že jsem klarinet“.