Francis Albert Sinatra syntyi 12. joulukuuta, 1915 Hobokenissa, New Jerseyssä, 415 Monroe Streetillä sijaitsevan vuokrakerrostalon yläkerrassa italialaisten maahanmuuttajien Natalina ”Dolly” Garaventan ja Antonino Martino ”Marty” Sinatran ainoana lapsena. Pariskunta oli karannut ystävänpäivänä 1913 ja heidät vihittiin New Jerseyn Jersey Cityn kaupungintalolla; myöhemmin he menivät uudelleen naimisiin kirkossa. Sinatra painoi syntyessään 13,5 kiloa (6,1 kg). Synnytys oli perätilasynnytys; hänet jouduttiin synnyttämään pihtien avulla, mikä aiheutti vakavia arpia hänen vasempaan poskeensa, kaulaansa ja korvaansa sekä puhkaisi hänen korvatummensa, mikä jäi vahingoksi koko eliniäksi. Syntymävammojen vuoksi hänen kastamisensa viivästyi useita kuukausia. Lapsuudessa tehty mastoidiluun leikkaus jätti hänen kaulaansa suuret arvet, ja murrosiässä hän kärsi kystisesta aknesta, joka arpeutti hänen kasvonsa ja kaulansa. Jotkut lapset kutsuivat häntä ”Arpinaamaksi”, kun hän oli yksitoistavuotias; tämä sai hänet niin vihaiseksi, että hän halusi käydä fyysisesti hänen synnytyksensä hoitaneen lääkärin kimppuun. Sinatra kasvatettiin roomalaiskatoliseksi.
-Sinatran tytär Nancy Dollyn merkityksestä Sinatran elämässä ja luonteessa.
Kun Sinatran äiti Natalina oli lapsi, hänen kauniit kasvonsa toivat hänelle lempinimen ”Dolly”. Aikuisena hän oli alle kaksimetrinen ja painoi noin 90 kiloa. Sinatran elämäkerran kirjoittaja James Kaplan kuvailee, että hänellä oli ”poliitikon temperamentti – levoton, energinen, harkitsematon”. Hän oli litografin tytär. Hän syntyi Genovassa Pohjois-Italiassa ja tuotiin Yhdysvaltoihin kahden kuukauden ikäisenä. Dolly oli vaikutusvaltainen Hobokenissa ja paikallisissa demokraattisen puolueen piireissä. Hän käytti italian murteiden tuntemustaan ja sujuvaa englannin kielen taitoaan kääntääkseen maahanmuuttajille oikeudenkäynneissä, erityisesti kansalaisuushakemuksia koskevissa asioissa. Tämä toi hänelle paikallisten poliitikkojen kunnioituksen, ja he tekivät hänestä demokraattisen piirin johtajan. Hän oli ensimmäinen maahanmuuttajanainen, joka toimi tässä tehtävässä paikallisessa kolmannessa vaalipiirissään, ja hän antoi luotettavasti jopa kuusisataa ääntä demokraattiehdokkaille. Vuonna 1919 hän kahlitsi itsensä kaupungintalolle tukeakseen naisten äänioikeusliikettä. Hän työskenteli myös kätilönä ja ansaitsi 50 dollaria jokaisesta synnytyksestä, mikä oli tuohon aikaan melkoinen summa rahaa. Nämä toimet pitivät Dollyn poissa kotoa suurimman osan poikansa lapsuudesta. Sinatran elämäkerran kirjoittaja Kitty Kelley väittää, että Dolly pyöritti myös italialaisille katolilaisille tytöille suunnattua laitonta aborttipalvelua, josta hänet tunnettiin niin hyvin, että lääkärit ohjasivat hänen luokseen potilaitaan, joita varten hän matkusti jopa Jersey Cityyn ja Union Cityyn asti.
Sinatran isä Antonino – pienikokoinen, sinisilmäinen, punasilmäinen, punatukkainen mies – oli kotoisin Lercara Friddistä, joka sijaitsi lähellä Palermoa Sisiliassa. Hänen vanhempansa olivat alun perin olleet viininviljelijöitä. Hän saapui Ellis Islandille äitinsä ja siskojensa kanssa vuonna 1903, jolloin he liittyivät hänen isänsä Francesco Sinatran seuraan, joka oli muuttanut Yhdysvaltoihin vuonna 1900. Francesco työskenteli 17 vuotta amerikkalaisessa lyijykynäyhtiössä, mikä ”tuhosi hänen keuhkonsa” tyttärentytär Nancyn mukaan. Antonino oli kaksoissarjan nyrkkeilijä, joka otteli nimellä Marty O’Brien. Vaikka nyrkkeilijä puhui ”kovaa ja kovaa”, hänellä oli lempeä ja varautunut käytös. Hän lopetti nyrkkeilyn vuonna 1926, kun molemmat ranteet olivat murtuneet, ja löysi myöhemmin töitä telakalta kattilanrakentajana, mutta hänet irtisanottiin pian astmaongelmien vuoksi. Hän palveli Hobokenin palolaitoksessa 24 vuotta ja nousi kapteeniksi. Kaplan väittää, ettei Marty koskaan oppinut lukemaan.
Vuonna 1920 Yhdysvalloissa tuli voimaan alkoholin kieltolaki. Dolly ja Marty pitivät noina vuosina kapakkaa, jonka paikalliset virkamiehet, jotka kieltäytyivät panemasta lakia täytäntöön, sallivat toimia avoimesti. Kaplan toteaa, että on mahdollista, että Sinatrat hankkivat viinansa amerikkalaisen mafian jäseniltä. He ostivat baarin, jonka he nimesivät Marty O’Brien’siksi, Dollyn vanhemmilta lainaamillaan rahoilla. Kun he olivat kiireisiä kapakan kanssa, Sinatraa vahtivat sukulaiset ja joskus juutalainen naapuri rouva Goldberg, joka opetti hänelle jiddishiä. Kun Sinatra oli kuudenvuotias, hänen Babe-setänsä, Dollyn veli, pidätettiin pakoauton kuljettamisesta Railway Expressin kuorma-autonkuljettajan murhan jälkeen. Vaikka Dolly osallistui päivittäin hänen oikeudenkäyntiinsä ja yritti herättää myötätuntoa, hänen veljensä tuomittiin 15 vuodeksi vankilaan. Muilla perheenjäsenillä oli pienempiä yhteenottoja lain kanssa; Sinatran isä ja sedät oli pidätetty erilaisista pikkurikoksista. Sinatra muisteli myöhemmin viettäneensä aikaa baarissa, tehneensä läksyjään ja laulaneensa toisinaan kappaleen soittopianon päällä pikkurahasta. Suuren laman aikana Dolly antoi pojalleen rahaa ystävien kanssa tehtäviin retkiin ja kalliiden vaatteiden ostamiseen. Hän ansaitsi taskurahaa myös laulamalla kadunkulmilla. Naapurit kuvailivat häntä ”naapuruston parhaiten pukeutuneeksi pojaksi” ja ”korttelin rikkaimmaksi pojaksi”, mitä auttoi se, että hän oli ainoa lapsi ja hänellä oli oma makuuhuone. Kaplanin mukaan Dolly rakasti poikaansa, mutta hän myös pahoinpiteli poikaa, kun tämä suututti hänet, ja löi häntä pienellä mailalla, jota hän säilytti Marty O’Brienin luona. Lapsena ja nuorena miehenä kohtuuttoman laiha ja pienikokoinen Sinatra käytti laihaa kehoaan myöhemmin omien ja Rat Packin jäsenten vitsien pohjana lavaesiintymisten aikana, ja eräs itseään vähättelevä vitsi oli: ”Pieni lapsi, laiha. Niin laiha, että silmäni olivat yksitahoiset. Niiden ja napani välissä isäni luuli minua klarinetiksi.”