Francis Albert Sinatra werd geboren op 12 december, 1915, in een bovenwoning in 415 Monroe Street in Hoboken, New Jersey, als enig kind van de Italiaanse immigranten Natalina “Dolly” Garaventa en Antonino Martino “Marty” Sinatra. Het paar was weggelopen op Valentijnsdag, 1913, en was getrouwd in het stadhuis in Jersey City, New Jersey; later zijn ze hertrouwd in een kerk. Sinatra woog 6,1 kg bij zijn geboorte. Hij lag in een stuitligging; hij moest met behulp van een tang ter wereld worden gebracht, wat ernstige littekens veroorzaakte in zijn linkerwang, hals en oor, en zijn trommelvlies perforeerde, schade die zijn hele leven bleef. Als gevolg van zijn verwondingen bij de geboorte, werd zijn doop enkele maanden uitgesteld. Een operatie aan zijn borstbeen in zijn jeugd liet grote littekens achter in zijn nek, en tijdens zijn adolescentie had hij last van acne met littekens op zijn gezicht en in zijn nek. Sommige kinderen noemden hem “Scarface” toen hij elf was; dit maakte hem zo kwaad dat hij de dokter die hem ter wereld had gebracht fysiek wilde aanvallen. Sinatra werd rooms-katholiek opgevoed.
-Sinatra’s dochter Nancy over het belang van Dolly in Sinatra’s leven en karakter.
Toen Sinatra’s moeder, Natalina, een kind was, leverde haar mooie gezichtje haar de bijnaam “Dolly” op. Als volwassene, ze stond minder dan vijf meter lang en woog ongeveer 90 pond. Sinatra biograaf James Kaplan beschrijft haar als een “politicus temperament-rusteloos, energiek, zonder reflectie”. Ze was de dochter van een lithograaf. Geboren in Genua in Noord-Italië, werd ze naar de Verenigde Staten gebracht toen ze twee maanden oud was. Dolly was invloedrijk in Hoboken en in kringen van de plaatselijke Democratische Partij. Ze gebruikte haar kennis van de Italiaanse dialecten en vloeiend Engels om voor immigranten te vertalen tijdens rechtszaken, vooral als het ging om verzoeken om staatsburgerschap. Dit leverde haar het respect op van lokale politici, die haar een Democratische wijkleider maakten. Zij was de eerste immigrantenvrouw die deze functie bekleedde in de derde wijk waar zij vandaan kwam, en zij bracht op betrouwbare wijze maar liefst zeshonderd stemmen uit op Democratische kandidaten. In 1919 ketende ze zich vast aan het stadhuis ter ondersteuning van het vrouwenkiesrecht. Ze werkte ook als vroedvrouw en verdiende 50 dollar voor elke bevalling, een redelijk bedrag in die tijd. Deze activiteiten hielden Dolly weg van huis tijdens een groot deel van de jeugd van haar zoon. Sinatra biograaf Kitty Kelley beweert dat Dolly ook een illegale abortusdienst runde die tegemoet kwam aan Italiaanse katholieke meisjes, en was zo bekend voor dit artsen verwezen hun patiënten naar haar, voor wie ze zou reizen zo ver weg als Jersey City en Union City.
Sinatra’s vader, Antonino – een kleine, blauwogige man met een rode huidskleur – was afkomstig uit Lercara Friddi, in de buurt van Palermo, Sicilië. Zijn ouders waren oorspronkelijk wijnbouwers. Hij arriveerde op Ellis Island met zijn moeder en zusters in 1903, toen zij zich bij zijn vader voegden, Francesco Sinatra, die in 1900 naar de VS was geëmigreerd. Francesco werkte 17 jaar bij het Amerikaanse Potlodenbedrijf, wat volgens kleindochter Nancy “zijn longen kapotmaakte”. Antonino was een bokser met bantamgewicht die vocht onder de naam Marty O’Brien. Hoewel hij een bokser was die “luid en ruw” kon praten, had hij een zachtaardige, gereserveerde houding. Hij stopte met boksen in 1926, nadat hij beide polsen had gebroken, en vond later werk in de dokken als ketelmaker, maar werd al snel ontslagen wegens astmaproblemen. Hij was 24 jaar in dienst bij de brandweer van Hoboken, waar hij opklom tot kapitein. Kaplan beweert dat Marty nooit heeft leren lezen.
In 1920 werd het alcoholverbod in de VS van kracht. Dolly en Marty runden in die jaren een taveerne, die openlijk mocht opereren van lokale ambtenaren die weigerden de wet te handhaven. Kaplan wijst op de mogelijkheid dat de Sinatras hun drank betrokken van leden van de Amerikaanse maffia. Ze kochten de bar, die ze Marty O’Brien’s noemden, met geld dat ze van Dolly’s ouders hadden geleend. Als ze met de taverne bezig waren, werd Sinatra in de gaten gehouden door familieleden en soms door een Joodse buurvrouw, Mrs. Goldberg, die hem Jiddisch leerde. Toen Sinatra zes was, werd zijn oom Babe, Dolly’s broer, gearresteerd voor het besturen van een vluchtauto nadat een vrachtwagenchauffeur van de Railway Express was vermoord. Hoewel Dolly zijn proces dagelijks bijwoonde en sympathie probeerde op te wekken, werd haar broer veroordeeld tot een gevangenisstraf van 15 jaar. Andere familieleden hadden kleine aanvaringen met de wet; Sinatra’s vader en ooms waren gearresteerd voor verschillende kleine overtredingen. Sinatra herinnerde zich later dat hij tijd doorbracht in de bar, aan zijn huiswerk werkte en af en toe een liedje zong boven op de pianola voor wat wisselgeld. Tijdens de Grote Depressie gaf Dolly haar zoon geld voor uitstapjes met vrienden, en voor hem om dure kleren te kopen. Hij verdiende ook zakgeld door op straathoeken te zingen. Buren beschreven hem als de “best geklede jongen in de buurt” en de “rijkste jongen van het blok”, geholpen door het feit dat hij enig kind was, en zijn eigen slaapkamer had. Volgens Kaplan was Dolly dol op haar zoon, maar mishandelde ze hem ook als hij haar boos maakte, door hem te slaan met een kleine knuppel die ze in Marty O’Brien’s had liggen. Als kind en jongeman was Sinatra buitensporig dun en klein, en zijn magere gestalte werd later een hoofdrolspeler in zijn eigen grappen en die van de leden van de Rat Pack tijdens shows op het podium: “Een klein kind, mager. Zo mager dat mijn ogen in één lijn stonden. Tussen die twee en mijn navel dacht mijn ouwe heer dat ik een klarinet was”.