Francis Albert Sinatra föddes den 12 december, 1915 i ett hyreshus på övervåningen på 415 Monroe Street i Hoboken, New Jersey, som enda barn till de italienska invandrarna Natalina ”Dolly” Garaventa och Antonino Martino ”Marty” Sinatra. Paret hade rymt på Alla hjärtans dag 1913 och gifte sig i stadshuset i Jersey City, New Jersey; de gifte om sig senare i en kyrka. Sinatra vägde 6,1 kg vid födseln. Han föddes i sätesläge; han var tvungen att föda med hjälp av tång, vilket orsakade svåra ärr på hans vänstra kind, hals och öra och perforerade hans trumhinnan, skador som kvarstod för livet. På grund av hans skador vid födseln försenades hans dop med flera månader. En operation i barndomen av hans mastoidben lämnade stora ärr på hans hals, och under tonåren led han av cystisk akne som gav ärr i ansiktet och på halsen. Några barn kallade honom ”Scarface” när han var elva år gammal, vilket gjorde honom så arg att han ville angripa läkaren som hade fött honom fysiskt. Sinatra uppfostrades som katolik.
-Sinatras dotter Nancy om Dollys betydelse i Sinatras liv och karaktär.
När Sinatras mor, Natalina, var barn fick hon på grund av sitt vackra ansikte smeknamnet ”Dolly”. Som vuxen var hon mindre än en halvmeter lång och vägde ungefär 90 pund. Sinatras biograf James Kaplan beskriver henne som en ”politikers temperament – rastlös, energisk, oreflekterad”. Hon var dotter till en litograf. Hon föddes i Genua i norra Italien och fördes till USA när hon var två månader gammal. Dolly var inflytelserik i Hoboken och i det lokala demokratiska partiets kretsar. Hon använde sina kunskaper i italienska dialekter och sin flytande engelska för att översätta för invandrare under domstolsförfaranden, särskilt när det gällde ansökningar om medborgarskap. Detta gav henne respekt från lokala politiker, som gjorde henne till demokratisk distriktsledare. Hon var den första invandrarkvinnan som innehade den positionen i sin lokala tredje distriktsavdelning och gav tillförlitligt så många som sexhundra röster till demokratiska kandidater. År 1919 kedjade hon fast sig vid stadshuset för att stödja kvinnornas rösträttsrörelse. Hon arbetade också som barnmorska och tjänade 50 dollar för varje förlossning, vilket var en rimlig summa på den tiden. Dessa aktiviteter höll Dolly borta från hemmet under en stor del av sin sons barndom. Sinatras biograf Kitty Kelley hävdar att Dolly också drev en olaglig aborttjänst som riktade sig till italienska katolska flickor, och att hon var så känd för detta att läkare hänvisade sina patienter till henne, för vilka hon reste så långt bort som Jersey City och Union City.
Sinatras pappa, Antonino – en liten man med blå ögon och rödaktig komplexion – kom från Lercara Friddi, nära Palermo på Sicilien. Hans föräldrar hade ursprungligen varit vinodlare. Han anlände till Ellis Island med sin mor och sina systrar 1903, då de anslöt sig till sin far, Francesco Sinatra, som hade invandrat till USA 1900. Francesco arbetade i 17 år på American Pencil Company, vilket ”förstörde hans lungor” enligt barnbarnet Nancy. Antonino var en bantamviktsboxare som slogs under namnet Marty O’Brien. Trots att han var en boxare som pratade ”högt och grovt” hade han en mild och reserverad attityd. Han drog sig tillbaka från boxningen 1926, efter att ha brutit båda handlederna, och hittade senare arbete på hamnen som panngjutare, men blev snart uppsagd på grund av problem med astma. Han tjänstgjorde vid Hobokens brandkår i 24 år och arbetade sig upp till kapten. Kaplan hävdar att Marty aldrig lärde sig att läsa.
Under 1920 blev alkoholförbudet lag i USA. Dolly och Marty drev en krog under dessa år, som tilläts bedriva öppen verksamhet av lokala tjänstemän som vägrade att tillämpa lagen. Kaplan noterar möjligheten att Sinatras skaffade sin sprit från medlemmar av den amerikanska maffian. De köpte baren, som de kallade Marty O’Brien’s, med pengar som de lånade av Dollys föräldrar. När de var upptagna med tavernan vaktades Sinatra av släktingar och ibland av en judisk granne vid namn Mrs Goldberg, som lärde honom jiddisch. När Sinatra var sex år gammal arresterades hans farbror Babe, Dollys bror, för att ha kört en flyktbil efter att en lastbilschaufför från Railway Express mördats. Trots att Dolly dagligen närvarade vid rättegången och försökte väcka sympati, dömdes hennes bror till 15 års fängelse. Andra familjemedlemmar hade mindre sammandrabbningar med lagen; Sinatras far och farbröder hade arresterats för diverse mindre brott. Sinatra mindes senare att han tillbringade tid i baren, arbetade med sina läxor och sjöng ibland en sång ovanpå spelpianot för småpengar. Under den stora depressionen gav Dolly pengar till sin son för utflykter med vänner och för att han skulle kunna köpa dyra kläder. Han tjänade också fickpengar genom att sjunga på gatuhörn. Grannarna beskrev honom som ”den bäst klädda pojken i grannskapet” och ”den rikaste pojken i kvarteret”, vilket underlättades av det faktum att han var enda barnet och hade ett eget sovrum. Enligt Kaplan älskade Dolly sin son, men hon misshandlade honom också när han retade upp henne och slog honom med ett litet slagträ som hon förvarade hos Marty O’Brien. Sinatras överdrivet tunna och lilla kropp som barn och ung man blev Sinatras magra ram senare en viktig del av hans egna skämt och Rat Pack-medlemmarnas skämt under scenshowerna, och ett av hans skämt var följande: ”En liten unge, mager. Så mager att mina ögon var enfiliga. Mellan dessa två och min navel trodde min farsa att jag var en klarinett”.