Francis Albert Sinatra wurde am 12. Dezember geboren, 1915 in einem oberen Stockwerk in der 415 Monroe Street in Hoboken, New Jersey, als einziges Kind der italienischen Einwanderer Natalina „Dolly“ Garaventa und Antonino Martino „Marty“ Sinatra geboren. Das Paar war am Valentinstag 1913 durchgebrannt und im Rathaus von Jersey City, New Jersey, getraut worden; später heirateten sie erneut in einer Kirche. Sinatra wog bei der Geburt 13,5 Pfund (6,1 kg). Er wurde in Steißlage geboren und musste mit Hilfe einer Zange entbunden werden, was zu schweren Narben an der linken Wange, am Hals und am Ohr führte und sein Trommelfell durchlöcherte – ein Schaden, der lebenslang bestehen blieb. Aufgrund seiner Verletzungen bei der Geburt verzögerte sich seine Taufe um mehrere Monate. Eine Operation am Warzenfortsatz in seiner Kindheit hinterließ große Narben an seinem Hals, und als Jugendlicher litt er unter zystischer Akne, die sein Gesicht und seinen Hals vernarbte. Als er elf Jahre alt war, nannten ihn einige Kinder „Scarface“, was ihn so wütend machte, dass er den Arzt, der ihn entbunden hatte, tätlich angreifen wollte. Sinatra wurde römisch-katholisch erzogen.
-Sinatras Tochter Nancy über die Bedeutung von Dolly für Sinatras Leben und Charakter.
Als Sinatras Mutter Natalina ein Kind war, brachte ihr hübsches Gesicht ihr den Spitznamen „Dolly“ ein. Als Erwachsene war sie weniger als fünf Fuß groß und wog etwa 90 Pfund. Der Sinatra-Biograf James Kaplan beschreibt sie als eine „Politikerin mit dem Temperament eines Politikers – rastlos, energisch, unreflektiert“. Sie war die Tochter eines Lithographen. Geboren in Genua in Norditalien, wurde sie im Alter von zwei Monaten in die Vereinigten Staaten gebracht. Dolly war in Hoboken und in den Kreisen der örtlichen Demokratischen Partei einflussreich. Sie nutzte ihre Kenntnisse des italienischen Dialekts und ihr fließendes Englisch, um für Einwanderer bei Gerichtsverfahren zu übersetzen, insbesondere bei Anträgen auf Staatsbürgerschaft. Dadurch erwarb sie sich den Respekt der Lokalpolitiker, die sie zur Bezirksvorsitzenden der Demokraten machten. Sie war die erste Immigrantin, die dieses Amt in ihrem örtlichen dritten Wahlbezirk innehatte, und gab zuverlässig bis zu sechshundert Stimmen für demokratische Kandidaten ab. Im Jahr 1919 kettete sie sich an das Rathaus, um die Frauenwahlrechtsbewegung zu unterstützen. Außerdem arbeitete sie als Hebamme und verdiente für jede Entbindung 50 Dollar, was zu jener Zeit eine stattliche Summe darstellte. Diese Aktivitäten hielten Dolly während der gesamten Kindheit ihres Sohnes von zu Hause fern. Die Sinatra-Biografin Kitty Kelley behauptet, dass Dolly auch einen illegalen Abtreibungsdienst für katholische italienische Mädchen betrieb und dafür so bekannt war, dass Ärzte ihre Patientinnen an sie verwiesen, für die sie bis nach Jersey City und Union City reiste.
Sinatras Vater, Antonino – ein kleiner, blauäugiger, rötlich-behaarter Mann – stammte aus Lercara Friddi in der Nähe von Palermo, Sizilien. Seine Eltern waren ursprünglich Weinbauern gewesen. Er kam 1903 mit seiner Mutter und seinen Schwestern auf Ellis Island an, als sie zu seinem Vater, Francesco Sinatra, stießen, der 1900 in die USA eingewandert war. Francesco arbeitete 17 Jahre lang bei der American Pencil Company, was laut Enkelin Nancy „seine Lunge ruinierte“. Antonino war ein Bantamgewichtsboxer, der unter dem Namen Marty O’Brien kämpfte. Obwohl er ein Boxer war, der „laut und grob“ sprach, hatte er ein sanftes, zurückhaltendes Auftreten. Er zog sich 1926 vom Boxen zurück, nachdem er sich beide Handgelenke gebrochen hatte, und fand später Arbeit als Kesselschmied in den Docks, wurde aber bald wegen Asthma-Problemen entlassen. Er diente 24 Jahre lang bei der Feuerwehr von Hoboken und arbeitete sich bis zum Hauptmann hoch. Kaplan behauptet, dass Marty nie lesen gelernt hat.
Im Jahr 1920 wurde in den USA das Alkoholverbot eingeführt. Dolly und Marty betrieben in jenen Jahren eine Taverne, die von den örtlichen Behörden, die sich weigerten, das Gesetz durchzusetzen, offen betrieben werden durfte. Kaplan weist auf die Möglichkeit hin, dass die Sinatras ihren Schnaps von Mitgliedern der amerikanischen Mafia bezogen haben. Sie kauften die Bar, die sie Marty O’Brien’s nannten, mit Geld, das sie sich von Dollys Eltern liehen. Wenn sie mit der Kneipe beschäftigt waren, wurde Sinatra von Verwandten und manchmal von einer jüdischen Nachbarin namens Mrs. Goldberg beobachtet, die ihm Jiddisch beibrachte. Als Sinatra sechs Jahre alt war, wurde sein Onkel Babe, Dollys Bruder, verhaftet, weil er ein Fluchtauto gefahren hatte, nachdem ein LKW-Fahrer des Railway Express ermordet worden war. Obwohl Dolly täglich bei seinem Prozess anwesend war und versuchte, Mitgefühl zu wecken, wurde ihr Bruder zu 15 Jahren Gefängnis verurteilt. Auch andere Familienmitglieder hatten kleinere Zusammenstöße mit dem Gesetz; Sinatras Vater und Onkel waren wegen verschiedener kleinerer Vergehen verhaftet worden. Später erinnerte sich Sinatra daran, dass er seine Zeit in der Bar verbrachte, an seinen Hausaufgaben arbeitete und gelegentlich für ein bisschen Kleingeld ein Lied auf dem Klavier sang. Während der Weltwirtschaftskrise gab Dolly ihrem Sohn Geld für Ausflüge mit Freunden und für teure Kleidung. Er verdiente sich auch ein Taschengeld, indem er an Straßenecken sang. Nachbarn beschrieben ihn als das bestgekleidete Kind in der Nachbarschaft“ und das reichste Kind im Viertel“, was dadurch begünstigt wurde, dass er ein Einzelkind war und sein eigenes Zimmer hatte. Kaplan zufolge liebte Dolly ihren Sohn, aber sie misshandelte ihn auch, wenn er sie ärgerte, und schlug ihn mit einem kleinen Schläger, den sie bei Marty O’Brien aufbewahrte. Da Sinatra als Kind und junger Mann übermäßig dünn und klein war, wurde seine dünne Statur später zu einem Grundelement seiner eigenen Witze und der Witze der Mitglieder des Rat Packs während der Bühnenshows, wobei ein selbstironischer Witz lautete „Ein kleines Kind, dünn. So dünn, dass meine Augen nur aus einer Reihe bestanden. Zwischen diesen beiden und meinem Bauchnabel dachte mein alter Herr, ich sei eine Klarinette“.