Francis Albert Sinatra nasceu em 12 de dezembro, 1915, em um cortiço no andar superior da Rua Monroe, 415, em Hoboken, Nova Jersey, filha única de imigrantes italianos Natalina “Dolly” Garaventa e Antonino Martino “Marty” Sinatra. O casal tinha fugido no dia de São Valentim, 1913, e casaram-se na prefeitura de Jersey City, Nova Jersey; mais tarde voltaram a se casar em uma igreja. Sinatra pesava 6,1 kg ao nascer. O seu nascimento foi um parto brega; ele teve que ser entregue com a ajuda de fórceps, que causou graves cicatrizes na bochecha esquerda, pescoço e orelha, e perfurou o seu tambor auditivo, danos que permaneceram para toda a vida. Devido aos seus ferimentos ao nascer, o seu baptismo foi adiado por vários meses. Uma operação de infância em seu osso mastóide deixou cicatrizes graves em seu pescoço, e durante a adolescência ele sofreu de acne cística que lhe causou cicatrizes no rosto e pescoço. Algumas crianças o chamavam de “Scarface” quando ele tinha onze anos; isso o deixou tão irritado que quis agredir fisicamente o médico que o tinha dado à luz. Sinatra foi criado católico romano.
A filha de Sinatra, Nancy, sobre a importância da Dolly na vida e personagem de Sinatra.
Quando a mãe de Sinatra, Natalina, era uma criança, a sua linda cara ganhou-lhe o apelido de “Dolly”. Quando adulta, ela tinha menos de um metro e meio de altura e pesava aproximadamente 90 libras. O biógrafo do Sinatra, James Kaplan, descreve-a como tendo “um político sem temperamento, enérgico, irrefletido”. Ela era a filha de uma litógrafa. Nascida em Génova, no norte da Itália, foi trazida para os Estados Unidos quando tinha dois meses de idade. Dolly era influente em Hoboken e nos círculos locais do Partido Democrata. Ela usava seus conhecimentos de dialetos italianos e inglês fluente para traduzir para imigrantes durante os processos judiciais, particularmente aqueles relativos a pedidos de cidadania. Isso lhe valeu o respeito dos políticos locais, que a tornaram líder da ala democrata. Ela foi a primeira mulher imigrante a ocupar esse cargo na sua terceira ala local, e entregou de forma confiável até seiscentos votos para os candidatos democratas. Em 1919, ela se acorrentou à prefeitura em apoio ao movimento Mulheres por Sufrágio. Ela também trabalhou como parteira, ganhando 50 dólares por cada parto, uma quantia justa de dinheiro na época. Essas atividades mantiveram Dolly longe de casa durante grande parte da infância de seu filho. A biógrafa do Sinatra, Kitty Kelley, afirma que Dolly também dirigia um serviço de aborto ilegal que atendia meninas católicas italianas, e era tão conhecida por esse médico ter encaminhado seus pacientes para ela, para quem ela viajava para tão longe como Jersey City e Union City.
O pai de Sinatra, Antonino – um homem pequeno, de olhos azuis e com a pele avermelhada – era de Lercara Friddi, perto de Palermo, na Sicília. Os seus pais tinham sido originalmente cultivadores de vinha. Chegou à Ilha Ellis com a mãe e as irmãs em 1903, quando se juntaram ao pai, Francesco Sinatra, que tinha imigrado para os Estados Unidos em 1900. Francesco trabalhou durante 17 anos na empresa American Pencil, que “lhe arruinou os pulmões”, segundo a neta Nancy. Antonino era um pugilista bantamweight que lutou sob o nome de Marty O’Brien. Embora fosse um boxeador, que falava “alto e grosso”, ele tinha um comportamento gentil e reservado. Ele se aposentou do boxe em 1926, depois de ter quebrado os dois pulsos, e mais tarde encontrou trabalho nas docas como caldeireiro, mas logo foi demitido devido a problemas com asma. Ele serviu no Corpo de Bombeiros de Hoboken por 24 anos, trabalhando para chegar ao Capitão. Kaplan afirma que Marty nunca aprendeu a ler.
Em 1920, a proibição do álcool tornou-se lei nos EUA. Dolly e Marty dirigiram uma taberna durante esses anos, autorizados a operar abertamente por oficiais locais que se recusaram a fazer cumprir a lei. Kaplan observa a possibilidade de os Sinatras adquirirem suas bebidas alcoólicas de membros da Máfia Americana. Eles compraram o bar, que eles chamaram de Marty O’Brien’s, com dinheiro que pediram emprestado aos pais de Dolly. Quando estavam ocupados com a taberna, Sinatra era vigiado por parentes e às vezes por uma vizinha judia chamada Sra. Goldberg, que lhe ensinava iídiche. Quando Sinatra tinha seis anos, seu tio Babe, irmão de Dolly, foi preso por dirigir um carro de fuga depois que um caminhoneiro do Railway Express foi assassinado. Apesar de Dolly assistir diariamente ao seu julgamento e tentar evocar simpatia, seu irmão foi condenado e sentenciado à prisão por 15 anos. Outros membros da família tiveram confrontos menores com a lei; o pai e os tios de Sinatra foram presos por delitos menores variados. Sinatra lembrou-se mais tarde de passar algum tempo no bar, trabalhando nos seus trabalhos de casa e ocasionalmente cantando uma canção em cima do piano do tocador para receber trocos. Durante a Grande Depressão, Dolly forneceu dinheiro ao filho para passeios com amigos e para que ele comprasse roupas caras. Ele também ganhava dinheiro no bolso cantando nas esquinas das ruas. Os vizinhos o descreveram como o “garoto mais bem vestido do bairro” e o “garoto mais rico do bairro”, ajudado pelo fato de ele ser filho único e ter seu próprio quarto. De acordo com Kaplan, Dolly fez sexo com seu filho, mas também abusou dele quando ele a irritou, batendo nele com um pequeno bastão que ela guardava no Marty O’Brien’s. Excessivamente magra e pequena quando criança e jovem, a moldura magra de Sinatra mais tarde se tornou um dos principais motivos de suas próprias piadas e as dos membros do Rat Pack durante os shows de palco, sendo uma piada que se auto-refaz: “Uma criança pequena, magricela. Tão magrinho que os meus olhos eram de fila única. Entre aqueles dois e o meu umbigo o meu velho pensava que eu era um clarineta”.