Francis Albert Sinatra nació el 12 de diciembre, 1915, en un piso alto de la calle Monroe 415 en Hoboken, Nueva Jersey, hijo único de los inmigrantes italianos Natalina «Dolly» Garaventa y Antonino Martino «Marty» Sinatra. La pareja se había fugado el día de San Valentín de 1913 y se casó en el ayuntamiento de Jersey City, Nueva Jersey; más tarde se volvieron a casar por la iglesia. Sinatra pesó 6,1 kg al nacer. Nació de nalgas y tuvo que nacer con fórceps, lo que le causó graves cicatrices en la mejilla, el cuello y la oreja izquierdos, y le perforó el tímpano, daño que le quedó de por vida. Debido a sus lesiones de nacimiento, su bautismo se retrasó varios meses. Una operación infantil en el hueso mastoides le dejó importantes cicatrices en el cuello, y durante la adolescencia sufrió un acné quístico que le dejó cicatrices en la cara y el cuello. Algunos niños le llamaban «Caracortada» cuando tenía once años; esto le enfadó tanto que quiso agredir físicamente al médico que le había traído al mundo. Sinatra fue criado como católico romano.
La hija de Sinatra, Nancy, sobre la importancia de Dolly en la vida y el carácter de Sinatra.
Cuando la madre de Sinatra, Natalina, era una niña, su bonita cara le valió el apodo de «Dolly». De adulta, medía menos de un metro y medio y pesaba aproximadamente 90 libras. El biógrafo de Sinatra, James Kaplan, la describe como una persona de «temperamento político: inquieta, enérgica e irreflexiva». Era hija de un litógrafo. Nació en Génova, en el norte de Italia, y fue llevada a Estados Unidos cuando tenía dos meses. Dolly era influyente en Hoboken y en los círculos locales del Partido Demócrata. Utilizaba su conocimiento de los dialectos italianos y su inglés fluido para traducir a los inmigrantes durante los procesos judiciales, especialmente los relativos a las solicitudes de ciudadanía. Esto le valió el respeto de los políticos locales, que la convirtieron en líder del distrito demócrata. Fue la primera mujer inmigrante que ocupó ese cargo en el tercer distrito de su localidad, y llegó a dar hasta seiscientos votos a los candidatos demócratas. En 1919, se encadenó al ayuntamiento en apoyo del movimiento por el sufragio femenino. También trabajó como comadrona, ganando 50 dólares por cada parto, una buena cantidad de dinero en aquella época. Estas actividades mantuvieron a Dolly lejos de casa durante gran parte de la infancia de su hijo. La biógrafa de Sinatra, Kitty Kelley, afirma que Dolly también dirigía un servicio de abortos ilegales que atendía a chicas católicas italianas, y era tan conocida por ello que los médicos le remitían a sus pacientes, para los que se desplazaba hasta Jersey City y Union City.
El padre de Sinatra, Antonino -un hombre pequeño, de ojos azules y tez rubicunda- era de Lercara Friddi, cerca de Palermo, Sicilia. Sus padres habían sido originalmente cultivadores de viñedos. Llegó a la isla de Ellis con su madre y sus hermanas en 1903, cuando se unieron a su padre, Francesco Sinatra, que había emigrado a los Estados Unidos en 1900. Francesco trabajó durante 17 años en la empresa American Pencil, lo que «destrozó sus pulmones», según su nieta Nancy. Antonino era un boxeador de peso gallo que peleaba bajo el nombre de Marty O’Brien. Aunque era un boxeador que hablaba «alto y duro», tenía un comportamiento amable y reservado. Se retiró del boxeo en 1926, después de haberse roto las dos muñecas, y más tarde encontró trabajo en los muelles como calderero, pero pronto fue despedido debido a problemas de asma. Sirvió en el Departamento de Bomberos de Hoboken durante 24 años, ascendiendo a capitán. Kaplan afirma que Marty nunca aprendió a leer.
En 1920, la prohibición del alcohol se convirtió en ley en Estados Unidos. Dolly y Marty regentaron una taberna durante esos años, a la que permitieron operar abiertamente los funcionarios locales que se negaron a hacer cumplir la ley. Kaplan señala la posibilidad de que los Sinatra se abastecieran de licor con miembros de la mafia estadounidense. Compraron el bar, al que llamaron Marty O’Brien’s, con dinero que les prestaron los padres de Dolly. Cuando estaban ocupados con la taberna, Sinatra era vigilado por sus familiares y, a veces, por una vecina judía llamada Sra. Goldberg, que le enseñaba yiddish. Cuando Sinatra tenía seis años, su tío Babe, hermano de Dolly, fue detenido por conducir un coche de huida tras el asesinato de un camionero del Railway Express. Aunque Dolly asistió a diario a su juicio e intentó evocar su simpatía, su hermano fue declarado culpable y condenado a 15 años de prisión. Otros miembros de la familia tuvieron choques menores con la ley; el padre y los tíos de Sinatra habían sido detenidos por diversos delitos menores. Sinatra recordaba más tarde que pasaba el tiempo en el bar, trabajando en sus deberes y, ocasionalmente, cantando una canción encima del piano para conseguir monedas. Durante la Gran Depresión, Dolly proporcionaba dinero a su hijo para que saliera con sus amigos y se comprara ropa cara. También ganaba dinero de bolsillo cantando en las esquinas. Los vecinos le describían como el «niño mejor vestido del barrio» y el «más rico del bloque», a lo que contribuía el hecho de que fuera hijo único y tuviera su propia habitación. Según Kaplan, Dolly adoraba a su hijo, pero también lo maltrataba cuando se enfadaba, golpeándolo con un pequeño bate que guardaba en casa de Marty O’Brien. Excesivamente delgado y pequeño de niño y de joven, la delgadez de Sinatra se convirtió más tarde en un elemento de sus propias bromas y de las de los miembros del Rat Pack durante los espectáculos, siendo una de las bromas autocomplacientes: «Un niño pequeño, flaco. Tan flaco que mis ojos estaban en fila india. Entre esos dos y mi ombligo mi viejo pensaba que era un clarinete».