Nació el 2 de diciembre de 1905 en el barrio porteño de Villa Crespo, en el seno de una familia de músicos, aunque no tan talentosos como él. Su padre, Adolfo Pugliese, tocaba la flauta en los conjuntos de barrio, esencialmente en cuartetos. Dos de sus hermanos mayores, Vicente Salvador y Alberto Roque, también eran músicos.
Adolfo, su padre, lo ayudó a hacer sus primeros "palotes" en la música, le compró un violín con el que fue enviado al Conservatorio Odeón del barrio de Villa Crespo. Pero en este lugar encontró el instrumento que sería parte de su vida y el que lo destacaría por encima de muchos: el piano.
Estudió con grandes maestros como Vicente Scaramuzza y Pedro Rubione, con los cuales se convirtió en un extraordinario pianista.
A los quince años ya integraba un trío junto al bandoneonista Domingo Faillac y el violinista Alfredo Ferrito, con los que debutó ante el público en un bar de barrio (en Argentina denominados genéricamente: cafés) llamado Café de la Chancha, nombre que le otorgaran los parroquianos en alusión a la poca higiene de su dueño y del lugar.
Tiempo después pudo llegar a la Gran Ciudad, Buenos Aires, donde debutó integrando un conjunto que tenía, como particularidad, a la primera mujer bandoneonista del país: Francisca Cruz Bernardo. Más conocida como "Paquita", "La Flor de Villa Crespo", era la directora de aquella orquesta típica. Y quien comprendió el afán monetario de Osvaldo Pugliese y aceptó su alejamiento en aras de un mejor porvenir económico.
Más tarde, y ya con mucha más experiencia y soltura, formó parte del cuarteto de Enrique Pollet (1924), y luego de la orquesta de otro famoso de su tiempo, Roberto Firpo. Ya en 1926, era el pianista de la orquesta del gran bandoneonista Pedro Maffia, continuado con su ascenso en el mundo del tango y tomando cada día más y más prestigio.
Pero el sueño de Osvaldo Pugliese era tener su propia orquesta. Fue así que se desvinculó de la de Pedro Maffia, en 1929, junto con el violinista Elvino Vardaro para formar su propio conjunto. Ambos tocaron por primera vez en el café Nacional con gran repercusión, lo que los empujó a hacer una gira por todo el país. Sin embargo, la gira fue un fracaso económico y debieron empeñar parte de sus instrumentos para conseguir los pasajes de regreso a su ciudad. A su retorno integró la orquesta de Alfredo Gobbi, y más tarde acompañó a Daniel Álvarez "Sardina", Roberto Firpo y Miguel Caló.
Pero Pugliese nunca abandonó su sueño y fue así que en 1936 creó un sexteto junto a Alfredo Calabró, Juan Abelardo Fernández y Marcos Madrigal (bandoneones), Rolando Curzel y Juan Pedro Potenza (violines), Aniceto Rossi (contrabajo), del cual era su director. Debutaron en la famosa Avenida Corrientes, en el Germinal. Este fue el punto de partida de su orquesta. La misma fue presentada en el café El Nacional el 11 de agosto de 1939, orquesta que, aunque con los lógicos recambios, lo acompañaría durante 55 años. Durante todo ese tiempo, Don Osvaldo compuso más de 150 temas, algunos muy famosos como Recuerdo, La Beba, Negracha, Malandraca y su himno La yumba. Además grabó más de 600 temas de otros autores.
