Ela nasceu como Édith Giovanna Gassion em Belleville, um distrito cheio de imigrantes em Paris. Uma lenda diz que ela nasceu na calçada da Rue de Belleville 72, mas sua certidão de nascimento cita o Hospital Tenon, que faz parte de Belleville.

Ela recebeu o nome de Édith em homenagem a uma enfermeira britnica da Primeira Guerra Mundial que foi executada por ajudar soldados franceses a escapar dos alemães. Piaf, um nome coloquial francês para um tipo de pardal, foi um apelido dado a ela vinte anos depois.

Sua mãe, Annetta Giovanna Maillard (1895–1945), era pied-noir, mais especificamente de ascendência franco-italiana por parte de pai e cabila-berbere por parte de mãe. Ela trabalhava como cantora em um café com o pseudônimo de Line Marsa. Louis-Alphonse Gassion (1881–1944), o pai de Édith, era normando e acrobata de rua com um passado no teatro. Os pais de Edith abandonaram-na cedo, e ela viveu por um curto período de tempo com sua avó materna, Emma (Aïcha) Saïd ben Mohammed (1876–1930), que deixava-a em uma saleta e não cuidava da sua higiene. Ela ficou 18 meses com a avó; antes de se alistar na armada francesa em 1916 para lutar na Primeira Guerra Mundial, o pai de Edith pegou-a de volta e levou-a para sua mãe. Esta trabalhava então em um bordel em Bernay, na Normandia. Lá, prostitutas tomaram conta da pequena Édith.

Dos sete aos oito anos, Édith ficou supostamente cega devido a uma queratite. De acordo com uma de suas biografias, ela curou-se depois de as prostitutas a terem levado para orar no túmulo de Santa Teresa de Lisieux (conhecida popularmente como Santa Teresinha). Devido a esse episódio, Édith conservou devoção a Santa Teresinha por toda sua vida.

Em 1922, o pai de Édith levou-a para viver em sua companhia, enquanto trabalhava em pequenos circos itinerantes. Em 1929, aos 14 anos, enquanto seu pai fazia performances acrobáticas nas ruas de toda a França, Édith cantou pela primeira vez em público.