Carl Roesch kommt am 9. Mai als älterer von zwei Söhnen des Schreiners Titus Roesch und seiner Frau Thomasine Roesch-Traber im deutschen Dorf Gailingen zur Welt. Getauft wird er auf den Namen Karl Josef. Sein Grossvater mütterlicherseits arbeitet als Küfer im unweit des Städtchens Diessenhofen gelegenen ehemaligen Kloster St. Katharinental. Carl wächst bei seiner Grossmutter in Diessenhofen auf. Rückblickend schildert er seine Jugend als schwierige Zeit: „Mein Charakter hatte ja auch etwas Brüchiges davon getragen, denn eine Erziehung habe ich mir selber geben müssen“. Bereits als Jugendlicher ist er ein begeisterter Zeichner. Sein Wunsch Zeichenlehrer zu werden, wird mit der Begründung abgelehnt, eine solche Ausbildung sei zu teuer.

Diessenhofen, Hintergasse. Hier stand das Haus von Roeschs Grossmutter