A l’origine, le site était une abbaye bénédictine fondée par le roi mérovingien Childebert I^er au VI^e siècle. Aujourd’hui, seule la partie comprenant l’église est encore visible. Le clocher et la nef, de style roman, ont d’ailleurs été reconstruits au XI^e siècle, après que les Vikings aient incendié le bâtiment deux siècles plus tôt.
Devenue paroisse au XVII^e siècle, elle est aujourd’hui considérée comme l’une des plus anciennes églises de la capitale et accueille régulièrement des concerts de musique classique. Elle tient son nom de Germain, évêque de Paris au VI^e siècle, qui fut l’un de ses administrateurs.