Karel Veliký byl opravdu veliký - měřil 190 centimetrů. Velký byl i jako milenec. Než se poprvé oženil, zplodil syna s ženou jménem Hilmitruda.
Karlovou první manželkou byla dcera krále Langobardů Desideria, kterou ale brzy zapudil a oženil se s Hildegardou, s níž měl nejméně devět dětí. Když ovdověl, vzal si za ženu Fastradu, s kterou měl dvě dcery. Manželství s další chotí Luitgardou zůstalo bezdětné.
Po její smrti se už padesátiletý Karel neoženil, ale ženám se nevyhýbal. Žil nejméně s tucet ženami a s některými z nich měl další děti!
Navzdory tomu byl Karel Veliký za císaře Fridricha Barbarossy prohlášen svatým. Také v Praze najdeme kostel, zasvěcený svatému Karlu Velikému. Nechal mu ho vybudovat jeho přímý potomek v dvacáté generaci - císař a král Karel IV.
Přímým potomkem císaře Karla Velikého byla i dcera rakouského následníka trůnu Ferdinanda d´Este, známá jako hraběnka Nosticová. Na rozdíl od otce zastřeleného při známém atentátu v Sarajevu prožila velmi dlouhý život - zemřela v roce 1991 a byla poslední obyvatelkou malostranského Nosticova paláce.