曾祖父：李懽，北魏河秦二州刺史、杜县开国公；
祖父：李崇义在北魏时期担任过殷州（治所位于今河北省隆尧县）刺史，北周时封永康县公。
父：李诠，隋赵郡太守、临汾襄公；
母：韩氏
兄：李正明，唐左骁卫、右屯卫、左卫将军、兰夔原灵四州都督、金紫光禄大夫、上柱国，袭永康公，赠秦渭等四州诸军事、秦州都督；
兄：李端，字药王，隋将；
弟：李客师，唐左领军大将军、幽州都督、丹阳郡公；
弟：李伟节，隋司隶州刺史；
子：李德謇、李德奖。