祖父:虞检,在梁代曾任始兴王咨议。
生父:虞荔,字山披,官至太子中庶子、大著作、东扬扬州二州大中正,卒赠侍中,谥德子。
继父:虞寄,字次安,虞世南叔父,因其无子,虞世南便过继给虞寄为子,官至中书侍郎。
兄长:虞世基,字茂世,一作懋世,官至内史侍郎、金紫光禄大夫。
儿子:虞昶,工部侍郎。
外甥:陆柬之,唐代著名书法家,官至朝散大夫,守太子司议郎。
曾外孙:张旭,著名书法家,史称“草圣”。其母陆氏为陆柬之的侄女,即虞世南的外孙女。