南丰曾氏为耕读世家。自巩之祖父致尧于太平兴国八年（983）举进士起，77年间曾家出了进士19位。进士中，致尧辈7人，其子易占辈6人，其孙巩辈6人。此外，巩之妹婿王安国、王补之、王彦深等一批人亦皆进士。
曾巩，有一个哥哥、四个弟弟、十个妹妹（其中一人夭折）。