光绪十七年（1891）在广州设“万木草堂”，宣传西方政治文化，又多聚书，多为普通之书及西学书籍。与梁启超倡导维新变法。戊戌之变，其家被抄，其藏书移广雅书院。《广雅书院藏书目》对其所藏书均有著录。变法失败后，逃往日本。在日本亦搜集图书，撰《日本书目志》15卷，分15门，每门各分子目，数项至数十项不等。自海外回国后，政治上趋于保守，反对孙中山民主革命。曾与张勋一道策划复辟帝制。其学术成就颇高。所藏书初贮于“云衢书屋”，后移至“万木草堂”、“万木楼”中。民国后，在上海又建有“天游阁”藏书楼。据《南海珍藏宋元明书目》所载，计有宋刊14种，428册；元刊9种；明刊232种，共5万余册。又收有南海孔氏“三十三万卷楼”旧藏及新购新学、西学之书，数逾万册。藏书印有“御赐天游阁”、“南海康氏万木草堂珍藏”等。去世后，所藏书大部分分别归于广西大学图书馆、镇江图书馆、香港中文大学图书馆等。