长孙无忌少年丧父,与母亲、妹妹被异母兄长孙安业赶出家门,由舅舅高士廉抚养长大。他生性聪慧,勤奋好学,博通文史,而且颇有计谋,与唐国公李渊的次子李世民关系甚好。高士廉见李世民才华出众,便将甥女嫁给他,长孙无忌与李世民成为郎舅。
隋朝末年,李渊在太原起兵反隋,攻入关中,建立唐朝,是为唐高祖。长孙无忌在高祖渡河时便到长春宫谒见,被任命为渭北道行军典签,辅佐秦王李世民。此后,长孙无忌追随李世民东征西讨,累迁至比部郎中,封上党县公,成为李世民的天策府重要成员。