南北朝时，李纲任齐王宇文宪的参军事，后来宣帝准备杀宇文宪，特地将李纲等这些宇文宪身边的人召来，让他们编造罗织罪名诬陷宇文宪，但李纲誓死不屈从，没有昧着良心说以求开脱自己和邀功请赏。宇文宪最终被杀，此时，他生前身边的大小官吏都躲的远远的，只有李纲亲自去用车子运回尸体，并且扶着棺材嚎啕痛苦，安葬后方才离去。后来，宇文宪的女儿寡居，李纲总是尽力去接济帮助她，宇文宪的女儿视其为亲生父亲一样。
后来李纲在隋朝太子杨勇身边任洗马，杨勇荒淫无道，李纲多次苦心规劝，他都拒不采纳。后来隋文帝废掉了杨勇的太子之位，并且严厉谴责杨勇身边的官吏，这些人没人敢说话，只有李纲说道：“陛下平常不教育太子，所以太子才到了今天这个地步。太子资质中等，如果能让贤良的人辅佐完全可以从善，继承皇业了，如果让不肖之徒引导，就会从恶，为什么总让那些擅长歌舞的仆役和小人每天待候在太子身边呢？这难道是太子一人的罪过？”隋文帝听后，惋惜道：“是朕的过失啊！”见李纲如此正直敢谏，便授任他为尚书右丞。
当时杨素等奸臣掌权，李纲始终不肯曲意逢迎，因此受到杨素等人的仇视，多次加害侮辱他，几乎把他置于死地，可李纲仍旧一如既往的坚守自己的原则。
曾有精通占卜预测的人对李纲说：“你会担任卿相，但要等改朝换代后才能如愿。”并告诉他：“做官不知引退，最终会因为不能胜任而身败名裂的。”李纲于是便隐居了起来。
后来改朝换代，大唐立国，李纲進京拜见唐高祖李渊，李渊敬重他的贤良正直和气节，所以非常重用他，先后授为礼部尚书、太子詹事。李纲起先在东宫辅佐太子建成，但建成渐渐开始疏远贤良，亲近奸臣，李纲進谏无果后请求退休，李渊生气的骂他：“你能去给何潘仁当长史，却羞于给朕当尚书吗？”李纲叩头说：“何潘仁是个贼帅，志在残杀，然而臣每次進谏他都能停止，任他的长史，所以心中无愧。陛下现在大功告成，常常自以为是，臣的话就象拿石头扔進水里，我还敢久任尚书吗？而且臣侍奉东宫，太子又不听我的劝告，所以要上交官印。”李渊拒绝说：“朕知道你是个正直的人，希望你自始至终都能辅助我的儿子。”后来建成越来越不成器，李纲再次坚持请求退休，李渊无奈只好解除了他的尚书之职，但仍非常尊敬他。
后来太宗登基，把李纲任为太子少师，让他辅佐教导太子，并且每次临朝听政，都会让李纲、房玄龄、王珪陪同坐在身边。
李纲一生，正直为人，以义待人，不曾因胁迫和私利而改变初衷，但求问心无愧。他虽居高位，但乐天知命，明白知足常乐的道理，所以在任职期间，曾多次称病辞职归隐。自李纲起，李家五世同居，他的两个孙子也都因为舍生取义而闻名于世，为人们所称道。