司马光看来，据人的才德情况，大概可划分为：才德兼备的叫做“圣人”，才德全无的叫做“愚人”，德行胜过才能的叫做“君子”，才能胜过德行的叫做“小人”。在选人用人时，司马光观点是必须重用圣人、君子，倘若无圣人、君子，宁可用“愚人”也不用“小人”。
究其原因，司马光认为，由于君子拥有才能可以行善，而小人拥有才能，会用以作恶。愚人想作恶，但由于才智不全不能得逞，而小人智谋足以实现他们的奸诈，勇力足以达成行暴，等于虎添双翼，它们危害之大无与伦比啊！
司马光进一步阐述道，有德行的人被人尊敬，有才能的人被众人喜爱。然而尊敬的容易疏远，而喜爱的却容易亲近。所以作为考察者，大多被人的才能所蒙蔽，而忽视了他们的德行。自古以来，国中的昏君、奸臣、家庭的败子，大多是才华有余而德行不足，以至于造成国破家亡的太多了。历史上臭名昭著的暴君殷纣王、周幽王、隋炀帝等都是有才无德、祸国殃民的小人。
特别是殷纣王，资质聪颖，见闻广博，勇力超常，能够空手与猛兽格斗，但是他却文过饰非，拒绝纳谏，怠慢天神。自我炫耀，认为整个天下所有人的本领都在自己之下。因此他残忍凶暴，炮烙忠良，剖腹验胎，敲骨检髓，活摘其叔心肝。结果四方诸侯和民众都背弃他了，终于被周武王伐灭，国亡身焚，为天下笑。
由此司马光一再重申，选君用臣，必须将德行置于首位。
据《宋史--司马光传》编译