于成龙少有大志，自幼受到儒家教育。顺治十八年，已四十四岁的于成龙，不顾亲朋的阻拦，抛妻别子，怀着“此行绝不以温饱为志，誓勿昧天理良心”的抱负，到广西罗城当第一任清朝知县。罗城百废待举，少数民族杂居，世代械斗。于成龙实施教化，并带领百姓搞农业生产、兴办学校。短短几年，就使罗城摆脱混乱，得到治理，百姓安居乐业。
罗城民众怜悯于成龙独身一人滞留南疆，晨夕环集问安，并叹其度日过于清苦，进献些金钱和物品。于成龙答谢说：“我一人何须如许物，可持归易甘旨奉汝父母。”一次，大家得知于成龙家人自北方来探视，纷纷送物品给于成龙说：“公家人来，好将物安家去”，又馈赠金钱。于成龙答谢说：“此去吾家六千里，单人携货，适为累耳。”挥手令去，民皆伏地饮泣，于成龙亦为之感泣。
康熙六年，于成龙被两广总督芦光祖举荐为广西唯一的“卓异”，升任四川合州知州。于成龙赴任时，竟连路费也没有。百姓们依依不舍，遮道呼号：“公今去，我们无天矣！”出现了“追送数十里，哭而还”的情景。
四川遭战乱最久，人口锐减为全国之首，于成龙推行善政，招民垦荒，革除宿弊。不到二年，合州人口骤增，田地开辟。康熙八年，于成龙被擢升为湖广黄州府同知。他审案主张以教为主，“宽严并治”，排解了许多地方重大疑案、悬案，使冤假错案得到平反，被百姓呼为“于青天”。由于政绩突出，于成龙再次被湖广巡抚张朝珍举为“卓异”，升任福建按察使。
于成龙赴任时，依然一捆行囊，两袖清风，沿途以萝卜为干粮。在福建上任伊始，就做了一件为民称颂的好事。当时清廷为对付台湾郑氏的抗清势力，实行了“海禁”政策。当地统治者不顾连年兵祸，民不聊生，动辄以“通海”罪名兴起大狱，使许多沿海渔民罹难。于成龙在审阅案卷时，发现每案被拟极刑的就达数十人或上百人之多，甚至殃及妇女孺子。于是他坚决主张重审，对怕得罪上级而劝阻他的人说：“皇天在上，人命至重，吾誓不能咸阿从事！”在他的力争和主持下，先后使千余名百姓免遭屠戮而获释，贫困不能归者还发给路费。于成龙在按察使任上被第三次举为“卓异”。
康熙二十年，于成龙出任两江总督。身为“治官之官”，于成龙始终把整顿吏治放在工作首位。他指出：“国家之安危在于人心之得失”，制订了以“勤抚恤、慎刑法、绝贿赂、杜私派、严征收、崇节俭”为内容的《新民官自省六戒》作为地方官的行为准则。他常常“微行”访于民间，举优劾贪，时人说凡他所到之处，“官吏望风改操”。他举荐了很多廉洁有为的人材，都得到了康熙的重用。他还倡导广兴办学，提高国民道德水准。
于成龙的官职虽越升越高，但生活却俭朴如故。他带头实践“为民上者，务须躬先俭朴，作百姓道德表率”。去直隶，他“屑糠杂米为粥，与同仆共食”，在江南是“日食粗粝一盂，粥糜一匙，侑以青菜，终年不知肉味。以节省之粮赈济灾民饥民。”江南人民因而亲切的称他“于青菜”。总督衙门的官吏在严格的约束下，“无茶可饮，采槐叶充之，日久，衙后槐树，枝朗叶疏。”他天南地北为官二十余年，不带家眷，结发妻阔别二十年后才得一见。他的志节清操享誉当时，据载，当他出任两江总督的消息传出后，南京布价骤然上涨，“金陵阖城尽换布衣，士大夫减驱从、尚节俭，尽改奢靡之风……奸佞人等不得不迁往他处。”
于成龙心为百姓，招致了一些权贵的不满，这些人四处散布流言蜚语，大肆诋毁他。朝中有人借机弹劾他，说他年老昏聩，越来越蜕化变质。康熙皇帝是一位有德的明君，深知于成龙是位好官，他没有听信谗言，进行了调查并诏命于成龙回奏申诉，核实后说：“朕广泛听取了众人的评论，都称赞于成龙廉洁如初。因为他刚正不阿，才会有坏人进谗言诬告他。做官象于成龙这样的，天底下能有几人呢？”康熙让朝廷将于成龙的事迹昭告天下，进行传颂。
于成龙去世后，属吏清点其遗物：床头，仅靴、带和绨袍一领；堂后，碎银三两，钱二千，其余只有粟米、盐、豆豉等物，人们无不感动落泪。百姓闻之，“士民万人聚哭，家家绘像祭拜。”康熙亲为其撰写碑文，赐谥“清端”。
于成龙数十年如一日淡泊自甘，无论身为“七品县令”还是封疆大吏，也无论身居穷乡僻壤，还是鱼米之乡，清正廉俭，始终如一，位愈尊而操守愈厉，志节弥坚。他怜贫苦、赈灾荒、平冤狱、肃吏治，以其身正为官一任，施惠一方。这一切源于他“誓勿昧天理良心”的善念，源于他高尚的道德修养。他一生的道德操行，证实了为官需清正廉洁这一古训的深厚价值。