薛胄，字绍玄，河东汾阳（今山西）人，生卒不详。其父薛端为北周蔡州刺史。薛胄自幼聪慧，喜欢搜罗奇异罕见的书籍来读。他读书能晓大义，经常感叹注释古书的人不能深刻领会圣人的用意。薛胄生性慷慨，多作激昂之语，每与人谈及自己读书的体会，多能另辟蹊径，一些积学大儒对其见解也十分叹服。薛胄志向远大，立志做一个救世济民的人。北周明帝宇文毓时，薛胄继承了父亲文城郡公的爵位，后逐步擢升为上仪同三司，累迁司金大夫、开府仪同大将军。

隋高祖杨坚受禅登极后，任命薛胄为鲁州刺史，但还没到任即改任为代理庐州总管，不久又改任为兖州刺史。薛胄为人机敏干练，处理地方事物的能力很强。他到任兖州不久，发现监狱中人满为患，有数百名囚犯虽已被监禁数年仍未判决。薛胄遂一一审理，发现其中大多数人只不过是犯了一些欠税逃租的小案，且多为出身贫困之人，没有办法才被官府羁押的。薛胄用了十天的时间，把这些案情一一审理清楚，将其中大部分没有重罪的人给放了，刑狱为之清明。薛胄观察力很强，发奸摘匿，有若神助。有一次他率众出城公干，在路上遇到了一个叫向道力的人，自称是前往高平郡上任的太守。当时的高平郡治所在任城（今济宁），距兖州不远，属于兖州的辖区。薛胄在与向道力交谈中，发现他神情不定，言语支吾，似乎害怕什么，十分可疑。于是就示意自己随行的司马王君馥将此人拘捕，以带回去细细审问。王君馥却认为在没有证据的情况下拘捕朝廷官员不妥，极力反对，薛胄遂同意放向道力走了。但是薛胄却越想越不对，从向道力言行上反映出的疑点实在太多了，就又派了主簿去追。当时有个叫徐俱罗的兖州人曾任海陵郡守，就是被向道力代替做的，任职期满，百姓及官府都没发现伪代之事。徐俱罗闻知此事，找到司马王馥君说：“向道力曾经代替我做过海陵郡守，没人知道，你们又何必追查此事呢。”王馥君将徐俱罗的话告诉薛胄，反复劝他不要多事，以免引祸上身。薛胄十分生气，喝斥王馥君说：“我已经掌握了这些骗子的证据，你作为司马，如纵容奸匿，按律是要连坐问罪的。”王馥君这才不敢再多言。薛胄逮捕了向道力，经审讯，向道力也一一承认了自己的罪行。

兖州城东泗河上的泗津桥，自北魏兖州刺史元匡维修后，至此又经历了八十多年。多次的洪水已使桥堰毁坏无余，再加上东魏时娄昭围困兖州城时又曾决泗河灌城，至使堤防破坏，河道淤塞严重。薛胄到兖任上，察知泗河已变成了兖州的一大害河，每到夏秋之交，河水泛滥，平地皆为泽国，庄稼悉数被淹，乡民难以为生。薛胄实地考察清楚后，带人在泗沂交汇处以北，修建了一条石坝，使泗河水位抬高。然后在河西侧开一闸门，引河水沿新开的河渠西流。河渠数十里长，沿途分出多支支流，以便于引水，使沿河的许多田地得以浇灌，乡民耕种多赖之。薛胄还让人沿河种植桃树、柳树，既可保持水土，又可美化环境。这条河就是现在的府河，在后来发挥了巨大的作用，是中国水利史上有一定地位的工程。当时百姓感念薛胄的恩德，称之为“薛公丰兖渠”。

隋朝统一后，天下渐平，在隋文帝杨坚休养生息的政策下，国力渐富。薛胄认为，天下太平，帝王即应封禅，以诏告天地。于是他派遣知晓古今礼仪的博士登泰山，观古迹，绘制了《封禅图》，并撰写了封禅礼仪议程献给皇帝，皇帝谦恭，没有采纳。

不久后薛胄转任郢州刺史，在任上亦多惠政。后征拜卫尉卿，转大理寺卿，迁刑部尚书。在大理寺卿任上，薛胄执法宽平公允，与当时的直臣赵绰具有“平恕”之名。隋文帝曾说：“赵绰断案多以法，薛胄断案多以情。”当时的左仆射高颖被皇帝猜忌，后又受王世积案牵连，将被定罪。薛胄仗义执言，认为高颖罪名不成立，欲为其清洗冤屈。由于忤逆了皇帝的意思，薛胄也被罢官下狱，很久才得以赦免。复出后，薛胄暂时代管相州事务，正赶上汉王李谅在并州作乱，派大将綦母良攻打慈州。慈州剌史上官政向薛胄求援，薛胄见叛军兵锋正盛，不敢出兵。綦母良又出兵攻打薛胄，薛胄想用计退兵，就派亲信鲁世范游说綦母良，告诉他说：“天下的事情还未见分晓，薛胄作为臣子，是去是留必须适得其所，为什么这么急切地攻打呢？”綦母良相信了鲁世范的话，转兵攻打黎阳。后来綦母良受到史祥的攻击，兵败投薛胄。朝廷由此以为薛胄有二心，再次将其下了大理寺大狱。相州的官吏及士民知道后，感念其恩德，有一百多人到朝廷为其申冤。后朝廷削去薛胄官爵，发配岭南戍边，病卒于途中。