当初，来济和高智周、郝处俊、孙处约客居宣城石仲览家中，石仲览家境富裕，有器识，对待四人非常优厚。私下里和他们谈论志向，郝处俊说：“希望做到国家的宰相。”来济和高智周也是这样。孙处约说：“宰相或许不能希求，希望做到通事舍人就满意了。”后来来济领吏部，孙处约才以瀛州书佐调入朝廷，来济立即做注说“如志”，就使孙处约任通事舍人。后来都做到三公辅相。

幼遭家难

　　来济生于江都（今江苏省扬州市），祖籍南阳新野，东汉名将来歙十九世孙。高祖来成，北魏新野县侯，后降梁，迁居广陵，遂以此为家。父亲来护儿，隋朝名将，曾担任左骁卫大将军、左翊卫大将军、光禄大夫、开府仪同三司等职，封荣国公，恩礼隆密，朝臣无比。

　　隋大业十四年（618年），右屯卫将军宇文化及发动政变，弑杀隋炀帝。来护儿不屈于叛军，被宇文化及杀害。同时遇害的还有来济的大哥来楷（时为散骑郎、朝散大夫），五哥来弘（时为果毅郎将、金紫光禄大夫），六哥来整（时为武贲郎将、右光禄大夫）。 只有来济和哥哥来恒因为太小没有被杀。来济家族遭难后，流离艰险，而笃志好学，有文词，善谈论，尤晓时务。唐朝时举进士。

累官拜相

　　贞观十七年（643年），唐太宗任命来济为通事舍人。太子李承乾因谋逆被废，太宗命大臣讨论如何处理废太子，无人应答，只有来济说：“陛下上不失作慈父，下得尽天年，即为善矣。”太宗乃废黜李承乾为庶人，但是保下了他的命，并提拔来济为吏部考功员外郎。

　　贞观十八年（644年），太宗任命来济为太子李治的司议郎，兼崇贤馆直学士，不久改任中书舍人，与令狐德棻等撰《晋书》。

　　贞观二十三年（649年），太宗驾崩，太子李治继位，是为高宗。

　　永徽二年（651年），来济任中书侍郎，兼弘文馆学士，监修国史。

　　永徽四年（653年），来济拜相，被任命为同中书门下三品。

　　永徽五年（654年），加银青光禄大夫，以修国史之功封南阳县男，赐物七百段。

　　永徽六年（655年），来济拜中书令、检校吏部尚书。

反对立后

　　当时，高宗想以武昭仪取代王皇后，他首先赐武昭仪封号宸妃，来济和韩瑗劝谏：“妃子有正常名额，现在另立名号，这是不行的。”

　　永徽六年（655年），高宗将要立武氏为皇后，来济和宰相韩瑗劝谏说：“王者定立皇后，是为了承嗣宗庙、做天下人的国母，应该选择礼义名家、优雅贤淑的人，以符合国人的愿望，迎和神灵的旨意。所以周文王立姒氏，《关雎》颂扬，恩泽施於百姓，其福就像那样；汉成帝纵欲，以婢女为皇后，国运中途衰微，其祸患就是这样。希望陛下详察。”

　　然而，高宗不顾来济、韩瑗、褚遂良、长孙无忌的反对，废黜王皇后，立武宸妃为皇后。来济等都不自安；武后上表称来济忠公，请加赏慰，但心中其实厌恶他们。

　　显庆元年（656年），武后之子李弘被立为皇太子，来济兼任太子宾客，进爵南阳县侯，仍为中书令。

　　高宗曾经问统治百姓的好办法，来济说：“过去齐桓公出游，遇见老人，给他食物，老人说：‘请送给天下人食物，给他衣服，老人说：‘请送给天下人衣服。’齐桓公说：‘我府库有限。怎能所有的人都给?’老人说：‘春天不妨碍农事，就有粮食；夏天不妨碍养蚕，就有衣服。，由此来说，减省徭役，是统治百姓的好办法。”这时山东役使民夫，每年另外增加几万人，又商议用佣钱来代替雇工，纷乱烦扰，所以来济是针对这些所说的。

　　显庆二年（657年），来济又兼太子詹事。同年，许敬宗、李义府诬告来济、韩瑗与褚遂良构成朋党，准备谋反。褚遂良贬桂州（今广西桂林市）都督，来济贬台州（今浙江省台州市）刺史，韩瑗贬振州（今海南三亚市）刺史，终身不许回京。

战死庭州

　　显庆四年（659年），长孙无忌被逼自杀，柳奭（王皇后的舅舅）、韩瑗处死。

　　显庆五年（660年），来济改任庭州（在西突厥十姓的边界，今新疆昌吉回族自治州）刺史。

　　龙朔二年（662年），西突厥部落进攻庭州。来济统兵防御，对部下说：“我曾经触犯刑律，蒙恩赦免死罪，现在应当以身赎罪。”

　　于是来济不穿甲胄，率军出击，力战阵亡。时年五十三，追赠楚州刺史，供给灵车送回家乡。