南宋建炎二年（1128年），经由熟人枢密使张悫的推荐，朝廷又任命他为济南知府。为此，他高兴了许久。但当他得知当时山东的局势十分混乱，到处都是抗金武装和盗贼时，又有点退缩了。胆小怕事的他居然跟朝廷讨价还价，要求调到江南任职，被朝廷拒绝。无奈之下，他只好硬着头皮到济南上任。据说，刘豫在任济南知府期间，曾下令在历城华不注山以南筑堰，引导泺水沿济南以下济水故道单独流入渤海，称“小清河”。如此一来，便利了济南水运。
第二年冬天，金军开始大举进攻济南。当时济南城中有一员猛将名叫关胜，这个人善用大刀，曾多次出战击退金军。当金军探听到刘豫是一个没有胆识的知府，遂遣人以利引诱刘豫。果然如金人所料，刘豫背信弃义，居然设计杀害了抗金将领关胜，遂率众降金。金军为了稳住他，便于以后继续利用他，就封他为京东、西、淮南安抚使。过了一些时日，完颜宗弼（即金太祖第四子）率军南下侵宋，又封刘豫为东平府兼诸路马步军都总管，节制河外诸军。不仅如此，金军还封刘豫的儿子刘麟为济南知府，将金军控制下的黄河以南所有地盘都交给了他。金将完颜昌（晋朝宗室，阿骨打的叔父盈哥之子）则屯兵要地，进行监视和支援。