但是，袁隗、袁逢、袁赦等人企图在汉桓帝一朝独揽大权，则难以实现。在日渐隆盛的士大夫阶层中，朝廷中枢有弘农郡杨氏一族、西凉武将派等势力集团，外方州郡有颍川荀氏、颍川陈氏、太原王氏等新兴清流名门，各个派系势力纵横交错，袁隗、袁逢并不能力压群雄、一枝独秀。而汉桓帝时期宦官集团势力庞大，袁赦只是其中一名“要员”而已，根本没有达到徐璜、左绾、具瑗、唐衡等那些大权阉的地位，也号令不了大多数宦官为己所用。加之汉桓帝亦非昏弱之主，袁隗、袁逢也操纵不了他。
所以，在汉桓帝御政期间，袁隗、袁逢兄弟不断地腾挪运转，仍只是做到了中二千石官秩的九卿之职，没有独立的人事辟召之权，自然难以铺设人脉。他俩的资历也不够担任三公，只能是养望待机。
不过，他俩在养望待机的同时，却并未停止利用内廷袁赦替本族谋取私利。身为宦官集团首脑之一的袁赦，可以“擅操王命，父子兄弟并据州郡，一书出门，高获千金”（摘自《后汉书·董卓列传》），确实是袁隗兄弟在朝中路路亨通、中饱私囊的“王牌”。