1996年，徐小平应俞敏洪之邀加入新东方，为此后者还专门召开了一次全体教员会议，并对大家说：“这是徐小平，新东方最有思想的人。”这句话直击徐小平的内心，他发誓，在新东方，自己可能不是讲课最好的人、最有魅力的人，但一定要做最有思想的人。也正是因为这句话，两人开始建立起友谊，徐小平决定把自己的信任投在俞敏洪——这个看起来不太起眼的前北大英语教师的身上。
谈到俞敏洪，徐小平毫不犹豫地表示：“徐小平的一半是俞敏洪。”他把老俞当做朋友、创业合作伙伴，更当成自己的偶像和对手，“做梦都想帮助他，但做梦也更想超越他。”
后来，随着新东方的急速成长，在如何继续发展的问题上几位创始人之间产生了严重冲突。2001年10月，徐小平被迫离开了新东方董事会。他为自己的兴趣——写作找到了时间和空间，2002年出版了《图穷对话录》，而在这一年的教师节，新东方又把徐小平请了回去。对于中途离开的这段经历，徐小平认为和乔布斯中途离开苹果的意义一样：“它在更高层次上造就了我。”
2006年，新东方在纽约股票交易所挂牌上市，持股10%的徐小平随之成为亿万富翁。新东方上市给徐小平带来最直接的快乐就是资本的积累，但对财富和金钱的追求又远不是他的终点。对于这位自始至终希望做点事，并且是为青年人做点事的徐老师来说，他渴望找到继新东方之后另一件能让自己的价值得以发挥并且最想做的事情。