苏云卿是汉州广汉人，生于高宗绍兴间。他隐居在豫章东湖，邻里对他非常尊敬和爱戴，称他为“苏翁”。他穿着普通的布衣，脚上穿着草鞋，靠种蔬菜和织鞋子自给自足。他闲暇时闭门不出，常常高卧或者危坐终日，让人难以猜测他的真实身份。
年轻时，苏云卿与张浚成为布衣之交。后来，张浚成为官员，担任相职。他通过书信和金币请求苏云卿出仕江西安抚使和转运使。两位官员都非常努力地邀请他，但苏云卿以朝廷的诘责为由拒绝了他们。第二天早上，他们派人前来迎接苏云卿，但当推门进入时，发现书信和金币都没有被打开，而苏云卿也已经不知所踪了。