宋神宗时，彭汝砺官至宝文阁直学士，他的四世孙彭大雅，公元1240年（嘉熙四年）出使北方，卒后追谥忠烈。白石回到故乡，秋日登上彭氏小楼，感叹自己飘零的身世，忆念远方的亲人，写下《忆王孙·番阳彭氏小楼作》。这首词作年不可考，从“长与行云共一舟”、“零落江南”的词意看，大约作于姜夔的中晚年。

这首词题下有序云：“鄱阳彭氏小楼作。”鄱阳，即今江西波阳县，是词人的故乡。彭氏为宋代鄱阳世族，神宗时彭汝砺官至宝文阁直学士，家声颇为显赫。此词写秋日登彭氏小楼，伤飘泊、怀远人是这首小词的主题。

起句以写景引起，并点明节序。冷红，盖指枫叶。霜后的枫叶一片绯红，在肃杀的秋风中，正一叶一叶飘落到秋塘中去。用“冷红”形容飘散的枫叶，顿觉凄冷的气氛笼罩全词。古代文人伤时悲秋，见秋风落叶，或怀念故土，或忧伤身世，并不稀见。

不过，次句“长与行云共一舟”，句法颇为新颖。行云，常用来比喻飘泊江湖的游子。姜夔一生未仕，四处飘泊，行踪不定，用“行云”来象征其身世，很为恰切。这里他不直说身如行云，而偏说“长与行云共一舟”，这就不落俗套。词人浪迹江湖，居无定所，乘舟走到哪里，天上的行云也仿佛跟到哪里，这难道不是与行云“共一舟”么？以上两句，泛写登楼所见所感，不仅切合当时所处的环境，其创意出奇之处，也透露出白石词“气体超妙”（陈廷焯《白雨斋词话》卷二）“如野云孤飞，去留无迹”（张炎《词源》）的特色。

第三句承上意，具体点明所处之地。不自由，即不由自主。白石一生未仕，布衣终身，穷愁潦倒的知识分子为生计所迫，以请客身份或寄人篱下，或因人远游，辗转风尘，哪有安身立命之地？“不自由”，看似浅淡，却道出了飘泊江湖的无穷酸辛。

游子在孤独落寞之际，总要想起知心体贴自己的故旧或亲人，结尾两句即由伤飘泊转到怀远人。“两绸缪”，一笔两用，兼写男女双方。绸缪，缠绵之意。此句写自己与合肥情侣双方情意绵绵，相互思念。”料得吟鸾夜夜愁“则专写对方。古人觉以鸾凤喻夫妇，此处”吟鸾“而加上”料得“，当指因相思之苦而夜不成寐的伊人。让人想起李商隐的诗句”夜吟应觉月光寒。“由自己思念对方而想到对方会无限思念自己，透过一层，感情更为深至，意境更为深远。”夜夜愁“，写出对方无夜不思，无夜不愁。词人相信对方对自己如此真挚思念，也正反映了词人对于对方的一往深情。

白石的羁旅飘泊之词不重对飘泊的具体抒写，而重在抒发一种孤独、伤感的内在情绪，将人引向更幽微之处。这首词的妙处在于将身世之感与怀人之思打并在一处，因而显得蕴藉含蓄，别绕风致。