赏析：
这首诗以纵向展开的方式，从过去写到现在。开头两句描述了过去的情况，接着四句主要讲述了永嘉担任地方官后的情况。中间六句具体描写了读书的情景。结尾四句直接表达了诗人的政治态度和生活情趣。整首诗以委婉的方式表达了深沉凝重的情感，语调平易亲切。
诗中的“游京华”与“归山川”、“未尝废丘壑”与“心迹双寂寞”通过递进的方式进行了对比。这种递进关系的连词更明确地提示了前后两个时期之间的变化。诗人自述到永嘉以后，他的心不再预测世事，他的行迹也不再交往以安抚自己的心灵。
“虚馆”这两句更具体地描绘了“心迹双寂寞”的景象。实际上，作为一郡之长，他不可能如此清闲。《宋书》中说：“郡有名山水，灵运素所爱好，出守既不得志，遂肆意游遨，遍历诸县，动逾旬朔，民间听讼，不复关怀。”这表明“绝诤讼”并不是真的没有“民间听讼”，而是因为他心远地自偏，“不再关心”，故意不去听闻。以上几句对于“斋中读书”的诗题来说，看似无关紧要，实际上是从大处着笔，委婉地表达了读书时总体的心态和环境氛围。接下来的描写“斋中读书”则是从这一大背景中推出的。
从“卧疾丰暇豫”开始，诗人转入了对“斋中读书”的描写。由于“卧疾”，他只能在“斋中”，有了很多空闲时间。为了排遣无聊，除了写诗作字，他开始了“读书”。接下来的四句具体描写了他读书的情景。他读书的目的是为了了解历史，以增进对现实的认识，他的方法是读书和评价。诗中提到的人物有消极避世的隐士长沮、桀溺和热衷仕进的文人扬雄。谢灵运对长沮和桀溺持批评态度，认为隐居耕田是一种“苦”事，不应该嘲笑。而扬雄在易代之际的言行一直受到批评，如李善说他“露才以耽宠，诡情以怀禄”。谢灵运也对扬雄的屈节事人和追求爵禄感到不满，所以在批评长沮和桀溺的同时，也对扬雄采取了嘲笑的否定态度。
结尾的四句是在读书和论书的基础上进一步发挥，从“既笑长沮桀溺”到“又笑扬雄”，诗人表达了自己对于不同人物和不同政治态度的看法。整首诗通过描写读书和论书的情景，展示了诗人的政治态度和生活情趣。