杨翰少聪颖，4岁从师诵《戴记》，每日能背一册；12岁举笔成文，乡人称奇。他性好山水，并喜碑刻，常在四川境内访碑，所写题记，广为流传。

杨翰20岁举秀才，30岁中举，不久考中进士，入翰林院，做编修。在京8年，他以书画金石为乐。京城厂肆，钟彝书画，泉器碑刻甚多，他经常出入其间，与友人共同研讨。他见多识广，偶作题跋，金石家杨欧客，见必手抄。大书法家刘石庵曾称其三绝：“题跋、诗、书”。此时，其留言镌刻，惊服海内。

咸丰三年(1852)，杨翰进入胜克斋幕府，整理笔札；翌年，授永州知府，没有赴任；咸丰六年(1856)，迁常德知府。翌年徙沅州，八年(1858)始赴永州。杨翰任永州知府七年，公务之暇，常登山临水，搜求金石书画。零陵、祁阳之间，元结、柳宗元、怀素等唐宋诸文人学士、名公世卿的旧迹，如澹岩、漫郎宅、朝阳岩、绿天庵、愚溪、柳侯祠、元颜寺等，他都募资重行修葺一新。