北朝魏散文家。（杨，一作“阳”，一作“羊”，今人范祥雍以为“阳”﹑“羊”均误字。）北平（今天津蓟县一带）人。生卒年不详。魏孝庄帝永安中（528—530）为奉朝请。帝马射于华林园，读三国魏明帝“苗茨之碑”，因释“苗茨”字，众咸称善。尝与河南尹胡世孝共登永宁寺塔。后为期城太守，迁抚军府司马。孝静帝武定五年（547），因事过洛阳。时战乱之后，东魏迁都邺，洛阳城郭崩毁，昔之“寺庙壮丽，损费金碧；王公相竞，侵渔百姓”，今则断壁颓垣，荒烟蔓草，衒之见而有黍离麦秀之悲，乃撰《洛阳伽蓝记》。后为秘书监，曾上书孝静帝，谓“释教虚诞，有为徒费”；又谓“行多浮险者，乞立严勒，知其真伪。然后佛法可遵，师徒无滥”云云，书奏，终未施行。

杨氏文今唯存《洛阳伽蓝记》一书及《广弘明集》卷六所载上书，清严可均辑入《全上古三代秦汉三国六朝文》。严氏所作小传，谓杨氏卒于北齐天保间（550—559），似无确据，范祥雍《杨衒之传略》不取此说，是。

《洛阳伽蓝记》为北朝散文名著，其文虽散体，间杂骈句，记洛阳寺庙之宏丽，宫室之奢华，园林之精妙，以至风土人情，皆描绘逼真，故历来为读者传诵。此书较早刊本为《四部丛刊》三编影印之“如隐堂本”。较通行者则多从《古今逸史》本与绿君亭本出。今人注释有范祥雍《洛阳伽蓝记校注》（上海古籍出版社）﹑周祖谟《洛阳伽蓝记校释》（中华书局），各有胜长。