据唐朝人封演在《封氏闻见录·公牙》,以及清朝史学家赵翼在《陔余丛考·衙门》中的说法,衙门一词原来写作“牙门”.据说古代军队出征打仗时所用的先导旗帜都做成兽牙状,象征凶猛的野兽,为自己军队壮行,鼓舞士气、威吓敌人.这种军旗就叫“牙旗”.军队安营扎寨时,军营的大门口两侧也都插上牙旗,以示威严,主帅召集部下开会传令也要在牙旗之下.因此军营的大门称之为“牙门”.还有一种说法是军营门外“刻木为牙”作障碍,出征时旗帜上方也安木刻的兽牙.反正无论如何,“牙门”原来是指军营大门似乎是确凿无疑的了.大约到了两晋南北朝时期,战乱频繁,世俗尚武,各朝习惯上往往以驻军将领兼管一地的行政事务,地方政府的办公场所和将军幕府合一,逐渐被称为“公牙”,大门也被称为“牙门”.至于“衙”字据说原音yu,也到了这个时期可以改读ya音,并逐渐用来代替不那么雅的“牙”字,形成“公牙”或“公衙”混用的情况,到了宋代就普遍统一使用衙门一词来称呼政府机构.