曹魏甘露二年(257)﹐司马昭讨伐诸葛诞﹐尚书仆射陈泰﹑中书侍郎钟会等以行台随从出征。西晋永嘉之难﹐尚书令东海王司马越率军讨伐石勒﹐表以行台随军。自后尚书省长官出征或出镇﹐随军衙署称为行台。北魏天兴元年(398)﹐魏道武帝拓跋珪攻占河北诸州﹐以都城远在平城﹐不易控制﹐于邺城﹑中山置行台﹐令尚书令秦王拓跋仪镇守。北魏行台成为皇帝派出的特使﹐下置僚属﹐指挥军事﹐不常设﹐不管地方民政。熙平元年(515)﹐北魏军攻寿春﹐以李平为尚书右仆射﹐别置行台﹐节度诸军。皇帝委派尚书出使﹐巡视边境﹐亦称行台。魏孝文帝元宏迁都洛阳﹐以北方贫困﹐今尚书左仆射源怀为行台﹐加使持节的称号巡行北边六镇和恒﹑燕﹑朔三州。正光五年(524)﹐六镇﹑关陇起义相继爆发﹐北魏政权复诸道行台﹐指挥镇压各地起义军。遣尚书仆射元修义为西道行台﹐讨伐关中莫折念生起义。元修义病重﹐以萧宝寅为西道行台﹑大都督﹐自关以西﹐皆受节度。孝昌元年(525)﹐以幽州刺史﹑尚书常景为行台﹐讨伐河北杜洛周起义军。

北魏孝明帝﹑孝庄帝时﹐行台设置较多。出任行台者多兼任当州刺史或都督诸州军事﹐成为地方性军事指挥机关。正光年间﹐有曹世表为东南道行台﹑东豫州刺史。魏子建为山南行台﹐梁﹑巴﹑二益﹑两秦之事﹐皆归其节度。正光末﹐以薛修义都督华﹑豳、东秦诸州军事﹐为西道行台。孝昌年间﹐杨津为定州刺史兼北道行台。尔朱荣专权，武泰元年(528)孝明帝任命为北道大行台﹐大行台称号始见于此。其后尔朱氏兄弟子侄各据一方﹐权强莫比﹐多任大行台。

北魏末年﹐高欢执政﹐为大行台﹐其余行台皆罢。孝武帝欲分高欢之势﹐以贺拔岳为关西道大行台﹐都督雍﹑凉﹑梁﹑益等二十州诸军事﹔以贺拔胜为荆州刺史﹑尚书左仆射﹑南道大行台。贺拔岳死﹐宇文泰继任。东﹑西魏分立﹐高欢在东魏为丞相﹑大行台﹐驻并州﹐于州治晋阳置丞相府。宇文泰在西魏亦任大行台﹐都督中外军事﹐镇雍州。高欢任命侯景为河南道大行台﹐镇虎牢﹐拥兵十万﹐专制河南﹐指挥对西魏﹑梁朝的战争。梁中大通二年(547)﹐侯景叛东魏降梁﹐上表称黄河以南﹐皆他所掌管﹐请举函谷(今河南新安北)以东﹐瑕丘(今山东兖州北)以西﹐豫﹑广﹑郢﹑荆﹑襄﹑兖﹑南兖﹑济﹑东豫﹑洛﹑阳﹑北荆﹑北扬等十三州内附﹐所列当即河南道大行台的管辖范围。

北齐行台承北魏制﹐并州大行台改称并州尚书省﹐地位仅在邺城北齐中央尚书省之下。其余下台多以州划分﹐史籍所见有﹕幽州道行台﹐亦称北道行台﹐驻蓟(今北京西北)。朔州道行台﹐驻广安(今山西朔县)。晋州道行台﹐驻平阳(今山西临汾)。建州道行台﹐驻高都(今山西晋城)。东雍州行台﹐驻正平(今山西新绛)。洛州行台﹐亦称河南道行台﹐驻洛阳。河阳道行台﹐驻河阳(今河南孟县西)。豫州道行台﹐驻汝南(今属河南)。东徐州行台﹐亦称东南道行台﹐驻下邳(今属江苏)。扬州道行台﹐驻寿春(今安徽寿县)。

以上行台之外﹐东魏北齐又有临时性行台﹐指挥与西魏﹑萧梁作战﹐巡视地方﹐事毕即撤。北齐文宣帝时﹐辛术为东徐州刺史﹑东南道行台﹐驻下邳﹐所统十余州地犯法者﹐悉由术判处。行台始管理地方民政。

西魏行台不常设。除宇文泰自任大行台外﹐独孤信为荆州刺史﹑东南道行台。王思政为东道行台﹐驻玉壁﹐都督汾﹑晋﹑并诸州军事。侯景叛东魏﹐王思政率西魏军入据颍州﹐行台亦移至颍州。北周置总管府(实即行台的后身)﹐遂废行台之制。

南朝无行台之制。梁末侯景来降﹐梁武帝萧衍保留其大行台称号﹐封侯景为河南王，都督河南诸军事。南朝宋﹑齐时﹐由中央派出催征赋税之台使﹐往往亦自称行台。

隋开皇二年(582)于并﹑洛﹑益三州各置河北道﹑河南道﹑西南道行台尚书省﹐文帝以其子杨广﹑杨俊﹑杨秀各为行台尚书令。后废洛州行台﹐又于襄州﹑寿春两地设置山南道﹑淮南道行台。这两处行台都因伐陈设置﹐事定即罢。大致开皇九年(589)后﹐行台均废﹐而置并﹑扬﹑益﹑荆四大总管府﹐各统十余州至数十州。炀帝大业元年(605)诸州总管府尽废。唐初复置大行台。其陕东道大行台置于洛阳﹐以秦王李世民为尚书令﹐地位在其余行台之上。其余行台如益州道﹑襄州道﹑东南道﹑河东道﹑河北道，均以宗王或亲信大将任尚书左仆射﹐为行台主。武德九年(626)﹐诸道行台并废。

北魏行台的组织虽略同于中台(在中央的尚书台)﹐有令﹑仆射﹑尚书﹑丞﹑郎等员﹐但都是临时权置﹐并不完备。行台的首长﹐不一定都有令﹑仆射﹑尚书等官位。隋唐的行台尚书省则以行台尚书令为最高长官﹐若不置令﹐即以左仆射为首。置官大略同中台而人数较少。行台主要为处理军务而设﹐故以兵部居首﹐又兼综民事﹐故吏﹑户﹑礼﹑刑﹑工并置﹐却往往一人兼两职或三职。行台的统辖地区既广﹐位重权大﹐不利于中央集权﹐所以唐太宗李世民即位后就予以废除。

金天会十五年(1137)﹐废齐国﹐于汴京立行台尚书省﹐管理齐国旧地。行台尚书省由朝廷尚书省统领﹐设行台左右丞相。天眷元年(1138)﹐以河南﹑陕西地还宋﹐改设行台尚书省于燕京。三年﹐复设于汴京。天德二年(1150)﹐废。元有分设各地区的行中书省（行省）、行御史（行台）、行枢密院（行院）。元行台掌监察，与唐贞观前行台名同实异，行省则相当于古之行台。

行台省之名，虽始於魏、晋之?，然两汉初兴，高祖所以委萧何；世祖所以命邓禹，其权任盖亦类此。唐天宝以後，以盗贼陷两京，夷狄侵畿甸，则或以大元帅、副元帅命亲王、勋臣为之，然但可任专征之责，而他事则禀朝旨，则亦未尝备行台省之事也。至其末年，方镇擅地请节，於是或以侍中、中书令、同平章事、王爵命之，如钱Α、马殷、王审知之徒，盖名为奉正朔，而实自为一朝廷矣。然则行台省之名，苟非创造之初，土宇未一，以此任帷幄腹心之臣，则必衰微之後，法制已隳，以此处分裂割据之辈。至若承平之时，则不宜有此名也。建炎时，张魏公以枢密使宣抚川陕，赵忠简谓之曰：“元枢新立大功，出当川、陕，半天下之责。自兵事外，悉当奏禀。”盖大臣在外，忌权太重也。及魏公得罪，谪词言：“假便宜行事之制，忘人臣无将之嫌。肖内阁以招贤，拟尚方而铸印。”然则承制之事易以惹谤，忠简之言固笃论也。

周文帝就把苏绰召来，任命为行台郎中。苏绰在位一年多，没有被周文帝赏识。不过行台的各位官员遇到疑难的问题，都是向苏绰请教后再决定。各部门发布的公文，苏绰又为它们拟定条款格式。行台中的官员都称赞苏绰的才干。周文帝与仆射周惠达讨论政事，惠达不能回答，请求出外面找人商议。于是叫来苏绰，把讨论的事情告诉他，苏绰立即为他酌情裁定。惠达进入里面呈报，周文帝叫好，问：“谁为你出这个主意的？”惠达说出苏绰的名字，于是称赞他有辅佐帝王的才能。周文帝说：“我也听说他很久了。”不久就任命苏绰为著作佐郎。有一次，苏绰跟随周文帝和公卿们去昆明池看鱼，走到城西汉代原来的仓池，周文帝回头问随从的人，没有一个知道的。有人说：“苏绰知识渊博，见多识广，请允许问问他吧。”周文帝就叫来苏绰询问，苏绰将有关情况全部作了回答。苏绰既有口才，应对如流。周文帝更加赞赏他，于是留住苏绰一直到夜里，继续询问治理国家的方略。周文帝整理衣裳端正地跪坐着，不觉膝行移坐到了坐席的前端。就这样一直谈论到天亮也不觉得厌倦。第二天一早上朝，周文帝对周惠达说：“苏绰真是个奇才，我现在要任命他处理政事。”立即授予苏绰大行台左丞职位，参与主管机要事务。从此对苏绰的宠信日益深厚。

而苏绰创制的文案程式朱出，墨入，以及其记账和管理户籍的方法，多为后人所用。

宇文泰任用武功人苏绰为行台郎中，一年多之后，宇文泰自己对苏绰还不大了解，但是行台官署中的人都称赞苏绰能力强，遇上有疑难的事情都去请他帮助决策。宇文泰与仆射周惠达讨论一件事，周惠达不能回答宇文泰的问题，就请求允许他出去跟别人一起商议此事。周惠达出门后，把情况告诉了苏绰，苏绰为周惠达作了分析解答，周惠达进去后按照苏绰的意见作出回答。宇文泰认为周惠达回答的非常好，问道：“谁和你一道作出了这番议论？”周惠达说出了苏绰的名字，并且称赞苏绰具有辅佐君王成就大业的才能，宇文泰便提拔苏绰为著作郎。文泰与公卿一起去昆明池观赏捕鱼，走到汉代传下来的仓池时，过头来询问身旁的人，他们中没有一个知道仓池的情况。宇文泰就把苏绰叫来，向他提问，苏绰把一件件事都讲得绘声绘色。宇文泰很高兴，就一直问到天地开始创造化育时有什么景象，历代兴盛与灭亡的经过如何，苏绰始终对答如流。宇文泰与苏绰一道骑着马慢慢地并行，到了昆明池，竟然没有撤网就返回了。在丞相府，宇文泰将苏绰一直留到晚上，就一些军政大事征求苏绰的意见，苏绰讲述，宇文泰躺着倾听。当苏绰指出治理国家有哪些关键之处的时候，宇文泰从睡榻上起来，整理好衣服端正地坐着，不知不觉他的膝头已经在席子上往前移动，苏绰的话从晚上又持续到第二天清晨，宇文泰还听得不满足。第二天早上，宇文泰对周惠达说：“苏绰真是个奇特的人，我这就让他管理重要的政务。”他随即任命苏绰为大行台左丞，让他参与掌管处理机密大事从此苏绰越来越受到宇文泰的宠信。苏绰开始制订处理文书的程序如用红笔批出，用黑笔签收，还有关于计帐、户籍的一些办法，这些程序、办法后来的人大多遵照沿用了。