法国军队曾规定，骑士如果在战斗中失去马匹，则暂归步兵指挥，执行步兵勤务，但仍保留他们的骑士称号和薪饷，并免干粗活。后来，把此类“免除了列兵某些职责”的人称为上等兵。

17世纪初，德国将上等兵作为军衔的一级，设置于连队，授予有经验而可靠的士兵，赋予他们负责哨兵派班、押解俘虏等任务；班长缺勤时，可代理班长工作。1716年，彼得一世将上等兵的军衔引进俄国，陆军条令规定，在步兵、骑兵、工兵中设置，授予屡建战功或长期服役无瑕的士兵。1722年的《官级表》规定，在陆军中设上等兵、上等炮手，海军中设上等水兵，排序为第18官级。清末，军衔制引入中国后，命名最高的一级士兵军衔为“正兵”。辛亥革命后，南京临时政府在《陆军官佐士兵阶级表》中，将其命名为上等兵。之后被历届政府沿用。中华人民共和国实行的军衔制，均设有上等兵军衔。2010年7月公布的《中国人民解放军现役士兵服役条例》规定，服现役第二年的列兵，晋升为上等兵军衔；服现役第一年的列兵被任命为班长职务的，晋升为上等兵军衔。世界上大多数国家设有此衔，有的国家还将上等兵分2～3级。