指南针的前身是司南，它是中国影响世界的古代“四大发明”之一。中国人发明的司南最早出现在战国时期，《韩非子》中记有“先王立司南以端朝夕”。这里的“端朝夕”就是“正四方、定方位”的意思。在《鬼谷子》一书中，则记述了中国人利用司南在采玉过程中进行定位，以不至于在茫茫深山中迷失方向。
中国古人在长期的生产实践中最早接触了磁石，又发现了铁磁化的方法，制造出了实用的指南针，为世界早期交通的发展，特别是航海事业的发展作出了卓越的贡献。中国古人还曾利用薄铁片磁化制成了浮在水盆中的指南鱼。
中国宋朝军事家 曾公亮在《武经总要》中写道:“用薄铁叶剪裁，长二寸，阔五分，首尾锐如鱼型，置 炭火中烧之，候通赤，以铁钤钤鱼首出火，以尾正对子位，蘸水盆中，没尾数分则止， 以密器收之。用时，置水碗于无风处平放，鱼在水面，令浮，其首常向午也。
”这段话 便是描述了中国古人利用铁片烧红后淬火进行磁化，然后制作出指南鱼的细节。 此后，人们又利用天然磁条放置在小木鱼中制成了一种新型的指南鱼，这在宋代的 《事林广记》一书中有记载。在指南鱼被发明出来以后，中国古人又发现铁针在天 然磁石上磨擦后，也具有磁效应，这便使得真正意义上的“指南针”被发明了出来。
指南针用于航海最早见述于12世纪初的《萍洲可谈》一书。后来，指南针经阿拉伯 传到了欧洲，改变了人类交通发展乃至文明传播的进程。中国宋朝著名学者沈括在其《梦溪笔谈》一书中，记述了四种常见的利用指南 针的常用方法。
其一是“水浮法”，即将指南针浮在水面上指示方向；其二是“缕悬 法”，即在指南针中部涂上一些蜡，然后利用丝线将指南针悬挂起来后使用;其三是 “指甲法”，即将指南针放在指甲中央轻轻转动后指示方向;其四是“碗唇法”，即指 用碗的边沿作为指南针的支撑点。
沈括通过观察发现指南针指示的方向并不是正 南和正北，而是微偏东南和西北，这便是“磁偏角”。这一发现比西方早出约400 年。和今天的指南针比较接近的“盒式”指南针于13世纪下半叶在欧洲出现，在14世纪初已经开始批量生产服务于各式各样的旅行者。
这种指南针被西方学者称为“干指南针”。在西方航海历史上，曾广泛使用过中国人所发明的“水浮”式指南针。事实上，由于水浮式指南针实际使用效果要比“干指南针”好，它曾一度作为船舶最主要的导航设备。中国指南针传入欧洲后，很多学者都对指南针为何指向南北这两个方向大惑不解。
这个难题在1600年由英国科学家威廉•吉尔伯特在《论磁》一书中作出了回答。威廉•吉尔伯特指出，指南针之所以能够指向南北两个方向，是因为地球本身就是一个巨大的磁体。同时，他还指出了在地球的中心很可能存在着大量的铁。
威廉•吉尔伯特除了发现了很多磁现象的规律外，还深入研究过静电现象，并发明出了验电器。1646年首次由英国科学家托马斯•布朗提出的“电力”一词，就是借鉴了威廉•吉尔伯特的思想。由于近代造船工业中开始大量使用钢铁，这使得磁式指南针的实际使用效果产生了偏差。
因为钢铁本身对磁式指南针会产生一定的作用，使得指南针发生偏移。随着电气技术的发展，人们想到了发明无磁指南设备的念头。20世纪初，德国科学家赫尔曼•卡普菲发明了陀螺罗盘，这使得指南针出现了革命性的变化。
陀螺罗盘利用了陀螺仪旋转时旋转轴方向不变的原理。陀螺仪最早由德国科学家约翰•贝格尔发明，此后陀螺仪便用于导航机械设备的制造。由于早期陀螺仪阻力比较大，所以实际效果并不理想。随着技术水平的提高，陀螺仪的阻力也越来越小，其导航的精准度也越来越高。
如今，陀螺仪已被广泛地应用在了宇宙飞船、洲际导弹、隧道挖掘、航海罗盘的制造中。利用陀螺仪制成的罗盘即为陀螺罗盘，它由于可以不受船体钢铁结构的影响，所以在航海导航中逐渐取代了磁式指南针。随着卫星技术的发展，GPS(全球卫星定位系统)也开始被广泛使用起来。