坐落在青岛市山东路10号的中国人民解放军海军潜艇学院诞生于1953年8月13日，最初校名为“第四海军学校”，地址在青岛市登州路7号，即原德占时期毛奇兵营旧址。1954年迁入现址，当时路名为湛流干路23号，以前曾是高尔夫球场。第一任校长由海军潜艇独立大队大队长傅继泽兼任，政委王昕。建校之初，以自力更生、艰苦奋斗的精神，边建校、边开学。学校教职员工全体上阵，学员在课间也加入了建校大军。他们肩扛人抬 ，修马路，建操场，植树木，用自己辛勤的汗水，把昔日杂草丛生、破旧不堪的场地建成了初具规模的军事学校。第一批来校学习的学员，抱着对祖国的权权爱心，以决心学好潜艇专业技术、建设巩固海防的信念，克服文化基础差 、不懂潜艇技术的困难，经过苦学苦练，全部如期、合格毕业。同期，“第四海军学校”还向海军输送了一期艇副长学员（有部分学员因成绩优异提前毕业，参加了我国刚购进的两艘“M”型艇的接艇工作），两期部门长和专业水兵学员，共900余人。在新中国海军专业队伍建设做出了重要贡献。

1957年9月23日，经国防部批复，“第四海军学校”改称“海军潜水艇学校”。1958年1月，易耀彩接任校长，1960年9月，何明智接任政委。学校在总结前一时期办学经验的基础上，开始了全面建设和教学改革工作。一方面大力完善实验设备、器材的齐全和配套，一面在初建时使用的单一译、抄苏联教材的基础上，逐次编写适合我军特点及装备发展的新教材。如“03”型潜艇还在某厂组装，潜水艇学校已着手编写“03”型潜艇的教材了。另外，改革单纯招收部队基层干部和战士的招生制度，扩大到招收地方学员。1956年招收了第一批高中毕业生。在教学方法上，推广了郭兴福教学法及教学相长的路子，教学质量进一步得到提高。这一时期，潜水艇学校向部队输送指挥干部和专业水兵3000多人，培养的学员在专业技术及学术水平上有较大提高，有许多学员分配到当时的新型潜艇上，并很快适应了新环境，并达到了合格操纵。学员们不仅能掌握所学专业，也能在工作中发挥潜能作用。1960年8月，于侠接任校长，1964年赵宏博接任政委。1960年7月1日，经总参批复，以潜水艇学校训练团为基础，组建潜水艇士兵学校，校长李怀章，政委肖英，校址在登州路7号。1964年迁至大沙支路4号。至此，潜艇上的专业士兵皆由潜艇士兵学校培训。

1966年开始的文化大革命波及到军队院校后，海军潜水艇学校领导权力被剥夺，造成两派对立、停课闹革命的局面。1969年2月19日，中央军委批转“军队院校调整”方案，决定撤销海军潜水艇学校，学员分配到海军各潜艇部队。教职员工除调入尚在办的海军院校外，余作转业、复员处理。实验室设备调拨到相应院校，教学楼闲置。自此，学校教学暂停。

1973年12月8日，中央军委命令重新组建潜艇学校，张震春为筹建委员会主任。之后，由苏军任校长，陈辉任政委。学校在只有校址和教室的空壳上重建，任务繁重。但学校领导以部队需要为己任，在重建中就酝酿招生、开学，不到半年的时间内，基本完成重建任务，于1974年3月18日正式开学。面对从地方学校“毕业”的新学员，学校领导决定首先要抓学员思想建设、业务素质的提高。另外，又提出对“文化大革命”期间，专业断档的潜艇部队干部进行培训，使他们在提高理论的基础上，巩固提高实操水平。这一措施，为部队日后开展的教育训练和战备训练，打下了良好的基础。在潜艇学校恢复后的3年中，培训了50多名部门长，轮训了约50名副艇长。

在潜艇学校全体人员的共同努力下，学校很快走上了正规。全国恢复高考后，潜艇学校也开始从社会上招收高考学员入学，恢复了四年制大学本科学历的部门长培训。苏军校长根据国内外形势及潜艇装备的发展，响亮地提出了将潜艇学校办成潜艇大学的口号，向“三材”建设及科研工作倾斜。在当时教学任务繁重的情况下，学校成功地研制出“攻潜模拟器”，并在1984年参加了全国科技大会。海军潜艇学校期间，学校向潜艇部队和防救部队输送学员1万多名（包括专业水兵学员）。其中，有两位学员担任海军司令员、两位担任海军副司令员、一位任空军副政委、两位担任海军参谋长、一位担任过政治部主任、一位担任轻工业联合会会长。经过5年多的恢复建设，潜艇学校已经初具规模，具有常规潜艇系、核潜艇系和防救系3个系、数十个专业的学校了。

1983年6月27日，中央军委命令：海军潜艇学校改为海军潜艇学院，院长苏军，政委陈辉。此时，学院经过发展建设，已成为一所培养潜艇和防救部队初中两级军事指挥、工程技术军官的重点军事院校。1983年8月，高振家接任院长，1985年10月，杨宝骧接任政委。1986年10月，朱意达接任院长。1987年，经总部批准开始招收硕士研究生。1990年经国务院学位委员会批准为硕士学位授权单位。1990年1月陈叔韩接任院长；同年7月，李中文接任政委。1992年李树文接任院长。1994年崔福林接任院长。1998年，获得研究生单独考试权。1999年，经军队学位委员会授权在“作战指挥学”学科开展在职人员以同等学历申请硕士学位工作。2003年国务院学位委员会批准，潜艇学院招收博士研究生，2004年开始招生。

海军潜艇学院是全军最早获准对外开放的院校之一。1985年以来，先后有美国、英国等60多个国家、90多个军事代表团来院访问与教学。1998年，经总部批准，开设外国军事留学生班。学院还是总部设立的“青岛地区军队院校协作中心”组织单位，担负着山东地区军事院校之间以及与部队之间横向协作的牵头任务。