活塞式內燃機起源於用火藥爆炸獲取動力，但因火藥燃燒難以控制而未获成功。1794年，英国人斯特里特提出从燃料的燃烧中获取动力，并且第一次提出了燃料与空气混合的概念。1833年，英国人赖特提出了直接利用燃烧压力推动活塞作功的设计。
之后人们又提出过各种各样的内燃机方案，但在十九世纪中叶以前均未付诸实用。直到1860年，法国的勒努瓦模仿蒸汽机的结构，设计制造出第一台实用的煤气机。这是一种无压缩、电点火、使用照明煤气的内燃机。勒努瓦首先在内燃机中采用了弹力活塞环。这台煤气机的热效率为4%左右。
英国的巴尼特曾提倡将可燃混合气在点火之前进行压缩，随后又有人著文论述对可燃混合气进行压缩的重要作用，并且指出压缩可以大大提高勒努瓦内燃机的效率。 1862年，法国科学家罗沙对内燃机热力过程进行理论分析之后，提出提高内燃机效率的要求，这就是最早的四冲程工作循环。
1876年，德国发明家奥托运用罗沙的原理，创制成功第一台往复活塞式、单缸、卧式、3.2千瓦(4.4马力)的四冲程内燃机，仍以煤气为燃料，采用火焰点火，转速为156.7转/分，压缩比为2.66，热效率达到14％，运转平稳。在当时，无论是功率还是热效率，它都是最高的。
奥托内燃机获得推广，性能也在提高。1880年单机功率达到11～15千瓦(15～20马力)，到1893年又提高到150千瓦。由于压缩比的提高，热效率也随之增高，1886年热效率为15.5%，1897年已高达20～26％。1881年，英国工程师克拉克研制成功第一台二冲程的煤气机，并在巴黎博览会上展出。
随着石油的开发，比煤气易于运输携带的汽油和柴油引起了人们的注意，首先获得试用的是易于挥发的汽油。1883年，德国的戴姆勒创制成功第一台立式汽油机，它的特点是轻型和高速。当时其他内燃机的转速不超过200转/分，它却一跃而达到800转/分，特别适应交通动输机械的要求。1885～1886年，汽油机作为汽车动力运行成功，大大推动了汽车的发展。同时，汽车的发展又促进了汽油机的改进和提高。不久汽油机又用作了小船的动力。
1892年，德国工程师狄塞尔受面粉厂粉尘爆炸的启发，设想将吸入气缸的空气高度压缩，使其温度超过燃料的自燃温度，再用高压空气将燃料吹入气缸，使之着火燃烧。他首创的压缩点火式内燃机(柴油机)于1897年研制成功，为内燃机的发展开拓了新途径。
狄塞尔开始力图使内燃机实现卡诺循环，以求获得最高的热效率，但实际上做到的是近似的等压燃烧，其热效率达26％。压缩点火式内燃机的问世，引起了世界机械业的极大兴趣，压缩点火式内燃机也以发明者而命名为狄塞尔引擎。
这种内燃机以后大多用柴油为燃料，故又称为柴油机。1898年，柴油机首先用于固定式发电机组，1903年用作商船动力，1904年装于舰艇，1913年第一台以柴油机为动力的内燃机车制成，1920年左右开始用于汽车和农业机械。
早在往复活塞式内燃机诞生以前，人们就曾致力于创造旋转活塞式的内燃机，但均未获成功。直到1954年，联邦德国工程师汪克尔解决了密封问题后，才于 1957年研制出旋转活塞式发动机，被称为汪克尔发动机。它具有近似三角形的旋转活塞，在特定型面的气缸内作旋转运动，按奥托循环工作。这种发动机功率高、体积小、振动小、运转平稳、结构简单、维修方便，但由于它燃料经济性较差、低速扭矩低、排气性能不理想，所以还只是在个别型号的轿车上得到采用。