手榴弹最早发明于中國，公元1000年，宋朝出现了称为“火球”或“火炮”的火器，其原理与現代手榴弹相同，1044年出版的兵书《武经总要》中，已载有霹雳火球、蔟藜火球、毒药火球、烟球、引火球等多种可手投弹药，这可以看作是最早的手榴弹雏形。13世纪初，中国军队中已出现了铁壳制爆炸武器“震天雷”，这与现代手榴弹已相差无几。
欧洲关于手榴弹的最早纪录出现在1405年，是意大利的一份手抄本上出现了手抛弹药的图样。17世纪以后，出现铁壳制手抛弹药。此时，欧洲出现了 “手榴弹”（英文：Hand grenade）这一名称，并沿用至今。
17世纪和18世纪，手榴弹是欧洲军队中普遍使用的武器，并曾出现专业 “擲弹兵”部队。19世纪，枪炮的发展以及城堡攻防战的减少使手榴弹一度遭冷遇。20世纪，1904年的日俄战争和后来进行的第一次世界大战，第二次世界大战中，堑壕战兴起，手榴弹又被广泛使用。在现代化步兵中，手榴弹是重要的武器装备之一。