Tolak peluru merupakan olah raga yang telah ada sejak zaman Yunani kuno, hanya saja pada waktu itu bentuk dan tata cara olahraga ini tentu saja berbeda.

Menurut Homer, pada waktu itu olahraga tolak peluru bernama lempar beban (weight trowing).

Hanya saja tak ada catatan sejarah mengenai bentuk atau bahkan jenis beban persisnya (yang bisa ditelusuri dari data sejarah yang ada hanyalah lempar batu) yang dipergunakan pada waktu itu.

Meski demikian, olah raga ini merupakan salah satu jenis latihan perang yang dilakukan oleh para prajurit Troya yang kemudian dipertandingkan.

Sekali lagi, kompetisi ini tidak bisa dilacak jejaknya. Salah satu jejak yang bisa ditemukan dalam olah raga lempar beban tersebut adalah kompetisi yang diadakan di Skotlandia pada abad ke 1.

Saat abad ke 16 di Inggris, Raja Henry ke VIII juga melaksanakan pertandingan yang serupa, yakni lempar beban dan lempar palu.

Pertandingan pada saat  masa pertengahan di mana kompetisi yang dilaksanakan oleh kalangan militer ini diikuti oleh para prajurit yang melemparkan bola besi sejauh mungkin dari titik tolak adalah kompetisi pertama yang bentuknya mendekati tolak peluru masa kini.

Kompetisi tolak peluru yang pertama kali terdokumentasikan adalah kompetisi di Skotlandia tahun 1866.