Mnogo pre nego što je dobila svoje grafitno srce, jedna forma olovke je korišćena kao najranija alatka za pisano izražavanje. Još u drevnom Rimu, za pisanje je korišćen stilus, tanka metalna šipka koja je ostavljala bled, ali čitak otisak na papirusu.
Modernu olovku je 1795. godine napravio Nikolas Žak Konte, naučnik koji je služio u Napoleonovoj vojsci. Njeno srce je nastalo mešanjem vode, gline i grafita na 1000 °C. Grafit, magični materijal koji je ostavljao jasne tragove, koristili su još drevni Asteci. Verovalo se da je vrsta olova i nazvan je plumbago. Otuda potiče njeno ime - olovka, koje se u nekim jezicima zadržalo do danas. Na engleskom jeziku ime dobila od latinske reči pencillus (mali rep), što je još pre pronalaska olovke opisivalo minijaturnu četkicu korišćenu za pisanje mastilom.
Grafit je ušao u široku upotrebu nakon otkrića velikog nalazišta ovog minerala u Borovndejlu (Engleska) 1564. godine, a svoje današnje ime je dobio tek 1789, od grčke reči graphein (pisati). Kako je grafit veoma mek, trebalo mu je obezbediti omotač koji bi sprečavao lomljenje tokom pisanja. U početku je uvijan u konopac, sve dok u XVIII veku nije smešten u svoje današnje kućište od drveta. Tada olovke nisu bile okrugle, već blago zaobljenog, izduženo pravougaonog oblika. Grafit je, praktično, bio presovan između dve drvene pločice. Slična forma olovke se i danas može videti u majstorskim radionicama i na gradilištima, iz vrlo praktičnog razloga - majstori ne vole da im se olovke otkotrljaju sa mesta gde ih ostave.
Prva masovna proizvodnja olovke je počela 1662. godine u Nirnbergu u Nemačkoj, što je pokrenulo malu revoluciju koju su nastavile kompanije Faber-Castell, Lyra, Steadtler i dr. Tokom industrijske revolucije u XIX veku, njihova proizvodnja je u Evropi bila grana u procvatu. Mnogi ogranci kompanija za proizvodnju olovaka otvaraju se tad i u Americi, gde je masovna proizvodnja počela tek 1812. godine.
U početku, telo olovke nije bojeno, jer su proizvođači želeli da istaknu lepotu i kvalitet drveta koje je čuvalo grafit. Tek krajem XIX veka, počeli su da graviraju logo svojih firmi na obojeno drveno kućište. Sve do skoro pravljene su isključivo od kedra, koji je i danas drvo izbora u proizvodnji olovaka visokog kvaliteta.
Danas je su olovke standardizovane u 20 kategorija, po odnosu grafita i gline u njima, od najmekše 9B, do najtvrđe 9H. Što je stepen B veći, to je olovka mekša, ostavlja tamniji trag i pogodnija je za crtanje. Za pisanje se najčešće koristi srednje tvrda, HB olovka, koja je standard u masovnoj potrošnji.
Za kraj priče o olovci, jedna zanimljivost. Klasična HB olovka, dužine 15 cm, traje dovoljno dugo na papiru ispiše liniju dugu 1178 kilometara.
