Miestelio įkūrimo data laikoma 1760 m. Skaudvilės vietovardis yra pavardinės kilmės, kildinamas nuo tų vietų pono Skaudvilio. Miestelis pradėjo plėstis nutiesus Rygos – Karaliaučiaus plentą 1847 m. Skaudvilė buvo prekybinis miestas, čia atvykdavo prekybininkai iš Karaliaučiaus, Rusijos imperijos, Lenkijos ir kitų Lietuvos vietovių.

Pats miestelis – urbanistikos paminklas, radialinio plano miestas. Šio plano užuomazga susidarė XIX a. pradžioje, kada pagrindinės gatvės atkarpa tarp bažnyčios ir kelių sankryžos virto aikšte.