Karel Hrdý působil po dlouhé roky ve veřejném životě, nejdříve jako starosta Hrádku nad Nisou, poté jako poslanec nejprve České národní rady (1992) a po rozdělení Československa Poslanecké sněmovny (1993 – 1996). Do pozice náměstka pro sport jej jmenovala Petra Buzková v roce 2002, skončil po jmenování nové vlády v roce 2006. Během svého působení se stal vládním zmocněncem pro přípravu mistrovství světa v hokeji. Z titulu své pozice výrazně kritizoval generálního ředitele Sazky Aleše Hušáka pro nehospodárnost při výstavbě nové haly. Po dobu vykonávání funkce náměstka se snažil o ukotvení financování sportu jak na vrcholové úrovni, tak i základních článků. Dařilo se mu ve spojení s ministryní Buzkovou posilovat rozpočet pro oblast sportu.
Velkou celoživotní zálibou byl pro Karla Hrdého tenis. Dlouhodobě působil jako místopředseda Severočeského tenisového svazu, vedl kurzy pro trenéry a rozhodčí. Stojí za vznikem nového tenisového areálu v Hrádku nad Nisou. V letech 1998 – 2002 byl členem výkonného výboru Českého tenisové svazu, až do posledních dnů byl členem Rady Českého tenisového svazu.
Poslední rozloučení proběhne v obřadní síni krematoria v Hrádku nad Nisou ve čtvrtek 4. února 2016 v 15 hodin.