Můžete použít doslovné citace:
stmt := q'[insert into MY_TBL (Col) values('ER0002')]';
Dokumentaci pro literály naleznete zde.
Alternativně můžete k označení jediné uvozovky použít dvě uvozovky:
stmt := 'insert into MY_TBL (Col) values(''ER0002'')';
Mechanismus doslovných citací se syntaxí Q je flexibilnější a čitelnější, IMO.