Vraťte datový typ SQL, např. VARCHAR2. Také bych nedoporučoval používat WHEN OTHERS. Také nepotřebujete dotaz na dual:
create or replace
function IS_NUMBER(str in varchar2) return varchar2
IS
n number;
BEGIN
n := to_number(str);
return 'Y';
EXCEPTION WHEN VALUE_ERROR THEN
return 'N';
END;