Согласно ч. 1 ст. 218 КАС РФ гражданин может обратиться в суд с требованиями об оспаривании решений, действий (бездействия) органа государственной власти, органа местного самоуправления, иного органа, организации, наделенных отдельными государственными или иными публичными полномочиями, должностного лица, государственного или муниципального служащего, если полагает, что нарушены или оспорены его права, свободы и законные интересы, созданы препятствия к осуществлению его прав, свобод и реализации законных интересов или на него незаконно возложены какие-либо обязанности. Гражданин может обратиться непосредственно в суд или оспорить решения, действия (бездействие) органа, организации, лица, наделенных государственными или иными публичными полномочиями, в вышестоящие в порядке подчиненности орган, организацию, у вышестоящего в порядке подчиненности лица либо использовать иные внесудебные процедуры урегулирования споров.

Таким образом, решение об отказе можно оспорить или в вышестоящем органе, или в суде (в порядке административного судопроизводства).