Změna druhu pozemku

Dobrý den, potřebuji poradit. Mám pozemek o celkové výměře cca 2000m2 označený jako trvale travní porost a chtěl bych na něm stavět RD. Na stavebním úřadu souhlasí, aby se tato část zastavěla, ale když jsme řešili vyjmutí z půdního fondu narazili jsme na problém. Pozemek spadá do oblasti kde je půdní třída 2 (mimořádně úrodná) a vedoucí stavebního uřadu mi řekl, že mi to nevyjmou, že to jde přes pana XY, který to zamítne. Že se s tímto problémem už několikrát setkal, tudíž jsem se po tom pídil a bylo mi řečeno, že klička zde je. Kdyby se pozemek převedl z trvale travního porostu na ostatní, tak vyjmutí už nebude problém a RD může vesele růst. Chci se proto zeptat, zda někdo neřešil stejný problém nebo co mám udělat na životním prostředí, aby to 100% prošlo a pozemek mi změnili na plochu ostatní. Děkuji za rady.