Naboer har klaget over byggegrund i ti år – men ejer fik ikke besked.