Wichtig ist, daß Du immer "freundlich" zu denen bleibst , nicht zu laut wirst, nicht beleidigst und nicht drohst (-und immer freundlich winken, da ärgern die sich noch mehr...).
Geh doch mal auf's Rathaus/Ordnungsamt und schildere den Fall. Lass die antanzen mit dem Schriftstück das Dich verpflichtet hat den Baum zu pflanzen. Dann messen lassen. Wenn das alles in Ordnung ist, haben die Nachbarn wegen dem Baum nichts mehr in der Hand -erste Baustelle erledigt.
Fordere das Ordnungsamt auf, unregelmäßig ohne Ankündigung bei Dir vorbei zufahren und zu dokumentieren ob während der "Ruhezeiten" Maschinen oder Schlepper laufen bzw. zu hören waren.
Wegen solchen das lange (auf-)gebaute aufgeben und wegziehen, würde mir aber nicht in den Sinn kommen. Wobei Du ja schon mal andeuten kannst, daß Du wegziehst und das Haus/Grundstück an den Landkreis/Gemeinde vermietet hast und es als Flüchtlingsunterkunft/Asylantenheim genutzt wird...
Gerüchte verbreiten ist manchmal ganz nützlich.

Ein Botaniker ist sowas wie ein Cowboy, der auf einem Pony reitet