公家牆壁漏水，已寄存證信函對方不理，後續... - 法律

請問大家：
我買了一間房子，但是"公家牆壁"嚴重漏水，
隔壁屋主已好幾年無人居住，漏水相當的嚴重，
我有跟屋主的姐姐聯絡上，希望她可以給我屋主的電話，
她說不方便給我，
問題是我有請工人要做防水工程，要請他給我key，
好讓工人施作，施作的內容也有跟他姐姐說明過，
且這個防漏工程的錢也是由我自己出，只是要請他們開門，
他們也不回應，
目前我已經寄出存證信函了，他有收到但不回應，
我昨天去我們的公所申請調解，公所的小姐跟我說，
區公所內的調解是沒有強制力，而且對方是住在別的縣市，
到時不來，他們也沒辦法
我只是單純要拿key而已，進入房子內讓我施作工程，
結構上都不會動到，我不想把事情弄到這麼麻煩，
因為我目前房子在整修，整修到一半，
隔壁屋主不出來，我也沒辦法作收尾，
時間已經拖好久了，真的一定要上法院嗎？
請告訴我後續該如何處理，
如果真要上法院，請告訴我該怎麼處理，謝謝！