碰到這樣的代書要如何處理 - 法律

最近買房子，因為之前房子有訴訟的問題，所以拖了一段時間，代書是賣方找的；現在訴訟問題賣方已經解決，正等候撤銷註記，在此同時買賣雙方先去報稅及完稅，錢雙方都已繳完，然後要代書去辦過戶；此時問題來了，由於之前在辦理的過程當中，本人對代書的建議的程序有意見，不願照著他的方法去做，因為他建議的方法，程序多且要多代書費，他所建議的貸款的銀行，我也不認同，另外找一家利率比較低的銀行，從此之後這個代書的態度就很差，但是因為是賣方找的，代書費也是賣方出的，所以我一直容忍著。
現在那個代書好像沒從我這邊賺到錢，他覺得不甘心，所以他要爭取銀行貸款部分的代書作業，當然我才不會委託他去辦理，服務態度差，又一心想從中獲取個人的利益，我們也跟賣方講好了，請賣方叫代書去辦理過戶，此時代書