交通問題!雙向道左邊直行時切換到右邊住家 - 法律

今天我騎車在雙向道上我在右側~因為看附近沒來車~我直行切到左邊住家!剛好後面有台休旅車~好像被我嚇到!馬上對我罵說~你是找死喔因為當下我知道我有錯~所以沒回答她!他卻一直罵我!!後來我不理他~騎走了~他卻又轉向跑來追我~追了一段距離~剛好遇到紅綠燈他跑下車把我車鑰匙拔掉~並且罵我行車危險~可是我們也沒發生車禍~他有權利拔我鑰匙嗎~他還把我的車牌照下來!!這樣我會有什麼責任問題嗎~希望可以幫我解答一下