遇到惡質設計公司又拖工程，沒簽約怎麼辦? - 法律

想請教了解裝潢的大大們
小弟最近想裝潢房子
找了一間設計公司，估好價後也開始做了
但因為當初設計的合約付款條件不合理
於是與設計師協調後，改採做到哪裡付到哪裡的方式進行裝潢
也就因此沒有簽合約
問題來了，設計師拖工程不說，裝潢進度預期的慢
然後請款後的錢，不但電梯沒有去下訂單
而且還拖欠水電工程的錢，搞的師傅來問我們業主
而剛開始設計師還建議我們頂樓可以加蓋，但屬於違章部分
而鋼構鋼網牆等等都弄到一半了
收到政府的公文，勒令停工!!
然後現在設計師又躲著不出面，都由設計公司的一個小姐來對口
我們請設計公司把目前有做的東西列出，結清，我們想要另外再找設計公司負責
但沒想到竟然來的估價單跟當初的完全不一樣
甚至還多了七十幾萬莫名其妙的費用
感覺這設計公司是詐騙集團，吃定我們趕工程，又沒簽約
甚至還要敲詐我們，我還懷疑是否是他們自導自演，自己去向政府告發
因為我們去問坐電梯的承包商，他們說設計師早在下定之前，就先跟他說
有可能會因為違章而停工，所以先不要做
這不是很可怕嗎?
所以我想要請問一下有經驗的大大們，遇到這樣的情況，我們有什麼合理的方式
可以解決這個問題?或是有哪個單位可以協助諮詢的呢?
我們想解決，但對方設計師躲著不出面，我們也很難溝通