[轉]邏輯回歸與決策樹在分類上的一些區別

行銷預測模型的目標變數很多為一種狀態或類型，如客戶“買”還是“不買”、客戶選擇上網方式為 “寬頻”還是“撥號”、行銷戰通道是郵件、電話、還是網路。我們把這類問題統稱為 “分類”。決策樹和邏輯回歸都是解決“分類”問題的高手。用不同的演算法解答同樣的問題，自然引出了兩者孰優孰劣的討論，但迄今為止，仍然沒有一個明確的結 論。出現這種情況是意料之中的，因為兩者的具體表現取決於資料狀況和挖掘人員的水準。從演算法本身看，決策樹和回歸各有優勢，因此最好的應用不是兩者擇一， 而是相互取捨，利用一方的長處彌補另一方的不足。

在進一步討論之前，讓我們來看一下邏輯回歸和決策樹的主要差別。

有 些分歧是表面的，例如決策樹可以對付缺失值，而邏輯回歸需要挖掘人員預先對缺失資料進行處理。但實際上決策樹同樣要對缺失值做出某種假設和處理。例如 CART在遇到一個變數中有缺失情況時，是用次級變數進行替換切分。這種做法在邏輯回歸中也可以辦到，但需要單獨的程式設計。而在決策樹中，這一步已經嵌入軟 件的演算法引擎。

從 實質上看，決策樹和邏輯回歸的分歧是：1．邏輯回歸對資料整體結構的分析優於決策樹，而決策樹對局部結構的分析優於邏輯回歸。2．邏輯回歸擅長分析線性關 系，而決策樹對線性關係的把握較差。雖然對付非線性關係是決策樹的強項，但是很多非線性關係完全可以用線性關係作為近似，而且效果很好。線性關係在實踐中 有很多優點：簡潔，易理解，可以在一定程度上防止對資料的過度擬合。3．邏輯回歸對極值比較敏感，容易受極端值的影響，而決策樹在這方面表現較好。

兩 者的差別主要來自演算法邏輯。決策樹由於採用分割的方法，所以能夠深入資料細部，但同時失去了對全域的把握。一個分層一旦形成，它和別的層面或節點的關係就 被切斷了，以後的挖掘只能在局部中進行。同時由於切分，樣本數量不斷萎縮，所以無法支援對多變數的同時檢驗。而邏輯回歸，始終著眼整個資料的擬合，所以對 全域把握較好。但無法兼顧局部資料，或者說缺乏探查局部結構的內在機制。

除 外，邏輯回歸和決策樹還有一些應用上的區別。決策樹的結果和邏輯回歸相比略顯粗糙。邏輯回歸原則上可以提供資料中每個觀察點的概率，而決策樹只能把挖掘對 象分為有限的概率組群。比如決策樹確定17個節點，全部人口就只能有17個概率，在應用上受到一定限制。就操作來說，決策樹比較容易上手，需要的資料預處 理較少，而邏輯回歸則要求一定的訓練和技巧。

對 於兩者間互補或增強，主要思路是利用決策樹對局部資料結構優越的把握能力增加邏輯回歸的效力。在具體做法上有幾種，一種是從決策樹分析中找出資料局部結 構，作為在邏輯回歸中構建依變數（interaction)的依據。另一種是在需要對預測因數進行離散化處理時，利用決策樹分析決定最佳切分點。還有一種 是把決策樹分類的最終結果作為預測變數，和其他協變數一起代入回歸模型，又稱為“嫁接式模型”。從理論上講，嫁接模型綜合了決策樹和邏輯回歸的優點。最終 節點包含了資料中重要的局部結構，而協變數可以拾補被決策樹遺漏的資料整體結構。

嫁 接模型是一個很巧妙的設計，但是在實踐中並沒有得到普遍的認同。由於決策樹已經對資料進行了最大限度的擬合，所以留給協變數的餘地很小。換句話說，把決策 樹的最終節點作為預測因數，就可能找不出還有獨立作用的協變數。而沒有協變數，邏輯回歸實際只是決策樹的重複。再有，由於節點是多個屬性的綜合，不易解 釋。每個節點到底代表什麼不明確，由此限制了這種方法的推廣。