Python數據挖掘專題實戰培訓

【課程目標】

本課程主要講解如何利用Python進行時間序列的數據建模。

通過本課程的學習，達到如下目的：

1、 全面掌握Python語言以及其編程思想。

2、 掌握常用擴展庫的使用，特別是數據挖掘相關庫的使用。

3、 學會使用Python完成數據挖掘項目整個過程。

4、 掌握利用Python實現可視化呈現。

5、 掌握數據挖掘常見算法在Python中的實現。

【授課時間】

2-5天時間

（要根據學員的實際情況調整重點內容及時間）

【授課對象】

業務支持部、IT系統部、大數據系統開發部、大數據分析中心、網絡運維部等相關技術人員。

【學員要求】

1、 每個學員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好Python 3.9版本及以上。

3、 安裝好Numpy,Pandas,statsmodels,sklearn,scipy等常用庫。

注：講師現場提供分析的數據源。

【授課方式】

語言基礎 + 挖掘模型 + 案例演練 + 開發實踐 + 可視化呈現

采用互動式教學，圍繞業務問題，展開數據分析過程，全過程演練操作，讓學員在分析、分享、講授、總結、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分： 數據挖掘基礎

1、 數據挖掘概述

2、 數據挖掘的標準流程（CRISP-DM）

? 商業理解

? 數據準備

? 數據理解

? 模型建立

? 模型評估

? 模型應用

案例：客戶流失預測及客戶挽留

3、 數據挖掘常用模型

第二部分： 數據預處理篇

1、 數據預處理的主要任務

? 數據集成：多個數據集的合并

? 數據清理：異常值的處理

? 數據處理：數據篩選、數據精簡、數據平衡

? 變量處理：變量變換、變量派生、變量精簡

? 數據歸約：實現降維，避免維災難

2、 數據集成

? 數據追加（添加數據）

? 變量合并（添加變量）

3、 數據理解（異常數據處理）

? 取值范圍限定

? 重復值處理

? 無效值/錯誤值處理

? 缺失值處理

? 離群值/極端值處理

? 數據質量評估

4、 數據準備：數據處理

? 數據篩選：數據抽樣/選擇（減少樣本數量）

? 數據精簡：數據分段/離散化（減少變量的取值個數）

? 數據平衡：正反樣本比例均衡

5、 數據準備：變量處理

? 變量變換：原變量取值更新，比如標準化

? 變量派生：根據舊變量生成新的變量

? 變量精簡：降維，減少變量個數

6、 數據降維

? 常用降維的方法

? 如何確定變量個數

? 特征選擇：選擇重要變量，剔除不重要的變量

2 從變量本身考慮

2 從輸入變量與目標變量的相關性考慮

2 對輸入變量進行合并

? 因子分析（主成分分析）

2 因子分析的原理

2 因子個數如何選擇

2 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

7、 數據探索性分析

? 常用統計指標分析

? 單變量：數值變量/分類變量

? 雙變量：交叉分析/相關性分析

? 多變量：特征選擇、因子分析

演練：描述性分析（頻數、描述、探索、分類匯總）

8、 數據可視化

? 數據可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等

? 圖形的表達及適用場景

演練：各種圖形繪制

第三部分： 用戶專題分析

1、 用戶專題分析的主要任務

2、 客戶群細分與聚類分析

問題：我們的客戶有幾類？各類特征是什么？如何實現客戶細分，開發符合細分市場的新產品？

? 聚類方法原理介紹

? 聚類方法作用及其適用場景

? 聚類分析的種類

? K均值聚類

案例：移動三大品牌細分市場合適嗎？

演練：寶潔公司如何選擇新產品試銷區域？

演練：如何評選優秀員工？

演練：中國各省份發達程度分析，讓數據自動聚類

? 最優K值選擇

2 Elbow手肘法

2 Silhouette Coefficient輪廓系數

2 Calinski-Harabasz Index準則

? 雙聚類bicluster及評估

? 譜聚類聯合

2 聯合譜聚類SpectralCoclustering

2 雙向譜聚類SpectralBiclustering

? DBSCAN鄰近聚類

3、 客戶喜好評估與主成分分析PCA

營銷問題：如何匯聚大眾的共同喜好？

? 主成分分析方法介紹

? 主成分分析基本思想

? 主成分分析步驟

案例：如何評估汽車購買者的客戶細分市場

4、 客戶價值評估與RFM模型

營銷問題：如何評估客戶的價值？不同的價值客戶有何區別對待？

? RFM模型（客戶價值評估）

? RFM模型，更深入了解你的客戶價值

? RFM模型與市場策略

? RFM模型與活躍度分析

案例：淘寶客戶價值評估與促銷名單

案例：重購用戶特征分析

第四部分： 產品專題分析

1、 產品專題分析主要任務

? 產品設計分析

? 市場占有分析

? 累計銷量分析

? 定價策略分析

2、 產品設計優化（聯合分析法）

問題：如何設計最優的功能特征？

? 評估功能特征的重要性

? 評估功能特征的價值

案例：產品開發與設計分析

3、 產品評估模型（隨機效用理論）

? 屬性重要性評估

? 市場占有率評估

? 產品價格彈性評估

? 評估產品的品牌價值

? 動態調價（納會均衡價格）

案例：品牌價值與價格敏感度分析

案例：納什均衡價格

第五部分： 產品定價策略

營銷問題：產品如何實現最優定價？套餐價格如何確定？采用哪些定價策略可達到利潤最大化？

1、 常見的定價方法

2、 產品定價的理論依據

? 需求曲線與利潤最大化

? 如何求解最優定價

案例：產品最優定價求解

3、 如何評估需求曲線

? 價格彈性

? 曲線方程（線性、乘冪）

4、 如何做產品組合定價

5、 如何做產品捆綁/套餐定價

? 最大收益定價（演進規劃求解）

? 避免價格反轉的套餐定價

案例：電信公司的寬帶、IPTV、移動電話套餐定價

6、 非線性定價原理

? 要理解支付意愿曲線

? 支付意愿曲線與需求曲線的異同

案例：雙重收費如何定價（如會費+按次計費）

7、 階梯定價策略

案例：電力公司如何做階梯定價

8、 數量折扣定價策略

案例：如何通過折扣來實現薄利多銷

9、 定價策略的評估與選擇

案例：零售公司如何選擇最優定價策略

10、 航空公司的收益管理

? 收益管理介紹

? 如何確定機票預訂限制

? 如何確定機票超售數量

? 如何評估模型的收益

案例：FBN航空公司如何實現收益管理（預訂/超售）

第六部分： 產品推薦與協同過濾

問題：購買A產品的顧客還常常要購買其他什么產品？應該給客戶推薦什么產品最有可能被接受？

1、 從搜索引擎到推薦引擎

2、 常用產品推薦模型及算法

3、 基于流行度的推薦

? 基于排行榜的推薦，適用于剛注冊的用戶

? 優化思路：分群推薦

4、 基于內容的推薦CBR

? 關鍵問題：如何計算物品的相似度

? 優缺點

? 優化：Rocchio算法、基于標簽的推薦、基于興趣度的推薦

5、 基于用戶的推薦

? 關鍵問題：如何對用戶分類/計算用戶的相似度

? 算法：按屬性分類、按偏好分類、按地理位置

6、 協同過濾的推薦

? 基于用戶的協同過濾

? 基于物品的協同過濾

? 冷啟動的問題

案例：計算用戶相似度、計算物品相似度

7、 基于分類模型的推薦

8、 其它推薦算法

? LFM基于隱語義模型

? 按社交關系

? 基于時間上下文

9、 多推薦引擎的協同工作

第七部分： 信用評分卡模型

信用評分卡模型簡介

評分卡的關鍵問題

信用評分卡建立過程

? 篩選重要屬性

? 數據集轉化

? 建立分類模型

? 計算屬性分值

? 確定審批閾值

篩選重要屬性

? 屬性分段

? 基本概念：WOE、IV

? 屬性重要性評估

數據集轉化

? 連續屬性最優分段

? 計算屬性取值的WOE

建立分類模型

? 訓練邏輯回歸模型

? 評估模型

? 得到字段系數

計算屬性分值

? 計算補償與刻度值

? 計算各字段得分

? 生成評分卡

確定審批閾值

? 畫K-S曲線

? 計算K-S值

? 獲取最優閾值

第八部分： 交叉銷售與關聯規則

1、 關聯規則概述

2、 常用關聯規則算法

? Apriori算法

2 發現頻繁集

2 生成關聯規則

? FP-Growth算法

2 構建FP樹

2 提取規則

案例：使用apriori實現關聯分析

10、 基于關聯分析的推薦

? 如何制定套餐，實現交叉/捆綁銷售

案例：啤酒與尿布、颶風與蛋撻

? 關聯分析模型原理（Association）

? 關聯規則的兩個關鍵參數

2 支持度

2 置信度

? 關聯分析的適用場景

案例：購物籃分析與產品捆綁銷售/布局優化

案例：通信產品的交叉銷售與產品推薦

結束：課程總結與問題答疑。