第一部分：  數(shù)據(jù)核心理念—數(shù)據(jù)思維篇

問題：什么是數(shù)據(jù)思維？大數(shù)據(jù)決策的底層邏輯以及決策依據(jù)是什么？

1、 大數(shù)據(jù)的本質(zhì)

‐  數(shù)據(jù)，是事物發(fā)展和變化過程中留下的痕跡

‐  大數(shù)據(jù)不在于量大，而在于全（多維性）

‐  業(yè)務(wù)導(dǎo)向還是技術(shù)導(dǎo)向

2、 大數(shù)據(jù)決策的底層邏輯（即四大核心價(jià)值）

‐  探索業(yè)務(wù)規(guī)律，按規(guī)律來管理決策

案例：客流規(guī)律與排班及最佳營銷時(shí)機(jī)

案例：致命交通事故發(fā)生的時(shí)間規(guī)律

‐  發(fā)現(xiàn)運(yùn)營變化，定短板來運(yùn)營決策

案例：考核周期導(dǎo)致的員工月初懈怠

案例：工序信號(hào)異常監(jiān)測(cè)設(shè)備故障

‐  理清要素關(guān)系，找影響因素來決策

案例：情緒對(duì)于股市漲跌的影響

案例：為何升職反而會(huì)增加離職風(fēng)險(xiǎn)？

‐  預(yù)測(cè)未來趨勢(shì)，通過預(yù)判進(jìn)行決策

案例：海爾利用數(shù)據(jù)來預(yù)測(cè)空調(diào)故障，實(shí)現(xiàn)事前檢修

案例：保險(xiǎn)公司的車險(xiǎn)預(yù)測(cè)與個(gè)性化保費(fèi)定價(jià)

3、 大數(shù)據(jù)決策的三個(gè)關(guān)鍵環(huán)節(jié)

‐  業(yè)務(wù)數(shù)據(jù)化：將業(yè)務(wù)問題轉(zhuǎn)化為數(shù)據(jù)問題

‐  數(shù)據(jù)信息化：提取數(shù)據(jù)中的業(yè)務(wù)規(guī)律信息

‐  信息策略化：基于規(guī)律形成業(yè)務(wù)應(yīng)對(duì)策略

案例：用數(shù)據(jù)來識(shí)別喜歡賺“差價(jià)”的營業(yè)員

第二部分：  數(shù)據(jù)分析基礎(chǔ)—流程步驟篇

1、 數(shù)據(jù)分析的六步曲

2、 步驟1：明確目的，確定分析思路

‐  確定分析目的：要解決什么樣的業(yè)務(wù)問題

‐  確定分析思路：分解業(yè)務(wù)問題，構(gòu)建分析框架

3、 步驟2：收集數(shù)據(jù)，尋找分析素材

‐  明確數(shù)據(jù)范圍

‐  確定收集來源

‐  確定收集方法

4、 步驟3：整理數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量

‐  數(shù)據(jù)質(zhì)量評(píng)估

‐  數(shù)據(jù)清洗、數(shù)據(jù)處理和變量處理

‐  探索性分析

5、 步驟4：分析數(shù)據(jù)，尋找業(yè)務(wù)答案

‐  選擇合適的分析方法

‐  構(gòu)建合適的分析模型

‐  選擇合適的分析工具

6、 步驟5：呈現(xiàn)數(shù)，解讀業(yè)務(wù)規(guī)律

‐  選擇恰當(dāng)?shù)膱D表

‐  選擇合適的可視化工具

‐  提煉業(yè)務(wù)含義

7、 步驟6：撰寫報(bào)告，形成業(yè)務(wù)策略

‐  選擇報(bào)告種類

‐  完整的報(bào)告結(jié)構(gòu)

演練：產(chǎn)品精準(zhǔn)營銷案例分析

‐  如何搭建精準(zhǔn)營銷分析框架

第三部分：  用戶行為分析—統(tǒng)計(jì)方法篇

問題：數(shù)據(jù)分析方法的種類？分析方法的不同應(yīng)用場(chǎng)景？

1、 業(yè)務(wù)分析的三個(gè)階段

‐  現(xiàn)狀分析：通過企業(yè)運(yùn)營指標(biāo)來發(fā)現(xiàn)規(guī)律及短板

‐  原因分析：查找數(shù)據(jù)相關(guān)性，探尋目標(biāo)影響因素

‐  預(yù)測(cè)分析：合理配置資源，預(yù)判業(yè)務(wù)未來的趨勢(shì)

2、 常用的數(shù)據(jù)分析方法種類

3、 統(tǒng)計(jì)分析基礎(chǔ)

4、 基本分析方法及其適用場(chǎng)景

‐  對(duì)比分析（查看數(shù)據(jù)差距，發(fā)現(xiàn)事物變化）

演練：分析理財(cái)產(chǎn)品受歡迎情況及貢獻(xiàn)大小

演練：用戶消費(fèi)水平差異分析，提取優(yōu)質(zhì)客戶特征

‐  分布分析（查看數(shù)據(jù)分布，探索業(yè)務(wù)層次）

案例：銀行用戶的消費(fèi)層次/消費(fèi)檔次分析

演練：客戶年齡分布/收入分布分析

‐  結(jié)構(gòu)分析（查看指標(biāo)構(gòu)成，評(píng)估結(jié)構(gòu)合理性）

案例：收入結(jié)構(gòu)分析/成本結(jié)構(gòu)分析

案例：動(dòng)態(tài)結(jié)構(gòu)分析

‐  趨勢(shì)分析（查看變化趨勢(shì)，了解季節(jié)周期性）

案例：營業(yè)廳客流量規(guī)律與排班

案例：用戶活躍時(shí)間規(guī)律/產(chǎn)品銷量的淡旺季分析

演練：產(chǎn)品訂單的季節(jié)周期性規(guī)律

‐  交叉分析（從多個(gè)維度的數(shù)據(jù)指標(biāo)分析）

演練：不同客戶的產(chǎn)品偏好分析

演練：銀行用戶違約的影響因素分析

第四部分：  用戶行為分析—分析框架篇

問題：如何才能全面/系統(tǒng)地分析而不遺漏？如何分解和細(xì)化業(yè)務(wù)問題？

1、 分析框架來源于業(yè)務(wù)模型

‐  商業(yè)目標(biāo)（粗粒度）

‐  分析維度/關(guān)鍵步驟

‐  業(yè)務(wù)問題（細(xì)粒度）

‐  涉及數(shù)據(jù)/關(guān)鍵指標(biāo)

2、 常用的業(yè)務(wù)模型：PEST/5W2H/SWOT/PDCA/AARRR…

研討：結(jié)合公司業(yè)務(wù)情況，選取業(yè)務(wù)目標(biāo)，構(gòu)建系統(tǒng)的數(shù)據(jù)分析框架

第五部分：  用戶風(fēng)險(xiǎn)識(shí)別—異常數(shù)據(jù)篇

1、 反欺詐識(shí)別的重點(diǎn)內(nèi)容

‐  如何識(shí)別異常數(shù)據(jù)

‐  如何查找影響因素

‐  如何提取欺詐用戶的特征

‐  如何預(yù)測(cè)用戶的欺詐行為

2、 異常數(shù)據(jù)的定義

3、 異常數(shù)據(jù)的檢測(cè)方法

‐  基于統(tǒng)計(jì)法：標(biāo)準(zhǔn)差法、四分位距法、離群點(diǎn)檢測(cè)算法

‐  基于機(jī)器學(xué)習(xí)：回歸、聚類等

4、 異常數(shù)據(jù)處理方法

演練：各種異常數(shù)據(jù)識(shí)別

第六部分：              影響因素分析—根因分析篇

問題：如何做原因分析？比如價(jià)格是否可用于產(chǎn)品銷量？影響用戶違約的關(guān)鍵因素是什么？

1、 數(shù)據(jù)預(yù)處理vs特征工程

2、 特征選擇常用方法

‐  相關(guān)分析、方差分析、卡方檢驗(yàn)

3、 相關(guān)分析（衡量?jī)蓴?shù)據(jù)型變量的線性相關(guān)性）

‐  相關(guān)分析簡(jiǎn)介

‐  相關(guān)分析的應(yīng)用場(chǎng)景

‐  相關(guān)分析的種類

◢    簡(jiǎn)單相關(guān)分析

◢    偏相關(guān)分析

◢    距離相關(guān)分析

‐  相關(guān)系數(shù)的三種計(jì)算公式

◢    Pearson相關(guān)系數(shù)

◢    Spearman相關(guān)系數(shù)

◢    Kendall相關(guān)系數(shù)

‐  相關(guān)分析的假設(shè)檢驗(yàn)

‐  相關(guān)分析的四個(gè)基本步驟

演練：營銷費(fèi)用會(huì)影響銷售額嗎？影響程度如何量化？

演練：哪些因素與產(chǎn)品銷量有顯著的相關(guān)性

演練：影響用戶消費(fèi)水平的因素會(huì)有哪些

‐  偏相關(guān)分析

◢    偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性

◢    偏相關(guān)系數(shù)的計(jì)算公式

◢    偏相關(guān)分析的適用場(chǎng)景

4、 方差分析（衡量類別變量與數(shù)值變量間的相關(guān)性）

‐  方差分析的應(yīng)用場(chǎng)景

‐  方差分析的三個(gè)種類

◢    單因素方差分析

◢    多因素方差分析

◢    協(xié)方差分析

‐  單因素方差分析的原理

‐  方差分析的四個(gè)步驟

‐  解讀方差分析結(jié)果的兩個(gè)要點(diǎn)

案例：擺放位置與銷量有關(guān)嗎

演練：客戶學(xué)歷對(duì)消費(fèi)水平的影響分析

‐  多因素方差分析原理

‐  多因素方差分析的作用

‐  多因素方差結(jié)果的解讀

案例：廣告形式、地區(qū)對(duì)銷售額的影響因素分析

演練：銷售員的性別、技能級(jí)別對(duì)銷量有影響嗎

‐  協(xié)方差分析原理

‐  協(xié)方差分析的適用場(chǎng)景

演練：排除用戶收入，其余哪些因素對(duì)銷量有顯著影響？

5、 列聯(lián)分析/卡方檢驗(yàn)（兩類別變量的相關(guān)性分析）

‐  交叉表與列聯(lián)表：計(jì)數(shù)值與期望值

‐  卡方檢驗(yàn)的原理

‐  卡方檢驗(yàn)的幾個(gè)計(jì)算公式

‐  列聯(lián)表分析的適用場(chǎng)景

案例：產(chǎn)品類型對(duì)客戶流失的影響分析

案例：用戶學(xué)歷對(duì)產(chǎn)品類型偏好的影響分析

研討：行業(yè)/規(guī)模對(duì)風(fēng)控的影響分析

第七部分：              數(shù)據(jù)建模基礎(chǔ)—流程步驟篇

1、 預(yù)測(cè)建模六步法

‐  選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型

‐  特征工程：選擇對(duì)目標(biāo)變量有顯著影響的屬性來建模

‐  訓(xùn)練模型：采用合適的算法對(duì)模型進(jìn)行訓(xùn)練，尋找到最優(yōu)參數(shù)

‐  評(píng)估模型：進(jìn)行評(píng)估模型的質(zhì)量，判斷模型是否可用

‐  優(yōu)化模型：如果評(píng)估結(jié)果不理想，則需要對(duì)模型進(jìn)行優(yōu)化

‐  應(yīng)用模型：如果評(píng)估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場(chǎng)景

2、 數(shù)據(jù)挖掘常用的模型

‐  定量預(yù)測(cè)模型：回歸預(yù)測(cè)、時(shí)序預(yù)測(cè)等

‐  定性預(yù)測(cè)模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等

‐  市場(chǎng)細(xì)分：聚類、RFM、PCA等

‐  產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過濾等

‐  產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等

‐  產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等

3、 特征工程/特征選擇/變量降維

‐  基于變量本身特征

‐  基于相關(guān)性判斷

‐  因子合并（PCA等）

‐  IV值篩選（評(píng)分卡使用）

‐  基于信息增益判斷（決策樹使用）

4、 模型評(píng)估

‐  模型質(zhì)量評(píng)估指標(biāo)：R^2、正確率/查全率/查準(zhǔn)率/特異性等

‐  預(yù)測(cè)值評(píng)估指標(biāo)：MAD、MSE/RMSE、MAPE、概率等

‐  模型評(píng)估方法：留出法、K拆交叉驗(yàn)證、自助法等

‐  其它評(píng)估：過擬合評(píng)估、殘差檢驗(yàn)

5、 模型優(yōu)化

‐  優(yōu)化模型：選擇新模型/修改模型

‐  優(yōu)化數(shù)據(jù)：新增顯著自變量

‐  優(yōu)化公式：采用新的計(jì)算公式

‐  集成思想：Bagging/Boosting/Stacking

6、 常用預(yù)測(cè)模型介紹：回歸、時(shí)序、分類

第八部分：  客戶行為預(yù)測(cè)—分類模型篇

問題：如何評(píng)估客戶購買產(chǎn)品的可能性？如何預(yù)測(cè)客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準(zhǔn)推薦產(chǎn)品或業(yè)務(wù)？

1、 分類模型概述及其應(yīng)用場(chǎng)景

2、 常見分類預(yù)測(cè)模型

3、 邏輯回歸（LR）

‐  邏輯回歸的適用場(chǎng)景

‐  邏輯回歸的模型原理

‐  邏輯回歸分類的幾何意義

‐  邏輯回歸的種類：二項(xiàng)、多項(xiàng)

‐  如何解讀邏輯回歸方程

‐  帶分類自變量的邏輯回歸分析

‐  多項(xiàng)邏輯回歸/多分類邏輯回歸

案例：如何評(píng)估用戶是否會(huì)購買某產(chǎn)品

案例：多品牌選擇模型分析（多項(xiàng)邏輯回歸）

4、 分類決策樹（DT）

問題：如何預(yù)測(cè)客戶行為？如何識(shí)別潛在客戶？

風(fēng)控：如何識(shí)別欠貸者的特征，以及預(yù)測(cè)欠貸概率？

客戶保有：如何識(shí)別流失客戶特征，以及預(yù)測(cè)客戶流失概率？

‐  決策樹分類簡(jiǎn)介

演練：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貸者的特征

‐  決策樹分類的幾何意義

‐  構(gòu)建決策樹的三個(gè)關(guān)鍵問題

◢   如何選擇最佳屬性來構(gòu)建節(jié)點(diǎn)：熵/基尼系數(shù)、信息增益

◢   如何分裂變量：多元/二元?jiǎng)澐帧⒆顑?yōu)切割點(diǎn)

◢   修剪決策樹：剪枝原則、預(yù)剪枝與后剪枝

‐  構(gòu)建決策樹的四個(gè)算法

‐  如何選擇最優(yōu)分類模型？

案例：商場(chǎng)用戶的典型特征提取

案例：客戶流失預(yù)警與客戶挽留

案例：識(shí)別拖欠銀行貨款者的特征，避免不良貨款

‐  多分類決策樹

案例：識(shí)別不同理財(cái)客戶的典型特征，實(shí)現(xiàn)精準(zhǔn)推薦

‐  決策樹模型的保存與應(yīng)用

5、 人工神經(jīng)網(wǎng)絡(luò)（ANN）

‐  神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

‐  神經(jīng)網(wǎng)絡(luò)基本原理

‐  神經(jīng)網(wǎng)絡(luò)分類的幾何意義

‐  神經(jīng)網(wǎng)絡(luò)的建立步驟及實(shí)現(xiàn)算法

‐  神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題

案例：評(píng)估銀行用戶拖欠貨款的概率

6、 支持向量機(jī)（SVM）

‐  SVM基本原理

‐  線性可分問題：最大邊界超平面

‐  線性不可分問題：特征空間的轉(zhuǎn)換

‐  維災(zāi)難與核函數(shù)

第九部分：  客戶行為預(yù)測(cè)—模型評(píng)估篇

1、模型的評(píng)估指標(biāo)

‐  兩大矩陣：混淆矩陣，代價(jià)矩陣

‐  六大指標(biāo)：Acc,P,R,Spec,F1,lift

‐  三條曲線：

◢   ROC曲線和AUC

◢   PR曲線和BEP

◢   KS曲線和KS值

2、模型的評(píng)估方法

‐  留出法（Hold-Out）

‐  交叉驗(yàn)證法（k-fold cross validation）

‐  自助采樣法（Bootstrapping）

第十部分：  客戶行為預(yù)測(cè)—集成優(yōu)化篇

1、模型的優(yōu)化思路

2、集成算法基本原理

‐  單獨(dú)構(gòu)建多個(gè)弱分類器

‐  多個(gè)弱分類器組合投票，決定預(yù)測(cè)結(jié)果

3、集成方法的種類：Bagging、Boosting、Stacking

4、Bagging集成：隨機(jī)森林RF

‐  數(shù)據(jù)/屬性重抽樣

‐  決策依據(jù)：少數(shù)服從多數(shù)

5、Boosting集成：AdaBoost模型

‐  基于誤分?jǐn)?shù)據(jù)建模

‐  樣本選擇權(quán)重更新公式

‐  決策依據(jù)：加權(quán)投票

6、高級(jí)模型介紹與實(shí)現(xiàn)

‐  GBDT梯度提升決策樹

‐  XGBoost

‐  LightGBM

第十一部分：        市場(chǎng)細(xì)分模型—聚類模型篇

問題：我們的客戶有幾類？各類特征是什么？如何實(shí)現(xiàn)客戶細(xì)分，開發(fā)符合細(xì)分市場(chǎng)的新產(chǎn)品？如何提取客戶特征，從而對(duì)產(chǎn)品進(jìn)行市場(chǎng)定位？

1、 市場(chǎng)細(xì)分的常用方法

‐  有指導(dǎo)細(xì)分

‐  無指導(dǎo)細(xì)分

2、 聚類分析

‐  如何更好的了解客戶群體和市場(chǎng)細(xì)分？

‐  如何識(shí)別客戶群體特征？

‐  如何確定客戶要分成多少適當(dāng)?shù)念悇e？

‐  聚類方法原理介紹

‐  聚類方法作用及其適用場(chǎng)景

‐  聚類分析的種類

◢    K均值聚類

◢    層次聚類

◢    兩步聚類

‐  K均值聚類（快速聚類）

‐  層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個(gè)類別

‐  兩步聚類

演練：劃分合適的客戶群，提取不同客戶群的典型特征

3、 客戶細(xì)分與PCA分析法

‐  PCA主成分分析的原理

‐  PCA分析法的適用場(chǎng)景

演練：利用PCA對(duì)客戶群進(jìn)行細(xì)分

第十二部分：        銀行客戶信用卡模型

1、 信用評(píng)分卡模型簡(jiǎn)介

2、 評(píng)分卡的關(guān)鍵問題

3、 信用評(píng)分卡建立過程

‐  篩選重要屬性

‐  數(shù)據(jù)集轉(zhuǎn)化

‐  建立分類模型

‐  計(jì)算屬性分值

‐  確定審批閾值

4、 篩選重要屬性

‐  屬性分段

‐  基本概念：WOE、IV

‐  屬性重要性評(píng)估

5、 數(shù)據(jù)集轉(zhuǎn)化

‐  連續(xù)屬性最優(yōu)分段

‐  計(jì)算屬性取值的WOE

6、 建立分類模型

‐  訓(xùn)練邏輯回歸模型

‐  評(píng)估模型

‐  得到字段系數(shù)

7、 計(jì)算屬性分值

‐  計(jì)算補(bǔ)償與刻度值

‐  計(jì)算各字段得分

‐  生成評(píng)分卡

8、 確定審批閾值

‐  畫K-S曲線

‐  計(jì)算K-S值

‐  獲取最優(yōu)閾值

案例：構(gòu)建銀行小額貸款的用戶信用模型

第十三部分：        數(shù)據(jù)建模實(shí)戰(zhàn)篇

1、電信業(yè)客戶流失預(yù)警和客戶挽留模型實(shí)戰(zhàn)

2、銀行欠貸風(fēng)險(xiǎn)預(yù)測(cè)模型實(shí)戰(zhàn)

3、銀行信用卡評(píng)分模型實(shí)戰(zhàn)

結(jié)束：課程總結(jié)與問題答疑。