讲师简介

       在百度搜了崔博的资讯，个人经历、学术能力、专业技术能力非常厉害。我跟同学开玩笑说，如果我们这些人是技术控，老师应该是大boss，
       技术能力《随需应变的嵌入式学习在美国企业中的应用》获2010年度全美人力资源开发专业最佳博士论文奖全美2010年人力资源最优秀博士论文，也在培训杂志上多次得奖。
      《基于行为改变的课程设计与开发》（高级班）（2天）（被《培训》杂志评为2012年度最佳品牌课程）

      TDF全项目，整个课程深度等同于国外人力资源开发专业硕士学位，如果加上统计学+研究方法，就可以正经八百成为一个硕士文凭了。

课程目标

了解全球范围的评估方法/体系。

正确了解柯氏评估，柯氏评估是一个应用最广、最为科学，并且是理解其他评估方法的基础，老柯被命名为培训评估之父。

达成业务转化，探讨如何成为更好的业务合作伙伴。

要知道，培训过程都不是一个人做，是要成为业务合作伙伴！！

课程收益

---

模块一：导入：评估方法论介绍

课程大纲 为什么要进行评估

为什么要做培训评估

1.项目优化，改进项目成果(柯氏：一级二级)
2.评价培训项目效果，使培训效果最大化
3.呈现培训工作价值，有展现力
4.能在ASTD获奖，依据一定有效果的评估

培训最终目的的分歧

Effective Training：证明有效。重点在做一级二级，考察讲师背景、讲师呈现力、课堂气氛。业界很多公司停留在这个效果。美国人培训不像我们这么花哨，没有人会在下午开始前做活动，上课老师也不会刻意讲段子，主要还在讲专业内容，给你有东西带回家。

Training Effectiveness：展现效果。

培训文化中西差距就像吃中西餐差异，土豆在中餐有很多种做法，但在西餐就只有两个，炸土豆、土豆泥，西方人理念再吃内部营养价值。

主要学员文化在中西方也有差距。在国外重在深刻的应用，研讨就是一种学习，学员成熟度高，崇尚个人主义，不希望培训有太多干预，自由度高。

全球流行的评估方法

1920-30年代，IBM成立培训部门开始，开始有培训开始；
1950 柯氏三级出来了(为了解决二次大战退伍军人的工作)；
1959 老柯在ASTD发布四篇文章，诞生四级评估；
1970 名称确立；
1980 Jack Philips评估方法出现；
1990 成功案例法，不用按照层级划分，简单好操作，用在3及评估；
2000 预测评估法，对采购培训有决策依据，可以提前看到一些指标就可以确定；
         6D法则；Kaufman五级，多了一个零级，出勤率。

所有这些方法都在微观的对培训项目的评估

在评估领域当中，做评估时不限于一种方法，至少需要两种方法综合应用。

柯氏四级

培训效果分为四个层级

为什么要学评估，增加满意度、降低成本，达成绩效改进等...

柯氏的评论

质疑：

1.柯氏四级不是连续评估：一二级之间有关联，三四级之间有关联，但二三级之间没有关联。三四级有无效果，跟情景有关。
2.误以为是一个层级结构：必须要先评估第一级才能做第二级，第二级才能第三级，因为上层是下层支撑过来的。举例：如果你搞不清楚课程内容，你的行为改变是否为培训相关就无法参考了。
3.忽视了培训服务提供职能支持：所以出现了培训运营的评估。

ROI五级评估

一级：现场反应、满意度、行动计画；
二级：学习
三级：工作应用和实施
四级：业务影响-分离培训效果(参考组、趋势线法、绩效结果预测法、参训者主管管理工具影响法、结构方程模型)
五级：投资回报率(ROI)=项目净收益/项目总成本*100%

分离培训效果方法

分离培训效果方法 趋势线法

趋势线法：

1.依据培训前的监控指数进行延伸，画出趋势线；
2.在引入培训之后，把实际指数进行连接；
3.最终在预估趋势与实际情况得出差距(真实与趋势差距)
4.请不同人员(参训者、领导、培训管理者)对培训贡献度进行评估与权重分配；
5.最终得出培训价值。

参照组法：

对不同群组的比较。
但实际应用中无法操作，因为培训资源给到的人员通常比较优秀，导致与对照组的比较不公平。

结构方程模型SEM(Structure Equational Modeling)

结构方程模型SEM(Structure Equational Modeling)

1.将影响绩效指标变化的子原因列出来；
2.写出每个子原因与结果的相关性；
3.写出子原因(a)跟其他子原因(b)之间的相关性；
4.将其他子原因(b)对子原因(a)的影响去除；
5.最终得出单一子因素对绩效指标的影响；

影响因素之间逻辑太复杂：因为因素之间会有间接影响。
样本数量要求在500以上。

投资回报率

项目总成本=20,000(课程费用、差旅、住宿费用)
收益=30,00(节省了采购成本、工作效能提升)
项目净收益=30,000-20,000

ROI模型质疑

1.如果培训是一项投资，是否有更好得投资项目；
2.ROI评估结果很难让人信服：如果ROI过高，有存在重大问题；
3.数据样本收集与分析很痛苦；
4.将投资回报率做成"不安全感的回报率"。

举例：苹果成本3,000，卖出去8,000元，这当中按钮的设计对这中间5,000元的增值占比了多少。

成功案例法

操作：问具体内容
进行调研：如果你成功，你做了什么？如果不成功你是什么原因？

成功案例法

成功案例法、柯氏四级、6D，都认为没有必要分离培训效果，为了提供更有说服力的依据，提出了价值证据链的方法。

培训只提供能力，但员工是否应用最佳能力进行操作受一系列复杂因素影响。
做好培训到绩效管理的全过程更为重要。

小趣事：6D的作者，担任ROI法与柯氏方法的两方辩论，问了作者说：「你希望哪边赢？」
在美国企业70%使用柯氏，而ROI是美国培训营销最成功的谎言。

缺点：
因为是定性分析，对于评估者访谈要求高

培训部门/运营体系评估

职场学习与绩效积分卡 P9

绩效记分卡

       在线系统当中会录入200多家标杆企业，把自己的相关指数跟标杆企业进行对比，来了解自己在哪些方面投入不足，哪些方面处于优势

CIPP模型

CIPP模型

---

模块二：柯氏四级评估方法介绍

新的柯氏四级评估方法介绍

为什么介绍柯氏四级评估
1.这是理解所有评估方法的基本
2.目前应用最广泛、权威度最高的评估方法

图形说明：
一级：三个维度(学员参与度、客户满意度、相关性：指课程内容与业务的相关连)；
二级：增加两个(信心、承诺)；
三级：多了一个驱动力圈 (监督、强化、奖励、鼓励) ；
四级：领先指标(为达最终业务结果的过程性指标，避免流程太长)，领先指标有为了用于调整三级的行为改变。

一二级跟三四级之间有一个大的鸿沟，所以在三级当中增加了一个驱动力因素。

承认柯氏是阶段性完成，需要一级一级完成评估。

这个鸿沟也就是在绩效改进当中的六个原因(知识/技能、动机、物理资源、结构、流程、信息)。

第一级评估：学员反应

学员反应

客户满意度：客户可以指学员、学员的客户、学员领导、管理组织方，英文称为stack-holder，利益相关方。

学习参与度：

相关性：

评估分类

Formative 改进型：
不是对效果进行判断，而是为了效果的改进。

讲师课堂观察：可以进行现场调整；
踊跃程度测试：课程提问、学员举牌打分(老师可能压力很大)、课间打分卡、课中访谈；
专用观察员：培训管理者观察课程情况，给老师提示。

总结型：
调研问卷  p.32
访谈(一对一)
焦点访谈小组

---

常规问卷

这样的问卷有什么问题？

1.评价标准太主观，是定性而非定量数据；
2.描述内容偏向培训管理者的理解；
3.问题需要在细化，太过笼统；
4.问卷目的是在调整内容，不是评估讲师。

一级评估中不应该太强调讲师能力。

统计中有很两个理解
连续数据：数据结果有绝对零值，且距离等距，能求平均值(体重、身高)；
分类数据：没有绝对零值，距离没法比较，没办法求平均(好，非常好)。

李克特量表：把定性数据转为定量数据
如果写 5,4,3,2,1，会比1,2,3,4,5  ，数据会增加5-7%；
如果写10,9,8,...,3,2,1 ，会比 5,4,3,2,1， 数据 会 增加2-3%；人的区分度只能到7，只要标注头尾即可；
如果写5,4,3,2,1，会比0,4,3,2,1，数据会增加2-3%。
如果写1,2,3,4,0，一代表非常不满意，二代表不满意，三代表满意，四代表非常满意，零代表不是用。因为在不知道选什么时选三其实这样选择是不对的。

最多可以增加将近10个点。10,9,8,7，相对5,4,3,，如果有个人对你有一点不满意 他会选9和4。

在问卷中增加一个逆向题，判断问卷有效性。

一题评估量表尽量控制14题以内，以封闭性问题为主，时间3-5分钟能做完

以学员为中心的问卷提问

正确答案参考P32，学员满意度评估表样例

---

第二级评估：学习

信心，承诺

参考P33的问卷内容

布鲁姆学习分类的三类，态度、知识、技能，没有信心与承诺；
知识/技能，是应知应会的内容
Q：态度跟信心与承诺的关系为何？
信心跟承诺其实包含在态度里面；
信心指我上完培训之后，我能够做点什么；
承诺指我上完培训之后，我愿意做点什么。

在这里把信心跟承诺拉出来，是为了第三级做准备，为课后行为改变的驱动力增加线索。

p.33
在打分当中，低于6以下，表示不会做
信心不足当中的A，表示课程内容(二级)出了问题，这跟课后没有关系。
信心不足当中选BCDE，表示课后的环境创造出了问题，就是所谓的驱动力。

评估方法、工具和技巧

总结性

知识考试CRT(标准参照性考题开发)：利用考试取代技能性操作
访谈：你能不能回顾一下都教了什么？
演示：你能不能展示一下你所学的？

改进型

知识检查：大家回顾一下前天的知识掌握程度；
课堂讨论
小组活动
行动计划：这是承诺(计划时停在二级；真正实施时就是三级)
角色扮演

两个有什么差异，技能学习(二级)跟行为改变(三级)的区别？

场景不同：前者为虚拟场景，后者为工作场景；
稳定性差异：前者为临时，后者是习惯养成；
意愿性：前者是被动性，后者是主动性；
时间差异：前者是课后，后者是一段时间后；

三级评估(行为改变)不强调产出。

一般在培训15天内进行回访

---

第三级评估：行为改变

布林克霍夫研究

资源花费：训前准备5%、训中设计开发交付90%、训后跟踪5%。

布林克霍夫研究

培训应用：没有尝试15%；尝试但失败70%；成功改变15%。

布林克霍夫研究

资源花费：训前准备5%、训中设计开发交付90%、训后跟踪5%

布林克霍夫研究

培训应用：没有尝试5%；尝试但失败10%；成功改变85%。

结论：培训关键在折腾，训前要做调研做调研、访谈做访谈、课前学习做学习。课后有大量的时间要跟进，但在跟进最好的人就是上级领导。

比喻：孩子的成长，不要把所有责任都丢给学校承担，家长在家里其实还要辅导做作业、做好行为榜样。

行为改变的重要认知

阻碍行为改变，谁是最大的阻力？就是培训管理者。

他们有常识：参训人员、他的领导都知道，没有应用就不会有改变。
他们有难点：没时间跟进、没机会运用、想要运用但不知道怎么做。他们不愿意跟进是因为他们没有好的工具和方法帮他们节省时间。

最好的培训效果是应该靠谈判来创造
1.对方没有改变说明你选择的方法不对；
2.或是先没有谈判好需要付出的资源。

在培训开始之前就要想到用什么驱动力去改变行为，这个驱动力最好是业务部门的负责人或上级领导来实施，因为他们有这个概念
所以需要谈判，如果谈判之后他们不愿意承担，责任也就不在你身上。

三级改变做两件事：
1.衡量行为改变发生了没有？
2.建立驱动力系统

驱动力系统

提升责任感(压力)、提供支持(拖力，辅助工具)，两个之间各选一个，
提升责任感的驱动力既是驱动力，也是评估行为改变的方法。

监督机制，既是行为改变驱动力，也是监督方法。
选完之后要跟上级主管沟通。

每个课程要有3-5个关键行为；每个项目组，要有3-5组行为组。
举例：TDF项目1.运用柯氏四级基本原理开发评估工具2.运用工具搜集评估数据3.撰写有系列的报告。
数量不能太多。
行为改变是随项目变化的。
学员上级的支持将大大影响成功概率。

---

第四集评估：业务结果

业务结果

最容易评估的一个层级，因为衡量指标业务单位都已经在搜集了。(指标来源：人力资源部、财务部、营销部为主)

企业利益相关者的数据：最终业务结果

结果性指标：
1.销售额
2.利润率
3.提高客户保有率

过程性指标：不同行业有一些指标更为重要(核能发电安全指标；银行合规指标)
4.安全
5.合规
6.客户满意度

领先指标

各单位的过程指标

各部门业务结果 p22 是否做完四级判断依据

只有具备以上特征的才要做到四级。

以下几个特别注意要做四级评估
1.高度可见性：大家都在关注的项目
2.高层管理者要求：
3.很重要：
4.学员上级支持与否：

每次做四级评估都会问两个问题
1.成功概率有多高？如果花钱成功概率又不高，就是搬石头砸自己。
2.项目开始了没有？如果还没开始，可以谈判推动力系统，梳理价值证据链。

价值证据链

两篇微信推送

如何给老板呈现培训价值

https://shop14687523.youzan.com/v2/showcase/mpnews?spm=m1483628739496603328477922.autoreply&alias=i494o2qa&sf=wx_sm&from=groupmessage&isappinstalled=0

独家：如何设计一条SMART培训价值证据链？http://mp.weixin.qq.com/s/gDMbIKf_PpJi3JygDbr1jA

1.利益相关方期望在每个级别的要求都不一样，需要梳理逻辑链条来，解决剥离培训难的问题。
举例：参加TDF，上级期望学会要用(三级)，用完提高下属能力(四级)，自己期望能用，自我提升(二级)，改变行为(三级)，愿意用(二级)，讲的幽默一点体验感好一点(一级)

2.透过梳理期望回报率，讲故事让领导了解培训价值。

ROE&ROI

强调以业务合作伙伴关系进行汇报，不要做成业务替代伙伴，不要强调价值剥离。

如果你汇报时说，销售业绩10万当中，有三万是我贡献的，你想想你的业务伙伴是怎么想的？

期望回报率：
透过柯氏四级的逻辑，梳理利益相关方的期望值，依照综合数据，将故事内容展现出来。

柯是业务合作伙伴关系模型KBPM

承诺谈判，考虑陪审团问题梳理期望，开发培训项目实施，搜集课程实施评估，搜集行为改变、业务结果，最后进展展示ROE。

培训课程影响力评估流程

操作流程：
开发评估工具流程
2,3步花费特别多时间精力