编者荐语:

2020年,三一基金会与资助者圆桌论坛合作开展了“公益项目实用性监测评估课程与手册研发”项目,以期回应公益伙伴难以阐明项目成效的现状,逐步带动整个公益行业监测评估能力的发展。本文为阶段性产出的本土优秀监测评估案例,与诸位共享。

 

 

好的监测、评估与学习(简称MEL)能够推动项目迭代,影响机构战略,为行业留下资产。它既是效果验证的重要依托,又与问题识别、方案设计密不可分,是科学公益的重要组成部分。近年来,越来越多的公益组织将监测评估纳入常态化工作,我们见到了各类评估方法和报告,却仍然疑惑:如何能够建构既科学又可行的监测评估方案?如何能让监测评估发现切实发挥作用?

 

MEL是CDR持续关注的议题,我们将陆续整理一系列中国本土MEL案例,探讨公益组织能做且有用的监测评估。我们将聚焦主题:

 

  • 找准关键成效指标:简单实用的日常成效监测指标,既有助于帮助团队识别监测评估重心,提升内部可操作性,又利于及时调整项目、讲清项目效果。在众多的数据源中,我们如何聚焦关键成效指标、讲清项目效果?
  • 提炼和分享监测评估的核心发现:梳理并分享监测评估发现,能够促进监测评估在机构内部、行业之中充分发挥价值。在大量的监测数据和复杂的评估报告中,有哪些核心发现能够为项目改进、行业发展提供助力?

在此基础上,我们还将梳理不同议题的常用监测评估指标库及已有实证研究数据,供关注不同议题的伙伴参考、借鉴,让监测评估更容易、更科学。

 

 

案例背景

 

儿童营养关乎儿童身体、认知、未来劳动能力等多方面发展。安利公益基金会(简称安利基金会)多年来重点关注贫困儿童的营养和教育,约每五年运行一个核心项目,“为5加油——学前儿童营养改善计划”(简称为5加油)是其近五年的品牌项目。

 

该项目瞄准中国贫困地区3-5岁儿童的营养需求,通过发放营养咀嚼片和开展食育课程,有效促进了儿童身体状况的改善和健康习惯的养成。项目的监测评估体系有效促进了项目迭代,并为儿童营养议题研究和政策推动积累了实践经验。

 

本次我们访谈整理了安利基金会“为5加油”案例,为大家带来以下内容:

1.  从问题分析出发构建项目策略

1.1  社会问题分析

1.2  内外部影响因素分析

1.3  确定项目目标和核心策略

1.4  确定项目成功的关键要素和行动方案

2.  依据项目因果链开展监测评估

1.2  如何开展日常管理与监测

2.2  如何开展阶段性评估

2.3  监测评估的发现与应用

2.4  监测评估的有效实践经验

 

 

项目概况

 

 

1  从问题分析出发构建项目策略

 

1.1 社会问题分析

 

社会问题:2010年中国大约有3000万儿童处在营养不良的困境。

 

  • 可能带来的后果:长期营养不良将影响身体和认知发育,甚至带来GDP损失。研究表明长期营养不良可使人均身高降低3-4厘米,智商降低10-15分,一年GDP损失4%。
  • 核心原因分析:(1)随着经济条件的改善,吃饱不再是大问题,但微量元素缺乏所导致的生长迟缓、贫血等问题日益突出,尤其是5岁以下儿童,且城乡差异明显。2010-2013年,我国5岁以下农村儿童生长迟缓率和贫血率约为城市地区的2-4倍,贫困农村地区尤为严重。2)儿童营养问题的相关因素中,健康习惯发挥着较大的作用,饮食结构单一、偏好零食、不吃早饭等都是导致微量元素缺乏的重要原因。而营养教育程度同样表现出明显的城乡差异,农村幼儿园对营养教育的重视程度及普及率远不及城市幼儿园。

1.2 内外部影响因素分析

 

已有解决方案:

  • 研究表明5岁以前是幼儿大脑发育、认知能力提升的关键时期,而有效的营养干预甚至能通过“生长追赶”,弥补早期营养不良造成的缺陷。
  • 实证研究表明,维生素片干预是改善学生健康状况、提升学生成绩的最有效、性价比最高的方法之一。报告参见https://www.jianguoyun.com/p/DWEOTNcQrLvFBxjF0aMD
  • 从2012年起,国家卫生计生委与全国妇联在集中连片特殊困难地区合作实施了“贫困地区儿童营养改善项目”,为6-24月龄的儿童提供营养包和科学喂养知识技能的支持。而3-5岁幼儿营养干预鲜有涉及,缺口大。

机构自身情况:

  • 机构策略层面:安利基金会多年来持续关注贫困儿童的营养问题。有多年儿童营养议题研究和项目开展经验。
  • 解决方案层面:安利公司在营养食品方面具有专业优势,安利全球CSR项目中的“Powerof 5”营养补充项目,在多国针对贫困地区营养不良的儿童进行营养撒剂的补充,因此安利基金会对营养补充剂的上下游都比较了解,在国内也有足够的资源能够找到可靠的专家设计、生产营养补充剂。
  • 落地执行层面:安利基金会的注册单位为民政部,为联络各地定点扶贫机构,自上而下推动项目运作奠定基础。此外,在“为5加油”之前的“春苗厨房”项目成功推动了中小学营养补贴政策的落实,为政策倡导提供经验。

其它外部有利因素:在“为5加油”项目设立之初,安利基金会恰好与华东师范大学学前教育系的教授建立了联系,双方均希望着力于学前儿童营养教育。这一专家团队的加入为项目开展食育课程教育提供了良好的基础。

 

1.3 基于以上分析确定项目目标和核心策略

 

目标对象:最初为贫困地区3-5岁儿童,2019年项目调整为精准干预模式后,目标对象变为“由于微量元素缺乏导致营养不良或存在高风险的贫困地区3-5岁儿童”。(精准干预的模式调整过程详见后文)

 

项目目标:

  • 营养不良改善:身体指标(身高、体重、血红蛋白)均达到世界卫生组织(WHO)发布的对应年龄段儿童生长发育平均标准以上。
 
  • 健康习惯养成:了解基础的营养知识、形成良好的饮食习惯。(1)基础的营养知识包括什么是垃圾食品,什么是健康食品,什么是健康的饮食方式(如不挑食、讲卫生),正常吃饭对生长发育的重要性等等;(2)良好的饮食习惯包括少吃垃圾食品,不挑食,珍惜食物,不依赖营养补充剂等等。

核心策略:“为5加油”项目共包含直接干预、赋能支持、政策倡导三大策略,每个策略之下,包含多个关键要素。基于前两个核心干预策略的关键要素,基金会确定了监测评估方案,并借助监测评估结果为政策倡导提供了重要依据。

 

1.4 确定项目成功的关键要素和行动方案

 

 

策略1:营养片直接干预的关键要素及行动方案

 

1. 选择专业、权威的研发合作方,充分调研再设计,确保片剂的成分有效。

  • 安利基金会选择了中国营养学会公共营养分会与纽崔莱儿童营养公益研究院共同研制营养片。
  • 项目之初安利基金会与专家合作调研了市面上已有的各类儿童营养补充剂,以及当时儿童缺乏的重点营养元素和比例,结合国家标准,设计片剂成分。最终的营养片核心成分包含14种儿童所需微量元素和3种宏量元素。

2. 综合考虑内外部因素,寻找最初的项目落地合作方。项目最初选定中国发展研究基金会的“一村一园”山村幼儿园计划为合作方,主要原因为:

  • 对方关注的群体与本项目的目标对象高度契合(同样是幼儿园在园儿童);
  • 对方已经在当地积累了良好的落地资源(与教育局建立了良好合作关系);
  • 安利基金会有资源/路径能够与对方建立良好合作关系。

3. 在营养片生产、运输、储存、发放各环节保障安全性。

  • 生产:片剂的中心设置了防窒息孔,防止食用时窒息,与此同时在口感上加以控制,不会过于好吃,避免儿童形成依赖,过量食用。并委托全球最大的微量元素补充剂生产厂家进行生产,确保质量安全。
  • 运输:选择包车直接从厂家运送;老师签收时检查外包装,有受损则更换。
  • 储存:通过项目落地前的集中培训,明确告知教师适当的储存位置和方法,避免儿童误食或过量使用。
  • 发放:鼓励老师在发给孩子的时候自己也试吃一片,通过口感辨别有无问题。

4. 通过多种途径提升依从性。

  • 根据一线需求,确定补充剂形态为片剂而非常见的撒剂。以往的营养补充剂干预项目(如营养包)主要采用撒剂的形式,需要逐个冲泡。但每位教师对应多位儿童,冲泡难度大,且西部地区水质可能无法满足冲泡需求,因此安利基金会采用研发片剂的形式进行干预,大幅提升可操作性。
  • 安利基金会定期改良营养片的口味,并在口味选择时同时考虑教师和儿童的喜爱度,有助于教师带动儿童的食用意愿。
  • 在教室中搭建营养柜放置营养片,起到一种提醒作用,让教师和孩子把吃营养片当做每天的仪式,形成习惯。
  • 每学年初为教师集中培训一次,强调营养片的重要性,讲述如何服用,分享一些优秀教师的实践经验。
  • 每月为教师发放200元补贴(现改为每学期800元/人),并通过管理平台监测、督促项目进展,并给予积极分享项目进展、活动情况的教师以奖励。

5. 随着项目效果显现,逐渐扩大项目规模。项目逐渐获得民政部、团委等部门的认可,也逐渐开始与中国疾病控制中心等机构的合作,之后安利基金会主要通过与各地对口扶贫点建立联系扩大项目规模。其合作路径有2种:

 

  • 经教育局对接,由教师发放片剂:通过民政、团委等部门与各地教育局建立联系,营养片统一运输到各地教育局,由教育局发放给当地幼儿园,幼儿园在学期初发给教师足够数量的片剂,教师发放一部分片剂给家长。周一到周五由幼儿园教师发给儿童,周末由家长发给儿童,每天一片。(主要模式)
  • 经卫生局对接,由家长发放片剂:与当地卫生局建立联系,借助卫生局每年与教育局合作体检的机会,发放片剂给幼儿园教师,再由幼儿园教师在家长会上发放给家长,由家长发放片剂。(次要模式)

策略2:食育课程赋能支持的关键要素及行动方案

 

1. 选择专业团队合作,设计科学的食育教案。安利基金会通过与华东师范大学学前教育系合作,综合年龄段儿童发展特点和营养学依据,设计了营养健康教学方案,从知识(如不同食物的食用部分),态度(如各类健康食品我都喜爱)、行为(如辣条我不碰)三个方面进行引导。

 

2. 通过让幼儿园将食育课程的内容写入一日流程(教育局要求每个幼儿园必须张贴的内容),确保教师有时间、有空间开展课程。注:无论通过教育局/卫生局对接项目地,都由教师开展食育课程,区别在于通过教育局对接的项目地,主要由教师发放营养片;通过卫生局对接的项目地,则由家长发放营养片。

 

3. 通过丰富多样、因地制宜的设计和适当的奖励,调动教师授课热情。

 

  • 教学方案包括5个领域×3个心理层面×4个季节共60个活动,为教师提供多重选择,并与一公斤盒子合作,设计了精美的食育盒子,在图片、教具、指导语等方面都结合农村教师能力进行了针对性的设计。
 
  • 教学方案根据各项目地饮食习惯进行调整,符合当地特点。
 
  • 每学期初与营养片培训一起,为教师培训食育课程相关内容,赋能教师。
 
  • 挖掘、分享优秀的授课/活动方案:通过日常查看老师们提交的照片,曾发现有些老师会用一些营养片的包装瓶/盒做成特别的手工,增加课程趣味性,之后项目官员将这些照片上传平台供所有老师模仿或创新。
 
  • 资金和奖品鼓励:同ppt第9页所述,为教师发放现金补贴,为在管理平台上积极上传活动照片的教师发放小奖品。

4. 通过发放健康挂图或1000元环境创设费搭建区角,帮助幼儿园教师在教室中创造健康宣传的环境和氛围,时刻提醒孩子保持健康饮食习惯。注:仅向非一村一园项目合作地发放环境创设费,因为一村一园项目本身涵盖环境创设内容。

 

策略3:我国3-5岁儿童营养干预政策倡导的关键要素与行动方案

 

1. 前期开展充分的立项调研,项目过程中通过管理平台收集充足的项目执行关键数据,并寻找专业、权威的第三方开展评估,为提案提供充足、科学的信息。

 

2. 通过寻找对该议题感兴趣的委员,多次沟通、修改、最终提交提案。目前已提交2份提案,核心内容包括:建议完善国家现有的贫困地区儿童营养改善项目覆盖范围,加强对3-5岁儿童关键成长阶段的营养补充干预,并强化在园儿童的食育,开发幼儿园营养教育课程并培养师资,将课程纳入校本课体系等。

 

3. 项目全程尽可能纳入政府人员,参与项目设计、执行、评估,一方面促进这一群体关注到3-5岁儿童营养问题的严重性及一线的真实情况和实际需求;另一方面,让关注该议题的政府人员能够看到项目的有效性、可行性,为未来推动相关政策的出台提供基础。

 

4. 把控项目推广成本:若想项目在未来大面积推广,成本因素很重要。营养片干预的方式相对来说性价比很高(0.97元/片,综合干预成本2元/天/个孩子)。

 

2 依据项目因果链开展监测评估

 

 

2.1如何开展日常管理与监测

 

监测内容1:以生产厂商为主场景的营养片的研发与生产。

 

  • 由安利公司技术法规人员参与验厂。
  • 除了厂家定期自我监测外,安利基金会还会定期抽查送外检。

监测内容2:以幼儿园为主场景的营养片的签收、食用及食育课程的开展。

 

  • 基金会开发了数据管理平台,教师通过公众号H5页面上传数据,基金会项目官员通过后台查看数据,管理项目进度。其上传内容包括:

1 每学期初签收营养片时的手写签收单照片

2)每学期上报一次营养片库存情况(了解依从性的方式之一)

3)儿童日常食用营养片及开展食育课程的照片

 

  • 教育局大会:每年组织项目地教育局/卫生系统相关的项目地负责人召开项目讨论会。了解当地项目的执行情况(包括营养片收发、食用、食育课程开展情况等),并帮助各负责人加深对项目的了解,促进地区间交流。
 
  • 微信群:每个项目地的教育局人员及当地幼儿园教师会建立一个微信群,实时沟通处理问题,反馈建议。

2.2 如何开展阶段性评估

 

“为5加油”项目的阶段性评估主要有4类,均通过与各地教育/卫生部门合作开展。

 

2.2.1 成长指标每年测评一次:借助各地教育部门与卫生部门每年合作进行常规体检的机会,与中国疾病预防控制中心营养与健康所合作。

 

  • 测评初衷:虽然当时已有部分研究证明过往的营养补充剂能够有效改善儿童贫血,但由于安利基金会研发的营养片成分是全新的,且与以往的营养补充剂差异较大,因此没有直接采用已有研究结果,而是自行测评。
  • 测评指标:结合体格发育公认测评内容及各地合作方能力,确定必测的项目有身高、体重、血红蛋白;其他更精细的非必测内容依据各地区合作方测评能力有所调整(如维生素含量等)。

2.2.2 健康习惯三年测评一次:与北师大合作选取项目地开展测评。

 

  • 测评初衷:健康习惯形成的周期较长、较难测量,没有公认的测评标准,因此通过与第三方合作,采用问卷和访谈的形式,在项目干预3年后开展测评。
  • 测评指标:教师和家长观察到的儿童习惯改善情况(如按时吃饭、挑食、吃零食情况、识别健康/非健康食品的能力等)。

2.2.3 认知指标三年测评一次:主要与中国科学院心理研究所合作。

 

  • 测评初衷:国际上暂时还没有关于儿童营养补充剂干预与认知之间的因果关系支持,安利基金会仅希望借此机会尝试探索。由于儿童认知能力的改变需要更长的时间,测评难度也较大,测试一个孩子需要40-60分钟,因此计划3年开展一次。
  • 测量内容:语言、社会性、大运动、精细运动等。
  • 测评结果:暂未公布。

2.2.4 社会投资回报五年测评一次(暂未开始)

 

  • 测评初衷:一方面安利基金会希望借此树立在基金会在儿童营养领域的影响力,另一方面借此可以与其他研究机构(如中国发展研究基金会)联合开展研究,并用于政策倡导。
  • 计划测评方式:计划采用社会投资回报(SROI)工具开展经济学测算,衡量项目对于社会的价值。

 

2.3 监测评估的发现与应用

 

2.3.1 核心监测评估发现

 

  • 本项目有效改善了儿童营养不良状况:项目组儿童的贫血率和生长迟缓率两大核心儿童健康指标显著低于对照组,项目地区儿童生长发育状况得到明显改善。
 
  • 儿童高依从率是营养补充剂发挥作用的基础,本项目儿童依从率高达98%。高依从率离不开:补充剂形态便捷易服用、定期改良口味、通过营养柜提醒服用、在教师培训中强调营养片的重要性、为教师发放补贴和设置奖励机制等。
 
  • 本项目影响了大部分儿童的健康知识、态度和行为:大部分受访教师认为食育课程让儿童的健康意识、健康习惯有了明显改善(如70.4%更少吃零食、67.1%更积极主动吃饭、43.6%能识别并主动要求不吃垃圾食品等)。其关键成功要素包括:课程需融入当地教学体系、方案设计因地制宜、内容丰富具有高可选性、通过培训为教师赋能、传播良好实践、为教师发放补贴和设置奖励机制、通过环境创设形成潜移默化的影响等。

2.3.2 监测评估发现发挥了哪些作用?(举例)

 

  • 及时了解儿童依从状态并改善营养片口味:随着项目的开展,有项目地反映营养片库存较多,儿童依从度下降,调查发现主要原因是最初配方中含有DHA等有腥味成分。于是项目团队开始周期性研发新口味,提升依从性。
 
  • 识别营养不良及高风险儿童,开展精准干预:项目最初干预方式是为项目地的所有幼儿园发放营养片,之后通过体检测评身体指标变化情况。17年的身体指标评估结果显示,项目地儿童的贫血和生长迟缓问题已经得到了显著的控制。之后项目开始尝试精准干预策略,在干预前先对所有儿童进行身体指标评估,然后选出其中营养问题严重的儿童进行精准干预,提高成本效益。
 
  • 及时解决项目过程中出现的问题:例如广西很潮湿,有些学校的营养片上个学期没有吃完,假期后发现受潮了,教师通过微信群反馈问题后及时更换了产品。还有的部分家长最初排斥项目,团队成员与教师们共同讨论后决定先不强制干预,随着项目开展,家长看到了其他家庭孩子发生了明显改变后,便自然而然地接受了项目。项目成员不断总结这些经验,在后续的教师培训中加以分享。
 
  • 支持基金会开展研究和政策倡导:安利基金会正与中国营养学会、中科院心理所等合作开展儿童营养议题研究;监测评估数据也为政策倡导提供了依据。

 

2.4 监测评估的有效实践经验

 

  • 从项目之初便根据项目目标确定监测评估需求,并留够预算。2016-2019年间,每年年初,安利基金会“为5加油”计划均有明确的管理平台和成效评估预算,评估费用占当年项目经费的3.8-5%,年均投入160万元。
 
  • 项目县众多时,借助电子管理平台可以提高效率,但要注重一线需求,保证数据提供者的填写意愿和准确性。
 
  •   (1)人员投入:基金会内部主要由“为5加油”项目团队内部人员开展监测评估方案设计、推进日常项目管理、协助第三方开展实地评估、推动评估结果的应用等,共有2位项目官员。因为借助管理平台,项目管理效率大大提高。
 
  • (2)数据收集:安利基金会的管理平台最初是纯电子化的,但用户反馈发现,很多乡村教师由于年龄偏大或是工作较忙,不适应在线填写的方式,后将数据上传方式改为教师填写纸质手册然后拍照上传到系统,提高了数据反馈率。
 
  • 儿童营养项目评估要注重数据隐私保护。由于营养数据会涉及孩子隐私信息,站在地方教育局的角度来看,儿童健康相关数据接收方(项目评估合作方)的优先度是:国家单位>大学>民间机构。因此在选择合作方时要慎重。
 
  • 基金会需要与第三方全程打好配合。第三方伙伴更多体现其专业性和独立性,而相比于评估方来说,基金会日常与项目地接触更多,更了解一线的实情,因此双方的配合很重要。安利基金会的做法是:
 
  • (1)在设计评估方案时,项目人员会帮助评估方把控数据采集方案,确保评估方案在项目地的可行性;
  • (2)在数据采集过程中,基金会充分支持评估方的工作,与此同时尽量避免干扰结果,保障第三方的独立性;
  • (3)在评估方撰写评估报告的时候,项目人员会和评估方共同讨论建议部分,最终评估报告完成后,其中的建议可以直接落实到新的工作方案中。
 
  • 在设计评估方案时,除了基金会和第三方以外,其他利益相关方也都要考虑到。“为5加油”最初的评估方案就是项目官员与教育局、地方政府、老师等多方做了几轮沟通后才确定下来的。实际开展时还会根据各地调研能力调整测评细项,能力强的地区,会在测评基本体检项之外,增加微量元素等更难的测评内容,由安利基金会增加测评资金。

 

本案例出品方: 资助者圆桌论坛

资助者圆桌论坛,是深圳市阿斯度社会组织自律服务中心的品牌项目,是中国资助机构朋辈共学和共创平台。我们与中国资助机构一起探索公益战略、项目以及机构治理管理的有效模式与方法,助力中国资助机构为推动社会问题解决做出独特贡献。

本案例资助方: 北京三一公益基金会

北京三一公益基金会是由中国三一集团发起的资助型基金会,2013年注册成立。三一基金会以推动“科学公益”为使命,通过赋能使公益充分实现其价值,从而给世界带来真实的改变,建设充满活力、善意和信任的美好社会。

 

 

以上文章来源于资助者圆桌论坛 ,作者CDR