티스토리 뷰
업무성과 모니터링 및 평가
퍼블릭 마케팅에서는 마케팅이 다른 요소들에 비해서 "지금까지 일어난 일에 어떤 기여를 했는지를 확신할 수가 없다"라고 말한다. 그렇다면 우리가 성공적인 마케팅을 위해 수천 달러를 쓴 결과를 어떻게 우리의 상사에게 보고 할 것인가. 모니터링과 평가를 통해서 마케팅이 잘 수행되었다는 근거를 제시하고 이 비용을 정당화할 수 있을 것이다.
ㅣ11장ㅣ
1. 마케팅 성과를 측정하기 (374p)
- 마케팅성과를 측정하는 가장 이상적인 시나리오는 직접 나서서 마케팅 프로그램을 개발하고 수행하기 위해 투자한 시간과 돈, 자원에 대한 결과를 보고하는 것인데, 실제로는 이런 일은 결코 흔하지 않다.
- 평가에 대한 필수질문?
* 평가의 목적은 무엇이며, 누구를 위해 평가하는가?
* 무엇을 평가할 것인가?
* 어떻게 평가할 것인가?
* 언제 평가할 것인가?
* 평가에 드는 비용은 얼마나 될까?
- 모니터링(monitoring)과 평가(evaluation)의 차이
* 모니터링이란 일반적으로 여러분의 새로운 프로그램과 홍보 캠페인이 출범한 다음에 끝나기 전에 수행하는 것이다. 마케팅의 궁극적인 마케팅 목표를 성취하기 위해서 중간에 수정이 필요한지 여부를 결정할 때 모니터링을 한다.
* 평가는 이미 일어난 일에 대한 측정이자 최종 보고이다. 목표를 성취했는가? 결과를 프로그램 요소들과 연결시킬 수 있는가? 시간과 예산을 적절했는가? 혜택 대비로 비용은 얼마나 들었는가? 앞으로 더 처리해야 하거나 바로 처리가 필요한 의도하지 않은 결과가 있었는가? 어떤 프로그램 요소들이 목표를 성취하는 데 효과가 좋았는가? 또 어떤 요소들이 이름값을 못했는가? 뭔가 빠진 게 있었는가? 다음번에 기회가 또 있다면 어떻게 변화를 꾀할 것인가?
2. 왜, 누구를 위해서 측정하는가?
* 캠페인 결과를 보고해 주기를 바라는 기대를 충족하기 위해서
* 자금을 조달하거나 요구에 부응하기 위해서
* 캠페인 중에 혹은 시작 전에 바꾸기 위해서
* 다음에 더 잘하기 위해서
* 추가적인, 혹은 지속적인 자금 지원을 받기 위해서
3. 무엇을 측정하는가?
1) 산출물 측정 : 산출물을 측정한다는 건 가능한 계량화할 수 있는 마케팅 활동들의 수준을 알아본다는 뜻이다.
- 배포한 자료의 숫자
- 광고의 범위 및 빈도
- 언론매체의 보도와 방송 시간 및 이러한 매체를 접한 사람들의 예상숫자
- 개최된 특별 행사와 그 행사에 참여한 사람들의 숫자
- 시간과 돈에 주목하면서 사용한 자원
- 타깃 고객들에게 어느 정도 노출된 다른 마케팅 관련 활동들
* 그러나 이런 산출물 측정하는 것만으로는 여러분의 노력에 대한 고객이나 시민의 반응을 알 수는 없다. 이것은 단지 여러분이 어떤'활동'을 했는지 보여줄 뿐이다.
2) 결과물 측정 : 여러분이 가장 알고 싶은 건 시민들이 보이는 반응(결과물)이다.
- 캠페인 인지
- 지식이나 태도, 믿음의 변화
- 행동이나 행동 의사의 변화
- 파트너나 캠페인 기부 창조
- 고객만족도 제고
3) 영향 측정 : 시민들의 행동이 사회적/경제적/환경적 조건에 미치는 실제 영향에 대해서 보고
지표 예시 : 비용절감, 순매출의 증가, 자금 조달과 징수 승인, 인명구조, 질병예상, 수질개선, 급수확대, 대기 질 개선, 매립 쓰레기 감소, 야생생물과 서식지 보호, 동물 학대 감소, 범죄 예방
4. 어떻게 측정할 것인가?
1) 내부 기록과 데이터베이스
2) 시민조사 : 마케팅 활동을 통해 얻은 결과물을 파악하는 데 가장 좋은 방법이자 때로는 유일한 방법일지 모른다. 타깃 고객이 더 많은 정보를 얻었는지, 동기를 부여받았는지, 믿음이나 태도를 바꿨는지, 아니면 실제로 어떤 행동을 바꿨는지...
3) 과학적 내지는 기술적 조사 : 노력의 궁극적 영향을 평가하는 데 가장 확실한 방법일 수 있다.
* 마지막으로, 과거와 미래에 펼칠 활동의 경제성을 최종적으로 평가할 때, 여러분 기관의 재정 모델(궁극적인 측정 도구)을 개발해 주는 사람들을 위해서 지금까지 설명한 3가지 출처에서 나온 데이터를 모두 제공해야 한다는 사실을 잊어서는 안 된다.
5. 언제 측정할 것인가?
1) 마케팅활동 전과 후 : 말 그대로 캠페인 실시에 앞서 일정 시점에 조사를 수행하고, 캠페인이 끝난 다음 또 일정 시점에 조사를 수행하는 것을 말한다.
2) 장기조사 : 장기 조사는 장기간 일어난 변화를 추적 및 측정하는 조사 방법인데, 특정 인구 집단에서 일어난 변화를 연구 대상으로 삼을 때가 많다.
3) 정기조사 : 정기 조사는 캠페인을 모니터링 및 평가하는 데 활용될 수 있다.
6. 비용은 얼마가 들 것인가?
- 비용 산출에 기준이 될 활동들에는 캠페인 과정을 관리하는 직원들의 시간도 들어가야 할 것이며, 관련성이 있다면 현장에서 조사를 수행하는 직원들의 시간이나 분석시간도 들어가야 할 것이다.
- 계량화가 가능한 결과가 필요한 경우 조사 대상 숫자와 함께 조사에 필요한 시간도 어쩔 수 없이 늘어날 것이며, 아울러 편견 없이 조사를 하기 위해선 제삼자의 도움을 받을 수밖에 없을지 모른다.
사례 분석하기
"네팔 커피협동조합 비즈니스 역량강화를 통한 지역개발 2단계 사업 종료평가"
- 평가에 대한 필수질문 5가지
1) 평가의 목적은 무엇이며, 누구를 위해 평가하는가?
신두팔촉 커피 협동조합의 시장 경쟁력 강화가 목적이며 평가는 당연히 이들의 협동조합이 자립해 나갈 수 있도록 하기 위함일 것이다.
2) 무엇을 평가할 것인가?
사업의 주된 산출물이 마케팅에 대한 역량강화였고, 마케팅 수업이니 만큼 이 부분에 집중해 살펴보았다.
우선 마케팅 역량강화를 평가하기 위한 지표로 1.1.a에서 지역조합 방문교육 참가자 수를 근거로 대고 있다. 교육내용으로는 회계 교육과 실제적으로는 유기농 생산기술 교육과 유기농 인증 취득을 위한 인증 표준 생산기술의 교육/컨설팅이 진행되었다. 조합원들이 커피의 생산과 유통 전반에서 제품의 가격, 판매량, 판매수익 등과 같은 정보에 대해 파악하는 회계교육은 마케팅 과정에서 중요한 역량이고 1.1.c에서 언급된 유기인증 취득여부도 다른 커피와 차별성을 줄 수 있는 면에서 좋은 지표라고 생각되었다. 성과 또한 목표치를 달성하고 있다.
다만, 사업평가에서 유기농인증은 매년 갱신해야 하고 소요되는 비용이 커 코이카 사업과 같이 지원 없이 농민들이 자체적으로 준비하는 데는 한계가 있다는 점이 아쉬웠다.
2.1.a. 는 커핑랩 커핑 횟수는 마케팅 플랫폼 활성화 지표 중 하나인데 커핑랩(cupping lab)이란 원두의 제조와 교육이 전문화된 공간으로 쇼룸 형태로 만들어진 공간이라 한다. 향과 맛의 특성을 평가하는 커핑이라는 작업을 통해 고객이 한 장소에서 취향에 맞는 커피를 고르고 마신 후 구입할 수 있게 하였다. 이러한 활동으로 ‘Farmer’s Coffee’라는 상품 브랜드를 새로 개발할 수 있었고, 이를 월간 식음료 잡지에 광고를 게재하여 홍보하였다. 덕분에 계획보다 많은 소비자들이 마케팅 플랫폼을 찾아 커피를 시음하는 등 2.1.b의 로스터리 방문자 수의 목표치를 크게 웃도는 성과를 낼 수 있었다. 마케팅 플랫폼의 운영 및 역할 수행이 비교적 잘 이루어진 것으로 활동이라고 판단되었다.
또 커핑랩에서 커핑 활동으로 지역별 커피를 테스팅하고 선별하여 좋은 퀄리티의 생두를 확보하고자 노력해 2.1.c 신규 브랜드를 다수 개발할 수 있었다.
그 결과로 신두팔촉 CCU(커피조합연합회)는 사업 기간 중에 커피 원두 판매로 전체 사업비 526백만원의 14%인 7,825,000 NPR ( 한화 77,477,032원)이라는 조합의 수익 창출을 할 수 있었다.
3) 어떻게 평가할 것인가?
측정방법 측정산식란에 보면 인증서 확인, 설문조사, 보고서 확인이라 적혀 있는데 인증서는 퍼블릭 마케팅 책에서 언급한
기술적 조사에 해당하고 설문조사는 시민조사, 보고서 확인은 내부기록과 데이터베이스에 해당할 듯하다.
4) 언제 평가할 것인가?
성과 달성 요약표에 나온 내용으로 보았을 때 사업기간인 2018년~2020년까지 3년간 매년 지속적으로 각 지표들을 평가한 것을 알 수 있다. 기초선 조사에 대한 내용이 보고서는 불명확했는데 각 평가에 대한 사전 평가는 어떻게 했는지 궁금했지만 관련된 내용이 언급되어 있지는 않았다.
5) 평가에 드는 비용은 얼마나 될까?
평가에 대한 비용은 따로 언급되어 있지 않았지만, 교수님의 말씀에 따르면 성과를 관리하는데 적절한 예산은 사업예산의 약 5%~10% (작은 사업의 경우 10%) 정도라고 한다.
사업비용의 5~10% 비용으로 전체의 사업을 평가하고 나아가 성과를 높일 수 있는 것이라면 이 비용은 매우 효율적인 비용으로 봐야 할 것이다.
결론
종료평가 보고서만 보고 사업 결과보고서는 없는 사업의 내용을 가지고 와서 사업을 이해하는 데에 어려움이 있었지만, 그래도 마케팅 부분을 보았을 때 지금까지 배운 마케팅 전략의 몇 가지가 잘 수행되고 있는 사업 같아서 뿌듯한 마음이 들었다. 또 개발협력사업을 평가하는 것인지 커피 업체의 사업을 평가하는지 살짝 혼란이 왔지만, 개발협력 사업에 상업적 비율이 큰 활동도 있을 수 있다는 것을 알 수 있었고, 커피를 제조~판매~수익을 내는 모든 마케팅 과정을 볼 수 있었다. 개발협력을 조금 더 마케팅 중점적인 관점에서 볼 수 있었던 사업인 것 같다.