[측정과 평가]변화의 지속성 측정하기

댓글   


소셜임팩트 · 측정과 평가
변화의 지속성
측정하기



MONA MOURSHED



Summary. 임팩트의 지속성을 측정하는 일은 어렵지만, 비영리조직과 기부자가 반드시 해결해야 할 과업이다.



필자는 SSIR 아티클 "X명 지원 완료’를 넘어서Beyond 'X Number Served'"에서, 비영리조직과 기부자가 단순히 몇 명에게 서비스를 제공했는지를 넘어 사고를 확장해야 한다고 주장한 바 있다. 우리는 애뉴얼 리포트나 보조금 신청서의 숫자 뒤에 가려져 있거나, 통계치에 묻혀 쉽게 간과되는 다음의 두 가지 핵심 질문을 던져봐야 한다. "사람들은 얼마나 제대로, 얼마나 깊이 있는 지원을 받고 있는가? 실제로 그 지원의 효과는 얼마나 오래 지속되는가?"


필자는 여전히 진정한 임팩트 창출은 폭breadth, 깊이depth, 지속성durability이라는 세 가지 요소가 동시에 충족되어야 가능하다고 믿는다. 하지만 시간에 걸쳐 임팩트를 측정하는 데는 특정한 어려움이 따르며, 그렇기에 이 주제는 더 깊이 고민해볼 가치가 있다. 현장에서 반복적으로 “지속성은 측정하기 너무 어렵다”는 말이나, “초기 프로그램 제공 이후 임팩트에 대해 우리는 책임이 없다”, “누구도 우리에게 지속성을 측정하라고 요구하지 않는다”는 반응을 마주해왔다. 그러나 지속성은 말 그대로 임팩트의 본질이 시험대에 오르는 지점이다. 예컨대, 의료 분야에서 치료 범위의 확대가 측정 가능하고 지속가능한 건강 개선으로 이어지지 않는다면 큰 의미가 없다. 배식을 통해 기아 문제를 해결하고자 할 때, 우리가 진정으로 원하는 것은 취약한 지역사회를 위한 안정적이고 장기적인 식량 안보로 나아가는 것이다. 다른 분야도 마찬가지다.


지금이야말로 비영리조직의 리더들과 기부자들이 변화의 지속성이라는, 거의 다뤄지지 않고 가장 적게 측정되고 있지만, 어쩌면 가장 중요한 이 지표에 대해 본격적으로 대응해야 할 시점이다.



데이터는 어디에 있는가?

필자에게 가장 익숙한 분야인 고용 분야를 사례로 들어보겠다. 필자가 이끌고 있는 글로벌 고용 비영리 네트워크 제너레이션Generation의 목표는 모든 연령대의 성인을 대상으로 한 새로운 커리어 교육과 취업 지원이다. 그러나 만약 프로그램을 통해 취업한 졸업생들이 생계 유지를 위해 필요한 임금을 충분히 벌지 못하거나 1년 뒤에 직장을 잃는다면, 우리는 과연 무엇을 이뤄낸 것이라 할 수 있을까?


매년 정부, 재단, 기업, 개인이 인력 개발 분야의 훈련과 재교육에 수백억 달러를 투자함에도 불구하고, 이 투자가 실제로 지속적인 소득 향상과 삶의 질 개선으로 이어졌는지를 보여주는 근거는 매우 부족하다. 현재까지 수집된 분석 결과는 미미하거나 혼재된 성과를 보여주고 있다. 예를 들어, 2017년에 8개국에서 진행된 12개의 기술 및 직업 교육 훈련Technical and Vocational Education and Training, TVET 프로그램을 분석한 결과, 프로그램 종료 후 12~18개월 동안 고용률을 단 2%p 증가시켰다. 유사한 사례로, 2023년 매스매티카Mathematica가 실시한 저소득 및 중소득 국가의 17개 TVET 프로그램에 대한 임팩트 평가에서 12개월 이상 고용에 통계적으로 유의미한 영향을 미친 프로그램은 단 4개에 불과했다. 그렇다면 소득 향상은 어땠을까? 2023년 J-PAL이 2023년 발표한 TVET 프로그램에 대한 28건의 무작위 평가에 따르면 대부분의 프로그램이 고용을 미미하게 증가시켰고, 어느 시점에서든 졸업생의 수입을 증가시킨 경우는 절반에 불과했다. 가장 큰 문제는 우리 개입의 지속성이 얼마나 되는지 모른다는 데 있다. 해당 연구의 결론 역시 이를 잘 드러내는데, 결론부에서는 “특정 개입이 단기적인 효과와 장기적인 효과를 내는데 영향을 주는 요인이 무엇인지 명확한 이해가 부족하다”라고 지적했다.



신뢰성 있는 데이터를 향해

지속성에 대한 신뢰할만한 데이터를 만들기 위해서는 특정 개입이 종료된 후에도 개인의 변화를 지속적으로 추적해야 한다. 프로그램 졸업생들과 긴밀히 연락을 유지해 전화번호와 이메일 주소를 업데이트하고, 사람들이 매년 자신의 상태를 보고하도록 하는 깊은 유대감을 유지해야 한다. 이는 매우 어려운 과제로, 결심만으로는 가능하지 않으며 창의적인 접근이 필요한 일이다. 제너레이션을 예로 들면, 프로그램 종료 후 1년 이내에는 졸업생 설문조사에 대한 응답률이 90~100%에 달하지만 1~2년이 지나면 약 60% 수준으로 떨어지고, 2~5년 후에는 약 30% 수준으로 유지된다. 현재 10만 명을 넘어선 전 세계의 졸업생을 대상으로 이처럼 비교적 높은 장기 응답률을 유지하는 것만으로도 매우 가치 있는 일이지만, 그것만으로는 충분하지 않다. 졸업생들의 응답에는 긍정 응답 편향positivity bias과 같은 문제가 존재한다. 취업한 졸업생이 실업 상태인 졸업생보다 설문에 응할 가능성이 더 높기 때문에, 우리가 지원하는 지역에서 다양한 학습자의 커리어 경로를 신뢰할만한 수준으로 파악하려면 훨씬 더 높은 응답률이 필요하다.


제너레이션은 데이터 완성도를 높이기 위해 다양한 채널을 활용한 사후 소통 방식multichannel follow-up을 도입하고 있다. 이메일, 온라인 설문조사, 문자 메시지SMS, 왓츠앱WhatsApp, 개별 문자나 전화 통화, 동문 행사에서의 대면 만남 등을 조합해 활용하는 방식이다. 또한 고용 유지 여부나 임금 수준에 관한 짧은 설문조사를 위해 인터랙티브 음성 응답 시스템Interactive Voice Response, IVR을 도입하는 방안도 모색 중이다.


이렇게 데이터를 광범위하게 수집한다고 해서 반드시 많은 비용이 드는 것은 아니다. 현재 제너레이션은 지속성 성과 측정을 위해 학습자 1인당 전체 비용의 1%만을 투자하고 있다. 그러나 지속성 데이터를 측정하도록 장려하거나 이를 위한 비용을 부담하는 재단 및 정부 기금제공자는 거의 없다. 특히 고용 분야의 주요 자금 지원자인 정부는 여전히 얼마나 많은 사람에게 서비스를 제공했는가에 초점을 맞추고 있다. 이로 인해 자금 지원이 프로그램 운영 비용 충당에 그치고 있으며, 보조금 기간 이후의 성과에 대한 보고는 요구되지도, 지원되지도 않는다.


장기적 임팩트 측정에 투자하면 운영 역량 개선에도 도움이 되지 않을까? 실제로 제너레이션은 ‘임팩트 비율impact ratio’이라는 지표를 도입해 추적하며 그 효과를 경험했다. 이 지표는 제너레이션이 타겟 도시의 타겟 직업군(예: 과달라하라의 주니어 풀스택 개발자) 연간 채용 수요 중 몇 퍼센트를 달성했는지 측정하는 지표이다. 제너레이션은 8개국 18개 지역에서 해당 직군의 신입직 일자리 중 5% 이상을 차지하고 있다. 이는 채용의 상당 부분을 차지하는 수치로, 1년 전 4개국 9개 지역에서 측정한 것 대비 크게 증가한 결과이다. 이러한 새로운 접근 방식 덕분에 성장 잠재력이 가장 높은 직업군을 식별할 수 있었고, 목표를 달성하기 위한 고용주 생태계를 구축할 수 있었다. 우리가 측정한 것이 실제로 관리된 것이다.


하지만 데이터만으로는 충분하지 않다. 지속성 측정과 서비스 제공자의 관리 역량 사이의 연결 고리를 강화하려면 공통 데이터셋이 필요하다. 고용 및 교육 분야를 예로 들면, 생활임금 달성 여부가 장기적인 경제적 이동성을 시간 경과에 따라 평가하는 데 있어 가장 객관적인 기준이 되어야 한다. 그러나 미국, 영국, 캐나다, 호주를 제외한 대부분의 국가에서는 다양한 가구 유형과 지역을 반영한 생활임금 기준이 공식적으로 설정되어 있지 않거나 정기적으로 갱신되지 않고 있다. 이 때문에 제너레이션은 활동 국가별로 자체적인 생활임금 기준을 수립해야 했다. 현지 직원을 파견해 식비, 주거비, 공공요금 등의 가격 정보를 수집한 뒤, 공개된 공공 데이터 자료와 결합하는 과정을 거쳤다. 만약 신뢰할 수 있고 누구나 접근가능한 전 세계 생활임금 데이터가 존재한다면, 우리 분야에 종사하는 모든 조직이 졸업생들의 현실을 더 정확히 이해하고 성과를 비교하는 게임 체인저가 될 수 있을 것이다. 



우리가 걸어야할 길

그렇다면 비영리조직과 분야별 이해관계자는 어떻게 더 많은 양질의 지속성 데이터를 수집할 수 있을까? 우선 불편한 대화를 기꺼이 시작하고, 모두가 동의할 수 있는 보편적 기준을 수립하는 일부터 시작해야 한다. 이러한 기준이 프로그램 운영에 대한 더 나은 의사결정을 가능하게 할 것이다. 제너레이션은 현재 지원서 제출부터 프로그램 졸업 후 5년까지 학습자의 생애주기를 추적하는 4천만 개의 데이터 포인트를 보유하고 있다. 제너레이션이 프로그램 초창기부터 데이터 수집을 강조해왔기 때문에 가능한 일이었다. 하지만 이 작업은 어느 한 조직이 혼자서 해낼 수 없는 일이다. 필자가 속한 분야에서 공동의 노력이 반영된 장기 임팩트를 측정하는 데 가장 중요한 지표 조합이 무엇인지에 대해 활발한 논의가 시작되길 기대한다. 고용 상태, 일자리의 질, 임금, 경력 성장, 저축, 생활임금 추이, 개인의 웰빙 등을 측정하기 위한 지표의 조합을 찾아가는 논의가 이루어지길 바란다.


정부와 자선단체는 지속성을 우선순위로 설정함으로써 이 여정을 가속화할 수 있다. 물론 각 수혜단체는 다양한 실행 모델과 변화이론을 가질 수 있고, 그래야만 하지만 지속성 데이터에 대한 공통 기준에 따라 임팩트를 추적한다면, 기부자에게 유의미한 정보를 제공할 뿐 아니라, 실행 주체에게도 실질적인 통찰을 제공할 수 있을 것이다. 


성공은 결코 빠르게 찾아오지 않는다. 각 분야에서의 수많은 실험을 통해 실현 가능하고 가치 있는 것을 평가하는 과정은 반드시 필요하다. 미국의 차터스쿨charter school 운동은 장기간의 데이터 추적이 갖는 가능성을 보여주는 실질적인 사례이다. 이 운동은 초기에 입학자 수와 학업 성취도를 중심으로 데이터를 수집했지만, 이후에는 고등학교 졸업률, 대학 진학률, 대학 졸업률 데이터를 수집했다. 최근에는 졸업 후 첫 직장에서의 소득 수준까지 추적하려는 움직임이 나타나고 있다.


소속된 분야와 관계없이 우리 모두가 개인의 삶의 질을 개선하고, 거대한 구조적 불평등을 해결하는 변화를 추구하길 바란다. 그리고 그 변화가 지속되기를 희망한다. 우리에게는 지속성이 필요하다. 프로그램의 임팩트가 우리의 목표와 일치하는지 확인하는 유일한 방법은 두 팔을 걷어붙이고 겸손과 인내로 무장한 채 지속성의 길을 끝까지 걷는 것이다.






> 원문 기사 보기


MONA MOURSHED

모나 무르쉬는 고용 프로그램과 연구를 통해 전 세계 사람들의 경제적 이동성을 지원하는 글로벌 비영리 네트워크, 제너레이션: 유 임플로이드의 창립 CEO이다.