댓글
왜 우리는 더 많이 측정하지만,
더 적게 배우는가?
2026-1
MARCO DI NATALE
Summary. 평가의 방법론을 지나치게 강조하다 보면 결과의 정밀성을 확보하고, 전반적인 학습 체계를 구축하는 것처럼 본질적으로 더욱 중요한 과제를 놓칠 수 있다.
(사진 출처: iStock/adventtr)
지난 20년간 임팩트 평가는 소셜섹터의 핵심 화두로 자리 잡았다. 하지만 사회적 임팩트를 어떻게 측정할 것인가라는 논의의 이면에는 구조적인 문제가 존재한다. 우리는 어떤 방법을 사용하든 ‘무엇이 효과적인가’에 대한 신뢰할 만한 지식을 충분히 만들어내지 못하고 있다. 방법론과 관련한 논의의 상당 부분이 무작위 대조군 실험 연구 방법RCTs에 대한 이야기에 치우쳐 있는 것이 사실이다. 하지만 시민사회와 필란트로피 생태계가 체계적으로 학습할 수 있게 해주는 기준과 역량, 제도적 기반에 대한 논의는 부족하며, 진짜 필요한 논의의 공백은 바로 이 지점에 존재한다. 이 글은 임팩트 평가에서 무엇이 진정으로 중요한지에 대해 논의의 초점을 다시 맞추고자 한다. 핵심은 ‘엄밀성rigor’이다.
나는 정부 기관 안에서 실험적/비실험적 연구를 모두 포함한 임팩트 평가 과정을 이끌어 왔고, 그 이후에는 시민사회 조직들과 필란트로피 지원기관들을 대상으로 자문을 수행했다. 이러한 경험을 바탕으로 나는 평가 방법론에 대한 논의의 공백이 어떻게 서로 다른 양상으로 심화되어 가는지를 관찰할 수 있었다. 하나의 양상으로는, 보고 요건의 내용들이 종종 변화 과정에 대한 이해보다는 속도나 규모, 규정 준수를 더 우선시하는 것이다. 또 다른 양상으로는 실험적·정량적 접근에 대한 비판이 오히려 기본적인 과학적 논리조차 갖추지 못한 평가를 정당화하는 데 사용되기도 한다. 사회문제가 복잡하다는 이유, 혹은 사회적 목적을 추구한다는 이유만으로 신뢰할 수 있는 근거와 추론의 기준을 내려놓아도 괜찮다고 여기는 것이다. 이 글은 이러한 논의 흐름이 어떻게 서로 맞물려 형성되었는지, 그리고 보다 엄밀하고 학습 지향적인 평가 접근 방식이 필란트로피 지원기관과 사업 수행기관, 평가자에게 무엇을 요구하는지를 살펴본다.
RCTs에 대한 잘못된 딜레마
무작위 대조군 실험 연구 방법은 2000년대 초부터 개발협력과 사회정책 분야에서 임팩트를 평가하는 가장 영향력 있는 도구 중 하나로 부상했다. 이러한 흐름은 에스터 뒤플로Esther Duflo와 공동 연구자들, 그리고 압둘 라티프 자밀 빈곤 퇴치 연구소J-PAL와 같은 연구 기관의 역할과 깊이 연결되어 있다. 특히 J-PAL은 정부 기관, 비영리단체, 다자간 협력 기구 전반에 걸쳐 실험적 접근 방법의 확산을 이끌어 왔다.
실험적 접근 방법이 확산되면서 임팩트를 이해하고 평가하는 방식은 크게 바뀌었고, 이에 대한 열광과 반발이 동시에 나타났다. 그러나 시간이 흐르면서 실험적 접근 방법에 대한 논쟁은 점차 RCTs 자체를 지지하거나 반대하는 선택의 문제로 프레이밍 되었다. 인과 추론 도구로서 RCTs가 가진 가치가 이미 널리 인정받고 있음에도 불구하고 말이다. 그 결과 논의의 초점은 보다 중요한 질문으로부터 멀어졌다. 즉, 실험 연구든 비실험 연구든 관계없이 엄밀한 평가 기준을 어떻게 적용해 섹터 전반의 학습을 강화할 것인가라는 질문이 가려진 것이다.
니콜 P. 마웰Nicole P. Marwell과 제니퍼 E. 모슬리Jennifer E. Mosley는 최근 SSIR에 실린 아티클에서 임팩트 평가를 위한 자금을 지원할 때, RCTs와 같은 실험적 연구 방법을 우대하거나 과도하게 강조하면 기술 역량이 더욱 뛰어난 조직들에게 유리한 방향으로 지원 불평등을 심화시킬 수 있다고 주장한다. 또한 복잡한 사회적 맥락에서는 실험적 평가 설계가 확실성을 과도하게 부풀리거나, 무엇을 의미 있는 임팩트로 볼 것인지에 대한 범위를 지나치게 좁힐 수 있다고 지적한다. 또한 복잡한 사회적 맥락 안에서 실험적인 평가 전략을 설계하는 것은 확실성을 과장하거나 의미 있는 임팩트의 범위를 좁힐 수 있음을 주의해야 한다고 말한다. 이러한 비판은 실험적 연구방법 자체를 부정하는 것이 아니라, 이러한 평가방식을 소셜섹터 전반의 임팩트 측정과 자원 배분을 위한 지배적인 기준으로 삼는 것에 의문을 제기하는 것이다.
앞서 살펴본 주장들의 타당성 여부를 떠나서, 현재 소셜섹터가 처한 상황을 고려한다면 이러한 논쟁의 방향은 애초에 잘못 설정된 것이다. 시민사회와 필란트로피 생태계가 직면한 문제는 RCTs의 문제점이 아니라 평가의 엄밀성과 기준의 문제다. 더 구체적으로 말하면, 일부 조직은 최소한의 평가 체계조차 갖추지 못하고 있으며, 필란트로피 기관들 역시 평가 역량을 포함한 조직의 제도적 역량을 구축하는 데 충분히 투자하지 않았다.
우리는 평가를 너무 적게 하고, 올바르게 평가하지도 않으며, 평가를 통해 학습하지도 않는다
공공정책 및 임팩트 평가 연구자인 에이미 L. 가드너Amy L. Gardner와 클레어 D. 브린디스Claire D. Brindis의 2017년 조사 결과에 따르면, 어드보커시 활동에 대한 평가를 수행한 평가 전문가 106명 가운데 실험적 연구방법을 활용한 비율은 6%에 불과했다. 그뿐만 아니라, 미국의 효과적 필란트로피 센터the Center for Effective Philanthropy, CEP와 평가 혁신 센터the Center for Evaluation Innovation, CEI가 미국과 캐나다에 위치한 127개의 재단들을 대상으로 실시한 조사에 따르면 재단들이 지원한 평가 중에서 RCTs는 5건 중 1건에 불과했다. 이 조사 결과가 전체 현황을 완전히 대표하는 것은 아니지만 우리가 확인 가능한 공개된 조사 결과 중에서 가장 큰 규모의 조사이며, 한 가지 중요한 시사점을 제시해 준다. 평가 현장에서 실험적 연구 방법론이 지배적인 비중을 차지하는 것 자체가 문제의 핵심이 아니라는 것이다. 우리가 당면한 진짜 문제는 현실과는 거리가 먼 학술적인 논쟁이 지속되는 것이다. RCTs를 둘러싼 논쟁은 지식 생산의 관점에서는 중요한 의미를 가질 수 있지만, 정작 소셜섹터 현장이 전문적인 평가 체계를 도입할 때 마주하는 현실적인 어려움과는 괴리가 존재한다.
보다 정확히 말하면, 평가라는 개념은 반복적으로 사용되고 있지만 실제 현장에서의 실행은 그에 미치지 못하고 있다. CEP-CEI의 보고서에 따르면, 별도의 평가 부서를 둔 재단은 10곳 중 6곳에 불과했다. 프로그램 운영 담당 직원 10명당 평가를 전담하는 상근직은 1명뿐이다. 사업을 추진하는 데 투입하는 자원과 그 사업이 효과적인지 파악하는 데 투입하는 자원의 비율이 10 대 1인 셈이다. 평가를 실시한다고 해도 응답자의 4분의 3 이상이 평가 결과를 의미 있는 인사이트로 전환하는 데 어려움을 겪고 있으며, 그 결과를 외부와 공유하는 것을 우선순위로 삼는 직원은 9%에 그치는 것으로 나타났다. 또한 응답자의 3분의 2 이상은 자신이 속한 재단이 수혜기관의 평가 및 데이터 수집 역량 강화에 지나치게 적은 투자를 한다고 답변했다.
필란트로피는 단순히 사업에 자금을 지원하는 것을 넘어, 무엇이 효과적인 사회변화를 만들어내는지 배우고 그 지식을 축적하는 것이다. 그런 점에서 이러한 수치는 더욱 우려스럽다. 재단들은 거의 절반의 경우 수혜기관의 성과를 제대로 이해하지 못하고 있었으며, 최종 수혜자에게 미친 영향을 파악하고 있는 재단은 5곳 중 1곳에 불과했다. 이러한 지식의 결핍은, 응답자의 10명 중 6명이 평가 결과가 향후 신규 지원금을 집행하는 결정에 별다른 영향을 미치지 않을 것이라고 답한 조사 결과에서도 고스란히 드러난다.
시민사회 영역의 상황도 마찬가지다. 시민사회의 혁신과 지속가능성을 지원하는 라틴아메리카 비영리단체 시빅 하우스Civic House가 2025년 실시한 지속가능한 재정 모델 조사 결과에 따르면, 라틴아메리카와 카리브해 지역 조직 중 연간 운영 전략 계획을 수립하는 곳은 3곳 중 1곳에 불과했으며, 사업 결과 또는 임팩트에 대한 연간 평가를 실시하는 조직도 비슷한 비율에 그쳤다.
이것은 단순히 양의 문제가 아니다. 나는 기술 관련 공공정책에 집중하는 시빅 하우스의 연구·정책 옹호 조직인 시빅 컴퍼스Civic Compass에서 일하며 아르헨티나, 멕시코, 콜롬비아의 시민사회 조직 60곳을 대상으로 각 조직이 가진 변화이론에 대한 질적 평가를 수행했다. 약 45%의 조직은 캠페인이 성공했을 때 어떤 변화나 효과가 나타나야 하는지를 명확하게 설명하는 데 어려움을 겪었고, 약 40%는 일상적인 활동과 서비스, 산출물outputs, 성과outcomes를 구분하지 못했다. 이러한 결과는 많은 조직이 자신들이 활동하는 분야에 대해서는 깊이 이해하고 있지만, 성과를 모니터링하고 평가하는 데 필요한 구조적인 해석 역량을 갖추지 못하고 있음을 보여준다. 그 결과 사업의 방향을 적시에 수정하거나 개선하는 일이 어려워지거나 아예 불가능해질 수 있다.
앞서 살펴본 모든 데이터는 염려스러운 패턴을 보여준다. 우리는 ‘평가’는 더 많이 하지만, 평가를 통해 배우는 것은 적은 상태다. 소셜섹터 전반에 걸쳐 평가라는 것이 긍정적인 내러티브가 단순히 나열되는 것으로 변질된 것이다. 잘못되는 일은 거의 없고, 실패란 존재하지 않는 것처럼 보인다. 학자와 실무자들이 ‘어떤 평가 방법론이 효과적인가’를 둘러싼 어젠다를 비판하는 데 상당한 시간을 쏟는 동안, 정작 현장을 지배하는 논리는 “우리가 얼마나 많은 사람들에게 도달했는가?”에 가깝다. 그 사람들이 실제로 도움받은 것이 맞는지에 대해서는 전혀 모른 채 말이다. 평가자로 일해 온 나의 경험을 돌이켜보면, 그동안 나는 취업 지원 프로그램에 대해서 실제로 취업한 인원보다는 프로그램 참여자 인원에 대해 훨씬 더 자주 질문을 받아왔다.
본질로 들어가지 못하는 평가 문화
이 모든 일은 진심 어린 선의에 의해 움직이는 섹터 안에서 벌어지고 있다. 많은 조직과 지원 기관들은 삶을 더 좋게 바꾸겠다는 진정한 열망으로 움직인다. 엄밀한 평가가 이루어지지 않는 것은 악의의 문제가 아니라, 제도적 설계와 인센티브 체계, 실행 역량의 문제다. 그리고 무엇보다도, 더 많이 하는 것이 곧 더 많은 성과를 내는 것이라는 믿음이 너무도 자연스럽게 받아들여지고 있기 때문이다.
시민사회를 옹호하면서도 동시에 그들의 활동이 ‘평가하기에는 너무 복잡하다’라는 논리를 받아들이는 것은 시민사회를 영구적으로 불리한 위치에 머물게 하는 일이다. 그 결과 다른 주체들이 충분한 도구와 근거를 갖춘 채 전략적 논의에 참여할 때, 시민사회는 불완전한 도구를 들고 그 자리에 나서게 된다. 그 결과 시민사회는 목소리는 들리지만 실제 영향력은 제한된 상징적 존재로 남게 된다. 시민사회의 변화 역량이 한계에 부딪히는 이유는 결코 헌신이나 의지가 부족해서가 아니다. 무엇이 효과적이고 무엇이 그렇지 않은지를 학습할 수 있는 체계가 부재하기 때문이다.
이러한 흐름은 내가 ‘명목주의nominality의 지배’라고 부르는 현상을 더욱 심화시킨다. 실제 변화를 보여주는 지표가 아닌, 활동과 산출물을 세는 지표(예: 진행된 워크숍 수, 접촉한 사람 수)가 변화의 증거인 것처럼 취급되는 것이다. 이러한 상황 속에서 수혜자는 숫자가 되고, 성과는 인포그래픽이 된다. 그리고 사업은 효과가 아니라 규모로 측정된다. 시민사회는 학습의 기회는 거의 얻지 못한 채 지치도록 일만 하는 위험에 처하게 되고, 보고하는 것이 이해하는 것보다 더 중요해지는 논리에 갇힌다. 필란트로피 기관들이 이러한 패턴을 뒤집기 위해 할 수 있는 몇 가지 실천 방안을 살펴보자.
이론에 기반하여 사업 설계하기: 필란트로피 기관은 지원 대상 기관에게 요구하는 보고서의 양식만 바꾸는 것이 아니라, 지원을 제공하는 방식부터 다시 설계할 필요가 있다. 많은 경우 지원기관은 변화가 실제로 어떻게 일어날 것인지에 대한 설명을 요구하기보다, 새로움이나 규모, 빠른 성과 가능성에 더 주목한다. 그러나 보다 생산적인 출발점은 제안된 사업을 유사한 맥락에서 효과가 확인된 기존의 근거와 비교해 검토하는 것이다. 해결책은 서로 다를 수 있지만, 그 해결책이 다루고자 하는 행동이나 제도적인 제약 조건들은 대개 비슷하기 때문이다. 우리는 이러한 변화를 통해 프로그램을 끊임없이 다시 만들어내는 일에서 벗어나, 접근성과 인센티브, 지원 체계에 대한 구체적이고 이론에 기반한 가정들이 현장에서 실제로 작동하는지를 검증하는 데 집중할 수 있다.
기대 수준 바로 세우기: 사업 일정을 어떻게 설정하느냐 또한 중요한 문제이다. 많은 지원 사업이 여러 해에 걸쳐 운영되지만, 정작 성과는 단기적이고 형식적인 목표치들을 기준으로 평가되곤 한다. 이는 같은 사람들에게 더 나은 변화를 만들어내기 위해 사업을 꾸준히 개선하기보다, 새로운 사업을 계속 만들어내도록 부추긴다. 구조적인 문제는 결코 빠르게 해결되지 않지만, 그렇다고 해서 점진적인 개선이 무의미하다는 뜻은 아니다. 예를 들어 취약성의 여러 차원 가운데 단 한 가지(고용 안정성, 학업 지속성, 서비스 접근성 등)만 개선되더라도 사람들의 삶은 의미 있게 달라질 수 있으며, 때로는 연쇄적인 변화로 이어지기도 한다. 이러한 변화가 문제를 당장 ‘해결’하지 못했다는 이유로 하찮게 여기는 것은, 사회 변화가 어떻게 일어나는지에 대한 무지에서 비롯된 것이다. 따라서 필란트로피 기관이 지원 조직에게 요구해야 하는 것은 실제 현장에서 ‘개선’이 어떤 모습으로 나타날지에 대한 명확성이다. 즉, 사업이 제대로 작동한다면 타겟 수혜자들의 삶이 어떻게 달라질 것인지, 그리고 우리는 그 변화를 어떻게 포착할 것인지 명확히 짚어내야 한다.
역량 강화에 집중하기: 평가는 흔히 사업 기획 단계부터 통합되어야 하는 전문적인 영역이 아니라, 프로젝트가 끝날 때 채워야 하는 보고서 양식처럼 취급되곤 한다. 특히 규모가 작은 단체들이 사업 수행과 평가 중 하나에만 자원을 투입해야 하는 상황에 놓이면, 기부자의 기대는 충족할지 몰라도 실질적인 학습은 남지 않는 피상적인 모니터링으로 이어지기 쉽다. 데이터는 급하게 수집되고, 스토리는 성공을 표현하기 위해 짜맞추기 식으로 구성되며, 일단 지원이 끝나고 나면 단체도 지원 시스템도 향후 더 좋은 의사결정을 내릴 수 있는 아무런 역량을 갖추지 못하게 된다. 필란트로피 기관이 진정으로 ‘학습’에 진심이라면, 지원 사업을 설계할 때 단체의 내부 또는 외부 차원에서 평가의 전문성을 구축할 수 있도록 명시적으로 지원해야 한다. 또한 사후적인 판단에만 그치지 않고, 사업 운영 과정에서 방향성을 수정할 수 있도록 모니터링 시스템 구축에 필요한 시간과 자원을 보장해 주어야 한다.
사업의 일관성과 설계 원칙 세우기: 이와 맞닿아 있는 또 다른 문제는 사업을 설계할 때 여러 활동을 덧붙이며 점점 복잡하게 설계하는 경향이다. 이는 흔히 복잡성 자체가 사업의 야심을 보여주거나 변화 가능성을 높여줄 것이라는 믿음에서 비롯된다. 그러나 명확한 변화이론 없이 여러 활동을 결합하면 참여자마다 경험하는 과정이 크게 달라지게 되고, 어떤 요소가 실제 변화를 만들었는지, 무엇은 효과가 없었는지, 그리고 왜 그런 결과가 나타났는지를 파악하기 어려워진다. 이런 사업은 성과가 좋지 않으면 아무것도 효과가 없었다는 결론에 이르기 쉽고, 반대로 좋은 결과가 나오면 모든 요소가 효과적이었다는 착각을 불러일으킨다. 하지만 실제로 변화를 만들어낸 것은 일부 요소에 불과할 수 있다. 이러한 불명확성은 학습을 가로막을 뿐 아니라 사업의 책임 있는 확장을 어렵게 만든다. 임기응변식으로 설계된 사업을 다른 곳으로 확장하려면, 같은 수준의 즉흥성을 감당할 수 있는 예외적인 역량의 조직이 필요하기 때문이다. 따라서 불필요한 요소를 줄이고 개입을 의도적으로 설계하는 등, 보다 명확한 변화이론을 중심으로 지원사업을 설계해야 한다. 그래야 단일 지원사업이 종료된 이후에도 학습 역량과 실행 역량이 현장에 남아 있을 수 있다.
필란트로피 기관은 속도나 규모를 요구해서는 안 된다. 학습을 요구해야 한다. 사회변화에 투입되는 자원은 너무나도 귀중하기 때문에, 사람들의 삶에 대해 거의 아무것도 말해주지 않는 활동 지표로 희석되어서는 안 된다. 진정한 혁신은 측정되어야 한다. 그렇지 않으면 그것은 변화인 척하는 보수주의에 불과하다.
RCTs와 다른 방법론들이 실제로 제공하는 것
이 글은 RCTs만이 유효한 평가 방법이라고 옹호하는 글은 아니다. 실험적 연구 방법론은 특히나 복잡한 사회적 개입의 맥락 안에서 상당한 한계를 가진다. 하지만 RCTs를 수행할 수 없다는 것이 엄밀한 평가를 회피할 구실이 될 수는 없다. 무작위 배정을 할 수 없다고 해서 왜 특정한 개입이 효과를 낼 것으로 생각하는지 설명해야 할 책임까지 사라지는 것은 아니다. 이러한 노력을 포기하는 것은 단지 창의성의 부족이 아니라 윤리적 문제이기도 하다. 사람들의 삶을 더 나아지게 할 수 있는 지식을 포기하는 일이기 때문이다.
그렇지만 실험적 평가와 비실험적 평가를 모두 수행해 본 경험자로서, 나는 실험적 방법이 지닌 고유한 가치를 강조하지 않을 수 없다. 실험적 방법은 비교적 단순한 전제 아래에서 인과관계를 추론할 수 있게 해주는 유일한 접근법이기 때문이다. 비판론자들은 종종 윤리적 문제를 제기하거나, RCTs가 변화의 메커니즘을 가려버리는 ‘블랙박스’를 만든다고 주장한다. 그러나 어떤 평가도—실험적이든 아니든—블랙박스처럼 작동해서는 안 된다. 메커니즘 없이는 학습도 없다. 모든 제대로 된 평가는 견고한 변화이론에 기반하며, 과정과 가정, 변화의 메커니즘을 이해하기 위해 보완적인 방법론을 함께 활용한다. 만약 평가가 이러한 역할을 하지 못한다면, 문제는 방법론이 아니라 평가자에게 있다.
흔히 등장하는 또 다른 비판은 RCTs가 너무 오래 걸린다는 것이다. 그러나 이러한 비판은 본질적인 질문을 던지게 만든다. 우리는 정말 복잡한 사회적 변화가 하룻밤 사이에 일어나길 기대하는가? 시간이 걸리는 것은 방법론이 아니라 변화라는 현상 자체다. RCTs를 비판하는 연구들을 포함해 많은 정성적 연구와 설문 결과 자료도 발행되기까지 수년이 걸린다. 문제는 방법론이 아니라 사회변화가 가진 시간의 속성이다.
비실험적 평가 방식들 역시 그동안 가치 있는 도구들을 발전시켜 왔다. 엄밀한 질적 연구 방법론은 양적 방법론과 마찬가지로 추론의 논리에 기반하며, 체계적인 근거를 바탕으로 특정 개입이 실제로 변화를 만들어냈는지, 그리고 그 변화가 어떤 경로를 통해 나타났는지를 검토한다. 특히 복잡한 맥락에서는 기여분석Contribution Analysis이 유용하다. 기여분석은 직접적인 인과관계를 입증하지는 않지만, 특정 개입이 변화에 어떻게 기여했는지에 대해 근거에 기반한 설명을 제시한다. 분석 가능한 사례 수가 적은 경우에는 프로세스 트레이싱Process Tracing이나 베이지안 업데이트Bayesian Updating와 같은 접근법을 활용할 수 있다. 이러한 방법은 단일한 관찰에 의존하기보다 시간에 따라 증거를 축적하고 비교하면서 가설을 검증하고 수정해 나간다. 접근 방식은 서로 다르지만, 이들이 공유하는 원칙은 분명하다. 변화의 사례 이야기만으로는 충분하지 않다는 것이다. 우리에겐 논리적 설명이 필요하다.
나는 한계를 핑계로 아무 말도 하지 않는 연구보다, 자신의 한계를 솔직하게 드러내면서도 의미 있는 통찰을 제공하는 연구를 높이 평가하게 되었다. 평가의 엄밀성은 얼마나 많은 진실을 밝혀냈다고 주장하는가로 측정되지 않는다. 중요한 것은 그것이 얼마나 올바르게 판단하고 설명하는가이다. 즉, 어떤 전제를 두었는지를 투명하게 밝히고, 무엇을 알 수 있고 무엇을 알 수 없는지를 인정하며, 자신이 제시하는 주장에 책임을 지는 태도다.
이론 기반의 접근법과 엄밀한 평가 방법론(실험적 방법을 포함한다)의 진가는 널리 받아들여져 온 통념이 사실은 잘못되었음을 밝혀낼 때 가장 분명하게 드러난다. 대표적인 사례가 현금 지급 프로그램이다. 조건 없는 현금 지원은 사람들이 일을 덜 하게 만들 것이라는 오랜 통념과 달리, 2017년의 한 연구는 이러한 지원이 사람들의 경제활동 참여를 줄이지 않으면서도 삶의 질을 지속적으로 향상시켰음을 보여주었다.
나의 평가 실무 경험에서도 이와 유사한 교훈을 여러 차례 확인할 수 있었다. 부에노스아이레스에서 공공 재정으로 운영되던 한 웹 개발 교육 프로그램의 경우, 초기 데이터만 놓고 보면 취업률이 감소한 것처럼 보였다. 그러나 후속 조사를 통해 참가자들이 실제로는 테크 산업에 진입하고 있었지만, 상당수가 비정규적인 형태로 일하고 있다는 사실이 드러났다. 우리는 이를 단순히 프로그램의 실패로 해석하지 않았다. 대신 평가 결과를 바탕으로 프로그램 설계를 개선했다. 구직 역량 강화 교육을 추가하고, 참가자들이 공식 노동시장으로 진입할 수 있도록 민간 기업과의 연계를 강화한 것이다. 또 다른 사례로, 중등교육 단계 학생들을 대상으로 한 직접 현금 지원 프로그램을 평가했을 때는 학업 지속과 관련해 지원이 예상과는 다른 방식으로 작동하고 있다는 징후가 관찰되었다. 그러나 추가 분석 결과, 문제는 현금 지원 자체가 아니라 취약 가정이 직면한 보다 광범위한 제약을 상쇄하기에 지원 규모가 충분하지 않았다는 점에 있었다. 두 사례 모두에서 엄밀한 정량 분석과 질적 탐구를 결합한 접근은 정책 논의의 방향 자체를 바꾸어 놓았다. 논의의 초점은 “이 사업이 효과가 있는가”를 따지는 데서 “어떻게 하면 사업 설계를 개선해 목표를 더 잘 달성할 수 있는가”를 고민하는 방향으로 옮겨갔다.
학습하는 섹터를 향하여: 전략적인 책임으로서의 엄밀성
실험적 연구 방법론의 기본 원칙들은 RCTs를 단 한 번도 수행하지 않을 조직들에도 매우 중요한 교훈을 준다. 명확한 변화이론을 세우는 것, 성과가 만들어지는 과정의 각 단계가 어떻게 연결되는지를 설명하는 전제를 분명히 하는 것, 개입 설계를 가능한 한 단순하게 만드는 것, 그리고 여러 해결책을 동시에 시험하고 비교할 수 있는 논리(요인설계 및 다중 처리군 설계)를 갖추는 것이 그것이다. 이러한 원칙은 특정한 실험 방법론에만 속한 것이 아니다. 이는 엄밀하게 사고하고 학습하기 위한 기본 원칙이며, 모든 조직이 적용할 수 있는 원칙이다.
평가의 목적이 유용한 지식을 얻는 데 있다면, RCTs와 비RCTs 중 어느 방법을 선택할 것인가는 핵심 문제가 아니다. 우리가 극복해야 할 과제는 학습 역량을 제한하는 엄밀한 평가 기준의 부족을 해결하는 것이다. 복잡하든 단순하든 모든 개입은 명시적이든 암묵적이든 나름의 변화이론 위에 서 있으며, 평가는 결국 그 이론을 정직하게 검증하는 과정이다. 따라서 우리가 마주한 문제는 방법론의 문제가 아니라 전략의 문제다. 그리고 민주주의적 의미에서 이는 정치적 과제이기도 하다. 신뢰할 수 있는 지식이 없다면 시민사회는 눈을 가린 채 움직일 수밖에 없고, 결국 그 대가는 효과적인 해결책이 가장 절실한 사람들에게 돌아간다. 학습하는 섹터는 사람들의 삶을 지속적으로 개선할 수 있다. 반면 학습하지 않는 섹터는 아무리 열심히 일해도 세상을 거의 바꾸지 못한다. 필란트로피 기관과 현장의 조직들, 그리고 평가자들은 이 현실을 바꿀 수 있는 가능성을 갖고 있으며, 동시에 그렇게 해야 할 책임도 지니고 있다.
> 원문 기사 보기
MARCO DI NATALE
마르코 디 나탈레는 기술 관련 공공 정책에 집중하는 시빅 하우스Civic House의 연구·정책 어드보커시 부문 시빅 컴퍼스Civic Compass에서 일하고 있다. 임팩트 및 프로세스 평가를 전문으로 하며, 정부 고위직과 시민사회 자문에 걸친 폭넓은 분야의 경력을 보유하고 있다. 이전에는 부에노스아이레스 시 정부의 평가 이니셔티브를 총괄했다.
댓글
필란트로피 · 측정과 평가
왜 우리는 더 많이 측정하지만,
더 적게 배우는가?
2026-1
MARCO DI NATALE
Summary. 평가의 방법론을 지나치게 강조하다 보면 결과의 정밀성을 확보하고, 전반적인 학습 체계를 구축하는 것처럼 본질적으로 더욱 중요한 과제를 놓칠 수 있다.
(사진 출처: iStock/adventtr)
지난 20년간 임팩트 평가는 소셜섹터의 핵심 화두로 자리 잡았다. 하지만 사회적 임팩트를 어떻게 측정할 것인가라는 논의의 이면에는 구조적인 문제가 존재한다. 우리는 어떤 방법을 사용하든 ‘무엇이 효과적인가’에 대한 신뢰할 만한 지식을 충분히 만들어내지 못하고 있다. 방법론과 관련한 논의의 상당 부분이 무작위 대조군 실험 연구 방법RCTs에 대한 이야기에 치우쳐 있는 것이 사실이다. 하지만 시민사회와 필란트로피 생태계가 체계적으로 학습할 수 있게 해주는 기준과 역량, 제도적 기반에 대한 논의는 부족하며, 진짜 필요한 논의의 공백은 바로 이 지점에 존재한다. 이 글은 임팩트 평가에서 무엇이 진정으로 중요한지에 대해 논의의 초점을 다시 맞추고자 한다. 핵심은 ‘엄밀성rigor’이다.
나는 정부 기관 안에서 실험적/비실험적 연구를 모두 포함한 임팩트 평가 과정을 이끌어 왔고, 그 이후에는 시민사회 조직들과 필란트로피 지원기관들을 대상으로 자문을 수행했다. 이러한 경험을 바탕으로 나는 평가 방법론에 대한 논의의 공백이 어떻게 서로 다른 양상으로 심화되어 가는지를 관찰할 수 있었다. 하나의 양상으로는, 보고 요건의 내용들이 종종 변화 과정에 대한 이해보다는 속도나 규모, 규정 준수를 더 우선시하는 것이다. 또 다른 양상으로는 실험적·정량적 접근에 대한 비판이 오히려 기본적인 과학적 논리조차 갖추지 못한 평가를 정당화하는 데 사용되기도 한다. 사회문제가 복잡하다는 이유, 혹은 사회적 목적을 추구한다는 이유만으로 신뢰할 수 있는 근거와 추론의 기준을 내려놓아도 괜찮다고 여기는 것이다. 이 글은 이러한 논의 흐름이 어떻게 서로 맞물려 형성되었는지, 그리고 보다 엄밀하고 학습 지향적인 평가 접근 방식이 필란트로피 지원기관과 사업 수행기관, 평가자에게 무엇을 요구하는지를 살펴본다.
RCTs에 대한 잘못된 딜레마
무작위 대조군 실험 연구 방법은 2000년대 초부터 개발협력과 사회정책 분야에서 임팩트를 평가하는 가장 영향력 있는 도구 중 하나로 부상했다. 이러한 흐름은 에스터 뒤플로Esther Duflo와 공동 연구자들, 그리고 압둘 라티프 자밀 빈곤 퇴치 연구소J-PAL와 같은 연구 기관의 역할과 깊이 연결되어 있다. 특히 J-PAL은 정부 기관, 비영리단체, 다자간 협력 기구 전반에 걸쳐 실험적 접근 방법의 확산을 이끌어 왔다.
실험적 접근 방법이 확산되면서 임팩트를 이해하고 평가하는 방식은 크게 바뀌었고, 이에 대한 열광과 반발이 동시에 나타났다. 그러나 시간이 흐르면서 실험적 접근 방법에 대한 논쟁은 점차 RCTs 자체를 지지하거나 반대하는 선택의 문제로 프레이밍 되었다. 인과 추론 도구로서 RCTs가 가진 가치가 이미 널리 인정받고 있음에도 불구하고 말이다. 그 결과 논의의 초점은 보다 중요한 질문으로부터 멀어졌다. 즉, 실험 연구든 비실험 연구든 관계없이 엄밀한 평가 기준을 어떻게 적용해 섹터 전반의 학습을 강화할 것인가라는 질문이 가려진 것이다.
니콜 P. 마웰Nicole P. Marwell과 제니퍼 E. 모슬리Jennifer E. Mosley는 최근 SSIR에 실린 아티클에서 임팩트 평가를 위한 자금을 지원할 때, RCTs와 같은 실험적 연구 방법을 우대하거나 과도하게 강조하면 기술 역량이 더욱 뛰어난 조직들에게 유리한 방향으로 지원 불평등을 심화시킬 수 있다고 주장한다. 또한 복잡한 사회적 맥락에서는 실험적 평가 설계가 확실성을 과도하게 부풀리거나, 무엇을 의미 있는 임팩트로 볼 것인지에 대한 범위를 지나치게 좁힐 수 있다고 지적한다. 또한 복잡한 사회적 맥락 안에서 실험적인 평가 전략을 설계하는 것은 확실성을 과장하거나 의미 있는 임팩트의 범위를 좁힐 수 있음을 주의해야 한다고 말한다. 이러한 비판은 실험적 연구방법 자체를 부정하는 것이 아니라, 이러한 평가방식을 소셜섹터 전반의 임팩트 측정과 자원 배분을 위한 지배적인 기준으로 삼는 것에 의문을 제기하는 것이다.
앞서 살펴본 주장들의 타당성 여부를 떠나서, 현재 소셜섹터가 처한 상황을 고려한다면 이러한 논쟁의 방향은 애초에 잘못 설정된 것이다. 시민사회와 필란트로피 생태계가 직면한 문제는 RCTs의 문제점이 아니라 평가의 엄밀성과 기준의 문제다. 더 구체적으로 말하면, 일부 조직은 최소한의 평가 체계조차 갖추지 못하고 있으며, 필란트로피 기관들 역시 평가 역량을 포함한 조직의 제도적 역량을 구축하는 데 충분히 투자하지 않았다.
우리는 평가를 너무 적게 하고, 올바르게 평가하지도 않으며, 평가를 통해 학습하지도 않는다
공공정책 및 임팩트 평가 연구자인 에이미 L. 가드너Amy L. Gardner와 클레어 D. 브린디스Claire D. Brindis의 2017년 조사 결과에 따르면, 어드보커시 활동에 대한 평가를 수행한 평가 전문가 106명 가운데 실험적 연구방법을 활용한 비율은 6%에 불과했다. 그뿐만 아니라, 미국의 효과적 필란트로피 센터the Center for Effective Philanthropy, CEP와 평가 혁신 센터the Center for Evaluation Innovation, CEI가 미국과 캐나다에 위치한 127개의 재단들을 대상으로 실시한 조사에 따르면 재단들이 지원한 평가 중에서 RCTs는 5건 중 1건에 불과했다. 이 조사 결과가 전체 현황을 완전히 대표하는 것은 아니지만 우리가 확인 가능한 공개된 조사 결과 중에서 가장 큰 규모의 조사이며, 한 가지 중요한 시사점을 제시해 준다. 평가 현장에서 실험적 연구 방법론이 지배적인 비중을 차지하는 것 자체가 문제의 핵심이 아니라는 것이다. 우리가 당면한 진짜 문제는 현실과는 거리가 먼 학술적인 논쟁이 지속되는 것이다. RCTs를 둘러싼 논쟁은 지식 생산의 관점에서는 중요한 의미를 가질 수 있지만, 정작 소셜섹터 현장이 전문적인 평가 체계를 도입할 때 마주하는 현실적인 어려움과는 괴리가 존재한다.
보다 정확히 말하면, 평가라는 개념은 반복적으로 사용되고 있지만 실제 현장에서의 실행은 그에 미치지 못하고 있다. CEP-CEI의 보고서에 따르면, 별도의 평가 부서를 둔 재단은 10곳 중 6곳에 불과했다. 프로그램 운영 담당 직원 10명당 평가를 전담하는 상근직은 1명뿐이다. 사업을 추진하는 데 투입하는 자원과 그 사업이 효과적인지 파악하는 데 투입하는 자원의 비율이 10 대 1인 셈이다. 평가를 실시한다고 해도 응답자의 4분의 3 이상이 평가 결과를 의미 있는 인사이트로 전환하는 데 어려움을 겪고 있으며, 그 결과를 외부와 공유하는 것을 우선순위로 삼는 직원은 9%에 그치는 것으로 나타났다. 또한 응답자의 3분의 2 이상은 자신이 속한 재단이 수혜기관의 평가 및 데이터 수집 역량 강화에 지나치게 적은 투자를 한다고 답변했다.
필란트로피는 단순히 사업에 자금을 지원하는 것을 넘어, 무엇이 효과적인 사회변화를 만들어내는지 배우고 그 지식을 축적하는 것이다. 그런 점에서 이러한 수치는 더욱 우려스럽다. 재단들은 거의 절반의 경우 수혜기관의 성과를 제대로 이해하지 못하고 있었으며, 최종 수혜자에게 미친 영향을 파악하고 있는 재단은 5곳 중 1곳에 불과했다. 이러한 지식의 결핍은, 응답자의 10명 중 6명이 평가 결과가 향후 신규 지원금을 집행하는 결정에 별다른 영향을 미치지 않을 것이라고 답한 조사 결과에서도 고스란히 드러난다.
시민사회 영역의 상황도 마찬가지다. 시민사회의 혁신과 지속가능성을 지원하는 라틴아메리카 비영리단체 시빅 하우스Civic House가 2025년 실시한 지속가능한 재정 모델 조사 결과에 따르면, 라틴아메리카와 카리브해 지역 조직 중 연간 운영 전략 계획을 수립하는 곳은 3곳 중 1곳에 불과했으며, 사업 결과 또는 임팩트에 대한 연간 평가를 실시하는 조직도 비슷한 비율에 그쳤다.
이것은 단순히 양의 문제가 아니다. 나는 기술 관련 공공정책에 집중하는 시빅 하우스의 연구·정책 옹호 조직인 시빅 컴퍼스Civic Compass에서 일하며 아르헨티나, 멕시코, 콜롬비아의 시민사회 조직 60곳을 대상으로 각 조직이 가진 변화이론에 대한 질적 평가를 수행했다. 약 45%의 조직은 캠페인이 성공했을 때 어떤 변화나 효과가 나타나야 하는지를 명확하게 설명하는 데 어려움을 겪었고, 약 40%는 일상적인 활동과 서비스, 산출물outputs, 성과outcomes를 구분하지 못했다. 이러한 결과는 많은 조직이 자신들이 활동하는 분야에 대해서는 깊이 이해하고 있지만, 성과를 모니터링하고 평가하는 데 필요한 구조적인 해석 역량을 갖추지 못하고 있음을 보여준다. 그 결과 사업의 방향을 적시에 수정하거나 개선하는 일이 어려워지거나 아예 불가능해질 수 있다.
앞서 살펴본 모든 데이터는 염려스러운 패턴을 보여준다. 우리는 ‘평가’는 더 많이 하지만, 평가를 통해 배우는 것은 적은 상태다. 소셜섹터 전반에 걸쳐 평가라는 것이 긍정적인 내러티브가 단순히 나열되는 것으로 변질된 것이다. 잘못되는 일은 거의 없고, 실패란 존재하지 않는 것처럼 보인다. 학자와 실무자들이 ‘어떤 평가 방법론이 효과적인가’를 둘러싼 어젠다를 비판하는 데 상당한 시간을 쏟는 동안, 정작 현장을 지배하는 논리는 “우리가 얼마나 많은 사람들에게 도달했는가?”에 가깝다. 그 사람들이 실제로 도움받은 것이 맞는지에 대해서는 전혀 모른 채 말이다. 평가자로 일해 온 나의 경험을 돌이켜보면, 그동안 나는 취업 지원 프로그램에 대해서 실제로 취업한 인원보다는 프로그램 참여자 인원에 대해 훨씬 더 자주 질문을 받아왔다.
본질로 들어가지 못하는 평가 문화
이 모든 일은 진심 어린 선의에 의해 움직이는 섹터 안에서 벌어지고 있다. 많은 조직과 지원 기관들은 삶을 더 좋게 바꾸겠다는 진정한 열망으로 움직인다. 엄밀한 평가가 이루어지지 않는 것은 악의의 문제가 아니라, 제도적 설계와 인센티브 체계, 실행 역량의 문제다. 그리고 무엇보다도, 더 많이 하는 것이 곧 더 많은 성과를 내는 것이라는 믿음이 너무도 자연스럽게 받아들여지고 있기 때문이다.
시민사회를 옹호하면서도 동시에 그들의 활동이 ‘평가하기에는 너무 복잡하다’라는 논리를 받아들이는 것은 시민사회를 영구적으로 불리한 위치에 머물게 하는 일이다. 그 결과 다른 주체들이 충분한 도구와 근거를 갖춘 채 전략적 논의에 참여할 때, 시민사회는 불완전한 도구를 들고 그 자리에 나서게 된다. 그 결과 시민사회는 목소리는 들리지만 실제 영향력은 제한된 상징적 존재로 남게 된다. 시민사회의 변화 역량이 한계에 부딪히는 이유는 결코 헌신이나 의지가 부족해서가 아니다. 무엇이 효과적이고 무엇이 그렇지 않은지를 학습할 수 있는 체계가 부재하기 때문이다.
이러한 흐름은 내가 ‘명목주의nominality의 지배’라고 부르는 현상을 더욱 심화시킨다. 실제 변화를 보여주는 지표가 아닌, 활동과 산출물을 세는 지표(예: 진행된 워크숍 수, 접촉한 사람 수)가 변화의 증거인 것처럼 취급되는 것이다. 이러한 상황 속에서 수혜자는 숫자가 되고, 성과는 인포그래픽이 된다. 그리고 사업은 효과가 아니라 규모로 측정된다. 시민사회는 학습의 기회는 거의 얻지 못한 채 지치도록 일만 하는 위험에 처하게 되고, 보고하는 것이 이해하는 것보다 더 중요해지는 논리에 갇힌다. 필란트로피 기관들이 이러한 패턴을 뒤집기 위해 할 수 있는 몇 가지 실천 방안을 살펴보자.
이론에 기반하여 사업 설계하기: 필란트로피 기관은 지원 대상 기관에게 요구하는 보고서의 양식만 바꾸는 것이 아니라, 지원을 제공하는 방식부터 다시 설계할 필요가 있다. 많은 경우 지원기관은 변화가 실제로 어떻게 일어날 것인지에 대한 설명을 요구하기보다, 새로움이나 규모, 빠른 성과 가능성에 더 주목한다. 그러나 보다 생산적인 출발점은 제안된 사업을 유사한 맥락에서 효과가 확인된 기존의 근거와 비교해 검토하는 것이다. 해결책은 서로 다를 수 있지만, 그 해결책이 다루고자 하는 행동이나 제도적인 제약 조건들은 대개 비슷하기 때문이다. 우리는 이러한 변화를 통해 프로그램을 끊임없이 다시 만들어내는 일에서 벗어나, 접근성과 인센티브, 지원 체계에 대한 구체적이고 이론에 기반한 가정들이 현장에서 실제로 작동하는지를 검증하는 데 집중할 수 있다.
기대 수준 바로 세우기: 사업 일정을 어떻게 설정하느냐 또한 중요한 문제이다. 많은 지원 사업이 여러 해에 걸쳐 운영되지만, 정작 성과는 단기적이고 형식적인 목표치들을 기준으로 평가되곤 한다. 이는 같은 사람들에게 더 나은 변화를 만들어내기 위해 사업을 꾸준히 개선하기보다, 새로운 사업을 계속 만들어내도록 부추긴다. 구조적인 문제는 결코 빠르게 해결되지 않지만, 그렇다고 해서 점진적인 개선이 무의미하다는 뜻은 아니다. 예를 들어 취약성의 여러 차원 가운데 단 한 가지(고용 안정성, 학업 지속성, 서비스 접근성 등)만 개선되더라도 사람들의 삶은 의미 있게 달라질 수 있으며, 때로는 연쇄적인 변화로 이어지기도 한다. 이러한 변화가 문제를 당장 ‘해결’하지 못했다는 이유로 하찮게 여기는 것은, 사회 변화가 어떻게 일어나는지에 대한 무지에서 비롯된 것이다. 따라서 필란트로피 기관이 지원 조직에게 요구해야 하는 것은 실제 현장에서 ‘개선’이 어떤 모습으로 나타날지에 대한 명확성이다. 즉, 사업이 제대로 작동한다면 타겟 수혜자들의 삶이 어떻게 달라질 것인지, 그리고 우리는 그 변화를 어떻게 포착할 것인지 명확히 짚어내야 한다.
역량 강화에 집중하기: 평가는 흔히 사업 기획 단계부터 통합되어야 하는 전문적인 영역이 아니라, 프로젝트가 끝날 때 채워야 하는 보고서 양식처럼 취급되곤 한다. 특히 규모가 작은 단체들이 사업 수행과 평가 중 하나에만 자원을 투입해야 하는 상황에 놓이면, 기부자의 기대는 충족할지 몰라도 실질적인 학습은 남지 않는 피상적인 모니터링으로 이어지기 쉽다. 데이터는 급하게 수집되고, 스토리는 성공을 표현하기 위해 짜맞추기 식으로 구성되며, 일단 지원이 끝나고 나면 단체도 지원 시스템도 향후 더 좋은 의사결정을 내릴 수 있는 아무런 역량을 갖추지 못하게 된다. 필란트로피 기관이 진정으로 ‘학습’에 진심이라면, 지원 사업을 설계할 때 단체의 내부 또는 외부 차원에서 평가의 전문성을 구축할 수 있도록 명시적으로 지원해야 한다. 또한 사후적인 판단에만 그치지 않고, 사업 운영 과정에서 방향성을 수정할 수 있도록 모니터링 시스템 구축에 필요한 시간과 자원을 보장해 주어야 한다.
사업의 일관성과 설계 원칙 세우기: 이와 맞닿아 있는 또 다른 문제는 사업을 설계할 때 여러 활동을 덧붙이며 점점 복잡하게 설계하는 경향이다. 이는 흔히 복잡성 자체가 사업의 야심을 보여주거나 변화 가능성을 높여줄 것이라는 믿음에서 비롯된다. 그러나 명확한 변화이론 없이 여러 활동을 결합하면 참여자마다 경험하는 과정이 크게 달라지게 되고, 어떤 요소가 실제 변화를 만들었는지, 무엇은 효과가 없었는지, 그리고 왜 그런 결과가 나타났는지를 파악하기 어려워진다. 이런 사업은 성과가 좋지 않으면 아무것도 효과가 없었다는 결론에 이르기 쉽고, 반대로 좋은 결과가 나오면 모든 요소가 효과적이었다는 착각을 불러일으킨다. 하지만 실제로 변화를 만들어낸 것은 일부 요소에 불과할 수 있다. 이러한 불명확성은 학습을 가로막을 뿐 아니라 사업의 책임 있는 확장을 어렵게 만든다. 임기응변식으로 설계된 사업을 다른 곳으로 확장하려면, 같은 수준의 즉흥성을 감당할 수 있는 예외적인 역량의 조직이 필요하기 때문이다. 따라서 불필요한 요소를 줄이고 개입을 의도적으로 설계하는 등, 보다 명확한 변화이론을 중심으로 지원사업을 설계해야 한다. 그래야 단일 지원사업이 종료된 이후에도 학습 역량과 실행 역량이 현장에 남아 있을 수 있다.
필란트로피 기관은 속도나 규모를 요구해서는 안 된다. 학습을 요구해야 한다. 사회변화에 투입되는 자원은 너무나도 귀중하기 때문에, 사람들의 삶에 대해 거의 아무것도 말해주지 않는 활동 지표로 희석되어서는 안 된다. 진정한 혁신은 측정되어야 한다. 그렇지 않으면 그것은 변화인 척하는 보수주의에 불과하다.
RCTs와 다른 방법론들이 실제로 제공하는 것
이 글은 RCTs만이 유효한 평가 방법이라고 옹호하는 글은 아니다. 실험적 연구 방법론은 특히나 복잡한 사회적 개입의 맥락 안에서 상당한 한계를 가진다. 하지만 RCTs를 수행할 수 없다는 것이 엄밀한 평가를 회피할 구실이 될 수는 없다. 무작위 배정을 할 수 없다고 해서 왜 특정한 개입이 효과를 낼 것으로 생각하는지 설명해야 할 책임까지 사라지는 것은 아니다. 이러한 노력을 포기하는 것은 단지 창의성의 부족이 아니라 윤리적 문제이기도 하다. 사람들의 삶을 더 나아지게 할 수 있는 지식을 포기하는 일이기 때문이다.
그렇지만 실험적 평가와 비실험적 평가를 모두 수행해 본 경험자로서, 나는 실험적 방법이 지닌 고유한 가치를 강조하지 않을 수 없다. 실험적 방법은 비교적 단순한 전제 아래에서 인과관계를 추론할 수 있게 해주는 유일한 접근법이기 때문이다. 비판론자들은 종종 윤리적 문제를 제기하거나, RCTs가 변화의 메커니즘을 가려버리는 ‘블랙박스’를 만든다고 주장한다. 그러나 어떤 평가도—실험적이든 아니든—블랙박스처럼 작동해서는 안 된다. 메커니즘 없이는 학습도 없다. 모든 제대로 된 평가는 견고한 변화이론에 기반하며, 과정과 가정, 변화의 메커니즘을 이해하기 위해 보완적인 방법론을 함께 활용한다. 만약 평가가 이러한 역할을 하지 못한다면, 문제는 방법론이 아니라 평가자에게 있다.
흔히 등장하는 또 다른 비판은 RCTs가 너무 오래 걸린다는 것이다. 그러나 이러한 비판은 본질적인 질문을 던지게 만든다. 우리는 정말 복잡한 사회적 변화가 하룻밤 사이에 일어나길 기대하는가? 시간이 걸리는 것은 방법론이 아니라 변화라는 현상 자체다. RCTs를 비판하는 연구들을 포함해 많은 정성적 연구와 설문 결과 자료도 발행되기까지 수년이 걸린다. 문제는 방법론이 아니라 사회변화가 가진 시간의 속성이다.
비실험적 평가 방식들 역시 그동안 가치 있는 도구들을 발전시켜 왔다. 엄밀한 질적 연구 방법론은 양적 방법론과 마찬가지로 추론의 논리에 기반하며, 체계적인 근거를 바탕으로 특정 개입이 실제로 변화를 만들어냈는지, 그리고 그 변화가 어떤 경로를 통해 나타났는지를 검토한다. 특히 복잡한 맥락에서는 기여분석Contribution Analysis이 유용하다. 기여분석은 직접적인 인과관계를 입증하지는 않지만, 특정 개입이 변화에 어떻게 기여했는지에 대해 근거에 기반한 설명을 제시한다. 분석 가능한 사례 수가 적은 경우에는 프로세스 트레이싱Process Tracing이나 베이지안 업데이트Bayesian Updating와 같은 접근법을 활용할 수 있다. 이러한 방법은 단일한 관찰에 의존하기보다 시간에 따라 증거를 축적하고 비교하면서 가설을 검증하고 수정해 나간다. 접근 방식은 서로 다르지만, 이들이 공유하는 원칙은 분명하다. 변화의 사례 이야기만으로는 충분하지 않다는 것이다. 우리에겐 논리적 설명이 필요하다.
나는 한계를 핑계로 아무 말도 하지 않는 연구보다, 자신의 한계를 솔직하게 드러내면서도 의미 있는 통찰을 제공하는 연구를 높이 평가하게 되었다. 평가의 엄밀성은 얼마나 많은 진실을 밝혀냈다고 주장하는가로 측정되지 않는다. 중요한 것은 그것이 얼마나 올바르게 판단하고 설명하는가이다. 즉, 어떤 전제를 두었는지를 투명하게 밝히고, 무엇을 알 수 있고 무엇을 알 수 없는지를 인정하며, 자신이 제시하는 주장에 책임을 지는 태도다.
이론 기반의 접근법과 엄밀한 평가 방법론(실험적 방법을 포함한다)의 진가는 널리 받아들여져 온 통념이 사실은 잘못되었음을 밝혀낼 때 가장 분명하게 드러난다. 대표적인 사례가 현금 지급 프로그램이다. 조건 없는 현금 지원은 사람들이 일을 덜 하게 만들 것이라는 오랜 통념과 달리, 2017년의 한 연구는 이러한 지원이 사람들의 경제활동 참여를 줄이지 않으면서도 삶의 질을 지속적으로 향상시켰음을 보여주었다.
나의 평가 실무 경험에서도 이와 유사한 교훈을 여러 차례 확인할 수 있었다. 부에노스아이레스에서 공공 재정으로 운영되던 한 웹 개발 교육 프로그램의 경우, 초기 데이터만 놓고 보면 취업률이 감소한 것처럼 보였다. 그러나 후속 조사를 통해 참가자들이 실제로는 테크 산업에 진입하고 있었지만, 상당수가 비정규적인 형태로 일하고 있다는 사실이 드러났다. 우리는 이를 단순히 프로그램의 실패로 해석하지 않았다. 대신 평가 결과를 바탕으로 프로그램 설계를 개선했다. 구직 역량 강화 교육을 추가하고, 참가자들이 공식 노동시장으로 진입할 수 있도록 민간 기업과의 연계를 강화한 것이다. 또 다른 사례로, 중등교육 단계 학생들을 대상으로 한 직접 현금 지원 프로그램을 평가했을 때는 학업 지속과 관련해 지원이 예상과는 다른 방식으로 작동하고 있다는 징후가 관찰되었다. 그러나 추가 분석 결과, 문제는 현금 지원 자체가 아니라 취약 가정이 직면한 보다 광범위한 제약을 상쇄하기에 지원 규모가 충분하지 않았다는 점에 있었다. 두 사례 모두에서 엄밀한 정량 분석과 질적 탐구를 결합한 접근은 정책 논의의 방향 자체를 바꾸어 놓았다. 논의의 초점은 “이 사업이 효과가 있는가”를 따지는 데서 “어떻게 하면 사업 설계를 개선해 목표를 더 잘 달성할 수 있는가”를 고민하는 방향으로 옮겨갔다.
학습하는 섹터를 향하여: 전략적인 책임으로서의 엄밀성
실험적 연구 방법론의 기본 원칙들은 RCTs를 단 한 번도 수행하지 않을 조직들에도 매우 중요한 교훈을 준다. 명확한 변화이론을 세우는 것, 성과가 만들어지는 과정의 각 단계가 어떻게 연결되는지를 설명하는 전제를 분명히 하는 것, 개입 설계를 가능한 한 단순하게 만드는 것, 그리고 여러 해결책을 동시에 시험하고 비교할 수 있는 논리(요인설계 및 다중 처리군 설계)를 갖추는 것이 그것이다. 이러한 원칙은 특정한 실험 방법론에만 속한 것이 아니다. 이는 엄밀하게 사고하고 학습하기 위한 기본 원칙이며, 모든 조직이 적용할 수 있는 원칙이다.
평가의 목적이 유용한 지식을 얻는 데 있다면, RCTs와 비RCTs 중 어느 방법을 선택할 것인가는 핵심 문제가 아니다. 우리가 극복해야 할 과제는 학습 역량을 제한하는 엄밀한 평가 기준의 부족을 해결하는 것이다. 복잡하든 단순하든 모든 개입은 명시적이든 암묵적이든 나름의 변화이론 위에 서 있으며, 평가는 결국 그 이론을 정직하게 검증하는 과정이다. 따라서 우리가 마주한 문제는 방법론의 문제가 아니라 전략의 문제다. 그리고 민주주의적 의미에서 이는 정치적 과제이기도 하다. 신뢰할 수 있는 지식이 없다면 시민사회는 눈을 가린 채 움직일 수밖에 없고, 결국 그 대가는 효과적인 해결책이 가장 절실한 사람들에게 돌아간다. 학습하는 섹터는 사람들의 삶을 지속적으로 개선할 수 있다. 반면 학습하지 않는 섹터는 아무리 열심히 일해도 세상을 거의 바꾸지 못한다. 필란트로피 기관과 현장의 조직들, 그리고 평가자들은 이 현실을 바꿀 수 있는 가능성을 갖고 있으며, 동시에 그렇게 해야 할 책임도 지니고 있다.
> 원문 기사 보기
MARCO DI NATALE
마르코 디 나탈레는 기술 관련 공공 정책에 집중하는 시빅 하우스Civic House의 연구·정책 어드보커시 부문 시빅 컴퍼스Civic Compass에서 일하고 있다. 임팩트 및 프로세스 평가를 전문으로 하며, 정부 고위직과 시민사회 자문에 걸친 폭넓은 분야의 경력을 보유하고 있다. 이전에는 부에노스아이레스 시 정부의 평가 이니셔티브를 총괄했다.