필자의 제약 분석, 임상 연구, 상업 운영 경력은 기술 혁신과 규제 준수 사이의 긴장 속에서 형성돼 왔다. HIPAA, GxP, GDPR, 21 CFR 파트 11(21 CFR Part 11) 같은 규제 프레임워크는 선택사항이 아니라 필수다. 이는 민감한 건강 데이터를 보호하고 과학적 무결성을 보장하며, 의료 시스템에 대한 공공 신뢰를 유지하는 안전장치다.

그러나 필자가 반복해서 목격한 바에 따르면, 이 같은 규제는 중요한 보호 장치를 제공하면서도 동시에 디지털 트랜스포메이션, 특히 AI 도입 프로젝트의 속도를 늦추는 장애물이 되곤 했다. 많은 초기 AI 프로젝트가 좌초된 이유는 모델의 정확성이나 적합성 부족 때문이 아니라, 데이터 아키텍처 자체가 처음부터 규제 기관의 요구를 충족하도록 설계되지 않았기 때문이었다.

필자는 AI가 이런 환경에서 제대로 작동하려면 시스템 설계의 근본부터 달라져야 한다는 점을 깨달았다. 규제 준수는 감사 직전에 덧붙이는 ‘보조 레이어’가 아니라, 아키텍처라는 직물 속에 처음부터 직조돼야 하는 본질적 요소다. 이에 필자는 거버넌스, 암호화, 관찰 가능성을 선택적 기능이 아닌 기본 상태로 내재화했다. 그 결과, 컴플라이언스팀은 AI를 위험 요소가 아니라 측정 가능하고 설명 가능하며 감사 가능한 자산으로 인식할 수 있게 됐다. 이 같은 관점의 전환은 규제가 엄격한 산업에서 기업이 책임 있는 방식으로 AI를 도입하는 전환점이 됐다.

규제 환경에서 AI 아키텍처를 설계한 방식

필자가 테라데이터(Teradata)와 SAS 같은 레거시 시스템에서 애저 데이터브릭스(Azure Databricks), 시냅스(Synapse), 애저 데이터 레이크 스토리지(Azure Data Lake Storage, ADLS) 2세대 기반의 클라우드 네이티브 생태계로 전환할 때, 필자의 역할은 단순히 확장성을 보장하거나 운영 비용을 줄이는 것에 그치지 않았다. 데이터 과학자, 비즈니스 분석가, 규제 감사관, 경영진 등 다양한 이해관계자가 모두 신뢰 속에서 활동할 수 있는 생태계를 구축하는 것이었다. 데이터 과학자는 실험할 수 있는 민첩성을 필요로 했고, 컴플라이언스팀은 감사를 위한 투명성을 요구했으며, 경영진은 중요한 의사결정을 뒷받침할 신뢰할 수 있는 인사이트를 필요로 했다.

필자는 이 과제를 3가지 원칙으로 풀어갔다.

첫째, 수집, 변환, 피처 엔지니어링, 모델 학습, 배포 단계를 각각 모듈형 존(zone)으로 설계했다. 이를 통해 전체 파이프라인을 방해하지 않고도 각 단계를 독립적으로 검증하고 감사할 수 있었다. 둘째, 메타데이터 기반 설계를 통해 규제 준수 활동을 자동화했다. 파이프라인은 데이터 계보 그래프, 검증 보고서, 감사 로그를 자동으로 생성해 수작업 문서화의 비효율성과 주관성을 제거했다. 마지막으로 가장 중요한 원칙은, 아키텍처에 거버넌스와 보안을 기본값으로 심은 것이다. 암호화, ID 관리, 키 핸들링은 선택 사항이 아니라 모든 데이터셋, 노트북, 모델이 존재하는 데 필요한 기본 조건이었다.

거버넌스와 보안을 기본값으로

거버넌스와 보안을 기본값으로 설계한다는 것은 데이터셋·모델·컴퓨팅 클러스터 등 어떤 리소스든 추가 설정 없이 보안이 보장된 상태에서 제공되도록 하는 것을 의미한다. 필자는 이를 위해 마이크로소프트의 암호화 베스트 프랙티스를 청사진으로 삼았다. 저장 데이터는 항상 AES-256으로 암호화하며, 서비스 관리 키 또는 고객 관리 키 중 하나를 선택할 수 있도록 했다. 특히 가장 높은 수준의 통제가 요구되는 프로젝트에는 애저 키 볼트(Azure Key Vault)에 안전하게 보관된 고객 관리 키를 적용해 FIPS 140-2 규정을 충족했다. 이 접근법은 규제 준수가 배포 단계에서 선택 사항이 아니라 모든 서비스 전반에 강제되는 기본 조건임을 보장했다.

전송 중인 데이터에 대해서는 아키텍처 내 모든 연결과 API 호출을 TLS로 보호했다. 보안을 확보한 전송은 개발 이후 추가로 설정하는 항목이 아니라, 애저 정책과 CI/CD 파이프라인을 통해 강제되는 기본 조건이었다. 사용 중인 데이터의 경우, 민감한 정보가 메모리에서 처리되는 동안에도 보호되도록 컨피덴셜 컴퓨팅(Confidential Computing)과 애저 VM을 위한 신뢰할 수 있는 시작(Trusted Launch for Azure virtual machines)을 도입했다. 이를 통해 데이터가 연산되는 순간에도 암호화 상태를 유지하도록 함으로써 규제 산업에서 흔히 간과되는 중대한 보안 공백을 메울 수 있었다.

키 관리는 이 거버넌스 모델의 중추였다. 필자는 애저 키 볼트를 암호화 키, 비밀, 인증서를 관리하는 중앙 집중식 저장소로 활용했다. 여기에 마이크로소프트 엔트라 ID(Microsoft Entra ID, 구 애저 AD) 를 결합해, 임상의·데이터 과학자·감사관 등 적절한 인물만 적절한 자원에 접근할 수 있는 세분화된 역할 기반 접근 제어(role-based access control, RBAC) 를 구현했다. 또한 키와 관련한 모든 상호작용은 기록·감사·검토할 수 있도록 설계했다. 이렇게 키 관리는 숨겨진 위험 요소에서 투명하고 방어 가능한 통제 메커니즘으로 탈바꿈했다.

연구를 위한 안전한 컴퓨팅 환경

임상 시험이나 유전체 연구처럼 연구 중심 산업에서 AI 워크로드는 대개 매우 민감한 데이터 세트를 다룬다. 필자는 마이크로소프트의 시큐어 컴퓨트 포 리서치(Secure Compute for Research) 가이드라인을 따르며, 규제 환경에 특화된 격리형 환경을 설계했다. 이 환경은 네트워크 격리 클러스터, VNET이 주입된 데이터브릭스 워크스페이스, 프라이빗 엔드포인트를 통해서만 접근 가능한 스토리지 계정으로 구성됐다. 이런 설계를 통해 민감 데이터가 공용 인터넷을 절대 통과하지 않도록 보장했으며, 가장 엄격한 규제 요건도 충족할 수 있었다.

네트워크 격리뿐 아니라, 필자는 연구원과 분석가를 위한 안전한 온보딩 프로세스도 통합했다. 환경으로 유입되는 데이터는 자동으로 비식별화되거나 토큰화돼 개인 식별 정보가 노출될 위험을 줄이고, 데이터 스키마는 수집 단계에서 검증돼, 잘못된 형식이거나 불완전한 데이터가 하류 파이프라인을 오염시키지 못하도록 했다. 이 환경에서 학습되는 모든 AI 모델에 대해서는 ML플로우(MLflow)를 활용해 하이퍼파라미터, 학습 데이터 세트, 결과를 기록했다. 이를 통해 모델이 내린 모든 결정을 재현·검증·방어할 수 있는 체계를 마련했다.

이 아키텍처는 혁신을 지원하면서도 민감 자산을 보호하는 균형을 이뤘다. 연구원들은 모든 활동이 강력한 보안 및 컴플라이언스 기본값에 의해 관리된다는 확신 속에서 안심하고 혁신을 이어갈 수 있었다. 동시에 컴플라이언스팀은 연구의 진전을 저해하지 않으면서 혁신이 규제 요건을 충족하는지 검증할 수 있었다.

모든 사용자 유형을 위한 거버넌스 파이프라인

규제 중심 아키텍처는 이해관계자가 의존하는 다양한 파이프라인 전반에 거버넌스와 보안 원칙이 일관되게 내재되지 않는 한 성공할 수 없다. 최종 사용자, 데이터 과학자, 비즈니스 인텔리전스 분석가, 수요 예측 및 마케팅 믹스 전략가 등 각 사용자 유형, 즉 페르소나(persona)는 기능적일 뿐 아니라 본질적으로 안전하고 설명 가능하며 감사 가능한 파이프라인을 필요로 한다.

최종 사용자 파이프라인

임상의, 영업 담당자, 운영 관리자와 같은 비즈니스 사용자를 위한 파이프라인은 민감 데이터나 원본 데이터에 접근하지 않고도 안전하게 인사이트를 제공하도록 설계됐다.

• 데이터 흐름 : 이미 검증·편향성 감사·비식별화를 거친 델타 레이크(Delta Lake)의 골드(Gold) 데이터 세트에서 시작된다.
• 접근 : 프라이빗 엔드포인트를 통해서만 연결된 파워 BI(Power BI) 또는 애저 시냅스(Azure Synapse) 대시보드로 제공되며, 행 수준·열 수준 보안으로 통제된다.
• 기본 거버넌스 : 저장 데이터 암호화(AES-256), 전송 구간 TLS, 마이크로소프트 엔트라 ID 기반의 ID 접근 제어를 강제한다.
• 컴플라이언스 로그 :모든 대시보드 접근과 데이터 갱신을 기록해, 인사이트가 어떻게 소비됐는지 추적 가능한 데이터 계보를 감사인에게 제공한다.

이 구조 덕분에 최종 사용자는 HIPAA, GDPR 같은 규제를 완전히 준수하면서도 실행 가능한 권고안이나 캠페인 인사이트를 얻을 수 있다.

데이터 과학자 파이프라인

데이터 과학자는 모델 실험에서 민첩성이 필요하지만, 그 과정은 반드시 규제 준수의 틀 안에서 이뤄져야 한다. 필자는 이를 위해 워크플로 전 단계에 보안과 거버넌스를 내재화한 ML 파이프라인을 설계했다.

• 브론즈(Bronze) 수집 단계 : EHR, CRM, IoT, 임상 시험 원본 데이터를 델타 레이크에 저장한다. 이때 저장소는 변경 불가(immutable) 상태로 유지되며, 출처·타임스탬프·체크섬 같은 메타데이터 태그가 부여된다.
• 실버(Silver) 준비 단계 : 데이터에 토큰화, 비식별화, 스키마 검증을 적용해 데이터 과학자가 비식별·검증된 데이터 세트만 다루도록 보장한다.
• 골드(Gold) 피처 엔지니어링 단계 : 데이터에 공정성 지표, 드리프트 탐지, 설명 가능성 확보 모듈을 추가한다.
• 실험 추적 : 모든 실험은 ML플로우를 통해 하이퍼파라미터, 데이터 세트, 모델 결과가 자동 기록된다. 또한 모델이 운영 환경으로 배포되기 위해서는 반드시 CI/CD 게이트를 거쳐 21 CFR 파트 11 기준에 맞는 검증 승인(validation sign-off)을 통과해야 한다.

이 파이프라인은 연구의 유연성과 컴플라이언스 안정성을 동시에 확보하며, 규제 기관에는 모든 실험을 재현 가능한 증거로 제시할 수 있도록 한다.

비즈니스 인텔리전스 파이프라인

BI팀은 경영진이 참고할 보고서와 대시보드를 만들기 위해 재현 가능하고 감사 가능한 변환 과정에 의존한다. 필자는 BI 파이프라인에 규제 준수와 보안을 다음과 같이 내재화했다.

• 중앙집중형 ETL : 애저 데이터 팩토리(Azure Data Factory)와 데이터브릭스로 CRM, ERP, 서드파티 시스템에서 데이터를 수집 및 오케스트레이션한다.
• 데이터 마스킹·검증 : PHI/PII(보호 건강 정보/개인 식별 정보)가 리포팅 계층에 전파되지 않도록 보장한다.
• 집계·시각화 : 애저 시냅스나 파워 BI에서 진행하며, 페르소나에 맞춘 행 수준 보안을 적용한다. 예를 들어 지역 관리자는 본인 지역 데이터만 확인할 수 있다.
• 변경 불가 로그 기록 : 모든 ETL 실행, 데이터 세트 새로 고침, 보고서 사용 이벤트를 애저 모니터(Azure Monitor)와 로그 애널리틱스(Log Analytics) 같은 위·변조 방지 저장소에 기록한다.

이로써 BI 결과물은 전략적 의사결정을 지원할 뿐 아니라, 사후 수정 없이 규제 감사에도 그대로 대응할 수 있도록 보장된다.

예측 파이프라인

의약품 수요나 환자 복약 순응도를 예측하는 파이프라인을 위해서는 마이크로소프트의 NOF(Next-Order Forecasting) 참조 아키텍처를 확장 적용하고 모든 단계에 규제 준수 통제를 내재화했다.

• 브론즈 수집 단계 : 판매 거래, 처방전, 재고 수준과 같은 내부 데이터뿐 아니라 계절성, 역학 데이터 등 외부 신호까지 함께 수집한다.
• 실버 변환 단계 : 데이터에 스키마 정규화, 환자 단위 속성 비식별화, 민감 엔터티 토큰화를 적용한다.
• 골드 예측 피처 단계 : 데이터에 편향성 감사, 공정성 지표, 드리프트 탐지 기능을 통합해 수요 예측이 설명 가능하고 방어 가능하도록 한다.
• 모델 배포 단계 : ML플로우와 애저 키 볼트가 통합된 CI/CD 파이프라인을 통해 암호화, 키 회전, 전자 서명 승인을 완료해야만 예측 결과가 최종 공개된다.

이런 파이프라인을 통해 비즈니스 부서는 모든 예측이 재현 가능하고 규제를 준수한다는 확신 속에서 안심하고 의사결정을 내릴 수 있다.

마케팅 믹스 모델링(MMM) 파이프라인

마케팅 믹스 모델링(Market Mix Modeling, MMM) 파이프라인은 광고, 판매, 디지털 참여, 서드파티 데이터 세트를 아우르며, 종종 여러 규제 관할권을 넘나드는 특성 때문에 더 높은 수준의 정밀성이 요구된다.

• 수집 파이프라인 : 디지털 마케팅 플랫폼, 영업 현장 활동, 미디어 집행 보고서 등의 입력 데이터를 정규화하고, 모든 데이터 출처에 메타데이터 태그를 부여해 데이터 계보를 보존한다.
• 변환 파이프라인 : 판매 성과 데이터와 통합되기 전에 개인 식별자(이메일, 디바이스 ID 등)의 토큰화 및 마스킹을 강제한다.
• 모델링 파이프라인 : 회귀(regression), 인과 추론(causal inference), 베이지안 기법(Bayesian techniques) 등을 활용해 캠페인 효과성을 평가하며, 모든 과정은 데이터브릭스에서 오케스트레이션되고 ML플로우 로깅으로 추적된다.
• 거버넌스 기본값 : 중간 데이터 세트 암호화, 애저 키 볼트 기반 키 접근 관리, 공정성 대시보드를 포함해 모델이 특정 집단 편향을 증폭하지 않도록 보장한다.
• BI 통합 : 캠페인 효과 점수를 애저 시냅스와 파워 BI로 게시하며, 엄격한 RBAC 정책을 따른다.

이런 접근은 AI 기반 마케팅이 진화하더라도 GDPR, HIPAA, 기업 거버넌스 표준에 부합한다는 확신을 컴플라이언스팀에 제공한다.

가시성, 설명 가능성, 그리고 신뢰 확보

아무리 보안이 강력한 아키텍처라도 최종적으로는 출력 결과를 규제 기관이나 감사에서 설명하고 입증할 수 있어야 한다. 필자에게 있어 가시성과 설명 가능성은 이를 보장하는 핵심 축이었다. 필자는 애저 모니터와 로그 애널리틱스를 활용해 파이프라인을 실시간으로 들여다볼 수 있도록 설계했다. 대시보드에는 SLA 준수 현황, 오류 추세, 이상 탐지가 표시되므로 문제를 조기에 발견하고 신속하고 보완할 수 있다.

설명 가능성을 확보하기 위해 필자는 SHAP, LIME, 데이터브릭스 기본 해석 도구를 추론 파이프라인에 직접 통합해 모든 AI 예측에 결과뿐 아니라 그 근거가 함께 제시되도록 했다.또한 공정성 대시보드는 특정 집단에 대한 편향을 시각적으로 드러내 컴플라이언스팀이 신뢰를 훼손하기 전에 선제적으로 편향 문제를 해결하도록 한다. 더불어 지속적 검증 루프(continuous validation loop)는 모델 드리프트를 모니터링해 정확도나 공정성 기준을 충족하지 못할 경우 자동으로 재학습 또는 폐기를 트리거하도록 설계했다.

이렇게 구축한 시스템은 단순히 예측을 생성하는 AI 생태계가 아니었다. 과학적·규제적·비즈니스적 맥락에서 설명 가능하고 입증 가능하며, 신뢰할 수 있는 예측을 만들어내는 생태계였다.

비즈니스에 미친 영향

필자는 각 페르소나에 맞춘 안전한 파이프라인의 직접적인 개선 효과를 확인했다. 최종 사용자는 규제 위험에 노출되지 않고 대시보드에 접근했고 데이터 과학자는 재현 가능한 로그 기반으로 더 빠르게 실험을 진행했다. BI팀은 규제 감사를 손쉽게 통과하는 보고서를 제공했으며, 예측팀과 MMX팀은 예측 가능하면서도 방어 가능한 인사이트를 제시할 수 있었다. 이런 파이프라인은 컴플라이언스를 더 이상 장애물이 아닌, 조직 전반에서 신뢰를 형성하는 공통 언어로 전환시켰다.

임상 시험에서는 이상 탐지 파이프라인이 검증 주기를 수주에서 수 시간 단위로 단축하면서도 GxP 감사 가능성을 유지했다. 상업 분석에서는 다음 행동 추천(next-best-action) 엔진이 규제 준수를 완전히 충족한 맥락 기반 권고안을 현장 영업팀에 제공해, 규제 위험 없이 실시간으로 캠페인 방향을 전환할 수 있도록 했다. 경영진은 각 의사결정이 암호화, 거버넌스, 설명 가능성으로 뒷받침된다는 점을 확인하며 AI 출력에 대한 신뢰도가 크게 향상됐다고 평가했다.

규제는 혁신을 저해하지 않는다

이런 경험을 통해 깨달은 교훈이 있다. 다른 무엇보다 감사 가능성이 최우선이다. 결과를 증거와 함께 재현할 수 없다면 규제 산업에서 설 수 없다. 컴플라이언스는 부담되는 업무가 아니라 하나의 기능(feature)으로 이해해야 한다. 자동화된 데이터 계보와 검증은 도입 속도를 오히려 가속화한다. 메타데이터는 확장 가능한 AI 거버넌스의 척추와 같은 존재로, 모든 단계에서 매개변수화(parameterization)와 추적 가능성을 보장한다.

가장 중요한 점은, 기본값으로서의 보안(security by default)이 신뢰를 구축한다는 사실이다. 암호화, ID 관리, 설명 가능성을 모든 구성 요소에 내재화하는 것은 곧 신뢰의 토대가 된다.

인간의 건강, 금융 안정성, 공공 신뢰가 걸린 산업에서 혁신은 반드시 규제 준수와 나란히 가야 한다. 필자는 설계 단계에서 마이크로소프트의 암호화 베스트 프랙티스, 안전한 연구 환경, 예측 아키텍처를 내재화함으로써 거버넌스와 보안이 사후적 고려가 아닌 기본 조건으로 작동하는 생태계를 구축했다.

이런 아키텍처는 컴플라이언스가 혁신을 억제하는 것이 아니라 오히려 혁신을 가능하게 하는 동력임을 입증한다. 규제 기관, 경영진, 최종 사용자 모두가 AI가 제공하는 인사이트를 신뢰할 수 있는 이유는, 그것이 설계 단계부터 입증하고 설명하며, 감사할 수 있기 때문이다.

*Rama Devi Drakshpalli는 약 20년에 걸쳐 클라우드 네이티브 데이터 플랫폼, 제약 분석, AI 기반 헬스케어 보안 분야에서 경력을 쌓아온 데이터·애널리틱스 솔루션 아키텍트다.
dl-itworldkorea@foundryco.com