오픈소스는 그 어느 때보다 인기가 높다. 또한 그 어느 때보다 논란이 많다.

오픈소스를 사용하기 쉬운 클라우드 서비스로 가장 잘 전환한 업체에 수천억 달러가 투자될 것으로 기대되면서 많은 업체가 기업 고객을 확보하기 위해 치열한 경쟁을 벌이고 있다. 이로 인해 오픈소스 소프트웨어를 개발하는 업체는 잇달아 라이선스 정책을 변경하고, 이를 패키징하여 판매하려는 클라우드 서비스 업체는 파생 버전을 개발하는 등 혼란이 계속되고 있다.

하지만 흥미로운 현상이 일어나고 있다. 이들 파생 버전은 처음에는 클론 전쟁으로 시작되지만, 점차 자체적으로 혁신적인 프로젝트로 발전하고 있다. 필자는 최근 오픈토푸가 테라폼에 맞서 성장세를 보인다고 전한 바 있다. 하지만 조만간 암스테르담에서 대형 커뮤니티 행사를 개최하는 오픈서치(OpenSearch)는 더 큰 성공 사례다.

일래스틱서치(Elasticsearch)의 2021년 라이선스 변경으로 탄생한 오픈서치는 처음 몇 년 동안 안정화를 도모하고, 계속 존재할 수 있고 존재해야 한다는 것을 증명하기 위해 노력했다. 지난 1년 동안 오픈서치는 엔터프라이즈 검색 분야에서 진정으로 독립적이고 혁신적인 검색엔진으로 정체성을 세웠으며, 일랙스틱서치의 유사품에서 훨씬 더 발전한 제품으로 빠르게 진화하고 있다.

파생 버전을 넘어 새로운 검색엔진으로

오픈서치의 최근 행보를 이해하려면 먼저 과거를 되짚어 볼 필요가 있다. 2021년 초, 일래스틱은 일래스틱서치와 키바나(Kibana)의 새 버전에 대해 아파치 라이선스(ALv2)를 포기하고 SSPL(Server Side Public License)와 일래스틱 라이선스(ELv2)를 채택했다. AWS를 비롯한 클라우드 서비스 업체가 일래스틱에 수익을 배분하지도 않고 공짜로 일래스틱서치를 서비스하는 것을 막기 위해서였다.

아파치 라이선스에 의존하던 AWS는 신속하게 대응해 일래스틱서치 7.10.2 및 키바나 7.10.2의 파생 버전을 만들었다. AWS는 일래스틱의 독점 코드와 텔레메트리 기능을 제거하고 아파치 라이선스에 따라 오픈서치 프로젝트를 시작했다. 대담한 조치였지만, 당시로서는 불확실성이 컸다. AWS는 커뮤니티 중심의 프로젝트를 운영한 경험이 없었고, 자체 오픈소스 프로젝트를 관리한 경험도 그다지 많지 않았기 때문이다.

솔직히 말해서 AWS가 성공할 가능성은 크지 않았다. 하지만 AWS는 성공했다.

2023년에 필자는 오픈서치가 커뮤니티를 확장하고 초기 고객을 확보하면서 거둔 초기 성공을 주목했다. 하지만 AWS가 오픈소스에 기여하는 방법을 배우고 오픈서치를 엔터프라이즈 검색 분야의 강력한 경쟁자로 자리매김한 것은 지난 1년 동안의 사건들을 통해 입증됐다.

대다수 오픈소스 프로젝트는 기여자 풀이 매우 제한적이고, 종종 한 명의 개발자(또는 한 회사)의 작품인 경우가 많다. 하지만 프로젝트가 중립적인 재단에 속해 있으면 기여자를 유치하기가 더 쉽다. 따라서 AWS는 2024년 말에 이 프로젝트를 리눅스 재단으로 이전하고 오픈서치 소프트웨어 재단을 설립하며 오픈서치의 오픈소스 성공에 얼마나 진심인지를 보여줬다. 이는 단순한 관리상의 변화가 아닌 전략적인 결정이었다. 중립적인 재단에 프로젝트를 배치함으로써 AWS가 프로젝트를 통제할 것이라는 우려를 직접적으로 해소한 것이다.

갑자기 오픈서치의 기술 운영 위원회에 SAP, 우버, 오라클, 바이트댄스 등의 대표가 참여했다. 또한 오픈서치는 이제 1,400명 이상의 고유 기여자(350명 이상이 활동 중), 수십 개 조직에 걸쳐 수백 명의 유지 관리자, 2025년 초까지 100개 이상의 깃허브 리포지토리에 걸친 활동을 자랑한다. 중요한 것은 AWS 외부에서 기여 및 유지 관리자의 비율이 크게 증가해 진정한 다양화로의 진전을 알리고 있다는 점이다.

“고객의 성과에 대한 통제”를 경영 원칙으로 삼고 있는 AWS에 이는 비즈니스 방식에 있어 혁명적인 변화다.

지속적인 개선

오픈서치는 분명 올바른 길을 가고 있다. 거버넌스가 강화됨에 따라 오픈서치는 공개 로드맵을 지침으로 적극적인 개발을 추진했다. 특히 AI/벡터 검색 및 가시성 분야에서 현대의 데이터 과제를 해결하기 위해 태생을 뛰어넘고 있다. 오픈서치는 단순히 일래스틱서치와의 호환성을 구현하는 것을 넘어서는 수준으로 발전했다. 사용자의 요구에 부응해 벡터 유사성 검색, 키워드와 의미론적 방법을 결합한 하이브리드 검색, 내장된 신경망 검색 기능을 추가했다. 2024년에만 페이스북 FAISS와의 통합, SIMD 하드웨어 가속화, 고성능 의미론적 검색을 위한 벡터 양자화 등 큰 발전을 이뤘다.

성능 및 확장성 개선도 극적으로 이루어졌다. 쿼리 속도는 광범위한 최적화를 통해 크게 향상됐는데, 초기 버전보다 최대 6배까지 빠르다. 세그먼트 복제와 같은 새 기능은 데이터 인제스트 처리량을 약 25% 증가시켰다. 또한 원격 지원 스토리지를 통해 클라우드 객체 스토리지 서비스에 직접 인덱싱할 수 있으며, 이는 페타바이트 규모의 데이터 세트를 다루는 기업에 필수적인 기능이다.

오픈서치는 이제 일래스틱서치를 뒤쫓는 커뮤니티가 아니다. 시장을 주도하기 위한 전략적 승부를 걸고 있다.

좋은 코드를 작성하는 것과 기업이 이를 사용하도록 설득하는 것은 다른 문제다. 이 분야에서 오픈서치가 기업 시장에서 입지를 확대하고 있다는 증거가 점점 늘고 있다. 유료 채택 여부와 관계없이 사용량을 측정할 때, 2023년 말까지 오픈서치의 누적 다운로드 수는 3억 건을 넘어섰으며, 이는 주류로 자리잡았다는 것을 명확하게 보여준다.

AWS는 “수만 명”의 고객을 자랑하지만(사실일 수도 있지만, 이 수에는 구버전의 일래스틱서치 사용자도 포함된다), 오픈서치를 채택한 대기업의 공개적인 사례를 찾기는 어렵다. 하지만 OpenSearchCon 행사에서는 라인이나 코세라(Coursera) 등의 주요 사용자가 공개됐다. 구인 광고를 보면 피델리티 인베스트먼트나 워너 브라더스 등도 오픈서치를 사용하는 것으로 확인할 수 있다. 또한, 리눅스 재단의 보고서에 따르면, 설문조사에 참여한 사용자의 46%가 오픈서치를 매니지드 서비스로 실행하고 있으며, 이는 클라우드 비중이 상당하다는 것을 보여준다. 같은 조사에서 더 나은 상호 운용성을 요구하는 응답자가 87%나 되는 것은 오픈서치를 더 광범위한 스택의 일부로 보고 있다는 것을 의미한다.

일래스틱서치의 긴 그림자

빠른 발전에도 불구하고 오픈서치는 일래스틱서치와의 끊임없는 비교라는 주요 과제에 직면해 있다. 예를 들어, 일래스틱은 종종 성능 우위(40%에서 140% 더 빠름)를 주장한다. 그러나 2025년 3월 보안 컨설팅 업체 트레일 오브 비츠(Trail of Bits)가 오픈서치 2.17.1과 일래스틱서치 8.15.4를 비교한 벤치마크 테스트 결과, 오픈서치가 5대 워크로드에서 전반적으로 더 빠르고 기본 엔진의 벡터서치에서 약간 더 빠른 것으로 나타났다. 벤치마크는 신뢰성이 낮은 측정 도구로 잘 알려져 있으므로, 실제 결과는 다를 수 있다.

또한 오픈서치는 더 이상 일래스틱서치의 오픈소스 대안이라고 주장할 수 없다. 2024년 말, 일래스틱은 SSPL 및 ELv2와 함께 AGPLv3 라이선스 옵션을 추가했다. 일각에서는 이런 오픈소스로의 복귀를 오픈서치의 성장에 대한 냉소적인 대응이라고 평가하지만, 일래스틱의 공동 설립자인 셰이 바넌은 일래스틱이 항상 OSI 승인 라이선스로 복귀하기를 원했다고 밝혔다. 필자와의 대화에서 바넌은 “개인적으로 라이선스를 변경한 후에도 항상 오픈소스로 복귀를 원했다. AWS가 파생 버전을 만들고 충분한 시간이 지나면 일래스틱이 다시 돌아갈 수 있기를 바랐다”라고 말했다. 동기가 무엇이든, 일래스틱서치는 이제 오픈서치와 마찬가지로 오픈소스다.

더 이상 비교는 중요하지 않다. 오픈서치는 공급망 위험에 대한 AWS의 즉각적인 반응 그 이상이라는 것을 증명했다. 오픈서치는 차세대 워크로드에 초점을 맞춰 스스로 정체성을 구축 중이다. 그럼에도 불구하고 오픈서치의 가장 큰 도전은 개방형 거버넌스와 관대한 라이선스를 일래스틱서치나 다른 경쟁사보다 우수한 검색 시스템을 구축하는 생태계로 전환하는 과정이다. 갈 길은 멀지만, 지난 몇 년간의 진전, 특히 2024년의 성과는 오픈서치가 가능성을 증명했고 승리할 것임을 보여준다.
dl-itworldkorea@foundryco.com