| 한스경제=전시현 기자 | 바이낸스가 가상자산 거래 과정에서 발생하는 대규모 데이터 처리 비효율을 개선하기 위해 자체 개발한 관리 체계를 도입했다. 데이터 웨어하우스에 쌓이는 미세 파편화 파일들이 시스템 안정성을 해치고 운영 비용을 높인다는 판단에 따른 조치다.
16일 바이낸스에 따르면 자체 개발 프레임워크인 '스몰 파일 닥터'를 통해 5900만 개에 달하던 파편화 파일을 290만 개 수준으로 95% 이상 감축했다. 데이터 웨어하우스 내 '스몰 파일'은 메타데이터 처리 부담을 가중시키고 읽기 속도를 늦추는 등 서비스 품질 저하의 고질적 원인으로 지목돼 왔다. 특히 거래와 분석, 고객 지원 등 복잡한 작업이 동시에 이뤄지는 거래소 환경에서 이는 사용자 경험과 직결되는 문제다.
바이낸스는 수작업 방식에서 벗어나 상시 운영 가능한 자동화 체계를 구축하는 데 주력했다. 스토리지 메타데이터 분석을 통해 파일 크기 분포를 파악하고 소비 패턴에 따라 최적화 우선순위를 정하는 방식이다. 목표 파일 크기를 256MB로 설정해 기준에 미달하는 파일을 병합하며 불필요한 반복 작업을 방지하기 위한 안전 규칙도 적용했다.
시스템 부하를 최소화하기 위한 운영 묘수도 더했다. 클러스터 과부하를 막기 위해 최적화 작업의 동시 실행 수를 제한하고, 이용량이 적은 오프피크 시간대에 작업을 집중 배치했다. 이번 체계 도입으로 바이낸스는 시스템 안정성 확보와 함께 연간 최대 10만 달러 규모의 운영 비용 절감 효과를 거둘 것으로 보고 있다. 바이낸스는 앞으로도 데이터 관리 효율화를 통해 글로벌 거래소로서의 기술적 우위를 공고히 할 방침이다.
Copyright ⓒ 한스경제 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
