새 논문 에서 우리는 "protodanksharding"이라고도 알려진 EIP-4844 에 따라 만료된 blob을 포함하여 공정한 데이터 시장을 구축하기 위한 새로운 프로토콜을 간략하게 설명합니다 .
우리의 Fair Data Exchange 프로토콜을 사용하면 스토리지 서버가 데이터 파일을 클라이언트에 원자적으로 전송할 수 있습니다. 클라이언트는 서버가 합의된 지불을 받는 경우에만 파일을 받습니다. 간단히 말해서, 이 새로운 접근 방식을 사용하면 분산화되고 개방된 시장에서 최소한의 신뢰 가정을 통해 잠재적으로 큰 데이터 덩어리(생각하는 속성을 가지고 있음)를 구입할 수 있습니다. 지금까지는 데이터를 공개하지 않고 판매하는 것이 어려웠으며, 데이터가 전송되면 판매자가 데이터 대금을 받을 수 있도록 보장했습니다. 이 새로운 계획은 거래의 양쪽을 모두 보장합니다. 또한 검증 가능한 암호화를 대칭 키 기본 요소로 일반화하는 새로운 암호화 기본 요소인 VECK(Verible Encryption Under Committed Key)를 도입합니다 .
배경
데이터에 대한 액세스를 구매하기 위한 공정하고 안전한 프로토콜은 글로벌 데이터 시장의 막대한 잠재력을 활용하는 데 필수적입니다. 그러나 오늘날 데이터에 액세스하기 위한 대부분의 실제 접근 방식은 클라이언트가 서버에 미리 비용을 지불하고 데이터를 전달하기 위해 서버의 평판을 신뢰해야 하는 구독 기반입니다. 또는 서버가 무료로 데이터를 제공하거나 사용자 간에 데이터가 교환되는 이타적입니다. 전자의 접근 방식은 데이터 요청을 이행하지 않은 채 지불을 받는 악의적인 서버로부터 클라이언트를 보호하지 못하는 반면, 후자의 접근 방식은 클라이언트가 다운로드할 데이터를 제공하는 인센티브가 부족하여 종종 무임승차 및 제한된 용량으로 이어집니다. 이러한 시스템의 대부분은 사용자에게 데이터 무결성 보장을 제공하지 않습니다.
원래 결제 시스템으로 고안된 블록체인은 데이터 저장에도 사용할 수 있어 블록의 모든 거래가 네트워크의 모든 참가자에게 액세스 가능하도록 보장합니다(예: 비트코인의 OP_RETURN 또는 이더리움의 calldata). 추가 전용, 불변, 분산 원장인 블록체인은 오류와 권력 남용에 강한 데이터 저장소를 제공할 수 있습니다. 그러나 어떤 형태의 샤딩이나 롤업 없이 블록체인 자체로는 저장 용량이 매우 제한되어 있습니다. 왜냐하면 모든 검증자가 모든 데이터를 복제하여 온체인 저장 비용이 비싸기 때문입니다. (2024년 3월 15일 기준으로 이더리움 블록체인에 1MB를 통화 데이터로 저장하는 데 드는 비용은 약 2,500 USD입니다.)
많은 블록체인 프로젝트가 용량을 개선하고 비용을 절감하기 위해 노력하고 있지만 용량 증가는 보안 및 분산화 유지와 상충되므로 이러한 시스템은 항상 제한될 가능성이 높습니다("블록체인 트릴레마").
제한된 온체인 용량으로 인해 오프체인에서 계산을 수행하는 레이어 2 시스템이 개발되었습니다. 메인 블록체인(현재 레이어 1이라고 함)은 비대화형 유효성 증명(zk-rollup) 또는 대화형 사기 증명(낙관적 롤업)을 사용하여 오프체인 계산을 확인합니다. 데이터는 전통적인 롤업 방식으로 온체인에 저장되지만, 온체인 저장 비용으로 인해 오프체인에도 데이터를 저장하는 설계(종종 밸리디엄이라고 함) 가 탄생했습니다 . 이 접근 방식에서 레이어 1 블록체인은 데이터에 대한 간결한 약속만 저장합니다. 이 약속은 저장 증명이나 복제 증명을 확인하고 오프체인 데이터의 지속성을 증명하는 데 사용될 수 있습니다.
이러한 프로토콜은 데이터 저장 비용을 지불하는 자연스러운 메커니즘을 제공하지만 클라이언트가 요청할 때 데이터 제공 비용을 지불하는 수단을 제공하지는 않습니다. 오늘날의 시스템은 스토리지에 대한 인센티브만 제공하며 서버가 "무료" 다운로드 액세스를 제공한다고 가정합니다. 이는 두 가지 이유로 문제가 됩니다. 첫째, 데이터 전송에는 자체 비용이 발생하며 이에 대해 서버가 보상해야 합니다. 둘째, 인센티브가 없으면 악의적인 서버가 데이터를 저장하고 이에 대한 대가를 받을 수 있지만 합법적인 다운로드 요청에는 응답하지 않을 수 있습니다. 데이터에 액세스할 수 있도록 제공되지 않으면 스토리지는 쓸모가 없습니다.
공정한 데이터 교환
우리는 지불이 이루어지면 서버가 데이터를 제공할 것이라는 보장과 함께 클라이언트가 데이터 비용을 지불할 수 있는 방법을 원합니다. 이는 신뢰할 수 있는 제3자(예: 블록체인)가 필요한 것으로 알려진 보다 일반적인 공정 교환 문제 의 예입니다 . 블록체인은 잠재적으로 이 문제를 간단한 방법으로 해결하는 데 사용될 수도 있습니다. 스마트 계약은 클라이언트의 지불금을 에스크로에 보관하고 서버가 일부 지정된 속성을 가진 데이터를 체인에 게시하면 이를 서버에 릴리스할 수 있습니다. 하지만 스마트 계약이 검증하려면 모든 데이터가 온체인에 게시되어야 하기 때문에 데이터가 큰 경우에는 효율적이지 않습니다.
논문에서 소개하는 프로토콜인 FDE( 공정한 데이터 교환 )는 블록체인을 사용하여 교환의 원자성과 공정성을 강화하고 새로운 암호화 기본 요소인 VECK(Verible Encryption under Committed Key)를 사용하여 클라이언트가 해독 키에 대한 지불을 공개하기 전에 올바른 데이터(합의된 약속과 일치)를 오프체인으로 수신합니다. 이 프로토콜은 신뢰가 최소화되어 있으며 일정한 크기의 온체인 통신만 필요합니다(서명 3개, 확인 키 1개, 비밀 키 1개). 대부분의 데이터는 오프체인에 저장되고 전달됩니다.
또한 프로토콜은 데이터의 하위 집합만 교환하는 것을 지원합니다. 또한 여러 클라이언트에 걸쳐 서버 작업을 분할 상환할 수 있으며 다양한 약정 및 암호화 체계를 사용하여 대체 FDE 프로토콜을 설계하기 위한 일반 프레임워크를 제공합니다.
세 가지 필수 단계로 작동하는 방법은 다음과 같습니다.
- 클라이언트는 예상 데이터에 대한 KZG 약속 과 공개 암호화 키를 지정하여 서버에서 데이터를 요청합니다 .
- 서버는 클라이언트가 지정한 키를 사용하여 데이터를 암호화하고 암호화된 데이터가 지정된 약속과 일치한다는 영지식 증명(VECK 증명)과 함께 암호화된 데이터를 오프체인 클라이언트에 보냅니다.
- 서버는 간단한 원자 전송을 사용하여 온체인에서 암호 해독 키를 판매합니다.
대부분의 통신은 오프체인에서 이루어지며 서버 작업은 동일한 데이터를 요청하는 여러 클라이언트에서 재사용이 가능합니다. 핵심 기술 과제는 2단계: 암호화된 데이터가 지정된 약속과 일치하는지 효율적으로 증명하는 것입니다. 이것이 바로 우리의 새로운 VECK 프리미티브가 등장하는 곳입니다(다른 프로토콜에 대해 독립적인 관심을 가질 수 있음).
응용
FDE는 EIP-4844(protodanksharding) 및 이더리움의 전체 danksharding 데이터 가용성 체계를 사용하여 저장된 데이터에 대한 액세스 비용을 지불하는 데 사용할 수 있습니다. 이러한 프로토콜을 사용하면 데이터가 만료될 수 있습니다. 즉, 미리 결정된 기간(4,096 에포크, 약 18일)이 지나면 검증인은 더 이상 데이터를 저장할 의무가 없습니다. 우리의 프로토콜은 노드가 나중에 FDE를 통해 데이터를 판매함으로써 이익을 얻을 수 있기 때문에 잠재적으로 노드가 데이터를 계속 저장하도록 권장할 수 있으며, 따라서 만료된 데이터 손실에 대한 일부 우려를 잠재적으로 완화할 수 있습니다. 두 프로토콜 모두 KZG 다항식 약속을 통해 데이터를 약속하며, 이는 정확히 우리의 FDE 구성이 지원하도록 최적화되어 있습니다.
첫 번째 프로토콜은 지수 ElGamal 암호화 체계를 사용하고, 두 번째 프로토콜은 Paillier 암호화 체계를 적용하여 교환된 데이터를 암호화합니다. 우리는 또한 VECK에 대한 인스턴스화를 모두 포함하는 프로토콜에 대한 오픈 소스 구현( 여기 저장소 참조 )을 제공하여 어댑터 서명을 통해 비트코인뿐만 아니라 이더리움에서도 프로토콜의 효율성과 실용성을 보여줍니다. 구체적으로, 이더리움에서 단일 FDE 실행의 온체인 비용은 서버의 경우 ~200,000 가스(10 USD 미만)이고 클라이언트의 경우 ~30,000 가스(1 USD 미만)입니다.
이 외에도 FDE는 고객이 최소한의 신뢰 가정으로 분산화되고 개방된 시장에서 매우 많은 양의 데이터(일부 예상 속성 포함)를 구매하려는 모든 시나리오에 사용될 수 있습니다. 우리 프로토콜은 비공개 데이터 구매도 지원합니다.
미래의 일
향후 작업 방향에는 다음이 포함될 수 있습니다.
- 약속 및 암호화 체계 에 대한 다른 조합을 탐색하고 ,
- 클라이언트와 서버 모두에 대해 프로토콜을 더 빠르게 만들기 위한 최적화된 구현( 공개 문제 에 대한 문서 참조 )
- 데이터가 배포되는 경우를 포함하여 검증 가능한 데이터 전처리를 허용하는 방식을 일반화합니다.
- 분산형 데이터 시장을 위한 가격 책정 메커니즘을 설계합니다.
마지막으로, 클라이언트와 서버가 합리적이라면 누구도 우리 프로토콜에서 슬퍼하지 않을 것입니다. 그러나 비합리적이거나 악의적인 클라이언트로 인해 정직한 서버가 암호 해독 키를 요청하지 않고 암호화된 데이터를 계속 보낼 수 있습니다. 이 문제는 논문의 범위를 벗어났지만 실제로는 완화되어야 합니다.
***
이 논문은 a16z crypto의 여름 인턴십 프로그램에서 나온 것이며 4명의 여름 인턴과의 공동 작업입니다. 자세한 내용, 증거 및 인용을 보려면 논문을 읽어보세요 .
***
Ertem Nusret 은 스탠포드 대학교 전기 공학 박사 과정 학생으로 David Tse 교수와 함께 블록체인 분석을 연구하고 있습니다.
István András Seres 는 Eötvös Loránd University의 컴퓨터 과학 박사 과정 학생입니다.
Yinuo Zhang은 University of California, Berkeley에서 컴퓨터 과학 박사 과정을 밟고 있는 학생입니다.
Márk Melczer는 Eötvös Loránd University의 컴퓨터 과학 박사 과정 학생입니다.
Mahimna Kelkar 는 코넬대학교 컴퓨터 과학 박사과정 학생입니다.
Joseph Bonneau는 a16z crypto의 연구 파트너입니다. 그의 연구는 응용암호화와 블록체인 보안에 중점을 두고 있습니다. 그는 멜버른 대학교, NYU, 스탠포드, 프린스턴 대학교에서 암호화폐 강좌를 가르쳤고, 케임브리지 대학교에서 컴퓨터 과학 박사 학위를, 스탠포드에서 학사/석사 학위를 받았습니다.
Valeria Nikolaenko는 a16z crypto의 연구 파트너입니다. 그녀의 연구는 암호화 및 블록체인 보안에 중점을 두고 있습니다. 그녀는 또한 PoS 합의 프로토콜, 서명 체계, 포스트 양자 보안 및 다자간 계산의 장거리 공격과 같은 주제에 대해서도 작업했습니다. 그녀는 Dan Boneh 교수의 지도 하에 스탠포드 대학에서 암호학 박사 학위를 취득했으며 핵심 연구팀의 일원으로 Diem 블록체인 분야에서 일했습니다.
***
여기에 표현된 견해는 인용된 개별 AH Capital Management, LLC(“a16z”) 직원의 견해이며 a16z 또는 그 계열사의 견해가 아닙니다. 여기에 포함된 특정 정보는 a16z가 관리하는 펀드의 포트폴리오 회사를 포함한 제3자 소스에서 얻은 것입니다. a16z는 신뢰할 수 있는 출처에서 가져온 정보이지만, 해당 정보를 독립적으로 검증하지 않았으며 해당 정보의 현재 또는 지속적인 정확성이나 주어진 상황에 대한 적합성에 대해 어떠한 진술도 하지 않습니다. 또한 이 콘텐츠에는 제3자 광고가 포함될 수 있습니다. a16z는 그러한 광고를 검토하지 않았으며 그 안에 포함된 어떠한 광고 콘텐츠도 보증하지 않습니다.
이 콘텐츠는 정보 제공의 목적으로만 제공되며 법률, 비즈니스, 투자 또는 세금 관련 조언으로 의존해서는 안 됩니다. 그러한 문제에 대해서는 자신의 조언자와 상담해야 합니다. 증권이나 디지털 자산에 대한 언급은 설명 목적으로만 제시된 것이며 투자 추천이나 투자 자문 서비스 제공을 제안하는 것이 아닙니다. 또한, 이 내용은 투자자나 잠재 투자자를 대상으로 하거나 사용하려는 의도가 없으며, a16z가 관리하는 펀드에 대한 투자 결정을 내릴 때 어떤 상황에서도 의존할 수 없습니다. (a16z 펀드에 대한 투자 제안은 해당 펀드의 사모 각서, 청약 계약서 및 기타 관련 문서를 통해서만 이루어지며 전체 내용을 읽어야 합니다.) 언급되거나 언급되거나 언급된 모든 투자 또는 포트폴리오 회사 설명된 내용은 a16z가 관리하는 차량에 대한 모든 투자를 대표하지 않으며 해당 투자가 수익성이 있을 것이라는 보장이나 향후 다른 투자가 유사한 특성이나 결과를 가질 것이라는 보장은 없습니다. Andreessen Horowitz가 관리하는 펀드에 의한 투자 목록(발행자가 a16z에 공개를 허용하지 않은 투자 및 공개 거래되는 디지털 자산에 대한 미발표 투자 제외)은 https://a16z.com/investment에서 확인할 수 있습니다. -목록/.
과거 성과는 미래 결과를 나타내지 않습니다. 내용은 표시된 날짜 기준으로만 설명됩니다. 본 자료에 표현된 모든 예상, 추산, 예상, 목표, 전망 및/또는 의견은 예고 없이 변경될 수 있으며 다른 사람이 표현한 의견과 다르거나 반대될 수 있습니다. 추가적인 중요한 정보는 https://a16z.com/disclosures/를 참조하세요.