나는 Amazon Athena와 함께 Apache Iceberg를 던파 카지노 보았습니다 (1 부)

게시 : 2024/02/08

소개

안녕하세요, 이것은 Inamamori입니다
Apache Iceberg는 데이터 호수의 테이블 형식으로 더 자주 소개됩니다 AWS의 Iceberg를 지원하는 서비스에는 Amazon Athena, Amazon EMR 및 AWS Glue가 포함됩니다 또한 Amazon Redshift에서 읽기 전용 액세스 권한이 있지만 이제 2024 년 2 월 기준으로 미리보기 기능으로 던파 카지노할 수 있습니다
이 기사는 Apache Iceberg를 설명 할 것입니다 다음 항목에서는 Athena와 함께 어떻게 던파 카지노되는지 소개합니다

테이블 형식은 데이터베이스 또는 데이터웨어 하우스와 같은 데이터 관리 시스템에 데이터를 테이블로 저장하는 데 던파 카지노되는 구조 및 형식을 나타냅니다 표 형식은 데이터 배치 방법, 저장 방법, 관리 방법 및 관리 방법을 정의합니다

일반적으로 던파 카지노 요소로 구성됩니다

• 열의 정의
• 던파 카지노 저장 방법
• 던파 카지노 압축/인코딩
• 던파 카지노

아파치 던파 카지노이란?

Apache 던파 카지노는 2017 년 Netflix에서 개발을 시작했으며 2018 년 11 월 오픈 소스에 개설되어 Apache Software Foundation의 프로젝트가되었습니다 빙산 프로젝트 웹 사이트 (https : //던파 카지노apacheorg/)의 기능을 살펴 보겠습니다

• ● 표현식 SQL
• ● 전체 스키마 진화
• ● 숨겨진 던파 카지노셔닝
• ● 시간 여행 및 롤백
• ● 던파 카지노 압축

그러나 빙산은 단지 테이블 형식 일 뿐이므로 이러한 기능이 얼마나 멀리 구현되는지는 엔진에 따라 다릅니다 따라서 Amazon Athena가 지원하는 기능, Amazon EMR이 지원하는 기능 및 던파 카지노 Spark 및 Trino와 같은 엔진에 대한 기타 엔진 문서를 확인해야합니다

이제 기능을 순서대로 살펴 보겠습니다

① 표현식 SQL (표현 SQL)

전통적인 던파 카지노 호수에서 삽입, 삭제, 업데이트 등이 어려웠으며 메타 던파 카지노를 수동으로 업데이트해야했습니다 산 거래 부족 및 분할 관리의 복잡성과 같은 문제도있었습니다 빙산은 유연한 SQL을 지원하므로 무료로 병합, 업데이트, 삭제 등을 수행 할 수 있기 때문입니다
왜 그렇게 할 수 있습니까?

빙산의 건축물을 살펴 보겠습니다 Apache Iceberg는 세 가지 범주의 메타 던파 카지노를 통해 테이블을 정의합니다

1. ① "테이블을 정의하는 메타 데이터 파일"
2. ② "테이블 스냅 샷을 정의하는"매니페스트 목록 "
3. ③ "매니페스트 파일"하나 이상의 스냅 샷의 일부인 데이터 파일을 정의하는 파일

쿼리 최적화 및 모든 빙산 기능은이 3 가지 메타 던파 카지노 계층의 던파 카지노를 통해 달성됩니다

https : //던파 카지노apacheorg/spec/#overview

메타 데이터 트리를 통해 빙산은 스냅 샷 격리 및 산 지원을 제공합니다 쿼리가 실행되면 빙산은 기본적으로 최신 스냅 샷을 던파 카지노합니다 모든 테이블에 쓰는 것은 새 스냅 샷을 만들지 만 병렬 쿼리에는 영향을 미치지 않습니다 동시 쓰기는 낙관적 인 동시 처리에 의해 처리됩니다 (새로운 스냅 샷을 작성한 첫 번째 사람은 그것을 쓸 것이며 다른 글은 재조정됩니다)
Apache Iceberg는 전형적인 제작, 삽입 및 조인, 행 수준 업데이트 및 삭제를 허용합니다 이러한 모든 트랜잭션은 SQL 명령을 던파 카지노하여 가능합니다

② 전체 스키마 진화

테이블 스키마의 진화를 지원합니다 열을 추가하거나 삭제하고 열 이름을 변경하고 유형을 확장하고 열 순서를 변경할 수 있습니다 빙산에서 스키마 업데이트에는 메타 던파 카지노 변경이 적용되므로 던파 카지노 파일을 다시 작성할 필요가 없습니다

③ 숨겨진 던파 카지노셔닝

숨겨진 파티셔닝은 파티션을 위해 특별히 열을 준비 할 필요가 없음을 의미합니다 예를 들어, 원래 Event_Time (시간)과 같은 타임 스탬프 값이 있지만 날짜 파티션이 되려면 파티션 키로 만들기 위해 Event_Date (Days)와 같은 열을 작성해야 할 수도 있습니다 이 경우 던파 카지노자가 값을 올바르게 생성하지 않으면 잘못된 파티션에 들어갑니다 Iceberg에서는 하루별 파티션을 만들려면 (date (event_time))에 의해 파티션을 만들려면 타임 스탬프의 열을 기준으로하더라도 파티션이 날짜별로 생성됩니다

던파 카지노 가능한 파티션 변환 기능은 다음과 같습니다 (Athena 예제)

기존 테이블로 파티셔닝을 업데이트 할 수도 있습니다 파티션을 변경해도 이전 설정에서 작성된 이전 던파 카지노는 변경되지 않습니다 새로운 던파 카지노는 새로운 구성 파티션으로 작성됩니다 파티션 버전의 메타 던파 카지노는 개별적으로 유지됩니다

https : //던파 카지노apacheorg/docs/latest/volution/#partition-evolution

위의 예에서 2008 년의 던파 카지노는 월별 파티션으로 나뉘며 2009 년부터 매일 파티션으로 나뉩니다 이러한 방식으로, 두 파티션 레이아웃은 동일한 테이블에서 공존 할 수 있습니다 그리고 빙산은 특정 파티션 레이아웃 속도를 높이기 위해 쿼리를 만들 필요가 없습니다 숨겨진 파티셔닝은 쿼리를 실행할 때 일치하는 던파 카지노가 포함되지 않은 파일을 자동으로 비활성화합니다

④ 시간 여행 및 롤백

빙산은 데이터 버전화를 지원하고 시간 여행 기능을 던파 카지노할 수 있습니다 따라서 특정 시점에서의 작업과 같은 문제가 잘못된 경우 잘못된 시점으로 데이터를 반환 할 수 있습니다 또한 데이터 과학이 던파 카지노되는 상황에서도 특정 섹션에서 학습을 복제하기 위해 데이터를 반환 할 경우가 있습니다 이 경우에도 유용한 기능입니다

select * select *에서 timestamp '2024-02-01 12:00 아시아/도쿄'

를 던파 카지노하는 경우 2024 년 2 월 1 일 12시에 스냅 샷을 볼 수 있습니다

⑤ 던파 카지노 압축

빙산 빙산 던파 카지노가 테이블에 축적 될 때 파일을 열는 데 필요한 처리 시간이 증가하여 점차 쿼리의 효율성을 줄입니다 테이블에 삭제 파일이 포함 된 경우 추가 계산 비용이 있습니다 Iceberg에서 파일 삭제는 줄 수준의 삭제를 저장하고 엔진은 삭제 된 행을 쿼리 결과에 적용해야합니다
빙산 테이블의 쿼리 성능을 최적화하기 위해 압축을 던파 카지노하면 테이블의 내용을 변경하지 않고 테이블의 구조 레이아웃을 최적화 할 수 있습니다

스냅 샷을 만료하고 고아 파일을 삭제할 수도 있습니다 이는 메타 던파 카지노의 크기를 줄이고 보존 기간보다 오래된 파일을 제거합니다

일부 엔진은 이러한 던파 카지노 압축을 수동으로 수행 할뿐만 아니라 유지 보수 작업을 자동화하는 메커니즘을 제공합니다 Athena는 또한 수동 명령을 제공하지만 AWS Glue Data 카탈로그는 2023 년 11 월 자동 압축 기능을 활성화했습니다

던파 카지노 에피소드 정보

이번에는 오픈 테이블 형식 인 Apache 던파 카지노의 개요를 소개했습니다 어쩌면 나는 개념 때문에 이해하지 못했을 것입니다 다음에 Amazon Athena에서 빙산 테이블을 운영하고 어떻게 작동하는지 살펴 보겠습니다 나중에 봐요

CTC는 AWS 비즈니스를 활용하기 위해 고객의 단계에 맞게 광범위한 건설 및 운영 지원 서비스를 제공합니다
숙련 된 엔지니어는 원 스톱 및 유연한 지원을 제공합니다
그렇게 해주세요마닐라 던파 카지노 문의 | CTC 그룹제발