Khám phá Amazon S3 — dịch vụ lưu trữ đối tượng nền tảng của AWS: Bucket/Object, bảo mật, versioning, replication, các Storage Class, cùng các giải pháp hybrid như Snowball và Storage Gateway để đưa dữ liệu on-premise lên cloud.
Amazon S3 (Simple Storage Service) là một trong những "viên gạch" xây dựng nền tảng quan trọng nhất của AWS. S3 được quảng bá là dịch vụ lưu trữ có khả năng mở rộng "vô hạn" (infinitely scaling storage) — bạn không cần lo lắng về việc hết dung lượng như khi dùng một ổ cứng vật lý. Rất nhiều website lớn dùng S3 làm "bộ xương sống" (backbone) lưu trữ dữ liệu của mình, và rất nhiều dịch vụ khác của AWS cũng tích hợp trực tiếp với S3 (ví dụ CloudFront, Lambda, Athena, SageMaker...).
Các use case phổ biến nhất của S3 bao gồm:
S3 cho phép bạn lưu các đối tượng (object, tức là file) vào trong các bucket — có thể hình dung bucket giống như một "thư mục gốc" hoặc một "container" chứa file. Mỗi bucket phải có tên duy nhất trên toàn cầu (globally unique) — không chỉ duy nhất trong region hay account của bạn, mà duy nhất trên toàn bộ AWS, ở mọi region, mọi account của mọi khách hàng khác.
Một điểm hay gây nhầm lẫn: S3 trông có vẻ là một dịch vụ "toàn cầu" (bạn không chọn region khi nhìn vào danh sách bucket), nhưng thực chất mỗi bucket được tạo và tồn tại tại một region cụ thể. Dữ liệu trong bucket đó thực sự nằm vật lý ở region bạn đã chọn khi tạo bucket.
Quy tắc đặt tên bucket khá chặt chẽ, đề thi hay hỏi chi tiết:
192.168.1.1).xn--.-s3alias.Mỗi file lưu trong S3 được gọi là một Object. Mỗi Object có một Key — chính là đường dẫn đầy đủ của file đó trong bucket. Ví dụ: s3://my-bucket/my_file.txt, hoặc với các "thư mục lồng nhau" như s3://my-bucket/folder1/folder2/my_file.txt. Key được cấu tạo từ Prefix (phần đường dẫn phía trước, ví dụ folder1/folder2/) cộng với tên object.
Đây là điểm rất dễ gây hiểu lầm: S3 KHÔNG có khái niệm "thư mục" (directory) thực sự bên trong bucket. Giao diện AWS Console "đánh lừa" bạn bằng cách hiển thị các folder trông giống hệ thống file thông thường, nhưng bản chất, S3 chỉ lưu các Key là những chuỗi ký tự dài, có chứa dấu gạch chéo / — không có cấu trúc cây thư mục thật sự ở tầng lưu trữ.
Mỗi Object còn có các thành phần khác:
Bảo mật cho S3 được kiểm soát theo hai hướng chính, và bạn cần hiểu rõ sự khác biệt giữa chúng:
Nguyên tắc đánh giá quyền truy cập rất quan trọng: một IAM principal (user/role) có thể truy cập một object S3 NẾU quyền IAM của user đó CHO PHÉP (ALLOW) HOẶC resource policy (bucket policy) CHO PHÉP — VÀ không có bất kỳ DENY rõ ràng (explicit) nào áp dụng. Nói cách khác, chỉ cần một trong hai phía (IAM hoặc bucket policy) cho phép là đủ, nhưng một DENY tường minh ở bất kỳ đâu sẽ luôn thắng và chặn truy cập.
Ngoài ra, S3 còn hỗ trợ Encryption (mã hóa) — mã hóa các object bằng khóa mã hóa, sẽ được trình bày chi tiết ở phần sau của chương.
Bucket Policy là các chính sách dạng JSON, được gắn trực tiếp vào bucket. Cấu trúc chính của một Bucket Policy gồm:
s3:GetObject, s3:PutObject).Bucket Policy thường được dùng để:
Để hiểu rõ cách các cơ chế bảo mật kết hợp với nhau, hãy xem 4 tình huống điển hình sau:
* (mọi người) thực hiện hành động đọc.s3:GetObject — đây chính là truy cập cross-account qua Bucket Policy.Block Public Access là một nhóm cài đặt được AWS tạo ra để ngăn chặn rò rỉ dữ liệu công ty do vô tình cấu hình bucket ở chế độ public. Đây là một trong những sự cố bảo mật phổ biến nhất trên cloud — rất nhiều vụ rò rỉ dữ liệu nổi tiếng trong thực tế xuất phát từ một bucket S3 bị để public "nhầm".
Nếu bạn biết chắc bucket của mình không bao giờ cần công khai, hãy giữ nguyên các cài đặt Block Public Access ở trạng thái BẬT (mặc định của AWS hiện nay). Các cài đặt này có thể được thiết lập ở cấp độ từng bucket, hoặc ở cấp độ toàn bộ account (account level) — áp dụng cho tất cả bucket hiện có và sẽ tạo trong tương lai.
S3 có thể được dùng để lưu trữ (host) một website tĩnh (static website — chỉ gồm HTML/CSS/JS, không cần server xử lý backend) và cho phép truy cập trực tiếp qua Internet. URL của website sẽ phụ thuộc vào region bạn chọn, theo một trong hai định dạng:
http://bucket-name.s3-website-aws-region.amazonaws.comhttp://bucket-name.s3-website.aws-region.amazonaws.comNếu bạn truy cập website và gặp lỗi 403 Forbidden, nguyên nhân gần như chắc chắn là Bucket Policy chưa cho phép đọc công khai (public read) — cần kiểm tra lại Bucket Policy và cài đặt Block Public Access để đảm bảo khách truy cập ẩn danh có quyền s3:GetObject.
S3 cho phép bật Versioning (đánh phiên bản) cho các file trong bucket. Versioning được bật ở cấp độ bucket (toggle on/off cho toàn bộ bucket). Khi bật, mỗi lần bạn ghi đè (overwrite) lên cùng một Key, S3 không xóa dữ liệu cũ mà tạo ra một "version" mới: version 1, version 2, version 3... và giữ lại tất cả các version trước đó.
Đây là một best practice rất được khuyến nghị vì hai lý do chính:
Một số điểm cần nhớ:
null — chúng không "tự động" có version 1, mà version của chúng là giá trị null cho tới khi bị ghi đè lần đầu sau khi Versioning đã bật.S3 Replication cho phép tự động sao chép object từ một bucket nguồn sang một bucket đích. Điều kiện bắt buộc: Versioning phải được bật ở cả bucket nguồn và bucket đích. Có hai loại replication:
Hai bucket nguồn và đích có thể thuộc về các AWS account khác nhau. Việc sao chép diễn ra bất đồng bộ (asynchronous) — có một khoảng thời gian trễ nhỏ (thường vài giây tới vài phút) giữa lúc object được tạo ở nguồn và lúc nó xuất hiện ở đích, không phải tức thời. Để replication hoạt động, bạn cần cấp đúng quyền IAM cho dịch vụ S3 thực hiện việc sao chép.
Ứng dụng thực tế của từng loại:
AWS cung cấp nhiều Storage Class (hạng lưu trữ) khác nhau cho S3, mỗi loại được tối ưu cho một kiểu truy cập dữ liệu và mức chi phí khác nhau. Danh sách các storage class gồm:
Bạn có thể chuyển đổi giữa các storage class này một cách thủ công, hoặc tự động hóa việc chuyển đổi thông qua S3 Lifecycle Configuration (quy tắc tự động, ví dụ "sau 30 ngày, chuyển sang Standard-IA; sau 90 ngày, chuyển sang Glacier"). Các phần tiếp theo sẽ đi sâu vào từng storage class.
Đây là hai khái niệm cực kỳ dễ nhầm lẫn khi học về S3 — đề thi khai thác rất nhiều:
S3 Standard (General Purpose) là storage class "mặc định", phù hợp cho phần lớn trường hợp sử dụng thông thường. Đặc điểm chính:
Use case điển hình: phân tích Big Data, ứng dụng di động và game (mobile & gaming apps), phân phối nội dung (content distribution) — tất cả đều cần truy cập dữ liệu nhanh và liên tục.
Nhóm Infrequent Access (IA) được thiết kế cho dữ liệu ít được truy cập, nhưng vẫn cần có thể truy cập nhanh khi cần thiết. Đổi lại việc ít truy cập, chi phí lưu trữ thấp hơn S3 Standard đáng kể.
Nhóm Glacier là các storage class chi phí thấp nhất, dành cho việc lưu trữ dài hạn (archiving) và backup. Chi phí Glacier gồm hai phần: chi phí lưu trữ (storage) và chi phí truy xuất (retrieval) — khi bạn muốn lấy dữ liệu ra, bạn phải trả thêm phí và chờ một khoảng thời gian nhất định tùy loại truy xuất.
| Storage Class | Tốc độ truy xuất | Min Storage Duration |
|---|---|---|
| Glacier Instant Retrieval | Vài millisecond | 90 ngày |
| Glacier Flexible Retrieval | Expedited 1-5 phút / Standard 3-5 giờ / Bulk 5-12 giờ | 90 ngày |
| Glacier Deep Archive | Standard 12 giờ / Bulk 48 giờ | 180 ngày |
S3 Intelligent-Tiering giải quyết một vấn đề thực tế: nhiều khi bạn không biết chắc dữ liệu của mình sẽ được truy cập thường xuyên hay không, và không muốn tự tay quản lý việc chuyển storage class. Với Intelligent-Tiering, bạn chỉ trả thêm một khoản phí giám sát và tự động phân hạng (monitoring/auto-tiering fee) nhỏ mỗi tháng, và AWS sẽ tự động di chuyển object giữa các tier truy cập dựa trên hành vi sử dụng thực tế — hoàn toàn không tính phí truy xuất (no retrieval charges).
Các tier trong Intelligent-Tiering:
Bảng dưới đây tổng hợp các thông số quan trọng để so sánh giữa các storage class (Durability giống nhau ở mọi loại, 11 số 9):
| Storage Class | Availability | Min Storage Duration | Min Billable Object Size | Phí truy xuất (Retrieval Fee) |
|---|---|---|---|---|
| S3 Standard | 99.99% | Không có | Không có | Không có |
| S3 Intelligent-Tiering | 99.9% | Không có | Không có | Không có |
| S3 Standard-IA | 99.9% | 30 ngày | 128KB | Có, theo GB |
| S3 One Zone-IA | 99.5% | 30 ngày | 128KB | Có, theo GB |
| S3 Glacier Instant Retrieval | 99.9% | 90 ngày | 128KB | Có, theo GB |
| S3 Glacier Flexible Retrieval | 99.99% | 90 ngày | 40KB | Có, theo GB |
| S3 Glacier Deep Archive | 99.99% | 180 ngày | 40KB | Có, theo GB |
Về mặt giá thành lưu trữ (ví dụ tại region us-east-1, mang tính minh họa tương đối, giá thực tế nên tham khảo AWS Pricing Calculator), thứ tự từ đắt tới rẻ nhất trên mỗi GB/tháng gần đúng là: Standard đắt nhất, tiếp theo Intelligent-Tiering (dao động theo tier), rồi Standard-IA, One Zone-IA, Glacier Instant Retrieval, Glacier Flexible Retrieval, và rẻ nhất là Glacier Deep Archive. Xu hướng chung: storage class nào truy xuất chậm hơn/lâu hơn thì giá lưu trữ càng rẻ, nhưng phí truy xuất khi cần lấy dữ liệu ra lại càng cao hơn — đây là sự đánh đổi (trade-off) căn bản giữa các storage class.
S3 Express One Zone là storage class hiệu năng cao, chỉ lưu trong một Availability Zone (single AZ). Object được lưu trong một loại bucket đặc biệt gọi là Directory Bucket. Đây là lựa chọn dành cho các workload cần độ trễ (latency) cực thấp:
Use case: các ứng dụng nhạy cảm với độ trễ (latency-sensitive apps), ứng dụng xử lý dữ liệu chuyên sâu, huấn luyện AI & Machine Learning, mô hình hóa tài chính (financial modeling), xử lý media, và các workload tính toán hiệu năng cao (HPC). S3 Express One Zone được tích hợp tốt với các dịch vụ như SageMaker Model Training, Athena, EMR, và Glue.
S3 hỗ trợ hai cách mã hóa dữ liệu chính:
Bên cạnh mã hóa, AWS còn cung cấp IAM Access Analyzer for S3 — một công cụ giúp đảm bảo rằng chỉ những người/thực thể được chủ định (intended) mới có quyền truy cập bucket S3 của bạn. Công cụ này giúp phát hiện các tình huống như: bucket đang bị public ngoài ý muốn, hoặc bucket đang được chia sẻ với một AWS account khác mà bạn không lường trước. IAM Access Analyzer for S3 hoạt động bằng cách đánh giá toàn diện S3 Bucket Policies, S3 ACLs, và S3 Access Point Policies — được vận hành dựa trên nền tảng dịch vụ IAM Access Analyzer.
Giống như mọi dịch vụ AWS khác, S3 tuân theo Shared Responsibility Model — trách nhiệm bảo mật được chia sẻ giữa AWS và khách hàng:
| Trách nhiệm của AWS | Trách nhiệm của bạn (khách hàng) |
|---|---|
| Hạ tầng: bảo mật toàn cầu, đảm bảo Durability, Availability, chịu được mất đồng thời dữ liệu ở 2 facility | Cấu hình S3 Versioning |
| Cấu hình mặc định và phân tích lỗ hổng (vulnerability analysis) | Cấu hình S3 Bucket Policies |
| Xác thực tuân thủ (compliance validation) | Thiết lập S3 Replication |
| Logging và Monitoring | |
| Lựa chọn S3 Storage Class phù hợp | |
| Mã hóa dữ liệu khi lưu trữ (at rest) và khi truyền tải (in transit) |
Nói ngắn gọn: AWS chịu trách nhiệm cho hạ tầng vật lý và độ tin cậy nền tảng của S3, còn bạn chịu trách nhiệm cấu hình đúng cách dùng nó — bật versioning, viết đúng bucket policy, chọn đúng storage class, mã hóa dữ liệu phù hợp.
AWS Snowball là các thiết bị vật lý, di động (portable), có độ bảo mật cao, dùng để thu thập/xử lý dữ liệu ngay tại "biên" (edge) và di chuyển dữ liệu vào hoặc ra khỏi AWS. Snowball giúp di chuyển dữ liệu với khối lượng lên tới hàng Petabyte — điều mà việc truyền qua Internet thông thường sẽ mất rất nhiều thời gian hoặc thậm chí không khả thi.
| Loại thiết bị Snowball Edge | vCPU | RAM | Dung lượng lưu trữ |
|---|---|---|---|
| Storage Optimized | 104 | 416GB | 210TB SSD |
| Compute Optimized | 104 | 416GB | 28TB SSD |
Vì sao không truyền dữ liệu qua Internet luôn cho tiện? Hãy xem thời gian truyền dữ liệu ước tính theo băng thông:
| Băng thông | 10TB | 100TB | 1PB |
|---|---|---|---|
| 100 Mbps | 12 ngày | 124 ngày | ~3 năm |
| 1 Gbps | 30 giờ | 12 ngày | 124 ngày |
| 10 Gbps | 3 giờ | 30 giờ | 12 ngày |
Trong thực tế, việc truyền dữ liệu qua mạng gặp nhiều thử thách: kết nối hạn chế (limited connectivity), băng thông hạn chế, chi phí mạng cao (high network cost), băng thông bị chia sẻ với các ứng dụng khác (shared bandwidth), và kết nối không ổn định (connection stability). Quy tắc chung (rule of thumb): nếu việc truyền dữ liệu qua mạng mất hơn một tuần, hãy chuyển sang dùng thiết bị Snowball.
Có hai cách đưa dữ liệu vào S3: Direct upload — client gửi dữ liệu trực tiếp tới S3 bucket qua Internet (www); hoặc với Snowball — client copy dữ liệu vào thiết bị Snowball Edge tại chỗ, sau đó gửi (ship) thiết bị vật lý này về AWS, AWS sẽ nhập (import) dữ liệu vào S3 bucket của bạn.
Edge Computing là việc xử lý dữ liệu ngay tại thời điểm và nơi dữ liệu được tạo ra — ví dụ trên một xe tải đang chạy trên đường, một con tàu đang ở giữa biển, hoặc một trạm khai thác mỏ dưới lòng đất. Những nơi này thường có kết nối Internet rất hạn chế hoặc hoàn toàn không có, và cũng không có sẵn hạ tầng tính toán mạnh.
Giải pháp là triển khai một thiết bị Snowball Edge (Compute Optimized hoặc Storage Optimized) ngay tại địa điểm đó để thực hiện edge computing — thiết bị này có thể chạy trực tiếp EC2 Instance hoặc Lambda function ngay tại "biên", xử lý dữ liệu cục bộ mà không cần gửi toàn bộ dữ liệu thô về AWS trước.
Use case điển hình: xử lý dữ liệu sơ bộ (preprocess data) trước khi truyền về cloud, chạy các mô hình machine learning ngay tại chỗ (ví dụ phát hiện lỗi trên dây chuyền sản xuất theo thời gian thực), hoặc chuyển đổi định dạng media (transcoding) ngay tại nơi quay/thu.
Về giá cả (Snowball Edge Pricing): bạn trả tiền cho việc sử dụng thiết bị và phí truyền dữ liệu ra khỏi AWS. Lưu ý: truyền dữ liệu VÀO S3 luôn miễn phí ($0.00/GB). Có hai mô hình giá:
AWS ngày càng khuyến khích mô hình Hybrid Cloud — một phần hạ tầng vẫn nằm on-premise, một phần chuyển lên cloud. Có nhiều lý do khiến các tổ chức chọn hybrid thay vì chuyển 100% lên cloud ngay: quá trình di trú (migration) kéo dài nhiều năm chứ không thể xong trong một sớm một chiều; yêu cầu bảo mật đặc thù; yêu cầu tuân thủ pháp lý (compliance) buộc một số dữ liệu phải nằm on-premise; hoặc đơn giản là chiến lược IT của tổ chức.
Một vấn đề kỹ thuật đặt ra: S3 là một công nghệ lưu trữ độc quyền (proprietary) của AWS — khác với các giao thức file chuẩn như NFS mà EFS sử dụng. Vậy làm sao để các hệ thống on-premise (vốn quen làm việc với ổ đĩa, file share truyền thống) có thể sử dụng được dữ liệu lưu trong S3 một cách "vô hình", như thể nó chỉ là một ổ đĩa mạng thông thường? Câu trả lời là AWS Storage Gateway.
Trước khi đi vào Storage Gateway, hãy nhìn lại các lựa chọn lưu trữ "cloud-native" của AWS, phân theo loại:
AWS Storage Gateway chính là "cây cầu" nối giữa dữ liệu on-premise và dữ liệu trên cloud (trong S3). Đây là một dịch vụ hybrid storage cho phép hạ tầng on-premise sử dụng AWS Cloud một cách liền mạch (seamlessly), như thể S3 chỉ là một phần mở rộng tự nhiên của hệ thống lưu trữ hiện có.
Use case của Storage Gateway: disaster recovery, backup & restore, và tiered storage (lưu trữ theo tầng — dữ liệu nóng ở on-premise, dữ liệu lạnh tự động đẩy lên cloud). Storage Gateway có 3 loại chính: File Gateway, Volume Gateway, và Tape Gateway — với kỳ thi Cloud Practitioner, bạn chỉ cần biết Storage Gateway TỒN TẠI và mục đích của nó là gì, không cần nắm chi tiết kỹ thuật của từng loại.