AWS - EMR Enum

Reading time: 4 minutes

EMR

AWS की Elastic MapReduce (EMR) सेवा, संस्करण 4.8.0 से शुरू होकर, एक सुरक्षा कॉन्फ़िगरेशन सुविधा पेश करती है जो डेटा सुरक्षा को बढ़ाती है, जिससे उपयोगकर्ता EMR क्लस्टरों के भीतर डेटा को स्थिर और संचरण के दौरान एन्क्रिप्शन सेटिंग्स निर्दिष्ट कर सकते हैं, जो Apache Hadoop और Spark जैसे बड़े डेटा ढांचे को संसाधित करने के लिए डिज़ाइन किए गए EC2 इंस्टेंस के स्केलेबल समूह हैं।

मुख्य विशेषताएँ शामिल हैं:

• क्लस्टर एन्क्रिप्शन डिफ़ॉल्ट: डिफ़ॉल्ट रूप से, एक क्लस्टर के भीतर स्थिर डेटा एन्क्रिप्ट नहीं होता है। हालाँकि, एन्क्रिप्शन सक्षम करने से कई सुविधाओं तक पहुँच मिलती है:
• Linux Unified Key Setup: EBS क्लस्टर वॉल्यूम को एन्क्रिप्ट करता है। उपयोगकर्ता AWS Key Management Service (KMS) या एक कस्टम कुंजी प्रदाता का विकल्प चुन सकते हैं।
• Open-Source HDFS एन्क्रिप्शन: Hadoop के लिए दो एन्क्रिप्शन विकल्प प्रदान करता है:
• सुरक्षित Hadoop RPC (Remote Procedure Call), गोपनीयता के लिए सेट किया गया, Simple Authentication Security Layer का लाभ उठाते हुए।
• HDFS ब्लॉक ट्रांसफर एन्क्रिप्शन, सत्यापित, AES-256 एल्गोरिदम का उपयोग करता है।
• संचरण में एन्क्रिप्शन: डेटा को स्थानांतरित करते समय सुरक्षा पर ध्यान केंद्रित करता है। विकल्पों में शामिल हैं:
• Open Source Transport Layer Security (TLS): एन्क्रिप्शन को सक्षम करने के लिए एक प्रमाणपत्र प्रदाता चुनने की आवश्यकता होती है:
• PEM: PEM प्रमाणपत्रों को मैन्युअल रूप से बनाने और एक ज़िप फ़ाइल में बंडल करने की आवश्यकता होती है, जिसे S3 बकेट से संदर्भित किया जाता है।
• कस्टम: एक कस्टम Java क्लास को प्रमाणपत्र प्रदाता के रूप में जोड़ने में शामिल है जो एन्क्रिप्शन आर्टिफैक्ट प्रदान करता है।

एक बार जब TLS प्रमाणपत्र प्रदाता सुरक्षा कॉन्फ़िगरेशन में एकीकृत हो जाता है, तो निम्नलिखित एप्लिकेशन-विशिष्ट एन्क्रिप्शन सुविधाएँ सक्रिय की जा सकती हैं, जो EMR संस्करण के आधार पर भिन्न होती हैं:

• Hadoop:
• TLS का उपयोग करके एन्क्रिप्टेड शफल को कम कर सकता है।
• Simple Authentication Security Layer और HDFS ब्लॉक ट्रांसफर के साथ सुरक्षित Hadoop RPC को स्थिर एन्क्रिप्शन के साथ सक्रिय किया गया है।
• Presto (EMR संस्करण 5.6.0+):
• Presto नोड्स के बीच आंतरिक संचार SSL और TLS का उपयोग करके सुरक्षित किया गया है।
• Tez Shuffle Handler:
• एन्क्रिप्शन के लिए TLS का उपयोग करता है।
• Spark:
• Akka प्रोटोकॉल के लिए TLS का उपयोग करता है।
• ब्लॉक ट्रांसफर सेवा के लिए Simple Authentication Security Layer और 3DES का उपयोग करता है।
• बाहरी शफल सेवा को Simple Authentication Security Layer के साथ सुरक्षित किया गया है।

ये सुविधाएँ सामूहिक रूप से EMR क्लस्टरों की सुरक्षा स्थिति को बढ़ाती हैं, विशेष रूप से भंडारण और संचरण चरणों के दौरान डेटा सुरक्षा के संबंध में।

Enumeration

aws emr list-clusters
aws emr describe-cluster --cluster-id <id>
aws emr list-instances --cluster-id <id>
aws emr list-instance-fleets --cluster-id <id>
aws emr list-steps --cluster-id <id>
aws emr list-notebook-executions
aws emr list-security-configurations
aws emr list-studios #Get studio URLs

प्रिवेस्क

AWS - EMR Privesc

संदर्भ

• https://cloudacademy.com/course/domain-three-designing-secure-applications-and-architectures/elastic-mapreduce-emr-encryption-1/