सेरेब्रस सिस्टम 'वेफर स्केल इंजन 12 'वेफर में एक ट्रिलियन ट्रांजिस्टर प्रोसेसर है


This news isn't properly today's, but it's relevant and interesting enough that I think warrants a news piece on our page. My reasoning is this: in an era where Multi-Chip Modules (MCM) and a chiplet approach to processor fabrication has become a de-facto standard for improving performance and yields, a trillion-transistor processor that eschews those modular design philosophies is interesting enough to give pause.

एई-प्रशिक्षण इंजनों की मांग में जारी वृद्धि का सामना करने के लिए सेरेबास सिस्टम्स द्वारा वेफर स्केल इंजन विकसित किया गया है। हालांकि, कार्यभार में जहां प्रशिक्षण के समय में विलंबता का वास्तविक प्रभाव होता है और सिस्टम की क्षमता होती है, सेरेब्रस एक ऐसे प्रोसेसर को डिजाइन करना चाहते थे जो संचार के लिए अपने सभी कोर के लिए एक संचार लेन की आवश्यकता को टालता है - प्रणाली केवल सीमित रूप से, मूल रूप से ट्रांजिस्टर द्वारा सीमित है 'स्विचिंग बार। इसकी 400,000 कोर इंटरकनेक्ट के माध्यम से निर्बाध रूप से संचार करती हैं, सिलिकॉन के 42,225 वर्ग मिलीमीटर पर etched (तुलना करके, NVIDIA का सबसे बड़ा GPU 'सिर्फ' 815 वर्ग मिलीमीटर पर 56.7 गुना छोटा है)।
हालांकि, एक ऐसी दुनिया में जहां सिलिकॉन वेफर मैन्युफैक्चरिंग में अभी भी मैन्युफैक्चरिंग डिफेक्ट्स की घटनाएँ होती हैं, जो पूरे चिप्स को निष्क्रिय कर सकती हैं, तो सेरेब्रस ने इतने बड़े प्रोसेसर को बनाने का प्रबंधन कैसे किया और इसे ऐसे दोषों से बचाए रखा जो वास्तव में रिपोर्ट किए गए चश्मे पर वितरित नहीं कर सकते। और प्रदर्शन? उत्तर एक पुराना है, मुख्य रूप से: अतिरेक, कुछ अतिरिक्त जादुई इंजीनियरिंग पाउडर के साथ जोड़ा जाता है जो चिप्स निर्माता, टीएसएमसी के संयोजन में प्राप्त किया गया है। चिप TSMC के 16 एनएम नोड पर बनाया गया है - सिद्ध पैदावार के साथ एक अधिक परिष्कृत प्रक्रिया, एक अत्याधुनिक 7 एनएम प्रक्रिया से सस्ता है, और कम क्षेत्र घनत्व के साथ - यह आपको 400,000 कोर को ठीक से ठंडा करने के लिए और भी मुश्किल बना देगा, जैसा कि आप कल्पना कर सकते हैं।

ऐसे बड़े चिप्स से जुड़ी स्केलिंग समस्याओं को सुलझाने में सेरेब्रल द्वारा क्रॉस-रिटिकल कनेक्टिविटी, उपज, बिजली वितरण, और पैकेजिंग सुधार सभी पर शोध और तैनाती की गई है। इसके अलावा, चिप्स अनावश्यक सुविधाओं के साथ बनाया गया है, जो यह सुनिश्चित करना चाहिए कि भले ही सिलिकॉन चिप के विभिन्न हिस्सों में कुछ दोष उत्पन्न हो, जिन क्षेत्रों को 'ओवरप्रोविजनिंग' के रूप में डिजाइन किया गया है, वे बिना स्लैक, रूटिंग और प्रोसेसिंग डेटा में कटौती कर सकते हैं। एक हरा लंघन। सेरेब्रस का कहना है कि चिप के किसी भी घटक (कोर, एसआरएएम, आदि) में 1%, अतिरिक्त ओवरप्रॉवनिंग क्षमता का 1.5% है जो किसी भी निर्माण दोष को सिलिकॉन-वेस्टर के बजाय केवल एक नगण्य स्पीडबंप होने में सक्षम बनाता है। इंटर-कोर संचार समाधान सबसे उन्नत में से एक है, जो एक महीन-दानेदार, ऑल-हार्डवेयर, ऑन-चिप जाली-कनेक्टेड संचार नेटवर्क के साथ है, जिसे झुका दिया गया है, जो प्रति सेकंड 100 पेटाबिट्स के एक समग्र बैंडविड्थ को बचाता है ... यह इसके साथ युग्मित है। 18 जीबी की स्थानीय, वितरित, सुपरफास्ट SRAM मेमोरी, स्मृति पदानुक्रम के एक और एकमात्र स्तर के रूप में - प्रति सेकंड 9 पेटाबाइट्स के दायरे में मेमोरी बैंडविड्थ प्रदान करना।

400,000 कोर एआई वर्कलोड त्वरण के लिए कस्टम-डिज़ाइन किए गए हैं। स्पार्स रैखिक बीजगणित कोर के लिए नामांकित SLAC, ये लचीले, प्रोग्राम करने योग्य हैं, और विरल रैखिक बीजगणित के लिए अनुकूलित हैं जो सभी तंत्रिका नेटवर्क संगणना (इन FPGA की तरह, कोर की सारणीय प्रोग्राम) के रूप में सोचते हैं। SLAC की प्रोग्रामेबिलिटी सुनिश्चित करती है कि कोर लगातार परिवर्तनशील मशीन लर्निंग फील्ड में सभी न्यूरल नेटवर्क एल्गोरिदम चला सकते हैं - यह एक ऐसी चिप है जो विभिन्न वर्कलोड और AI से संबंधित समस्या को हल करने और प्रशिक्षण के लिए अनुकूल हो सकती है - ऐसे महंगे तैनाती के लिए एक आवश्यकता जैसे कि Waale Scale Engine निश्चित ही पेश करती हैं। पूरे चिप और इसके साथ तैनाती तंत्र को घर में विकसित किया जाना था। जैसा कि संस्थापक और सीईओ एंड्रयू फेल्डमैन कहते हैं, पैकेजिंग, प्रिंटेड सर्किट बोर्ड, कनेक्टर, कोल्ड प्लेट, उपकरण या कोई भी सॉफ्टवेयर नहीं थे, जिन्हें वेफर स्केल इंजन के निर्माण और तैनाती के लिए अनुकूलित किया जा सके। इसका मतलब है कि सेरेब्रस सिस्टम्स 'और इसकी 173 इंजीनियरों की टीम को न केवल चिप का विकास करना था, बल्कि लगभग हर चीज जो यह सुनिश्चित करने के लिए आवश्यक है कि यह वास्तव में काम करती है। वेफर स्केल इंजन संचालित करने के लिए 15 किलोवाट बिजली की खपत करता है - एक व्यक्तिगत चिप के लिए शक्ति की एक विलक्षण मात्रा, हालांकि आधुनिक आकार के एआई क्लस्टर के लिए अपेक्षाकृत तुलनीय है। यह एक क्लस्टर है, संक्षेप में, लेकिन एक एकल चिप में तैनात है जिसमें विलंबता और अंतर-चिप संचार बाधाओं में से कोई भी नहीं है जो गुच्छे को घेरता है।

In an era where companies are looking towards chiplet design and inter-chip communication solutions as ways to tackle the increasing challenges of manufacturing density and decreasing yields, Cerebras' effort proves that there is still a way of developing monolithic chips that place performance above all other considerations. Sources: VentureBeat, TechCrunch