คนยืนอยู่ที่ปลายแถวเซิร์ฟเวอร์โดยมองดูจุดข้อมูลสีน้ำเงินสดใสที่ฉายบนผนังในระยะไกล

Intel® Advanced Matrix Extensions (Intel® AMX) คืออะไร

ขยาย ลดความซับซ้อน และเร่งความเร็วความสามารถ AI ของคุณเพื่อตอบสนองความต้องการด้านการประมวลผลสำหรับเวิร์คโหลดการเรียนรู้เชิงลึกด้วยตัวเร่งความเร็วแบบรวมบนรุ่นที่ 4 และโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้เจนเนอเรชั่นล่าสุด 1

ข้อมูลสำคัญ

  • Intel® AMX เป็นส่วนหนึ่งของ Intel® AI Engines ที่มีอยู่ในโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้เจนเนอเรชั่นล่าสุด

  • Intel® AMX เร่งการฝึกอบรมการเรียนรู้เชิงลึกและอนุมานเวิร์คโหลด และลดความต้องการฮาร์ดแวร์พิเศษเพิ่มเติมให้เหลือน้อยที่สุด

  • เครื่องมือสำหรับนักพัฒนาของ Intel® และทรัพยากรการเปิดใช้งานช่วยให้ใช้ประโยชน์จาก Intel® AMX ได้ง่ายขึ้น

author-image

โดย

เร่งการฝึกอบรมการเรียนรู้เชิงลึกที่ต้องใช้สมรรถนะสูงของคุณและการอนุมานเวิร์คโหลด โดยใช้ประโยชน์จาก Intel® Advanced Matrix Extensions (Intel® AMX) ซึ่งเป็นตัวเร่งความเร็วแบบรวมบนโปรเซสเซอร์ Intel® Xeon® Scalable เจนเนอเรชั่นล่าสุด เรียนรู้วิธีเปิดใช้งาน Intel® AMX บน CPU ของคุณด้วยคำแนะนำทีละขั้นตอนของเรา เพื่อให้คุณสามารถเริ่มเพิ่มประสิทธิภาพไปป์ไลน์ AI ของคุณ ปรับปรุงประสิทธิภาพ เพิ่มมูลค่าสูงสุด และลด TCO ในองค์กรของคุณ

โปรเซสเซอร์ Intel® Xeon® Scalable และ Intel® Advanced Matrix Extensions

เวิร์คโหลดการเรียนรู้เชิงลึก เช่น งานที่ต้องอาศัย AI เชิงการสร้าง โมเดลภาษาขนาดใหญ่ (LLM) และคอมพิวเตอร์วิทัศน์ อาจมีการประมวลผลที่เข้มข้นอย่างไม่น่าเชื่อ โดยต้องการประสิทธิภาพในระดับสูง และมักจะต้องใช้ฮาร์ดแวร์พิเศษเพิ่มเติมเพื่อให้แน่ใจว่าการปรับใช้ AI จะประสบความสำเร็จ ต้นทุนที่เกี่ยวข้องของข้อกำหนดเหล่านี้อาจเพิ่มขึ้นอย่างรวดเร็ว และการเพิ่มโซลูชันฮาร์ดแวร์แยกสามารถสร้างชั้นของปัญหาความซับซ้อนและความเข้ากันได้ที่ไม่จำเป็น

เพื่อช่วยให้เวิร์คโหลดการเรียนรู้เชิงลึกของคุณมีประสิทธิภาพและคุ้มค่ามากขึ้น ตลอดจนฝึกอบรมและปรับใช้ได้ง่ายขึ้น Intel® AMX บนโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ มอบการเร่งความเร็วสำหรับการอนุมานและการฝึกอบรม ในขณะเดียวกันก็ลดความจำเป็นในการใช้ฮาร์ดแวร์พิเศษให้เหลือน้อยที่สุด

Intel® AMX เป็นหนึ่งในสอง Intel® AI Engines ที่รวมอยู่ในโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ที่สามารถช่วยให้คุณใช้ CPU ให้เกิดประโยชน์สูงสุดเพื่อขับเคลื่อนการฝึกอบรม AI และการอนุมานเวิร์คโหลดในวงกว้างเพื่อประโยชน์ต่างๆ รวมถึงประสิทธิภาพที่ดีขึ้น การอนุมานลดลง การฝึกอบรม และ ต้นทุนการใช้งาน และต้นทุนรวมในการเป็นเจ้าของ (TCO) ที่ลดลง เนื่องจากเป็นตัวเร่งความเร็วในตัวซึ่งอยู่บนแต่ละคอร์ของ CPU และวางไว้ใกล้กับหน่วยความจำระบบ Intel® AMX มักจะมีความซับซ้อนในการใช้งานน้อยกว่าตัวเร่งความเร็วแบบแยก ซึ่งส่งผลให้ใช้เวลาในการประเมินค่าเร็วขึ้น

แม้ว่าจะมีหลายวิธีที่องค์กรสามารถรองรับเวิร์คโหลด AI ขั้นสูงได้ รากฐานที่ใช้โปรเซสเซอร์ที่ปรับขนาดได้ Intel® Xeon® พร้อมตัวเร่งความเร็ว AI ที่ทรงพลังและบูรณาการสามารถช่วยให้คุณบรรลุการฝึกอบรมและการอนุมานวัตถุประสงค์ด้านประสิทธิภาพ ในขณะเดียวกันก็ลดความซับซ้อนของระบบและการปรับใช้และต้นทุนการดำเนินงานสำหรับผลตอบแทนในธุรกิจที่มากขึ้น

วิธีการทำงานของ Intel® AMX

Intel® AMX คือบล็อกฮาร์ดแวร์เฉพาะที่พบในคอร์โปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ Scalable ที่ช่วยเพิ่มประสิทธิภาพและเร่งการฝึกอบรมการเรียนรู้เชิงลึกและการอนุมานเวิร์คโหลดที่ต้องอาศัยคณิตศาสตร์เมทริกซ์

Intel® AMX ช่วยให้เวิร์คโหลด AI ทำงานบน CPU แทนที่จะถ่ายโอนไปยังตัวเร่งความเร็วแบบแยก ซึ่งช่วยเพิ่มประสิทธิภาพได้อย่างมาก2สถาปัตยกรรมของ Intel® AMX รองรับประเภทข้อมูล BF16 (การฝึกอบรม/การอนุมาน) และ int8 (การอนุมาน) และประกอบด้วยองค์ประกอบหลักสองประการ:

  • ไทล์: ประกอบด้วยรีจิสเตอร์สองมิติจำนวนแปดรายการ โดยแต่ละเรจิสเตอร์มีขนาด 1 กิโลไบต์ ซึ่งจัดเก็บข้อมูลชิ้นใหญ่
  • การคูณเมทริกซ์ไทล์ (TMUL): TMUL เป็นกลไกตัวเร่งความเร็วที่ติดอยู่กับไทล์ที่ทำการคำนวณการคูณเมทริกซ์สำหรับ AI

ส่วนประกอบเหล่านี้ร่วมกันช่วยให้ Intel® AMX สามารถจัดเก็บข้อมูลได้มากขึ้นในแต่ละคอร์ และคำนวณเมทริกซ์ขนาดใหญ่กว่าในการดำเนินการเดียว นอกจากนี้ Intel® AMX ยังได้รับการออกแบบทางสถาปัตยกรรมให้ขยายและปรับขนาดได้อย่างเต็มที่

ข้อดีของ Intel® AMX สำหรับผลลัพธ์ทางธุรกิจที่ดีขึ้น

Intel® AMX ช่วยให้โปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ เพิ่มประสิทธิภาพการฝึกอบรมการเรียนรู้เชิงลึกและการอนุมานเวิร์คโหลดโดยสร้างสมดุลการอนุมาน ซึ่งเป็นกรณีการใช้งานที่โดดเด่นที่สุดสำหรับ CPU ในแอปพลิเคชัน AI พร้อมความสามารถที่มากขึ้นสำหรับการฝึกอบรม

ลูกค้า Intel จำนวนมากใช้ประโยชน์จาก Intel® AMX เพื่อสร้างผลลัพธ์ที่ดีขึ้นสำหรับองค์กรของตน ประสบการณ์ Intel® Xeon® เจนเนอเรชั่น 5 ช่วยให้ลูกค้าสามารถใช้งานการฝึกอบรม และการอนุมานที่ดีขึ้นสูงสุด 14 เท่า เมื่อเทียบกับโปรเซสเซอร์ Intel® Xeon® เจนเนอเรชั่น 33

ข้อดีหลักของ Intel® AMX ประกอบด้วย:

  • ประสิทธิภาพดีขึ้น
    การเร่งความเร็วที่ใช้ CPU สามารถปรับปรุงประสิทธิภาพการใช้พลังงานและทรัพยากร จึงทำให้คุณได้รับประสิทธิภาพมากขึ้นในราคาเท่าเดิม
    ตัวอย่างเช่น Intel® Xeon® Platinum 8592+ เจนเนอเรชั่น 5 ที่ใช้งาน Intel® AMX BF16 มีประสิทธิภาพการอนุมานการรู้จำเสียงแบบเรียลไทม์สูงสุด 10.7 เท่า (RNN-T) และมีประสิทธิภาพ/วัตต์สูงกว่า 7.9 เท่า เมื่อเทียบกับโปรเซสเซอร์ Intel® Xeon® เจนเนอเรชั่น 3 ที่ใช้งาน FP324
  • ต้นทุนโดยรวมในการเป็นเจ้าของที่ลดลง (TCO)
    โปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ พร้อมด้วย Intel® AMX ช่วยให้สามารถปรับปรุงประสิทธิภาพได้หลายอย่าง ซึ่งจะช่วยลดต้นทุน ลด TCO และทำให้เป้าหมายด้านความยั่งยืนรุดหน้า
    ในฐานะตัวเร่งความเร็วแบบผสานรวมบนโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ ที่คุณอาจมีอยู่แล้ว Intel® AMX ช่วยให้คุณเพิ่มการลงทุนที่คุณได้ทำไปแล้วให้สูงสุดและรับประโยชน์เพิ่มเติมจาก CPU ของคุณ โดยขจัดต้นทุนและความซับซ้อนที่มักเกี่ยวข้องกับการเพิ่มตัวเร่งความเร็วแบบแยกส่วน
    โปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ พร้อมด้วย Intel® AMX ยังสามารถมอบสถาปัตยกรรมเซิร์ฟเวอร์ที่คุ้มค่ากว่า เมื่อทียบกับตัวเลือกอื่นๆ ที่มีให้เลือก โดยให้ประโยชน์ทั้งในด้านพลังงานและการลดการปล่อยก๊าซเรือนกระจก
    เมื่อเปรียบเทียบกับเซิร์ฟเวอร์ AMD Genoa 9654 โปรเซสเซอร์ Intel® Xeon® Platinum เจนเนอเรชั่น 5 ที่ใช้งาน Intel® AMX ส่งมอบประสิทธิภาพการอนุมานการประมวลผลภาษาตามธรรมชาติแบบชุด (BERT-Large) ได้สูงกว่าสูงสุด 2.69 เท่า และประสิทธิภาพ/วัตต์สูงกว่า 2.96 เท่า5
  • เวลาการพัฒนาลดลง
    เพื่อลดความซับซ้อนของกระบวนการพัฒนาแอปพลิเคชันการเรียนรู้เชิงลึก เราทำงานอย่างใกล้ชิดกับชุมชนโอเพ่นซอร์ส รวมถึงโครงการ TensorFlow และ PyTorch เพื่อปรับเฟรมเวิร์กให้เหมาะสมสำหรับฮาร์ดแวร์ Intel® อัปสตรีมการเพิ่มประสิทธิภาพและคุณสมบัติใหม่ล่าสุดของเรา เพื่อให้พร้อมใช้งานสำหรับนักพัฒนาโปรแกรมโดยทันที สิ่งนี้ช่วยให้คุณสามารถใช้ประโยชน์จากข้อดีด้านประสิทธิภาพของ Intel® AMX ด้วยการเพิ่มโค้ดไม่กี่บรรทัด ซึ่งช่วยลดเวลาในการพัฒนาโดยรวม
    เรายังให้การเข้าถึงเครื่องมือ ไลบรารี และทรัพยากรสำหรับการพัฒนาของ Intel® ฟรีอีกด้วย

กรณีการใช้งานการเรียนรู้เชิงลึก Intel® AMX

Intel® AMX สามารถนำไปใช้ในกรณีการใช้งานการเรียนรู้เชิงลึกที่หลากหลาย เพื่อเพิ่มประสิทธิภาพที่สำคัญ ซึ่งส่งผลให้ผู้ใช้ปลายทางและมูลค่าทางธุรกิจมากขึ้น

  • ระบบผู้แนะนำ: ใช้ Intel® AMX เป็นโซลูชันที่คุ้มค่ากว่าสำหรับโมเดลผู้แนะนำ AI ที่เพิ่มการตอบสนองของผลิตภัณฑ์ เนื้อหา และคำแนะนำด้านบริการสำหรับกรณีการใช้งาน รวมถึงอีคอมเมิร์ซ โซเชียลมีเดีย การสตรีมความบันเทิง และการธนาคารส่วนบุคคล ตัวอย่างเช่น ผู้ให้บริการเนื้อหามักใช้ Intel® AMX เพื่อเร่งการส่งมอบคำแนะนำภาพยนตร์หรือหนังสือเป้าหมายและโฆษณา หรือเพื่อส่งมอบระบบผู้แนะนำการเรียนรู้เชิงลึกที่คำนึงถึงสัญญาณพฤติกรรมผู้ใช้แบบเรียลไทม์และคุณสมบัติบริบท เช่น เวลาและสถานที่ในบริเวณใกล้เคียง - เรียลไทม์ โปรเซสเซอร์ Intel® Xeon® เจนเนอเรชั่น 5 ส่งมอบประสิทธิภาพการอนุมานระบบการแนะนำ (DLRM) แบบชุดที่สูงกว่าสูงสุดถึง 8.7 เท่า และประสิทธิภาพ/วัตต์ที่สูงกว่าถึง 6.2 เท่า เมื่อเทียบกับโปรเซสเซอร์ Intel® Xeon® เจนเนอเรชั่น 3 ที่ใช้งาน FP326
  • การประมวลผลภาษาธรรมชาติ (NLP): เร่งกรณีการใช้งานแบบข้อความเพื่อรองรับและปรับขนาดแอปพลิเคชัน NLP เช่น ที่ใช้ในการดูแลสุขภาพและวิทยาศาสตร์ชีวภาพเพื่อดึงข้อมูลเชิงลึกจากบันทึกทางคลินิกหรือประมวลผลข้อมูลทางการแพทย์จำนวนมาก เพื่อช่วยในการตรวจหาปัญหาสุขภาพตั้งแต่เนิ่นๆ และปรับปรุงการให้การดูแล ในบริการทางการเงิน สามารถใช้ Intel® AMX เพื่อปรับปรุงการตอบสนองของแชทบอทออนไลน์ เพื่อช่วยเชื่อมต่อลูกค้ากับข้อมูลที่พวกเขาต้องการได้รวดเร็วยิ่งขึ้น ในขณะเดียวกันก็ให้พนักงานที่มีจำนวนจำกัดสามารถจัดการกับคำขอที่ซับซ้อนมากขึ้นได้
    เช่นเดียวกับสิทธิประโยชน์ในการประหยัดต้นทุนสำหรับระบบผู้แนะนำ Intel® AMX อาจเป็นโซลูชันที่คุ้มต้นทุนมากกว่าสำหรับ NLP ตัวอย่างเช่น ในขณะที่ปรับใช้โมเดลภาษาธรรมชาติ AI BERT-Large นั้น Intel® AMX บนโปรเซสเซอร์ Intel® Xeon® เจนเนอเรชั่น 4 จะช่วยประหยัดต้นทุนได้สูงสุดถึง 79 เปอร์เซ็นต์ เมื่อเทียบกับ AMD Genoa 93547
  • AI เชิงการสร้าง: ใช้ประโยชน์จาก Intel® AMX เพื่อเร่งประสิทธิภาพของการฝึกอบรมการเรียนรู้เชิงลึกและเวิร์คโหลดการอนุมานสำหรับกรณีการใช้งาน AI เชิงการสร้าง เช่น การสร้างเนื้อหา รวมถึงรูปภาพ วิดีโอ และเสียง การแปลภาษา การเพิ่มข้อมูล และการสรุป ตัวอย่างเช่น การประเมินประสิทธิภาพของโปรเซสเซอร์ Intel® Xeon® Platinum 8480+ พร้อมด้วย Intel® AMX สำหรับประเภทข้อมูล BF16 เมื่อเปรียบเทียบกับโปรเซสเซอร์ Intel® Xeon® Platinum 8380 สำหรับประเภทข้อมูล FP32 ลดเวลาการสร้างข้อความ Stable Diffusion เป็นรูปภาพเหลือน้อยกว่าห้าวินาที และ การปรับแต่งโมเดล Stable Diffusion ให้ละเอียดเหลือน้อยกว่า 5 นาที8
  • คอมพิวเตอร์วิทัศน์: ลดเวลาตั้งแต่การจับภาพวิดีโอและรูปภาพ ไปจนถึงข้อมูลเชิงลึกและการดำเนินการเพื่อมอบประสบการณ์ที่ยอดเยี่ยมให้กับลูกค้า และช่วยให้ธุรกิจของคุณปรับปรุงประสิทธิภาพและลดต้นทุนการดำเนินงาน ตัวอย่างเช่น ในร้านค้าปลีก Intel® AMX สามารถช่วยลดเวลาการทำธุรกรรมให้กับลูกค้าที่ใช้การชำระเงินที่ราบรื่นซึ่งเปิดใช้งานคอมพิวเตอร์วิทัศน์ และสนับสนุนการตรวจสอบชั้นวางแบบเรียลไทม์เพื่อติดตามข้อมูลสินค้าคงคลังและแจ้งพนักงานทันทีเมื่อสินค้าหมด ในการผลิต การวิเคราะห์วิดีโอแบบเร่งด่วนจากกล้องคอมพิวเตอร์วิทัศน์บนแขนหุ่นยนต์สามารถช่วยประหยัดเวลาและต้นทุนด้วยความสามารถในการตรวจจับข้อบกพร่องแบบอัตโนมัติ

หากต้องการค้นหาตัวอย่างเพิ่มเติมว่าลูกค้า Intel® ใช้ Intel® AMX เพื่อขับเคลื่อนผลลัพธ์ทางธุรกิจที่ดีขึ้นได้อย่างไร โปรดไปที่ไลบรารีสปอตไลต์ลูกค้าของเรา

เริ่มต้นด้วย Intel® AMX

เรานำเสนอทรัพยากรการพัฒนาที่หลากหลายเพื่อช่วยให้คุณใช้ประโยชน์จากตัวเร่ง Intel® AMX ในตัวในโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ ของคุณ

ในการเริ่มต้น ให้อ่านคำแนะนำทีละขั้นตอนเพื่อเพิ่มประสิทธิภาพด้วย Intel® AMX ในคู่มือต่อไปนี้:

สำหรับข้อมูลทางเทคนิคเชิงลึก บทช่วยสอน ตัวอย่างโค้ด และโมดูลการทดสอบ ให้เข้าไปที่:

คุณสามารถเข้าถึงคู่มือการปรับแต่งทั้งหมดของเราสำหรับโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ใน แค็ตตาล็อกเครื่องมือซอฟต์แวร์สำหรับนักพัฒนาโปรแกรมของเรา

เพื่อช่วยคุณปรับปรุงความพยายามในการพัฒนา AI เราขอเสนอชุดเครื่องมือ Intel® oneAPI ส่วนประกอบ และการเพิ่มประสิทธิภาพ ซึ่งรวมถึง:

ทดลองใช้ Intel® AMX วันนี้

นอกเหนือจากการอ่านเอกสารอ้างอิงของเรา คุณยังสามารถทดลองใช้ฮาร์ดแวร์ Intel®, Intel® AMX และคุณลักษณะการเร่งความเร็วแบบรวมอื่นๆ โดยใช้ Intel® Developer Cloud

แพลตฟอร์มออนไลน์ฟรีสำหรับการเรียนรู้ การสร้างต้นแบบ การทดสอบ และการรันเวิร์คโหลดนี้ยังรวมถึงการสนับสนุนชุดเครื่องมือ เครื่องมือ และไลบรารีการพัฒนาซอฟต์แวร์ของ Intel® จำนวนหนึ่ง

ขยายและปรับปรุงความสามารถ AI บน CPU ของคุณด้วย Intel® AMX

ในขณะที่องค์กรของคุณมองหาโซลูชันตอบสนองความต้องการด้านคอมพิวเตอร์ที่เพิ่มขึ้นเพื่อรองรับการฝึกอบรมการเรียนรู้เชิงลึกและการอนุมานเวิร์คโหลด, Intel® AMX สามารถช่วยเพิ่มประสิทธิภาพโดยใช้ฮาร์ดแวร์ Intel® ที่คุณอาจเป็นเจ้าของอยู่แล้ว โดยไม่มีค่าใช้จ่ายและความซับซ้อนที่มาพร้อมกับฮาร์ดแวร์พิเศษเพิ่มเติมและในเวลาการพัฒนาน้อยกว่าอย่างเห็นได้ชัด โดยใช้การเพิ่มประสิทธิภาพของ Intel® ในเฟรมเวิร์กโอเพ่นซอร์สยอดนิยม และการเข้าถึงเครื่องมือและทรัพยากรการพัฒนาของ Intel® ฟรี

ดูรายละเอียดเพิ่มเติม

Intel® Accelerator Engines

เรียนรู้เพิ่มเติมเกี่ยวกับความสามารถในการเร่งความเร็วในตัวในโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้

เรียกดูกลไก

โปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้

ค้นหาว่าเหตุใดโปรเซสเซอร์อันทรงพลังเหล่านี้จึงเป็นตัวเลือกที่เหมาะสมสำหรับเวิร์คโหลดที่ต้องใช้สมรรถนะสูงของคุณ

เรียกดูโปรเซสเซอร์

ข้อมูลผลิตภัณฑ์และประสิทธิภาพ

1

ความพร้อมของตัวเร่งความเร็วจะต่างกันไปขึ้นอยู่กับ SKU เยี่ยมชม 1···หน้าข้อมูลจำเพาะของผลิตภัณฑ์ Intel /1 เพื่อรับทราบรายละเอียดเพิ่มเติม

2

ดู [A16] และ [A17] ที่ intel.com/processorclaims: โปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ เจนเนอเรชั่น 4 ผลลัพธ์อาจแตกต่างออกไป

3

ดู [A15-A16] ที่ intel.com/processorclaims: โปรเซสเซอร์ Intel Xeon แบบปรับขนาดได้ เจนเนอเรชั่น 5 ผลลัพธ์อาจแตกต่างออกไป

4

ดู [A23] ที่ intel.com/processorclaims: โปรเซสเซอร์ Intel Xeon เจนเนอเรชั่น 5 ผลลัพธ์อาจแตกต่างออกไป

5

ดู [A210] ที่ intel.com/processorclaims: โปรเซสเซอร์ Intel Xeon เจนเนอเรชั่น 5 ผลลัพธ์อาจแตกต่างออกไป

6

ดู [A20] ที่ intel.com/processorclaims: โปรเซสเซอร์ Intel Xeon เจนเนอเรชั่น 5 ผลลัพธ์อาจแตกต่างออกไป

7

อ้างอิงจากโปรเซสเซอร์ Intel® Xeon® เจนเนอเรชั่น 4 ที่ให้ความเร็วการประมวลผลมากกว่า AMD EPYC เจนเนอเรชั่น 4 ถึง 5.60 เท่า ในขณะที่เรียกใช้เวิร์กโหลด BERT-Large ประสิทธิภาพนี้ช่วยลดจำนวนเซิร์ฟเวอร์จาก 50 เครื่องเป็น 9 เครื่อง ซึ่งช่วยประหยัดพลังงานไฟฟ้าได้ 424K ดอลลาร์สหรัฐฯ kWh ต่อปี ลดก๊าซเรือนกระจกลง 719,546 kgCO2 ในระยะเวลาสี่ปี และช่วยประหยัดต้นทุนได้ 1.38 ล้านดอลลาร์สหรัฐ BERT-Large: 8462Y+: 1-โหนด, 2x โปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ 8462Y+(32c/2.8 GHz, 300W TDP) เจนเนอเรชั่น 4 บนเซิร์ฟเวอร์ Supermicro SYS-221H-TNR พร้อมหน่วยความจำ DDR5 1024 GB (16x64 GB/4800) และไมโครโค้ด 0x2b000161, เปิด HT, เปิด Turbo, ปิด SNC, Ubuntu 22.04.2 LTS, 5.15.0-58-generic, 1x 1.92T SAMSUNG MZQL21T9HCJR-00A07, Framework=Intel® TF 2.11.dev202242, Python 3.8, AI Model=BERT-Large, step size=30, warmup=10; ผลลัพธ์แบบกลุ่ม: คะแนนที่ดีที่สุดทำได้โดยใช้ FP32(BS=64[16 คอร์/อินสแตนซ์]), BFloat16(BS=64[4 คอร์/อินสแตนซ์], int8-AMX(BS=64[1 คอร์/อินสแตนซ์), ผลลัพธ์ Real Time(BS1) โดยยังคงรักษาความหน่วงไว้ 130ms; SLA: คะแนนที่ดีที่สุดทำได้โดยใช้ FP32 (32 คอร์/อินสแตนซ์), BFloat16 (สี่คอร์/อินสแตนซ์), int8-AMX (สี่คอร์/อินสแตนซ์) ทดสอบโดย Intel เมื่อเดือนเมษายน 2023 BERT-ขนาดใหญ่: 9354: 1 โหนด, 2x โปรเซสเซอร์ AMD EPYC 9354 (32c/3.25 GHz, 280W TDP) บนเซิร์ฟเวอร์ Supermicro H13DSH พร้อมหน่วยความจำ DDR5 1536 GB (24x64 GB /4800), ไมโครโค้ด 0xa101111, เปิด SMT, เปิด Boost, NPS =1, Ubuntu 22.04.2 LTS, 5.15.0-58-generic , 1x 1.92T SAMSUNG MZQL21T9HCJR-00A07, Framework=Stock TF 2.10.1, ZenDNN=v4.0, Python 3.8 , AI Model=BERT-Large, step size=30, warmup=10; ผลลัพธ์แบบกลุ่ม: คะแนนที่ดีที่สุดที่ทำได้โดยใช้ FP32(BS=64[1 คอร์/อินสแตนซ์]), ทดสอบโดย Intel เมื่อเดือนเมษายน 2023 ค่าใช้จ่ายเป็นไปตามการประมาณการของ Intel และข้อมูลจาก thinkmate.com:

  • สำหรับกลุ่มเซิร์ฟเวอร์ 50 เครื่องของ AMD EPYC 9354 ซึ่งประมาณการ ณ เดือนมีนาคม 2023:
    • ค่าใช้จ่าย CapEx: 1.01 ล้านดอลลาร์สหรัฐ
    • ค่าใช้จ่าย OpEx (สี่ปี รวมค่าสาธารณูปโภคด้านพลังงานและการระบายความร้อน โครงสร้างพื้นฐาน และค่าบำรุงรักษาฮาร์ดแวร์): 7.326 แสนดอลลาร์สหรัฐ
    • การใช้พลังงานเป็น kWh (สี่ปีต่อเซิร์ฟเวอร์): 43169, PUE 1.6
    • ข้อสันนิษฐานอื่น ๆ: ค่าสาธารณูปโภค 0.1 ดอลลาร์สหรัฐ/kWh, ตัวประกอบ kWh เป็น kg CO2 0.42394
  • สำหรับกลุ่มเซิร์ฟเวอร์ 9 เครื่องของ Intel® Xeon® 8462Y เจนเนอเรชั่น 4 ณ เดือนมีนาคม 2023:
    • ค่าใช้จ่าย CapEx: 2.22 แสนดอลลาร์สหรัฐ
    • ค่าใช้จ่าย OpEx (สี่ปี รวมค่าสาธารณูปโภคด้านพลังงานและการระบายความร้อน โครงสร้างพื้นฐาน และค่าบำรุงรักษาฮาร์ดแวร์): 1.39 แสนดอลลาร์สหรัฐ
    • การใช้พลังงานเป็น kWh (สี่ปีต่อเซิร์ฟเวอร์): 51242, PUE 1.6
    • ข้อสันนิษฐานอื่น ๆ: ค่าสาธารณูปโภค 0.1 ดอลลาร์สหรัฐ/kWh, ตัวประกอบ kWh เป็น kg CO2 0.42394
8

การปรับประสิทธิภาพของโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ เจนเนอเรชั่น 4: ทดสอบโดย Intel เมื่อวันที่ 09/12/2022 หนึ่งถึงสี่โหนด, 2S, Intel® Xeon® Platinum 8480+ 56 คอร์บนแพลตฟอร์ม Dennard Pass และซอฟต์แวร์ที่มีหน่วยความจำ 512 GB (16x32 GB DDR5 4800 MT/s [4800 MT/s]), ไมโครโค้ด 0x90000c0, เปิด HT, เปิด Turbo, Rocky Linux 8.7, 4.18.0-372.32.1.el8_6.crt2.x86_64, 931.5G SSD เชื่อมต่อหลายโหนดกับ OmniPath 200 Gbps PyTorch 1.13, IPEX 1.13, Transformers 4.24.0, Accelerate 0.14, Diffusers 0.8.0, oneDNN 2.6.0, oneCCL 2021.7.1 การอนุมานโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ เจนเนอเรชั่นที่ 4: ทดสอบโดย Intel ณ วันที่ 09/12/2022 โหนดเดียว, 2S, Intel® Xeon® Platinum 8480+ 56 คอร์บนแพลตฟอร์ม Archer City และซอฟต์แวร์ที่มี 1024 GB (16x64 GB DDR5 4800 MT/s [4800 MT/s]), ไมโครโค้ด 0x2b000111, เปิด HT, เปิด Turbo, Ubuntu 22.04.1 LTS, 5.15.0-56-generic, 1.5 TB SSD เชื่อมต่อหลายโหนดกับคอนโทรลเลอร์ Ethernet I225-LM 100 Gbps PyTorch (commit ID: 26d1dbc) + PR 81852, Transformers 4.25.1, Accelerate 0.14, Diffusers 0.8.0, oneDNN 2.6.0 การอนุมานโปรเซสเซอร์ Intel® Xeon® แบบปรับขนาดได้ เจนเนอเรชั่นที่ 3: ทดสอบโดย Intel ณ วันที่ 09/12/2022 โหนดเดียว, 2S, CPU Intel® Xeon® Platinum 8380 @ 2.30 GHz 40 คอร์บนแพลตฟอร์ม WHITLEY และซอฟต์แวร์ที่มี 512 GB (16x32 GB DDR4 3200 MT/s [3200 MT/s]), ไมโครโค้ด 0xd000375, เปิด HT, เปิด Turbo, Ubuntu, 5.15.0-56-generic, 7.0 TB SSD เชื่อมต่อหลายโหนดกับคอนโทรลเลอร์ Ethernet X710 10 Gbps สำหรับ 10GBASE-T PyTorch (commit ID: 26d1dbc), Transformers 4.25.1, Accelerate 0.14, Diffusers 0.8.0, oneDNN 2.6.0 ประสิทธิภาพจะแตกต่างกันไปตามการใช้งาน การกำหนดค่า และปัจจัยอื่นๆ เรียนรู้เพิ่มเติมได้ที่ intel.com/PerformanceIndex ผลลัพธ์ประสิทธิภาพอ้างอิงตามการทดสอบในวันที่ที่ระบุดังที่แสดงในการกำหนดค่า และอาจไม่แสดงถึงการอัปเดตความปลอดภัยที่เผยแพร่ต่อสาธารณะ ดูการสำรองข้อมูลสำหรับรายละเอียดการกำหนดค่า ไม่มีผลิตภัณฑ์หรือส่วนประกอบใดที่จะปลอดภัยอย่างสมบูรณ์แบบ