Nvidia กวาดเกณฑ์มาตรฐาน AI แต่ Intel นำการแข่งขันที่มีความหมายมาให้ (2023)

การทดสอบเกณฑ์มาตรฐานล่าสุดของความเร็วชิปในการฝึกอบรมเครือข่ายประสาทเคยเป็นออกเมื่อวันอังคารโดย MLCommons กลุ่มอุตสาหกรรม เช่นเดียวกับในปีที่ผ่านมา Nvidia ได้คะแนนสูงสุดในการทดสอบ MLPerf

ด้วยคู่แข่งอย่าง Google, Graphcore และ Advanced Micro Devices ที่ไม่ได้ส่งผลงานในครั้งนี้ ความโดดเด่นของ Nvidia ในการทดสอบทั้งแปดรายการจึงเสร็จสิ้น

อีกด้วย:AI จะเปลี่ยนการพัฒนาซอฟต์แวร์ครั้งใหญ่

อย่างไรก็ตาม ธุรกิจ Habana ของ Intel นำมาซึ่งการแข่งขันที่มีความหมายด้วยชิป Guadi2 และบริษัทให้คำมั่นว่าจะเอาชนะ GPU H100 รุ่นท็อปของ Nvidia ภายในฤดูใบไม้ร่วงนี้

การทดสอบเกณฑ์มาตรฐาน การฝึกอบรมเวอร์ชัน 3.0 รายงานว่าใช้เวลากี่นาทีในการปรับ "น้ำหนัก" หรือพารามิเตอร์ของระบบประสาท จนกว่าโปรแกรมคอมพิวเตอร์จะบรรลุความแม่นยำขั้นต่ำที่จำเป็นในงานที่กำหนด ซึ่งเป็นกระบวนการที่เรียกว่า "การฝึกอบรม" โครงข่ายประสาทเทียม .

การทดสอบ Training 3.0 หลักซึ่งมีทั้งหมด 8 งานที่แยกจากกัน บันทึกเวลาในการปรับแต่งโครงข่ายประสาทเทียมโดยปรับแต่งการตั้งค่าในการทดลองหลายครั้ง เป็นครึ่งหนึ่งของประสิทธิภาพของโครงข่ายประสาทเทียมอีกครึ่งหนึ่งเรียกว่าการอนุมาน ซึ่งโครงข่ายประสาทเทียมที่สร้างเสร็จแล้วจะทำการคาดคะเนเมื่อได้รับข้อมูลใหม่ การอนุมานครอบคลุมในรีลีสแยกต่างหากจาก MLCommons

นอกเหนือจากการฝึกอบรมเกี่ยวกับคอมพิวเตอร์เซิร์ฟเวอร์แล้ว MLCommons Tuesday ยังได้เปิดตัวการทดสอบมาตรฐานร่วมกัน MLPerf Tiny เวอร์ชัน 1.1 ซึ่งจะวัดประสิทธิภาพเมื่อทำการคาดคะเนบนอุปกรณ์ที่ใช้พลังงานต่ำมาก

อีกด้วย:Nvidia, Dell และ Qualcomm เร่งผล AI ในการทดสอบเกณฑ์มาตรฐานล่าสุด

Nvidia ครองตำแหน่งสูงสุดในการทดสอบทั้ง 8 รายการโดยใช้เวลาฝึกน้อยที่สุด เพิ่มสองงานใหม่ หนึ่งกำลังทดสอบโมเดลภาษาขนาดใหญ่ GPT-3(LLM) สร้างโดย OpenAIAI กำเนิดการใช้ LLMS กลายเป็นความนิยมเนื่องจากความนิยมของโปรแกรม ChatGPT ของ OpenAIซึ่งสร้างขึ้นจาก LLM เดียวกัน ในงาน GPT-3 นั้น Nvidia ครองตำแหน่งสูงสุดด้วยระบบที่ประกอบขึ้นด้วยความช่วยเหลือของพันธมิตร CoreWeave ซึ่งให้เช่าอินสแตนซ์บนคลาวด์ของ Nvidia GPU

ระบบ Nvidia-CoreWeave ใช้เวลาน้อยกว่า 11 นาทีในการฝึกโดยใช้ชุดข้อมูลที่เรียกว่า Colossal Cleaned Common Crawl ระบบนั้นใช้โปรเซสเซอร์ Intel Xeon 896 ตัวและ GPU Nvidia H100 3,584 ตัว ระบบดำเนินงานโดยใช้เฟรมเวิร์ก NeMO ของ Nvidia สำหรับ AI เชิงกำเนิด

การฝึกอบรมเกิดขึ้นในส่วนหนึ่งของการฝึกอบรม GPT-3 เต็มรูปแบบ โดยใช้ GPT-3 เวอร์ชัน "ใหญ่" ซึ่งมีพารามิเตอร์ 175 บิลลอน MLCommons จำกัดการทดสอบไว้ที่ 0.4% ของการฝึกอบรม GPT-3 ทั้งหมด เพื่อให้รันไทม์เหมาะสมสำหรับผู้ส่ง

สิ่งใหม่ในครั้งนี้คือเอ็นจิ้นผู้แนะนำรุ่นที่ขยายซึ่งเป็นที่นิยมสำหรับสิ่งต่าง ๆ เช่นการค้นหาผลิตภัณฑ์และคำแนะนำเกี่ยวกับโซเชียลมีเดีย. MLCommons แทนที่ชุดข้อมูลการฝึกอบรมที่เคยใช้ ซึ่งเป็นชุดข้อมูลขนาด 1 เทราไบต์ ด้วยชุดข้อมูลขนาด 4 เทราไบต์ที่เรียกว่า Criteo 4TB multi-hot MLCommons ตัดสินใจทำการอัปเกรดเนื่องจากชุดข้อมูลที่มีขนาดเล็กเริ่มล้าสมัย

"แบบจำลองคำแนะนำการผลิตกำลังเพิ่มขนาด -- ในขนาด การประมวลผล และหน่วยความจำ" องค์กรกล่าว

ผู้จำหน่ายชิป AI เพียงรายเดียวที่จะแข่งขันกับ Nvidia คือ Habana ของ Intel ซึ่งส่งผลงานห้ารายการโดยใช้ชิปเร่งความเร็ว Gaudi2 บวกกับหนึ่งรายการที่ส่งโดยผู้ผลิตคอมพิวเตอร์ SuperMicro โดยใช้ชิปของ Habana ระบบเหล่านั้นส่งรวมกันสี่ในแปดงาน ในทุกกรณี ระบบ Habana ต่ำกว่าระบบ Nvidia อันดับต้น ๆ มาก ตัวอย่างเช่น ในการทดสอบเพื่อฝึกเครือข่ายประสาท BERT ของ Google บนข้อมูล Wikipedia เพื่อตอบคำถาม Habana อยู่ในอันดับที่ 5 โดยใช้เวลา 2 นาทีในการฝึกให้เสร็จ เทียบกับ 8 วินาทีสำหรับเครื่อง Nvidia-CoreWeave 3,072-GPU

อย่างไรก็ตาม Jordan Plawner หัวหน้าฝ่ายผลิตภัณฑ์ AI ของ Intel กล่าวในการให้สัมภาษณ์กับ ZDNET ว่าสำหรับระบบที่เปรียบเทียบกันได้นั้น ความแตกต่างของเวลาระหว่าง Habana และ Nvidia นั้นใกล้เคียงพอที่หลายๆ บริษัทอาจมองข้าม

ตัวอย่างเช่น ในการทดสอบ BERT Wikipedia ระบบ Habana 8 ส่วนพร้อมโปรเซสเซอร์ Intel Xeon สองตัว เข้ามาใช้เวลาฝึกอบรมเพียง 14 นาที ผลลัพธ์นั้นดีกว่าผลงานอื่นๆ สองโหล โดยหลายๆ ผลงานมีจำนวน GPU Nvidia A100 เพิ่มขึ้นเป็นสองเท่า

อีกด้วย:ในการวัด AI ที่ใช้พลังงานต่ำเป็นพิเศษ MLPerf ได้รับเกณฑ์มาตรฐาน TinyML

"เราขอเชิญทุกคนมาดูเครื่องจักร 8 เครื่อง" พลาวเนอร์กล่าว "เรามีข้อได้เปรียบด้านราคาอย่างมากกับ Gaudi2 ซึ่งราคาของเราใกล้เคียงกับ A100 ที่มีสเปคใกล้เคียงกัน ทำให้คุณได้รับการฝึกอบรมมากขึ้นต่อหนึ่งดอลลาร์"

Plawner ตั้งข้อสังเกตว่า Gaudi2 ไม่เพียงสามารถเอาชนะการกำหนดค่าที่คล้ายกันบางอย่างของ Nvidia A100 ได้ แต่ Gaudi2 ยังทำงานด้วยแต้มต่อเล็กน้อย Nvidia ส่งรายการ MLPerf ของตนโดยใช้รูปแบบข้อมูลในการฝึกที่เรียกว่า "FP-8" สำหรับจุดลอยตัว 8 บิต ในขณะที่ Habana ใช้วิธีอื่นที่เรียกว่า BF-16 สำหรับ B-float 16 บิต ความแม่นยำทางคณิตศาสตร์ที่สูงขึ้นของ BF-16 ขัดขวางการฝึกฝนในแง่ของเวลาที่ต้องทำให้เสร็จ

ปลายปีนี้ Plawner กล่าวว่า Gaudi2 จะใช้ FP-8 ซึ่งเขากล่าวว่าจะอนุญาตประสิทธิภาพที่มากขึ้น. มันยังช่วยให้ Habana สามารถเอาชนะระบบ H100 รุ่นใหม่ของ Nvidia ในด้านประสิทธิภาพได้อีกด้วย เขาคาดการณ์ไว้

"อุตสาหกรรมต้องการทางเลือกอื่น" สำหรับ Nvidia Plawner กล่าว ลูกค้ามักจะไม่เต็มใจที่จะเปลี่ยนจากแบรนด์ที่น่าเชื่อถือ แต่ตอนนี้ถูกผลักดันโดยการจัดหาชิ้นส่วนของ Nvidia ที่ตึงตัวอย่างกะทันหัน Jensen Huang ซีอีโอกล่าวเมื่อเดือนที่แล้วว่า Nvidia กำลังเผชิญกับช่วงเวลาที่ยากลำบากในการเติมเต็มความต้องการสำหรับ H100 GPUs

"ตอนนี้พวกเขามีแรงจูงใจ" Plawner บอกกับ ZDNET เกี่ยวกับลูกค้าที่ผิดหวังจากการขาดอุปทานของ Nvidia

"นี่คือสิ่งที่เราได้ยินจากพวกเขา พวกเขามีสิ่งที่ต้องทำในวันพรุ่งนี้ ซึ่ง CEO กำลังสั่งการ และพวกเขาทำไม่ได้เพราะพวกเขาไม่สามารถรับ GPU ได้ระยะเวลา"

"เชื่อฉันเถอะ พวกเขาทำเงินได้มากกว่าที่พวกเขาใช้จ่าย [กับ AI เชิงกำเนิด] ถ้าพวกเขาสามารถจ้างคน 50 คนในโครงการ Gaudi ให้มีเวลาเท่ากันในการฝึกอบรม ถ้าคำตอบคือ ฉันไม่มี GPU และฉันกำลังรอ หรือฉันมี Guadi2 และฉันสามารถเปิดตัวบริการใหม่ได้ในวันพรุ่งนี้ พวกเขาจะไปซื้อ Gaudi2 เพื่อเปิดตัวบริการใหม่"

Intel เป็นบริษัทที่ใหญ่เป็นอันดับสองของโลกโรงงานสำหรับชิปหรือ "เยี่ยม" หลังจาก Taiwan Semiconductor กล่าวถึง Plawner ซึ่งทำให้บริษัทสามารถควบคุมอุปทานของตนเองได้

อีกด้วย:ชิปที่ทำจากเห็ดเหล่านี้สามารถให้พลังงานแก่อุปกรณ์ของคุณได้

แม้ว่า Nvidia จะสร้างระบบที่มี GPU หลายพันเครื่องเพื่อให้ได้คะแนนสูงสุด แต่ Habana ก็สามารถทำได้เช่นเดียวกัน Plawner กล่าว "Intel กำลังสร้างคลัสเตอร์ Guadi2 หลายพันตัวภายใน" เขากล่าวพร้อมคำแนะนำโดยปริยายว่าเครื่องดังกล่าวอาจเป็นรายการในรอบ MLPerf ในอนาคต

ผลลัพธ์ของวันอังคารเป็นไตรมาสที่สองติดต่อกันสำหรับการทดสอบการฝึกอบรมซึ่งไม่มีผู้ผลิตชิปรายอื่นที่ทำคะแนนสูงสุดเมื่อเทียบกับ Nvidia

เมื่อปีก่อน, Google แบ่งคะแนนสูงสุดกับ Nvidia ด้วยชิป TPU แต่ Google ไม่ปรากฏตัวในเดือนพฤศจิกายนปีที่แล้ว และครั้งนี้ก็หายไปอีกครั้ง และสตาร์ทอัพ Graphcore ก็ออกจากการแข่งขันเช่นกัน โดยมุ่งเน้นที่ธุรกิจมากกว่าการแสดงผลการทดสอบ

ในการสนทนาทางโทรศัพท์ David Kanter ผู้อำนวยการ MLCommons ซึ่งถามโดย ZDNET เกี่ยวกับการที่คู่แข่งไม่ปรากฏตัว โดยกล่าวว่า "ยิ่งมีปาร์ตี้มากเท่าไหร่ก็ยิ่งดีเท่านั้น"

Google ไม่ได้ตอบคำถามจาก ZDNET เมื่อถามว่าทำไมบริษัทถึงไม่เข้าร่วมในครั้งนี้ Advanced Micro Devices ซึ่งแข่งขันกับ Nvidia บน GPU ยังไม่ได้ตอบกลับคำขอความคิดเห็น

อีกด้วย:นี่คือ 5 เครื่องมือ AI ที่ฉันชื่นชอบสำหรับการทำงาน

อย่างไรก็ตาม AMD มีชิป CPU อยู่ในระบบที่แข่งขันกัน อย่างไรก็ตาม เหตุการณ์กลับพลิกผันอย่างน่าประหลาดใจ ระบบ Nvidia ที่ชนะทุกระบบใช้ Intel Xeon CPUs เป็นโฮสต์โปรเซสเซอร์ ในผลงานปีที่แล้ว ผู้ชนะทั้งแปดรายการ ไม่ว่าจะเป็นจาก Nvidia หรือ Google ล้วนเป็นระบบที่ใช้โปรเซสเซอร์เซิร์ฟเวอร์ EPYC ของ AMD สวิตช์ดังกล่าวแสดงให้เห็นว่า Intel จัดการเพื่อชดเชยส่วนที่สูญเสียไปในโปรเซสเซอร์เซิร์ฟเวอร์ด้วยการเปิดตัว Sapphire Rapids ในปีนี้

แม้จะไม่มี Google และ Graphcore การทดสอบยังคงดึงดูดผู้ผลิตระบบรายใหม่ให้ส่งเข้ามา ในครั้งนี้ ผู้ส่งครั้งแรกรวมถึง CoreWeave แต่ยังรวมถึง IEI และ Quanta Cloud Technology