เมื่อสร้างฟีเจอร์ด้วยโมเดล AI ในเว็บ เรามักจะใช้โซลูชันฝั่งเซิร์ฟเวอร์สำหรับโมเดลขนาดใหญ่ โดยเฉพาะอย่างยิ่งสําหรับ Generative AI ที่แม้แต่โมเดลที่เล็กที่สุดก็ยังมีขนาดใหญ่กว่าขนาดหน้าเว็บมัธยฐานถึงหลายพันเท่า รวมถึงกรณีการใช้งาน AI อื่นๆ ด้วย ซึ่งมีขนาดโมเดลได้ตั้งแต่ 10 วินาทีถึง 100 เมกะไบต์
เนื่องจากโมเดลเหล่านี้ไม่ได้แชร์ข้ามเว็บไซต์ แต่ละเว็บไซต์จึงต้องดาวน์โหลดรูปแบบเมื่อโหลดหน้าเว็บ นี่คือโซลูชันที่ใช้ได้จริง สำหรับนักพัฒนาซอฟต์แวร์และผู้ใช้
แม้ว่า AI ฝั่งเซิร์ฟเวอร์จะเป็นตัวเลือกที่ยอดเยี่ยมสำหรับโมเดลขนาดใหญ่ แต่แนวทางในอุปกรณ์และแบบไฮบริดก็��ีข้อดีที่น่าสนใจในตัว เราต้องหาขนาดของโมเดลและการนำส่งโมเดลเพื่อให้แนวทางเหล่านี้ใช้งานได้
ด้วยเหตุนี้ เราจึงพัฒนา API ของแพลตฟอร์มเว็บและฟีเจอร์เบราว์เซอร์ที่ออกแบบมาเพื่อผสานรวมโมเดล AI ซึ่งรวมถึงโมเดลภาษาขนาดใหญ่ (LLM) เข้ากับเบราว์เซอร์โดยตรง ซึ่งรวมถึง Gemini Nano ซึ่งเป็น LLM เวอร์ชันที่มีประสิทธิภาพมากที่สุดของ Gemini ซึ่งออกแบบมาให้ทำงานในระบบในคอมพิวเตอร์เดสก์ท็อปและแล็ปท็อปที่ทันสมัยที่สุด การใช้ AI ในตัวจะทำให้เว็บไซต์หรือเว็บแอปพลิเคชันทำงานที่ทำงานด้วยระบบ AI ได้โดยไม่ต้องใช้หรือจัดการโมเดล AI ของตัวเอง
ค้นพบประโยชน์ของ AI ในตัว แผนการนำไปใช้ และวิธีใช้ประโยชน์จากเทคโนโลยีนี้
ดูตัวอย่างก่อนเปิดตัว
เราต้องการข้อมูลของคุณเพื่อกำหนดทิศทางของ API เพื่อให้แน่ใจว่า API จะตอบสนองกรณีการใช้งานของคุณ และแจ้งให้ผู้ให้บริการเบราว์เซอร์รายอื่นๆ ทราบถึงการกำหนดมาตรฐาน
เข้าร่วมโปรแกรมทดลองใช้ก่อนเปิดตัวเพื่อแสดงความคิดเห็นเกี่ยวกับแนวคิด AI ในตัวระยะเริ่มต้น และค้นพบโอกาสในการทดสอบ API ที่กำลังดำเนินการผ่านการสร้างต้นแบบในพื้นที่
เข้าร่วมกลุ่มประกาศสาธารณะสำหรับนักพัฒนาซอฟต์แวร์ AI ของ Chrome เพื่อรับการแจ้งเตือนเมื่อมี API ใหม่พร้อมใช้งาน
ประโยชน์ของ AI ในตัวสำหรับนักพัฒนาเว็บ
เบราว์เซอร์จะจัดหาและจัดการรากฐานและรูปแบบผู้เชี่ยวชาญด้วย AI ในตัว
AI ในตัวมีประโยชน์ดังต่อไปนี้เมื่อเทียบกับการดำเนินการดังกล่าวด้วยตนเอง AI ในอุปกรณ์
- การติดตั้งใช้งานที่ง่ายดาย: เมื่อเบราว์เซอร์กระจายโมเดล เบราว์เซอร์จะพิจารณาความสามารถของอุปกรณ์และจัดการการอัปเดตโมเดล ซึ่งหมายความว่า คุณไม่จำเป็นต้องดาวน์โหลดหรืออัปเดตโมเดลขนาดใหญ่ผ่านเครือข่าย คุณจึงไม่ต้องแก้ปัญหาเกี่ยวกับการปลดพื้นที่เก็บข้อมูล งบประมาณหน่วยความจำรันไทม์ ค่าใช้จ่ายการแสดงผล และปัญหาอื่นๆ
- สิทธิ์เข้าถึงการเร่งฮาร์ดแวร์: รันไทม์ของ AI ของเบราว์เซอร์ได้รับการเพิ่มประสิทธิภาพให้ใช้ประโยชน์สูงสุดจากฮาร์ดแวร์ที่มีอยู่ ไม่ว่าจะเป็น GPU, NPU หรือการกลับไปใช้ CPU แอปจึงจะได้รับประสิทธิภาพที่ดีที่สุดบนอุปกรณ์แต่ละเครื่อง
ข้อดีของการทำงานในอุปกรณ์
เมื่อใช้แนวทาง AI ที่มีมาในตัว การทำงานเกี่ยวกับ AI ในอุปกรณ์จึงไม่ใช่เรื่องง่ายนัก ซึ่งจะส่งผลให้ข้อดีดังต่อไปนี้
- การประมวลผลข้อมูลที่ละเอียดอ่อนภายในเครื่อง: AI ในอุปกรณ์ช่วยปรับปรุงเรื่องราวความเป็นส่วนตัวของคุณได้ เช่น หากใช้ข้อมูลที่ละเอียดอ่อน คุณก็ให้บริการฟีเจอร์ AI แก่ผู้ใช้���ด้ด้วยการเข้ารหัสจากต้นทางถึงปลายทาง
- ประสบการณ์ของผู้ใช้ที่รวดเร็ว: ในบางกรณี การเลิกใช้เส้นทางไป-กลับไปยังเซิร์ฟเวอร์หมายความว่าคุณสามารถให้ผลลัพธ์แทบจะในทันที AI ในอุปกรณ์อาจเป็นความแตกต่างระหว่างฟีเจอร์ที่ใช้ได้จริงกับประสบการณ์ของผู้ใช้ที่ไม่ดีนัก
- การเข้าถึง AI ที่ดียิ่งขึ้น: อุปกรณ์ของผู้ใช้สามารถรองรับภาระงานในการประมวลผลบางอย่างเพื่อแลกกับการเข้าถึงฟีเจอร์มากขึ้น ตัวอย่างเช่น หากนำเสนอฟีเจอร์ AI ระดับพรีเมียม คุณสามารถทดลองใช้ฟีเจอร์เหล่านี้ด้วย AI ในอุปกรณ์เพื่อให้ผู้มีโอกาสเป็นลูกค้าเห็นประโยชน์ของผลิตภัณฑ์โดยไม่ต้องเสียค่าใช้จ่ายเพิ่มเติม แนวทางแบบผสมนี้ยังช่วยให้คุณจัดการต้นทุนการอนุมานได้ โดยเฉพาะอย่างยิ่งในการไหลเวียนของผู้ใช้ที่ใช้บ่อย
- การใช้งาน AI แบบออฟไลน์: ผู้ใช้เข้าถึงฟีเจอร์ AI ได้แม้ไม่ได้เชื่อมต่ออินเทอร์เน็ต ซึ่งหมายความว่าไซต์และเว็บแอปของคุณจะทำงานแบบออฟไลน์หรือเมื่อมีการเชื่อมต่อที่ไม่แน่นอน
AI แบบผสม: ในอุปกรณ์และฝั่งเซิร์ฟเวอร์
แม้ว่า AI ในอุปกรณ์จะรองรับกรณีการใช้งานหลากหลายประเภท แต่ก็มีกรณีการใช้งานบางกรณีที่จำเป็นต้องใช้การสนับสนุนฝั่งเซิร์ฟเวอร์
เช่น คุณอาจต้องใช้โมเดลที่มีขนาดใหญ่กว่าหรือรองรับแพลตฟอร์มและอุปกรณ์ที่หลากหลายมากขึ้น
คุณอาจพิจารณาใช้แนวทางแบบผสม โดยขึ้นอยู่กับปัจจัยต่อไปนี้
- ความซับซ้อน: กรณีการใช้งานที่เจาะจงและเข้าถึงได้ง่ายจะรองรับ AI ในอุปกรณ์ได้ง่ายกว่า สำหรับกรณีการใช้งานที่ซับซ้อน ให้พิจารณาการใช้งานฝั่งเซิร์ฟเวอร์
- ความยืดหยุ่น: ใช้ฝั่งเซิร์ฟเวอร์โดยค่าเริ่มต้นและใช้ในอุปกรณ์เมื่ออุปกรณ์ออฟไลน์หรือการเชื่อมต่อไม่เสถียร
- ทางเลือกสำรองที่ทำงานอย่างค่อยเป็นค่อยไป: การใช้งานเบราว์เซอร์ที่มี AI ในต��วจะใช้เวลานาน บางรุ่นอาจไม่สามารถใช้งานได้ และอุปกรณ์รุ่นเก่าหรือที่มีประสิทธิภาพต่ำกว่าอาจไม่ตรงตามข้อกำหนดของฮาร์ดแวร์สำหรับการใช้งานทุกรุ่นอย่างมีประสิทธิภาพ นำเสนอ AI ฝั่งเซิร์ฟเวอร์ให้กับผู้ใช้เหล่านั้น
สำหรับโมเดล Gemini คุณสามารถใช้การผสานรวมแบ็กเอนด์ (ด้วย Python, Go, Node.js หรือ REST) หรือติดตั้งใช้งานในเว็บแอปพลิเคชันด้วย SDK ไคลเอ็นต์ AI ของ Google สำหรับเว็บใหม่
สถาปัตยกรรมเบราว์เซอร์และ API
เราได้สร้างโครงสร้างพื้นฐานเพื่อเข้าถึงโมเดลพื้นฐานและผู้เชี่ยวชาญสำหรับการดำเนินการในอุปกรณ์เพื่อรองรับ AI ในตัวของ Chrome โครงสร้างพื้นฐานนี้ขับเคลื่อนฟีเจอร์เบราว์เซอร์ที่เป็นนวัตกรรมใหม่อยู่แล้ว เช่น ช่วยฉันเขียน และจะขับเคลื่อน API สำหรับ AI ในอุปกรณ์ในเร็วๆ นี้
คุณจะเข้าถึงความสามารถของ AI ในตัวโดยใช้ API ของงานเป็นหลักได้ เช่น Translation API หรือ API การสรุป Task API ออกแบบมาเพื่อเรียกใช้การอนุมานกับโมเดลที่ดีที่สุดสำหรับการมอบหมาย
โดยใน Chrome API เหล่านี้สร้างขึ้นเพื่อเรียกใช้การอนุมานกับ Gemini Nano พร้อมการปรับแต่งอย่างละเอียดหรือโมเดลผู้เชี่ยวชาญ Gemini Nano ออกแบบมาให้ทำงานได้เฉพาะในอุปกรณ์สมัยใหม่ส่วนใหญ่ เหมาะสำหรับกรณีการใช้งานที่เกี่ยวข้องกับภาษา เช่น การสรุป การเรียบเรียงข้อความ หรือการจัดหมวดหมู่
นอกจากนี้ เรายังตั้งใจที่จะมอบ API เพื่อสำรวจเพื่อให้คุณทำ��ารทดสอบในเครื่องและแชร์กรณีการใช้งานเพิ่มเติมได้
ตัวอย่างเช่น เราอาจให้ข้อมูลต่อไปนี้
- Prompt API: ส่งงานที่กำหนดเองซึ่งแสดงเป็นภาษาธรรมชาติไปยังโมเดลภาษาขนาดใหญ่ (Gemini Nano ใน Chrome) ในตัว
- Fine-tuning (LoRA) API: ปรับปรุงประสิทธิภาพของ LLM ในตัวในงาน ด้วยการปรับน้ำหนักของโมเดลด้วย การปรับระดับต่ำ แบบละเอียด
กรณีที่ควรใช้ AI ในตัว
เราคาดว่า AI ในตัวจะเป็นประโยชน์ต่อคุณและผู้ใช้ของคุณดังต่อไปนี้
- การบริโภคเนื้อหาที่เพิ่มประสิทธิภาพโดย AI: รวมถึงการสรุป การแปล การตอบคำถามเกี่ยวกับเนื้อหาบางอย่าง การจัดหมวดหมู่ และการกำหนดลักษณะ
- การสร้างเนื้อหาด้วย AI: เช่น ความช่วยเหลือด้านการเขียน การพิสูจน์อักษร การแก้ไขไวยากรณ์ และการเรียบเรียงใหม่
ขั้นตอนถัดไป
เข้าร่วมโปรแกรมทดลองใช้ก่อนเปิดตัวเพื่อทดสอบกับ AI API ในตัวในระยะเริ่มต้น
ในระหว่างนี้ คุณสามารถดูวิธีใช้ Gemini Pro บนเซิร์ฟเวอร์ของ Google ด้วยเว็บไซต์และแอปบนเว็บได้ในคู่มือเริ่มใช้งานฉบับย่อสำหรับ Google AI JavaScript SDK