คุณสมบัติเด่น
- ความสมจริงทางกายภาพและความต่อเนื่อง: ปรับปรุงการจำลองการคงอยู่ของวัตถุ การเคลื่อนไหว และฟิสิกส์ เพื่อลดอาร์ติแฟกต์ทางภาพ
- เสียงที่ซิงโครไนซ์: สร้างทั้งบทสนทนาและเสียงเอฟเฟกต์ที่ตรงกับการเคลื่อนไหวบนหน้าจอ
- ความสามารถในการควบคุมและช่วงของสไตล์: ควบคุมการจัดกรอบภาพของกล้อง ตัวเลือกเชิงสไตล์ และการกำหนดเงื่อนไขของพรอมป์ต์เพื่อให้ได้สุนทรียะที่ต่างกันอย่างละเอียดขึ้น
- การควบคุมเชิงครีเอทีฟ: ลำดับหลายช็อตที่สม่ำเสมอยิ่งขึ้น ปรับปรุงความสมจริงด้านฟิสิกส์และการเคลื่อนไหว และมีการควบคุมสไตล์และจังหวะเมื่อเทียบกับ Sora 1
รายละเอียดทางเทคนิค
OpenAI อธิบายว่าโมเดลตระกูล Sora ใช้ประโยชน์จากกระบวนการแบบ diffusion วิดีโอเชิงแฝง โดยมีดีนอยเซอร์ที่ใช้สถาปัตยกรรม Transformer และการกำหนดเงื่อนไขแบบมัลติโมดัล เพื่อผลิตเฟรมที่สอดคล้องตามเวลาและเสียงที่สอดรับกัน Sora 2 มุ่งปรับปรุงความเป็นกายภาพของการเคลื่อนไหว (ปฏิบัติตามโมเมนตัม แรงลอยตัว) ให้ได้ช็อตที่ยาวขึ้นแต่คงความสม่ำเสมอ และการซิงโครไนซ์อย่างชัดเจนระหว่างภาพที่สร้างขึ้นกับคำพูด/เสียงเอฟเฟกต์ที่สร้างขึ้น เอกสารสาธารณะเน้นย้ำกลไกความปลอดภัยระดับโมเดลและการกลั่นกรองเนื้อหา (บล็อกแบบเข้มงวดสำหรับเนื้อหาที่ไม่อนุญาตบางประเภท เกณฑ์ที่เข้มงวดขึ้นสำหรับผู้เยาว์ และกระบวนการยินยอมสำหรับการใช้ความเหมือนบุคคล)
ข้อจำกัดและข้อพิจารณาด้านความปลอดภัย
- ยังมีความไม่สมบูรณ์: Sora 2 ยังทำพลาดได้ (อาร์ติแฟกต์ด้านเวลา ฟิสิกส์ที่ไม่สมบูรณ์ในกรณีขอบ การออกเสียง/การขยับปากผิดพลาด) —Sora 2 ได้รับการปรับปรุงแต่ยังไม่สมบูรณ์ OpenAI ระบุอย่างชัดเจนว่ายังมีโหมดความล้มเหลวอยู่
- ความเสี่ยงจากการใช้งานผิดวัตถุประสงค์: การสร้างความเหมือนบุคคลโดยไม่ยินยอม ดีพเฟก ประเด็นลิขสิทธิ์ และความเสี่ยงต่อสุขภาวะ/การมีส่วนร่วมของวัยรุ่น OpenAI กำลังทยอยใช้ เวิร์กโฟลว์การยินยอม สิทธิ์การปรากฏตัวแบบคาเมโอที่เข้มงวดขึ้น เกณฑ์การกลั่นกรองสำหรับผู้เยาว์ และทีมกลั่นกรองโดยมนุษย์
- ข้อจำกัดด้านเนื้อหาและกฎหมาย: แอปและโมเดลบล็อกเนื้อหาโจ่งแจ้ง/รุนแรง และจำกัดการสร้างความเหมือนของบุคคลสาธารณะโดยไม่มีการยินยอม อีกทั้งมีรายงานว่า OpenAI ใช้กลไก opt-out สำหรับแหล่งข้อมูลที่มีลิขสิทธิ์ ผู้ปฏิบัติงานควรประเมินความเสี่ยงด้านทรัพย์สินทางปัญญาและความเป็นส่วนตัว/กฎหมายก่อนใช้งานจริง
- การใช้งานปัจจุบันให้ความสำคัญกับ คลิปสั้น (ฟีเจอร์ในแอปอ้างอิงคลิปสร้างสรรค์ยาว ~10 วินาที) และการอัปโหลดแบบโฟโตเรียลลิสติกที่หนักหรือไม่จำกัดถูกจำกัดระหว่าง
กรณีการใช้งานหลักและเชิงปฏิบัติ
- การสร้างสรรค์เพื่อโซเชียลและคลิปไวรัล: สร้างและรีมิกซ์คลิปแนวตั้งแบบสั้นสำหรับฟีดโซเชียลได้อย่างรวดเร็ว (กรณีใช้งานของแอป Sora)
- การสร้างต้นแบบและพรีวิชวลไลเซชัน: ม็อกอัปฉากอย่างรวดเร็ว สตอรี่บอร์ด ภาพคอนเซปต์ พร้อมเสียงชั่วคราวที่ซิงโครไนซ์สำหรับทีมครีเอทีฟ
- โฆษณาและคอนเทนต์รูปแบบสั้น: การทดสอบเชิงคอนเซปต์ด้านครีเอทีฟและแอสเซ็ตสำหรับแคมเปญขนาดเล็ก โดยอยู่ในกรอบการยินยอมทางจริยธรรม/กฎหมายที่เหมาะสม
- งานวิจัยและการเสริมศักยภาพสายเครื่องมือ: เครื่องมือสำหรับห้องปฏิบัติการสื่อในการศึกษาการสร้างแบบจำลองโลกและการจัดแนวแบบมัลติโมดัล (ภายใต้ใบอนุญาตและรั้วกั้นด้านความปลอดภัย)