ถือว่าเป็น Next wave ใหม่ของ Meta เลยก็ว่าได้ ซึ่งเครื่องมือ Video generation tool ตัวนี้มีชื่อว่า “Movie Gen” ที่สามารถสร้างภาพ และวิดีโอคุณภาพสูงได้ รวมถึงแก้ไขได้ด้วย โดยหวังว่าเครื่องมือนี้จะช่วยทำให้ความคิดสร้างสรรค์ออกมาเป็นผลงานคุณภาพได้
ด้วยโมเดลซีรีส์ Make-A-Scene ก็จะช่วยให้สามารถสร้างภาพเสียงวิดีโอและแอนิเมชัน 3D ได้ง่ายขึ้น โดยมีการทำงานผสมผสานกับ Llama Image foundation เลยทำให้วิดีโอที่ได้ไม่เคยมีความละเอียดเท่านี้มาก่อน ซึ่ง Meta มีการฝึกชุดโมเดลจากชุดข้อมูลที่ได้รับอนุญาตแล้ว รวมถึงชุดข้อมูลที่เปิดให้ใช้งานสาธารณะ
Video generation
โมเดลทรานสฟอร์มเมอร์พารามิเตอร์ 30B ช่วยสร้างวิดีโอที่มีความยาวสูงสุด 16 วินาทีด้วยอัตรา 16 เฟรมต่อวินาทีได้ ทำให้การเคลื่อนไหวของวัตถุ หรือการโต้ตอบระหว่างวัตถุ รวมถึงการเคลื่อนที่ของกล้องสามารถเรียนรู้ถึงความสมจริงของเฟรมแบบภาพยนตร์ได้ ทำให้โมเดลเหล่านี้กลายเป็นโมเดลที่ทันสมัยที่สุดในหมวดหมู่นี้
Personalized Videos
สำหรับ Movie Gen ยังสามารถใช้สร้างวิดีโอแบบส่วนบุคคลได้ด้วย โดยการรวมภาพที่มีอยู่เข้ากับ text prompt เพื่อเจนออกมาเป็นวิดีโอที่ต้องการได้ โดยการลักษณะ และท่าทางการเคลื่อนไหวยังคงมีความเป็นมนุษย์อยู่ และรูปที่นำมาเป็นต้นแบบใบหน้าบุคคลก็ถูกทำให้มีความเหมือนมากขึ้น
Precise video editing
Audio generation
ในที่สุด Meta ก็สามารถเปลี่ยนให้โมเดลการสร้างเสียงพารามิเตอร์ 13B สามารถรองรับวิดีโอ และสร้างเสียงคุณภาพสูงได้นานถึง 45 วินาที แม้กระทั่งเสียงสัง ambient และเสียงเอฟเฟกต์แบบ Foley หรือ instrumental background music ก็ทำให้ได้ เพียงแค่นำมาซิงก์เข้ากับวิดีโอที่มี
ซึ่งการซิงก์ระหว่างวิดีโอ และเสียงจากการป้อนพรอมพ์ที่ต้องการ จะมีการทำให้เหมือนภาพยนตร์ ทั้งความคมชัด และปรับความดังเบาไปตามเนื้อหาวิดีโอที่ควรจะเป็นได้
Results
จากผลลัพธ์การใช้งานก็สามารถเปรียบเทียบผ่านการทดสอบแบบ A/B human evaluation ได้ ว่าความสามารถทั้ง 4 ของโมเดล Movie Gen ก็พบว่ายังต้องผลักดันนวัตกรรมทางเทคนิคหลายๆ อย่างเกี่ยวกับการฝึกอบรมโมเดล สูตรข้อมูล โปรโตคอลการประเมิน และการปรับปรุงการวินิจฉัยที่คาดว่าจะเกิดขึ้นกับการใช้งานให้มีประสิทธิภาพมากที่สุด
โดยสรุปแล้ว Movie Gen นั้นนับว่าเป็นโมเดลที่น่าสนใจไม่น้อยสำหรับการนำไปสร้างวิดีโอ ภาพหรือเสียงที่ต้องการ โดยไม่ต้องผ่านโปรแกรมเฉพาะทาง แต่สามารถทำได้บน Meta ซึ่งตอนนี้ยังเป็นพรีวิวการใช้งานอยู่
ที่มา: https://ai.meta.com/blog/movie-gen-media-foundation-models-generative-ai-video/
