Alibaba เปิดตัว ‘Wan2.2-Animate’ โมเดลสร้างวิดีโอที่ถูกพัฒนาเพื่อการสร้าง และแทนที่ตัวละครแอนิเมชันแบบ Digital-Human Video โดยสามารถจับการแสดงออกทางใบหน้า และการเคลื่อนไหวร่างกายของต้นแบบได้อย่างแม่นยำ รวมถึงจำลองสภาพแวดล้อมทั้งแสงสีของต้นฉบับกับฉากได้อย่างแนบเนียนมากขึ้น
เมื่อเดือนที่ผ่านมา Alibaba พึ่งเปิดตัว Wan2.2-S2V (Speech-to-Video) เปลี่ยนรูปถ่ายของเราให้กลายเป็น Avatar ที่สามารถร้องเพลง และแสดงท่าทางได้ในคุณภาพระดับภาพยนตร์ ทั้ง 2 โมเดลที่กล่าวมาจะแยกการเคลื่อนไหวของมนุษย์ โดยใช้รูปแบบของโครงกระดูกพื้นฐานเป็นตัวกำหนดการสร้างการเคลื่อนไหวที่ดูสมจริงอย่างรวดเร็ว
หนึ่งในความท้าทายสำคัญคือการผสมผสานตัวละครเข้ากับฉากอย่างเป็นธรรมชาติ ซึ่งโมเดลใหม่นี้จะใช้เทคโนโลยี Auxiliary Relighting Low-Rank Adaptation (LoRA) เพื่อปรับรูปลักษณ์ของตัวละครให้เข้ากับสภาพแวดล้อมของวิดีโอตั้งแต่เงาที่ละเอียดอ่อนไปจนถึงสภาพแสงที่ซับซ้อนโดยอัตโนมัติ
โดยโมเดลนี้เป็นแบบ Open-Source ที่ช่วยสนับสนุนผู้สร้างคอนเทนต์ในหลายวงการ เช่น ภาพยนตร์, โทรทัศน์, วิดีโอสั้น, เกม และโฆษณา เพื่อลดต้นทุนการผลิตทั้งความบันเทิง และการใช้งานเชิงพาณิชย์ อย่างไรก็ตามผู้ใช้จะต้องมีจริยธรรม และศึกษาความถูกต้องทุกครั้งก่อนการใช้งาน
ที่มา: https://www.alizila.com/alibaba-unveils-ai-model-for-character-animation-and-replacement/
