كشفت شركة جوجل عن نموذجها اللغوي الكبير الجديد لتوليد الفيديو، والذي يُدعى VideoPoet. يتميز النموذج بقدرته على توليد مقاطع فيديو ذات حركات متماسكة وواقعية، مما يمثل تقدمًا كبيرًا في مجال تقنية توليد الفيديو بالذكاء الاصطناعي.
يعالج VideoPoet التحدي المتمثل في توليد الحركات الكبيرة المتماسكة في مقاطع الفيديو، والذي يمثل قيدًا في تقنيات توليد الفيديو الحالية. يقوم بذلك من خلال إدماج القدرات المتعددة لتوليد الفيديو في إطار نموذجي لغوي كبير واحد، على عكس النهج المجزأ للنماذج الحالية.
يستخدم VideoPoet طرقًا مختلفة، وهو مدرب باستخدام العديد من الرموز المميزة، مثل MAGVIT V2 للفيديو والصور، و SoundStream للصوت. يتيح ذلك للنموذج أداء مهام متنوعة، بدءًا من تحريك الصور وحتى تحرير مقاطع الفيديو وتصميمها استنادًا إلى مدخلات النص.
دقة النص وإثارة الحركة
يبرز VideoPoet بصفته تقدمًا كبيرًا في المشهد المتطور لتقنية توليد الفيديو بالذكاء الاصطناعي. يميز نفسه عن النماذج الحالية، مثل Imagen Video و RunwayML و Stable Video Diffusion و Pika و Animate Anywhere، من خلال قدراته المحسنة في دقة النص وإثارة الحركة.
يتفوق VideoPoet على نظرائه من خلال اتباع المطالبات النصية بشكل دقيق وتوليد مقاطع فيديو بحركات جذابة. على سبيل المثال، يمكن لـ VideoPoet إنشاء مقطع فيديو لرجل يمشي على طول الشاطئ، أو مقطع فيديو لحيوانات تلعب معًا، أو مقطع فيديو لحدث رياضي.
يمكن أيضًا لـ VideoPoet توليد المحتوى باستخدام الحد الأدنى من المدخلات، مثل رسالة نصية واحدة أو صورة واحدة، دون الحاجة إلى تدريب محدد على هذا المحتوى.
دقة الترجمة وسلاسة الحركة
يعرض VideoPoet درجة عالية من الدقة في ترجمة المطالبات النصية إلى فيديو، على عكس النماذج الأخرى التي قد تعاني مشكلة توليد الحركات الكبيرة المتماسكة.
تواجه النماذج الأخرى في كثير من الأحيان تحديات في توليد الحركات الكبيرة المتماسكة الخالية من العيوب. على سبيل المثال، قد تنتج هذه النماذج مقاطع فيديو تظهر فيها الشخصيات وهي تمشي أو تجري بشكل متقطع أو غير طبيعي. يُظهر نموذج جوجل الجديد تحسنًا ملحوظًا في هذا المجال، مما يؤدي إلى توليد مقاطع فيديو ديناميكية وسلسة.
تطبيقات محتملة
يمكن استخدام VideoPoet لمجموعة متنوعة من التطبيقات، بما في ذلك:
- إنشاء مقاطع فيديو تعليمية أو ترفيهية أو تسويقية.
- إنشاء مقاطع فيديو واقعية لألعاب الفيديو أو الأفلام.
- تحرير مقاطع الفيديو وتصميمها.
يمثل VideoPoet خطوة مهمة في تطوير تقنية توليد الفيديو بالذكاء الاصطناعي. من المحتمل أن يكون للنموذج تأثير كبير على الطريقة التي نتفاعل بها مع الفيديو في المستقبل.
