לערוך וידאו בשיחה עם Claude: בכל שפה, גם מימין לשמאל
יש לכם ארבעים דקות של ראיון, וצריך מהן תשעים שניות של סרטון תדמית. או תסריט לסרטון מוצר ותיקייה של הקלטות מסך. או הרצאה שצריכה להפוך לחמישה רילס.
תוכנת העריכה לא יודעת איזה משפט הוא העיקר. אתם יודעים, ואפשר לומר מה רוצים במשפט אחד: "תפתח במשפט על המפעל, תוריד את האממ, כותרת תחתונה למנכ״ל, כתוביות וגרסה אנכית". video-factory הופך את המשפט הזה לעריכה.
מה זה
סקיל ל-Claude Code וכלי שורת פקודה לידו. הסקיל מחליט: על מה כל חלק, אילו חלקים מספרים את הסיפור ובאיזה סדר, מה לנקות, איפה לשים גרפיקה. הכלי עושה את העבודה המכנית עם FFmpeg, whisper.cpp ו-HyperFrames. בסוף מקבלים קובץ final.mp4 גמור, והעריכה לא יוצאת מהמחשב.
הוא עובד בכל שפה ש-Whisper מתמלל. לעברית יש מודל תמלול משלה, וכתוביות וגרפיקה מימין לשמאל יוצאות בסדר הנכון. שם רוב תוכנות העריכה נכשלות. Descript מתמלל רק שפות בכתב לטיני. OpusClip כותב שהוא לא תומך בשפות מימין לשמאל. ל-Premiere Pro אין תמלול דיבור בעברית, ול-DaVinci Resolve אין תמלול עברי מובנה.
איך זה עובד
לכל מילה יש זמן. התמלול רץ מקומית עם whisper.cpp. עברית מתומללת במודל של ivrit.ai, שטוב ממנו בהרבה בעברית, וכל שפה אחרת במודל הרב-לשוני. הפרויקט זוכר את השפה שלו, וכל שלב אחר כך הולך לפיה: אילו הברות היסוס לחתוך, לאיזה כיוון הכתוביות נקראות, ובאיזה צד יושבת הכותרת התחתונה.
Claude קורא את התמלול ומחלק אותו לחלקים, רעיון אחד בכל חלק. אחר כך הוא מציע סיפור עם נימוק לכל חלק, ומחכה לאישור שלכם לפני שהוא מרנדר משהו. חיתוך שנופל באמצע מילה זז לשקט שלידה.
אחרי כל רינדור רצה בדיקה: האורך מול התכנון, גודל הפריים, ערוצי וידאו ושמע, כתוביות. רינדור שנכשל בה לא מדווח כמוכן.
שישה שימושים
1. סרטון תדמית מראיון
תעשה סרטון תדמית של 45 שניות ל-ACME מהתיקייה ~/Footage/acme: הראיון עם המנכ״ל, צילומי אווירה מהמפעל, הלוגו והצבעים שלנו, גרף של לקוחות לפי שנה, מוזיקה וגרסה לרילס.
הפרויקט מקשר לחומר שלכם במקום להעתיק אותו, ואף פעם לא כותב לקבצים המקוריים. Claude מחלק את הראיון לנושאים ומציע סדר. כשהמנכ״ל מדבר על המפעל, Claude מכסה את הדיבור בצילומי המפעל. הוא פותח בשקופית כותרת, מוסיף כותרת תחתונה עם שם המנכ״ל, ובונה גרף עמודות מהמספרים שנתתם. המוזיקה יורדת כשמדברים. גרסת הרילס יוצאת מאותו סיפור, חתוכה ל-9:16.
2. סרטון מוצר מתסריט
תכתוב תסריט של 30 שניות לאפליקציה שלנו, תקריא אותו עם Azure ותחתוך אליו את הקלטות המסך שבתיקייה ~/Desktop/app.
כאן התסריט קובע את הקצב, לא החומר המצולם. כל פסקה הופכת לפעימה, הקריינות נוצרת ומתוזמנת פעימה אחר פעימה, והוויזואליה מוצבת מולה. יש תמיכה בקולות של ElevenLabs, Azure, Google ו-OpenAI. הקול החינמי של macOS נמצא שם כדי לתזמן את העריכה לפני שמשלמים על הקול האמיתי. הכתוביות עוקבות אחרי הקריינות מילה אחר מילה.
3. קליפים קצרים מסרטון ארוך
תמצא את הרגעים הכי טובים לרילס בפודקאסט הזה. חמישה קליפים של 30 עד 45 שניות.
הכלי מדרג קטעים מהתמלול שיכולים לעמוד בפני עצמם: וו בהתחלה, מספרים, קצב, סיום שלם. Claude קורא אותם עד הסוף ובוחר קליפים שמובנים בלי הקשר ומסתיימים בפואנטה. כל אחד מרונדר אנכי ומנוקה, עם כתוביות מילה אחר מילה, כותרת וו בשליש העליון, הלוגו שלכם ושקופית סיום.
4. שיעור בעברית עם כתוביות מימין לשמאל
תתמלל את השיעור, תוריד את האממ, ותוסיף כתוביות קריוקי מימין לשמאל.
הכלי נבנה סביב המקרה הזה. המילים יוצאות בסדר הנכון, ההדגשה זזה מימין לשמאל, ושקופית כותרת בעברית מיושרת לימין. אותו פרויקט באנגלית שם את הכותרת בשמאל ואת הכותרת התחתונה בצד שמאל, בלי שאף אחד יבחר את זה.
5. כל העריכה על ציר זמן, בדפדפן
תכין דף הערות ללקוח.
מקבלים קובץ HTML אחד לצד הסרטון. הוא לא צריך שרת ולא תוכנת עריכה: פותחים אותו בלחיצה כפולה, או שולחים אותו יחד עם הסרטון. מתחת לסרטון יש ציר זמן של כל המסלולים, כמו בתוכנת עריכה: החלקים עם המעבר בכל חיבור, הגרפיקה, צילומי האווירה, הכתוביות והמוזיקה, וסמן שזז יחד עם הניגון.
על הציר אתם, או הלקוח, יכולים לגרור חלקים לסדר חדש, לשנות כל מעבר, ולעצור כדי להשאיר הערה בזמן מסוים. הכול חוזר כטקסט אחד:
order: intro, chart, hello, how, outro
transition into chart: circleopen 0.7s
0:03.2 — הלוגו גדול מדי
מדביקים אותו ל-Claude, והוא מיישם ומרנדר שוב. אם הלקוח עובד ב-Premiere, Resolve או Final Cut, העריכה יוצאת גם כציר זמן FCPXML, EDL או OTIO שמצביע על הקבצים המקוריים.
6. חומר שאף אחד לא מדבר בו
אין בו דיבור, אלה צילומי טיול. מה יש בו?
כשאין מילים לקרוא, Claude קורא גיליונות תמונות עם קוד זמן ורושם מה רואים בכל צילום. אם רוצים, גם מודל ראייה שאתם בוחרים יכול לצפות. הוא רושם את השוטים ומסמן אילו מתאימים כצילומי אווירה. הוא נותן ציון לקליפים קצרים לפי מה שקורה על המסך, ובודק את הרינדור הסופי: טקסט על פנים, או ראש שנחתך בחיתוך האנכי. כברירת מחדל המודל רץ על המחשב שלכם, ב-LM Studio או ב-Ollama. מודל בענן נחסם אם לא אישרתם אותו, כי החומר של הלקוח היה יוצא מהמחשב.
להעתיק סגנון של סרטון שאוהבים
נותנים לו סרטון שאוהבים, פרסומת או סרטון תדמית של מתחרה, והוא מודד את הקצב: אורך השוטים, חיתוכים לדקה. הוא מסתכל על הפריימים סביב כל חיתוך כדי להבחין בין חיתוך חד, התמזגות או ניגוב. Claude רושם את זה כסגנון ומעביר אותו לעריכה שלכם. "כמו הסרטון הקודם" עובד באותה דרך.
מגבלות
- אין חלון עריכה. עובדים בשיחה. דף ההערות וייצוא ציר הזמן הם הדרך לראות את העריכה ולהעביר אותה הלאה.
- אין וידאו שנוצר ב-AI, אין אווטארים או סנכרון שפתיים, ואין ספריית סטוק.
- הקליפים הקצרים נבחרים בשיקול דעת, של Claude, עם ציון חזותי אם רוצים. אין מאחוריהם מודל ויראליות מאומן.
- הוא חדש. בדקתי אותו מקצה לקצה על קטעי בדיקה עם קולות סינתטיים, בעברית, באנגלית ובספרדית: רינדורים, גרסאות, קליפים קצרים, דף ההערות ומודל ראייה מקומי.
video-factory הוא קוד פתוח (MIT): github.com/yybd/video-factory. ב-README יש רשימה של מה אפשר לבקש, וב-docs/ כל הפקודות, בעברית ובאנגלית. צריך Claude Code, FFmpeg עם libass, whisper.cpp עם מודל, ו-Node.js לגרפיקה.