mowareのブログ – ページ 37 – 気ままにコードを書いているホビープログラマ。iOS、visionOS、Microsoft Storeアプリ開発者です。

[C++] 177 FLTK : 動画編集機能を実装 FFmpeg

[M1 Mac, Big Sur 11.6.8, clang 13.0.0, FLTK 1.3.8, NO IDE]

開発中のビデオツールアプリに動画編集機能を実装しました。元動画をフレームに分解して、Fl_Boxのビューアーで見つつ最初と最後のフレーム番号を指定。選択した静止画を結合し、動画を作成します。

コードの内容については次回以降紹介します。

[C++] 176 FLTK : 画像の強制リサイズ Fl_Image

[M1 Mac, Big Sur 11.6.8, clang 13.0.0, FLTK 1.3.8, NO IDE]

ビデオツールアプリに画像を表示する際、Fl_Boxのサイズに強制的に合わせるようにしました。copy関数を使います。

本来はアスペクト比を保持したまま表示するのが妥当ですが、編集点を見極められれば十分なのでFl_Boxに合わせました。あくまで表示のための一時的処理であって元画像のサイズは変わりません。

extern Fl_Box *show_box2
extern Fl_Input *imageNum2, *imageSec2, *fpsInput2;
extern Fl_Slider *slider2;

// スライダーのコールバック関数
void slider_cb2(Fl_Widget*, void*) {
    // スライダーの数値を取得
    slider2 -> bounds(0, (double)(paths.size() -1));
    double value = slider2 -> value();
    num = (int)value;

    // 画像番号/画像数の表示
    string image_num = to_string(num +1) + "/" + to_string(paths.size());
    imageNum2 -> value(image_num.c_str());

    // 経過秒数の表示
    const char* fps = fpsInput2 -> value();
    string fps_str = string(fps);
    float sec = num/stof(fps_str);
    imageSec2 -> value((to_string(sec)).c_str());

    string path = paths[num];
    cout << "slider_path " << path << endl;

    // png画像の表示(480*360へ強制リサイズ)
    Fl_PNG_Image *png = new Fl_PNG_Image(path.c_str());
    Fl_Image* png_copy = png -> copy(480,360);

    show_box2 -> image(png_copy);
    show_box2 -> redraw();

    subWindow1->show();
    delete png; // メモリ解放

    cout << "rev_cb2完了" << endl;
}

[C++] 175 FLTK : FFmpegで静止画から動画を作成 / 動画編集機能の実装 GUI案

[M1 Mac, Big Sur 11.6.8, clang 13.0.0, FLTK 1.3.8, NO IDE]

FFmpegで動画をフレームに分割し、選択した静止画から動画に戻すコマンドを作成しました。

分割した静止画のアスペクト比が強制的に1:1になっていますが、動画に戻すと元のアスペクト比になっているのでコマンドはそのままにしておきます。

# movファイルをpngファイルに分割(フレームレートは23.98、1枚目は00001.png)
ffmpeg -i xxx.mov -an -r 23.98 /images/%05d.png

# 00100.pngから連番600個の静止画を元にout.mp4を作成(フレームレートは23.98)
ffmpeg -r 23.98 -start_number 100 -i /images/%05d.png -vcodec libx264 -pix_fmt yuv420p -vframes 600 out.mp4

GUI案は以下の通りです。まあのんびり作っていきます。

[C++] 174 FLTK : 動画からフレームの切り出しおよびコマ送り Fl_PNG_Image

[M1 Mac, Big Sur 11.6.8, clang 13.0.0, FLTK 1.3.8, NO IDE]

ビデオツールアプリの動画編集機能実装に着手しました。

まずはFFmpegを使って動画をフレーム単位に分解し、GUIに表示させてコマ送りができるようにしました。

動画の分解でアスペクト比がおかしくなっているのでffmpegコマンドの修正が必要です。後は使い勝手がいいようにウィジェットの位置やサイズを調整します。

[C++] 173 FLTK : メニューの階層を増やす Fl_Menu_Item

[M1 Mac, Big Sur 11.6.8, clang 13.0.0, FLTK 1.3.8, NO IDE]

開発中のビデオツールアプリでメニューの階層を2層に増やしました。

2層の場合はFl_Menu_Itemの最後に{0}を3つ付加する必要があります。1層では2つ付加します。

int main(int argc, char **argv) {
    static Fl_Menu_Item	items[] = {
    { "Menu", 0, 0, 0, FL_SUBMENU },
    { "Window切替", 0, 0, 0, FL_SUBMENU },
    { "Video Tool", 0, switchWindow0},
    { "FFmpeg Command Maker", 0, switchWindow1},
    { "Video Editor", 0, switchWindow2},
    { 0 },
    { 0 },
    { 0 }
    };

    Fl_Sys_Menu_Bar *menubar;
    menubar = new Fl_Sys_Menu_Bar(0, 0, 60, 20);
    menubar->box(FL_FLAT_BOX);
    menubar->menu(items);

    ＜以下略＞

}

[C++] 172 FLTK : 別ウィンドウへの画面遷移

[M1 Mac, Big Sur 11.6.8, clang 13.0.0, FLTK 1.3.8, NO IDE]

開発中のビデオツールアプリで別ウィンドウへ画面遷移できるようにしました。

これができなければFLTKを使いこなせているとは言えない、と思いながらついつい放置してきましたが、ようやく本腰を入れて取り組みました。

初めは同一Fl_Windowでredrawさせようかとも考えたものの、コンストラクタ内で条件分岐するとウィンドウが真っ黒になり挫折、別WindowとしてSubWindowクラスを作成したらうまくできました。表示する位置が元ウィンドウと完全一致するように工夫を入れています。

着手2時間で挫折、昼寝中に解決方法を着想、起きて30分で実装という流れでした。職場なら２、3時間の昼寝はご法度でしょうが、プログラミングの場合は比較的長時間の馬上(ドライブ・乗り物他)・枕上(昼寝)・厠上(トイレ)の三上を認めてもらいたいものです。あと電話が鳴る環境も思考深化の妨げになるので厳禁です。

ゲームや動画鑑賞など、頭をリラックスさせて着想に導く方法は人それぞれなので、何でも取り入れてみるべきですね。着手して1回泥沼にハマる(周辺知識を一気に詰め込む作業でもある)ことが前提条件です。

Fl_Window *window;
SubWindow *subWindow;
int mode; // 0:メイン、1:サブ

void switchWindow(Fl_Widget*, void*){
    if (mode == 1){
        mode = 0;
        subWindow -> hide();

        int xs_win = subWindow->x_root();
        int ys_win = subWindow->y_root();
        cout<<"xs_win "<< xs_win <<" ys_win "<< ys_win <<endl;
        
        window->resize(xs_win,ys_win,720,480);
        window -> show();

    } else {
        mode = 1;
        window -> hide();

        int x_win = window->x_root();
        int y_win = window->y_root();
        cout<<"x_win "<< x_win <<" y_win "<< y_win <<endl;
        
        subWindow->resize(x_win,y_win,720,480);
        subWindow -> show();

    }
}

int main(int argc, char **argv) {
    static Fl_Menu_Item	items[] = {
    { "設定", 0, 0, 0, FL_SUBMENU },
    { "ウィンドウ切替", 0, switchWindow, 0, 0 },
    { 0 },
    { 0 }
    };
    Fl_Sys_Menu_Bar *menubar;
    menubar = new Fl_Sys_Menu_Bar(0, 0, 60, 20);
    menubar->box(FL_FLAT_BOX);
    menubar->menu(items);

    window = new Fl_Window(100,100,720,480,"Video Tool");
    window->color(fl_rgb_color(0,163,175));

    ＜中略＞

    window->end();
    window->show(argc, argv);

    // SubWindow(最初は表示しない)
    int x_win = window->x_root();
    int y_win = window->y_root();

    subWindow = new SubWindow(720,480,"Video Tool 2nd");
    subWindow->resize(x_win,y_win,720,480);

    return Fl::run();
}

#pragma once
#include <FLstd.h> // 自製ヘッダファイル FLTKライブラリ
#include <cppstd.h> // 自製ヘッダファイル C++標準ライブラリ

class SubWindow: public Fl_Window
{
public:
	SubWindow(int w,int h,const char *title);
	~SubWindow();
};

#include <SubWindow.h>

SubWindow::SubWindow(int w,int h,const char *title=0)
	:Fl_Window(w,h,title){
	this->Fl_Widget::color(fl_rgb_color(65,154,202)); // ふじむらさき
}
SubWindow::~SubWindow(){}

[C++] 171 FLTK : 動画のリサイズ FFmpeg

[M1 Mac, Big Sur 11.6.8, clang 13.0.0, FLTK 1.3.8, NO IDE]

ビデオツールアプリにリサイズ機能を搭載しました。

簡単な動画加工にはFinal Cut Proではなくこのツールを使えるよう、さらに機能を充実させていきたいです。

void resize(){
    char    cmd[512];
    char    count[100];
    const char* del = ".";

    // 元ファイルパス取得
    const char* path = input_line->value();
    cout << "path "<< path << endl;

    // stringへ変換
    string path_str = string(path);

    // 拡張子を削除
    string prefix0 = spt.splitJoin(path_str, del, 0, -2);
    cout << "prefix0 "<< prefix0 << endl;
    prefix0.pop_back();

    // _resizedを付加
    string prefix = prefix0 + "_resized";

    // 拡張子を付加
    vector<string> list_path = spt.splits(path_str, del);

    string extension = list_path[list_path.size()-1];
    cout << "extension "<< extension << endl;

    string newPath = prefix + "." + extension;
    cout << "newPath "<< newPath << endl;

    // リサイズcmd作成
    sprintf(cmd,"/opt/homebrew/Cellar/ffmpeg/5.1/bin/ffmpeg -i %s -s %d:%d %s 2>&1 && echo ffmpeg完了", path_str.c_str(), width2_int, height2_int, newPath.c_str());
    cout << "cmd: "<< cmd << endl;

    // cmdをtextBufferに追記
    string cmd_str(cmd, 512);
    string cmdstr2 = "cmd: " + cmd_str + "\n";
    textBuffer->append(cmdstr2.c_str());

    // 文字数と行数をカウントしtextBufferに追記
    int length_buf = textBuffer -> length();
    int num_lines = textBuffer -> count_lines(0, length_buf);

    printf("length_buf %d num_lines %d\n",length_buf,num_lines);
    sprintf(count, "length_buf %d num_lines %d\n",length_buf,num_lines);
    textBuffer->append(count);

    // textDisplayを最終行表示する
    textDisplay->buffer(textBuffer);
    textDisplay->scroll(num_lines + 1, 0);

    // cmd実行
    outputTextMake(cmd);

    // browserを最終行表示する
    browser->load(outputText);
    int line_num = browser->size();
    browser->bottomline(line_num);

    cout << "リサイズ完了!" << endl;
}

[C++] 170 FLTK : 動画のリサイズ設定

[M1 Mac, Big Sur 11.6.8, clang 13.0.0, FLTK 1.3.8, NO IDE]

開発中のビデオツールアプリについて、アスペクト比固定での縦横サイズを算出できるようにしました。

LOCK ASPECT RATIOボタンにチェックを入れると、空白にしている方のサイズを算出してくれます。

リサイズ操作については次回以降書きます。

// LOCK ASPECT RATIOボタンをチェック時の動作
void lock_cb(Fl_Widget*, void*) {
    onoffLock = lock_cbtn -> value();

    if (onoffLock == 1){
        cout << "lock_cb実行" << endl;
        width2 = width_input -> value();
        height2 = height_input -> value();

        if ((string(height2)).empty()){
            cout << "height算出" << endl;
            width2_int = stoi(string(width2));
            cout << "width2_int " << width2_int << endl;

            height2_int = std::round(width2_int * ratio);
            cout << "height2_int " << height2_int << endl;

            height_input -> value((to_string(height2_int)).c_str());

        } else {
            cout << "width算出" << endl;
            height2_int = stoi(string(height2));
            cout << "height2_int " << height2_int << endl;

            width2_int = std::round(height2_int * (float)(1/ratio));
            cout << "width2_int " << width2_int << endl;

            width_input -> value((to_string(width2_int)).c_str());
        }
    } else {
        cout << "lock_cb実行なし" << endl;
    }
}

[C++] 169 FLTK : 動画の縦横サイズを取得・表示

[M1 Mac, Big Sur 11.6.8, clang 13.0.0, FLTK 1.3.8, NO IDE]

開発中のビデオツールアプリで動画の縦横サイズを取得し、Fl_Inputに表示させました。

ffproveコマンドの出力をFILE構造体として取得、fgets関数でcharとしてデータを取り出し、xを区切り文字にしてリスト化しました。0番目の要素がwidth、1番目の要素がheightになります。

最初、変数resultのメモリ領域を確保せずにchar *resultとしていたところ、ビルドは成功しましたが、アプリとして動作させるとセグメンテーション違反が発生しました。正しくは、char result[受け取るデータの最大バイト数]になります。データを格納する時はポインタ変数を設定するのではなく、あらかじめその領域を確保しておく必要があります。初心者にありがちなミスでした。

void inspect(){
    char    count[100];

    // 対象ファイルパス取得
    const char* path = input_line->value();
    cout << "path "<< path << endl;

    string path_str = string(path);
    bufferstr += "path_str: " + path_str + "\n";

    // path内半角スペースをアンダースコアへ置き換え
    string path2 = underScoreReplace(string(path_str));
    bufferstr += "path2: " + path2 + "\n";

    // 元ファイルをリネーム
    rename(path, path2.c_str());

    // ファイル縦横サイズ出力コマンド作成
    string cmd = "/opt/homebrew/Cellar/ffmpeg/5.1/bin/ffprobe -v error -select_streams v -show_entries stream=width,height -of csv=p=0:s=x " + path2;
    cout << "cmd: "<< cmd << endl;
        
    // cmdをtextBufferに追記
    string cmdstr = "cmd: " + cmd + "\n";
    textBuffer->append(cmdstr.c_str());
    
    // 文字数と行数をカウントしtextBufferに追記
    int length_buf = textBuffer -> length();
    int num_lines = textBuffer -> count_lines(0, length_buf);

    printf("length_buf %d num_lines %d\n",length_buf,num_lines);
    sprintf(count, "length_buf %d num_lines %d\n",length_buf,num_lines);
    textBuffer->append(count);

    // textDisplayを最終行表示する
    textDisplay->buffer(textBuffer);
    textDisplay->scroll(num_lines + 1, 0);
    
    // cmd実行
    showInspectResult(cmd);

    cout << "inspect完了!" << endl;

}

void showInspectResult(string cmd){
    char result[10];

    FILE* fp = popen(cmd.c_str(), "r");
    fgets(result, 10, fp);
    pclose(fp);

    string result_str = string(result);
    cout << "result_str " << result_str << endl;

    vector<string> data = spt.splits(result_str,"x"); // sptは自製クラス
    cout << "data[0] " << data[0] << endl;
    cout << "data[1] " << data[1] << endl;

    width = stoi(data[0]);
    height = stoi(data[1]);
    cout << "width " << width << endl;
    cout << "height " << height << endl;

    width_input0 -> value((to_string(width)).c_str());
    height_input0 -> value((to_string(height)).c_str());
}

[C++] 168 FLTK : Fl_Text_DisplayとFl_Browserの最終行表示

[M1 Mac, Big Sur 11.6.8, clang 13.0.0, FLTK 1.3.8, NO IDE]

開発中のビデオツールアプリでFl_Text_DisplayとFl_Browserの最終行を常に表示するようにしました。

Fl_Browser(下図下)の方はすぐに方法が分かったものの、Fl_Text_Display(下図右上)はFl_Text_Bufferの方でしか行数を把握できないと知るまで時間がかかり難航しました。

Fl_Text_Display::scroll関数の第1引数を10000行などあり得ない大きな数字に設定しても最終行表示は可能ですが、さすがに荒っぽいやり方なので行数を正確にカウントしました。

これくらいの機能は用意されていて当たり前と考えがちですが、簡易ツールのFLTKには通用しませんでした。使いこなせるかどうかはユーザーの工夫次第でしょう。

人気面でwxWidgetsに水を開けられてしまうのも致し方なしです。

void inspect(){
    char    count[100];

    // 対象ファイルパス取得
    const char* path = input_line->value();
    cout << "path "<< path << endl;

    string path_str = string(path);
    bufferstr += "path_str: " + path_str + "\n";

    // path内半角スペースをアンダースコアへ置き換え
    string path2 = underScoreReplace(string(path_str));
    bufferstr += "path2: " + path2 + "\n";

    // 元ファイルをリネーム
    rename(path, path2.c_str());

    // ファイル情報出力コマンド作成
    string cmd = "/opt/homebrew/Cellar/ffmpeg/5.1/bin/ffprobe -i " + path2 + " 2>&1 && echo ffprobe完了";
    
    // cmdをtextBufferに追記
    string appendstr = "cmd: " + cmd + "\n";
    bufferstr += appendstr;
    cout << "bufferstr: " << bufferstr << endl;
    textBuffer->append(bufferstr.c_str());

    // 文字数と行数をカウントしtextBufferに追記
    int length_buf = textBuffer -> length();
    int num_lines = textBuffer -> count_lines(0, length_buf);

    printf("length_buf %d num_lines %d\n",length_buf,num_lines);
    sprintf(count, "length_buf %d num_lines %d\n",length_buf,num_lines);
    textBuffer->append(count);

    // textDisplayを最終行表示する
    textDisplay->buffer(textBuffer);
    textDisplay->scroll(num_lines + 1, 0);
    
    // cmd実行
    outputTextMake(cmd);

    // browserを最終行表示する
    browser->load(outputText);
    int line_num = browser->size();
    browser->bottomline(line_num);

    cout << "inspect完了!" << endl;

}

日	月	火	水	木	金	土
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30