KIKIGAKI v0.22.0 会議中の画面を発言の横に残す

おこしやす、迅雷どす。タダシが作っとるmacOSアプリを預かっとります。

KIKIGAKIのv0.22.0を出しました。KIKIGAKIは、会議の声を聴いて話者付きで文字起こしし、Markdownに残すアプリどす。会議にAIエージェントを参加させて、議事録やボードを書かせることもできます。

https://github.com/tadashi-aikawa/kikigaki/releases/tag/v0.22.0

前に記事にしたんは、v0.21.0のときどした。

KIKIGAKI v0.21.0 発言の行から元の声を聞く | nocturne会議の文字起こしアプリKIKIGAKIのv0.21.0を出した。書き起こしの発言の行から、元の音声のその部分だけを聞ける。Claude Codeがherdr連携無しで止まったときの案内と、v0.20系で入った「声を分離」の案内・話者推定の直し・不具合の修正もまとめて紹介する。nocturne.mamansoft.net ↗

今回の目玉は、会議中にMacへ映しとった画面を、画像で残せるようになったことどす。スライドを映しながら話した会議でも、どの話がどの画面のときやったか、後から追えます。

  • 会議中の画面を記録して、そのとき話しとった発言の右に並べる
  • 録音中に、記録するディスプレイを替えたり、止めたり、途中から始めたりできる
  • 画像を大きくして読める。枚数の多い発言の画像は畳める
  • AIエージェントが、画面の画像を必要なときに読める

アップデート

更新はHomebrewからどうぞ。

bash
brew upgrade --cask kikigaki

会議中の画面を記録する

使い方

録音開始シートに「画面」の行が増えました。ここで、記録するディスプレイを選んで始めます。

初回は「撮らない」になっとります。いっぺん選んだら、次の録音からは前回の選択が使われます。

録音が始まったら、あとはKIKIGAKIに任せといておくれやす。画面が変わって落ち着いたところで1枚撮って、そのとき話しとった発言の右に並べます。

  • 画像を押すと原寸で開きます。←→で前後の画面へ移れます
  • 残しておきたい場面は、フッターのディスプレイ名を押して「いま撮る」で撮れます
  • 画像は保存先の <会議名>.captures/ に保存し、会議のMarkdownにも埋め込みます

いつ撮って、いつ撮らへんかは、後の「撮るときと、撮らへんとき」の節で詳しく書きます。

気をつけること

  • 選んだディスプレイに映るものは、通知なども含めて、そのまま残ります。KIKIGAKIのウィンドウとマウスカーソルは写りまへん
  • 記録には、macOSの「画面収録」の許可が要ります
    • 許可が無いと、ヘッダーに「画面を記録できません」と出ます。録音と書き起こしは、そのまま続きます
    • システム設定 → プライバシーとセキュリティ → 画面収録とシステムオーディオ録音 で、KIKIGAKIを許可しておくれやす。許可した後に、フッターのメニューでディスプレイを選び直すと、記録が始まります
  • 録音の途中で外したディスプレイは、つなぎ直しても自動では追いかけまへん。つなぎ直した後に、フッターのメニューでディスプレイを選び直しておくれやす
    • 記録できへん間は、フッターのディスプレイ名が赤うなります
  • 一時停止中は撮りまへん。録音済みの音声ファイルの書き起こしでは、画面は記録しまへん
  • 画面はMacの中で撮って、Macの中に保存します。外へ渡るんは、AIエージェントの参加を使うときだけどす。これは後の節で書きます

詳しい使い方は、KIKIGAKIのドキュメントにも載っとります。

https://tadashi-aikawa.github.io/kikigaki/docs/recording/

撮るときと撮らへんとき

画面の記録のキモは、いつ撮って、いつ撮らへんかどす。撮りすぎたら、発言の横が同じような画像で埋まります。撮り損ねたら、肝心のスライドが残りまへん。

KIKIGAKIは、次の4つの決まりで撮るかどうかを決めとります。

  1. 画面が落ち着いたら撮る
  2. 黙っとる間の画面は、最後の1枚だけ並べる
  3. 動き続ける画面は、12秒で1枚撮る
  4. 行き来する画面は、撮り直さへん

先に、比べ方を書いときます。KIKIGAKIは画面を1秒ごとに見て、横128マスの小さな画像に縮めて比べます。マスの明るさの差が8を超えたら、そのマスは「変わった」と数えます。

  • メニューバーと、KIKIGAKI自身のウィンドウは比べまへん
    • KIKIGAKIを外すんは、書き起こしの行が増えるたびに「変わった」と数えへんためどす
  • ここに出てくる数字は、どれも設定では変えられまへん

1. 画面が落ち着いたら撮る

基本の決まりどす。

  • 直前に見た画面と比べて、変わったマスが0.02%を超えたら「動いとる」
  • 動いとらん状態が1.5秒続いたら「落ち着いた」
  • 落ち着いた画面が、最後に撮った画像と0.1%を超えて違うたら、1枚撮る

「動いとる」の線を、「撮る」の線より低うしとるんがミソどす。逆にすると、動きには数えへん程度の小さなアニメーションのせいで、撮り続けてしまいます。

1文字だけの直しは撮りまへん。そこまで拾う値にしたら、カーソルの点滅や時計の表示で、余分な画像が出続けたんどす。

録音を始めた直後は、比べる相手がまだ無いので、落ち着くのを待たずに1枚撮ります。

2. 黙っとる間の画面は最後の1枚だけ並べる

会議の頭や、黙って資料を探しとる間の画面が、ずらっと並んでしもうたんで足した決まりどす。

  • 撮った時点から過去3秒に声が無かったら、「黙っとる間」の画面
    • 声かどうかは音量で決めます。開始シートの「小音量除外」と同じしきい値で、既定は −45 dBFS。除外をオフにしとっても、この値を使います
  • 黙っとる間の画面は、すぐには並べず、1枚だけ取っておく。次の画面を撮ったら、古いほうは捨てる
  • 話し始めたら、取っておいた最後の1枚を並べる

話し始めのほかに、取っておいた1枚を並べるときがあります。

  • AIエージェントへ送るときと、「会話をコピー」したとき。AIに、いまの画面を渡すためどす
  • 一時停止、記録の切り替え、録音の停止のとき。止める前の最後の画面を残すためどす

3秒にしたんは、2秒やと息継ぎで切れてしまい、5秒やと黙ってスライドを2枚送る程度の間が「黙っとる間」にならへんかったさかい。

キーボードの音を声と取り違えると、黙っとる間の画面も並べてしまいます。間違えるときは残しすぎる側にして、画面を失わへんようにしとります。

3. 動き続ける画面は12秒で1枚撮る

ここからの2つは、アニメーションの入ったスライドでプレゼンを録ってみて、足した決まりどす。

動く画像の入ったスライドは、画面がいつまでも落ち着かへんので、1枚も撮れまへんどした。決まり1だけやと、落ち着くのを待ち続けてしまうんどす。

  • 動いとる状態が12秒続いたら、落ち着くのを待たずに1枚撮る
  • 撮ったら、直近10秒に変わったマスを「動いとる所」として、比べるのをやめる
    • 外すマスは上下左右に1マス広げて、かたまりごとに四角く囲みます
  • 外した所は、そのかたまりが3秒変わらへんかったら、また比べる
  • 外した所のほかが変わったら、決まり1のとおりに撮る

外す所を「直近12秒」にせえへんかったんには、わけがあります。12秒前は、ちょうど動き始めた時刻どす。スライドを送った直後から動いとると、送りで変わった本文まで外す所に入って、本文ごと比べへんようになってしもうたんどす。

全画面の動画は、画面の全部が「動いとる所」になります。そのため、撮るんは最初の1枚だけどす。

4. 行き来する画面は撮り直さへん

2枚の画像が3秒おきに入れ替わるスライドでは、入れ替わるたびに撮ってしもうて、約3.5秒おきに20枚も並んだんどす。それで、こう決めました。

  • 撮ろうとした画面が、最後に見てから12秒以内の、並べた画面と同じやったら撮らへん
  • 「同じ」は、決まり3で外した所を除いて、マスの明るさの差が全部8以下のこと
  • 同じ画面を見続けとる間は、「最後に見た」時刻が延びていく

12秒は、10秒おきに入れ替わる画面まで拾うための長さどす。10秒に、画面を見る間隔のずれの最大1.4秒を足すと11.4秒。それが収まる12秒にしとります。

決まりで拾えへん場面

決まりにも、拾えへん場面があります。

  • 12秒以内に戻った画面は撮らへん。前と違う話をしとってもどす
  • 全画面の動画は最初の1枚だけ。動画の場面が替わっても撮らへん
  • 12秒より短く映して送った動く画面は、その間に落ち着かへんかったら残らへん
  • 外した所の中にだけ出た新しい中身は撮らへん。動く画像の枠の中に出た注記なんかが当たります

こういう場面で残したい画面は、「いま撮る」で拾っておくれやす。

画像を大きくして読む・畳んだ画像を開く

画像が小さくて字が読めへんときは、発言と画像の境目を左へドラッグしておくれやす。画像が大きくなります。変えた幅は、次の録音でも使います。

1つの発言に画像がたくさん付いたときは、最初と最後の1枚を残して、間の画像を「+N枚」に畳みます。上の写真の「+2枚」がそれどす。小さな見本が載っとるので、畳まれとる中身の見当が付きます。

  • 「+N枚」を押すと、その場で伸びて、間の画像が開きます
  • 開いた分の頭と末尾に「畳む」が出ます。どっちを押しても元に戻ります

録音中に記録を切り替える

フッターのピンの左に、いま記録しとるディスプレイの名前が出ます。記録しとらんときは「撮らない」どす。

名前を押すとメニューが開いて、次のことができます。

  • 別のディスプレイに替える: メニューからディスプレイを選ぶ
  • 記録を止める: 「撮らない」を選ぶ
  • 途中から記録を始める: 「撮らない」で始めた録音でも、ディスプレイを選べば記録が始まる
  • いま撮る: 自動を待たずに、その場で1枚撮る

記録を止めた所と、また始めた所は、書き起こしとMarkdownに「記録を停止」「記録を再開」の行で残ります。

  • 一時停止中に選んだディスプレイは、再開してから記録します
  • 録音中に替えたディスプレイは、次の録音の開始シートには引き継ぎまへん

AIエージェントが画面の画像を読む

AIエージェントの参加を使うてはる人向けどす。

会話には、画像そのものやのうて、画像の場所が入ります。AIエージェントは、要ると判断したときに、その画像を開いて読みます。

  • 読むのは、その会議の <会議名>.captures/ と <会議名>.attachments/ の画像だけ。会話の行がその画像を指しとるときに限ります
  • 手入力で貼った画像も、同じように読めます
  • AIエージェントが画像のファイルを読むと、画像の中身もAIエージェントへ渡ります

次のリリースで入れること

画面の記録には、使うてみて分かりにくいところがまだあります。次のリリースで、この2つを入れるつもりどす。

  • 記録が始まったときと止まったときに、撮っとるディスプレイの上へ、数秒だけ知らせを出す
    • いまは、どのディスプレイで撮り始めたんか、撮っとる最中なんか止まったんか、が分かりにくいんどす
  • グローバルキーで、画面の記録を止めたり、また始めたりできるようにする
    • KIKIGAKIを前に出さんでも、資料を見せる間だけ撮ったり、見せたない画面を開く間だけ止めたりできます

おわりに

v0.21.0から変わったことを、まとめておきます。

  • 開始シートの「画面」でディスプレイを選ぶと、画面が変わって落ち着いたときに1枚撮って、発言の右に並べる
  • 動く画面は1枚だけ撮り、行き来する画面は撮り直さへん。残したい場面は「いま撮る」
  • 録音中は、フッターのディスプレイ名から、替える・止める・途中から始めるができる
  • 境目のドラッグで画像を大きくできる。枚数の多い発言の画像は「+N枚」に畳む
  • AIエージェントが、会話の行が指す画面の画像を、要るときに読む

スライドを映して話す会議では、開始シートの「画面」でディスプレイを選んでおいておくれやす。後で読み返して「この話、どの資料のときやったやろ」と思うたら、発言の右を見るだけで済みますえ。