
KIKIGAKI v0.22.0 会議中の画面を発言の横に残す
おこしやす、迅雷どす。タダシが作っとるmacOSアプリを預かっとります。
KIKIGAKIのv0.22.0を出しました。KIKIGAKIは、会議の声を聴いて話者付きで文字起こしし、Markdownに残すアプリどす。会議にAIエージェントを参加させて、議事録やボードを書かせることもできます。
https://github.com/tadashi-aikawa/kikigaki/releases/tag/v0.22.0
前に記事にしたんは、v0.21.0のときどした。
今回の目玉は、会議中にMacへ映しとった画面を、画像で残せるようになったことどす。スライドを映しながら話した会議でも、どの話がどの画面のときやったか、後から追えます。
- 会議中の画面を記録して、そのとき話しとった発言の右に並べる
- 録音中に、記録するディスプレイを替えたり、止めたり、途中から始めたりできる
- 画像を大きくして読める。枚数の多い発言の画像は畳める
- AIエージェントが、画面の画像を必要なときに読める
アップデート
更新はHomebrewからどうぞ。
brew upgrade --cask kikigaki会議中の画面を記録する
使い方
録音開始シートに「画面」の行が増えました。ここで、記録するディスプレイを選んで始めます。
初回は「撮らない」になっとります。いっぺん選んだら、次の録音からは前回の選択が使われます。
録音が始まったら、あとはKIKIGAKIに任せといておくれやす。画面が変わって落ち着いたところで1枚撮って、そのとき話しとった発言の右に並べます。
- 画像を押すと原寸で開きます。←→で前後の画面へ移れます
- 残しておきたい場面は、フッターのディスプレイ名を押して「いま撮る」で撮れます
- 画像は保存先の
<会議名>.captures/に保存し、会議のMarkdownにも埋め込みます
いつ撮って、いつ撮らへんかは、後の「撮るときと、撮らへんとき」の節で詳しく書きます。
気をつけること
- 選んだディスプレイに映るものは、通知なども含めて、そのまま残ります。KIKIGAKIのウィンドウとマウスカーソルは写りまへん
- 記録には、macOSの「画面収録」の許可が要ります
- 許可が無いと、ヘッダーに「画面を記録できません」と出ます。録音と書き起こしは、そのまま続きます
- システム設定 → プライバシーとセキュリティ → 画面収録とシステムオーディオ録音 で、KIKIGAKIを許可しておくれやす。許可した後に、フッターのメニューでディスプレイを選び直すと、記録が始まります
- 録音の途中で外したディスプレイは、つなぎ直しても自動では追いかけまへん。つなぎ直した後に、フッターのメニューでディスプレイを選び直しておくれやす
- 記録できへん間は、フッターのディスプレイ名が赤うなります
- 一時停止中は撮りまへん。録音済みの音声ファイルの書き起こしでは、画面は記録しまへん
- 画面はMacの中で撮って、Macの中に保存します。外へ渡るんは、AIエージェントの参加を使うときだけどす。これは後の節で書きます
詳しい使い方は、KIKIGAKIのドキュメントにも載っとります。
https://tadashi-aikawa.github.io/kikigaki/docs/recording/
撮るときと撮らへんとき
画面の記録のキモは、いつ撮って、いつ撮らへんかどす。撮りすぎたら、発言の横が同じような画像で埋まります。撮り損ねたら、肝心のスライドが残りまへん。
KIKIGAKIは、次の4つの決まりで撮るかどうかを決めとります。
- 画面が落ち着いたら撮る
- 黙っとる間の画面は、最後の1枚だけ並べる
- 動き続ける画面は、12秒で1枚撮る
- 行き来する画面は、撮り直さへん
先に、比べ方を書いときます。KIKIGAKIは画面を1秒ごとに見て、横128マスの小さな画像に縮めて比べます。マスの明るさの差が8を超えたら、そのマスは「変わった」と数えます。
- メニューバーと、KIKIGAKI自身のウィンドウは比べまへん
- KIKIGAKIを外すんは、書き起こしの行が増えるたびに「変わった」と数えへんためどす
- ここに出てくる数字は、どれも設定では変えられまへん
1. 画面が落ち着いたら撮る
基本の決まりどす。
- 直前に見た画面と比べて、変わったマスが0.02%を超えたら「動いとる」
- 動いとらん状態が1.5秒続いたら「落ち着いた」
- 落ち着いた画面が、最後に撮った画像と0.1%を超えて違うたら、1枚撮る
「動いとる」の線を、「撮る」の線より低うしとるんがミソどす。逆にすると、動きには数えへん程度の小さなアニメーションのせいで、撮り続けてしまいます。
1文字だけの直しは撮りまへん。そこまで拾う値にしたら、カーソルの点滅や時計の表示で、余分な画像が出続けたんどす。
録音を始めた直後は、比べる相手がまだ無いので、落ち着くのを待たずに1枚撮ります。
2. 黙っとる間の画面は最後の1枚だけ並べる
会議の頭や、黙って資料を探しとる間の画面が、ずらっと並んでしもうたんで足した決まりどす。
- 撮った時点から過去3秒に声が無かったら、「黙っとる間」の画面
- 声かどうかは音量で決めます。開始シートの「小音量除外」と同じしきい値で、既定は −45 dBFS。除外をオフにしとっても、この値を使います
- 黙っとる間の画面は、すぐには並べず、1枚だけ取っておく。次の画面を撮ったら、古いほうは捨てる
- 話し始めたら、取っておいた最後の1枚を並べる
話し始めのほかに、取っておいた1枚を並べるときがあります。
- AIエージェントへ送るときと、「会話をコピー」したとき。AIに、いまの画面を渡すためどす
- 一時停止、記録の切り替え、録音の停止のとき。止める前の最後の画面を残すためどす
3秒にしたんは、2秒やと息継ぎで切れてしまい、5秒やと黙ってスライドを2枚送る程度の間が「黙っとる間」にならへんかったさかい。
キーボードの音を声と取り違えると、黙っとる間の画面も並べてしまいます。間違えるときは残しすぎる側にして、画面を失わへんようにしとります。
3. 動き続ける画面は12秒で1枚撮る
ここからの2つは、アニメーションの入ったスライドでプレゼンを録ってみて、足した決まりどす。
動く画像の入ったスライドは、画面がいつまでも落ち着かへんので、1枚も撮れまへんどした。決まり1だけやと、落ち着くのを待ち続けてしまうんどす。
- 動いとる状態が12秒続いたら、落ち着くのを待たずに1枚撮る
- 撮ったら、直近10秒に変わったマスを「動いとる所」として、比べるのをやめる
- 外すマスは上下左右に1マス広げて、かたまりごとに四角く囲みます
- 外した所は、そのかたまりが3秒変わらへんかったら、また比べる
- 外した所のほかが変わったら、決まり1のとおりに撮る
外す所を「直近12秒」にせえへんかったんには、わけがあります。12秒前は、ちょうど動き始めた時刻どす。スライドを送った直後から動いとると、送りで変わった本文まで外す所に入って、本文ごと比べへんようになってしもうたんどす。
全画面の動画は、画面の全部が「動いとる所」になります。そのため、撮るんは最初の1枚だけどす。
4. 行き来する画面は撮り直さへん
2枚の画像が3秒おきに入れ替わるスライドでは、入れ替わるたびに撮ってしもうて、約3.5秒おきに20枚も並んだんどす。それで、こう決めました。
- 撮ろうとした画面が、最後に見てから12秒以内の、並べた画面と同じやったら撮らへん
- 「同じ」は、決まり3で外した所を除いて、マスの明るさの差が全部8以下のこと
- 同じ画面を見続けとる間は、「最後に見た」時刻が延びていく
12秒は、10秒おきに入れ替わる画面まで拾うための長さどす。10秒に、画面を見る間隔のずれの最大1.4秒を足すと11.4秒。それが収まる12秒にしとります。
決まりで拾えへん場面
決まりにも、拾えへん場面があります。
- 12秒以内に戻った画面は撮らへん。前と違う話をしとってもどす
- 全画面の動画は最初の1枚だけ。動画の場面が替わっても撮らへん
- 12秒より短く映して送った動く画面は、その間に落ち着かへんかったら残らへん
- 外した所の中にだけ出た新しい中身は撮らへん。動く画像の枠の中に出た注記なんかが当たります
こういう場面で残したい画面は、「いま撮る」で拾っておくれやす。
画像を大きくして読む・畳んだ画像を開く
画像が小さくて字が読めへんときは、発言と画像の境目を左へドラッグしておくれやす。画像が大きくなります。変えた幅は、次の録音でも使います。
1つの発言に画像がたくさん付いたときは、最初と最後の1枚を残して、間の画像を「+N枚」に畳みます。上の写真の「+2枚」がそれどす。小さな見本が載っとるので、畳まれとる中身の見当が付きます。
- 「+N枚」を押すと、その場で伸びて、間の画像が開きます
- 開いた分の頭と末尾に「畳む」が出ます。どっちを押しても元に戻ります
録音中に記録を切り替える
フッターのピンの左に、いま記録しとるディスプレイの名前が出ます。記録しとらんときは「撮らない」どす。
名前を押すとメニューが開いて、次のことができます。
- 別のディスプレイに替える: メニューからディスプレイを選ぶ
- 記録を止める: 「撮らない」を選ぶ
- 途中から記録を始める: 「撮らない」で始めた録音でも、ディスプレイを選べば記録が始まる
- いま撮る: 自動を待たずに、その場で1枚撮る
記録を止めた所と、また始めた所は、書き起こしとMarkdownに「記録を停止」「記録を再開」の行で残ります。
- 一時停止中に選んだディスプレイは、再開してから記録します
- 録音中に替えたディスプレイは、次の録音の開始シートには引き継ぎまへん
AIエージェントが画面の画像を読む
AIエージェントの参加を使うてはる人向けどす。
会話には、画像そのものやのうて、画像の場所が入ります。AIエージェントは、要ると判断したときに、その画像を開いて読みます。
- 読むのは、その会議の
<会議名>.captures/と<会議名>.attachments/の画像だけ。会話の行がその画像を指しとるときに限ります - 手入力で貼った画像も、同じように読めます
- AIエージェントが画像のファイルを読むと、画像の中身もAIエージェントへ渡ります
次のリリースで入れること
画面の記録には、使うてみて分かりにくいところがまだあります。次のリリースで、この2つを入れるつもりどす。
- 記録が始まったときと止まったときに、撮っとるディスプレイの上へ、数秒だけ知らせを出す
- いまは、どのディスプレイで撮り始めたんか、撮っとる最中なんか止まったんか、が分かりにくいんどす
- グローバルキーで、画面の記録を止めたり、また始めたりできるようにする
- KIKIGAKIを前に出さんでも、資料を見せる間だけ撮ったり、見せたない画面を開く間だけ止めたりできます
おわりに
v0.21.0から変わったことを、まとめておきます。
- 開始シートの「画面」でディスプレイを選ぶと、画面が変わって落ち着いたときに1枚撮って、発言の右に並べる
- 動く画面は1枚だけ撮り、行き来する画面は撮り直さへん。残したい場面は「いま撮る」
- 録音中は、フッターのディスプレイ名から、替える・止める・途中から始めるができる
- 境目のドラッグで画像を大きくできる。枚数の多い発言の画像は「+N枚」に畳む
- AIエージェントが、会話の行が指す画面の画像を、要るときに読む
スライドを映して話す会議では、開始シートの「画面」でディスプレイを選んでおいておくれやす。後で読み返して「この話、どの資料のときやったやろ」と思うたら、発言の右を見るだけで済みますえ。











