GitHub Copilot ChatのAgentにWeb検索機能を持たせたい（要Python）

fetchはあるけどWeb検索はしてくれない。前は検索してくれていた気がするんだけど、気づいたら無くなった？ようなので。（企業向けではあるようだし、Micros0ft謹製だけど外部APIを利用する変な機能拡張もあるけど）

というわけでSkillを書いてみた。

多分怒られて使えなくなる。規約上やるなとは書いてないがやって良いとも書かれてないしBOT検知ソリューションを入れているから普通の神経をしてるならやってはいけない。悪用厳禁。自己責任で。

Web-search Skill (for GitHub Copilot Chat) · GitHub

これをインストールするには、こう (Bash)

SKILL_DIR=".github/skills/web-search"
GIST_REVISION="https://gist.githubusercontent.com/ryozi-tn/224088e5b9e56af081c30452eeb40883/raw/83fd1883d8abfc9a23147e175207e73a9bbb2540"
mkdir -p "${SKILL_DIR}/scripts"
curl -Lo "${SKILL_DIR}/scripts/web-search.py" "${GIST_REVISION}/scripts__web-search.py"
curl -Lo "${SKILL_DIR}/SKILL.md" "${GIST_REVISION}/SKILL.md"

Marketplaceで配布？しないよ。得体のしれない人のモンをチェックも何もない仕組みで入れるもんじゃない。

そして、こう。

/web-search React不要説に関する情報を集めて

うまく使えば中身スッカスカの技術記事を量産できますね。

具体的な応答例はgistのコメントに応答例を張ってある。（お題は違うけど、まぁこのプロンプトと過程と結果の雰囲気でこんな感じに動くという参考になれば。）

以下は仕組みとか工夫とか。

DuckDuckGoを悪用利用している

仕組みとしては、DuckDuckGoのhtml版の検索フォームを全面的に利用している。最初は標準のページをpuppeteerで叩く作戦である程度機能していたが、時間もメモリも食うし、BOT検知が動きやすい。

調べるとHTML版とLite版(ほぼ1枚ぺらのHTML版)を提供していることを知った。こっちだとUAをごまかせばBOT検知されない（今のところ）し、データ量も少ない。Lite版はHTMLの構造が辛くて抽出が面倒なわりに、データ量が少なくなるわけでもないのでやっていない。

ただ、1ページ10件しか得られないのは辛いとおもい、せめて3ページ(30件)は欲しいと思いページングの仕組みを調べた。ページングの仕組みが特殊(Formの特殊な値をPOSTしないといけない)ので、Pythonスクリプトに書かせた。なのでアップデートでセレクタが動かなくなる可能性がある。本当はLLMに抽出タスクまでやらせたかったんだがなぁ。

こういう記事を書いて広まったら対策されて自分の首を絞めるんじゃないかと思いつつも、まぁ使えちゃうので使えるもんは使ってやろうという悪い考えで書いてる。クローラというわけではなくユーザの代理として検索してるだけだし良いじゃん、許してや。AIに知性あるんでしょ。AIが知性をもってデータにアクセスしてるんだ。いいじゃない。クローラーみたいなカスみたいなクエリを投げつけ結果をさらうような粗悪品じゃありませんぜ。（要出典）

でもBOT対策してくれた方があきらめがつくので対策してほしい。やっぱよくないよこれ。便利だから使うけど。