scrapy

scrapy

ウェブクローリングのフレームワークです。 もっと詳しく: https://docs.scrapy.org/en/latest/topics/commands.html#using-the-scrapy-tool。

  • プロジェクトを作成する:

scrapy startproject {{プロジェクト名}}

  • スパイダーを作成する (プロジェクトのディレクトリ内での実行):

scrapy genspider {{スパイダー名}} {{ウェブサイトのドメイン名}}

  • スパイダーを編集する (プロジェクトのディレクトリ内での実行):

scrapy edit {{スパイダー名}}

  • スパイダーを実行する (プロジェクトのディレクトリ内での実行):

scrapy crawl {{スパイダー名}}

  • Scrapyが見るようにWebページを取得しソースをstdout(標準出力)に表示する:

scrapy fetch {{url}}

  • Scrapyが見ているようにデフォルトブラウザ内でウェブページを開く(より応答に忠実であるようにするためにJavaScriptを無効化している):

scrapy view {{url}}

  • URL用のScrapyシェルを開き、Python(もしくは可能であればIPython)シェル内でページソースとの対話式でのやり取りを可能にする:

scrapy shell {{url}}

common

npm-it このコマンドは `npm install-test` のエイリアスです。
pip3 このコマンドは `pip` のエイリアスです。
brew-remove このコマンドは `brew uninstall` のエイリアスです。
docker-exec このコマンドは `docker container exec` のエイリアスです。
apktool APK ファイルの解析ツールです。
xml-xmln このコマンドは `xml pyx` のエイリアスです。
ping ICMP ECHO_REQUEST パケットをネットワークホストに送信します。
git-stage このコマンドは `git add` のエイリアスです。
z 高頻度で利用されるディレクトリを把握し、文字列や正規表現をつかうことでスムーズに移動できるようにします。
pulumi-stack-hist このコマンドは `pulumi stack history` のエイリアスです。
cargo Rust プロジェクトとそのモジュールの依存関係(クレート)を管理します。
bat ファイルの内容を表示したり、連結したりします。
cp ファイルやディレクトリをコピーします。
bun-list このコマンドは `bun pm ls` のエイリアスです。
docker-rm このコマンドは `docker container rm` のエイリアスです。
docker-rmi このコマンドは `docker image rm` のエイリアスです。
docker-ps このコマンドは `docker container ls` のエイリアスです。
7z 圧縮率の高いファイルアーカイバです。
bun-rm このコマンドは `bun remove` のエイリアスです。
llvm-strings このコマンドは `strings` のエイリアスです。
impacket-smbserver このコマンドは `smbserver.py` のエイリアスです。
bg 一時停止していたジョブ（例. `<Ctrl z>` 使用時）を再開し、バックグラウンドで実行します。
ffmpeg 動画変換ツールです。
llvm-gcc このコマンドは `clang` のエイリアスです。
rcat このコマンドは `rc` のエイリアスです。
docker-system Dockerのデータ管理とシステム全体に関わる情報の表示をします。
xml-p2x このコマンドは `xml depyx` のエイリアスです。
uvx このコマンドは `uv tool run` のエイリアスです。
rbash このコマンドは `bash --restricted` のエイリアスです。
llvm-objdump このコマンドは `objdump` のエイリアスです。
hping このコマンドは `hping3` のエイリアスです。
gh-rs このコマンドは `gh ruleset` のエイリアスです。
lzdiff このコマンドは `xzdiff` のエイリアスです。
gh-at このコマンドは `gh attestation` のエイリアスです。
aws アマゾンウェブサービスの公式 CLI ツールです。
git-continue このコマンドは `git abort` のエイリアスです。
impacket-sambapipe このコマンドは `sambaPipe.py` のエイリアスです。
chmod ファイルやディレクトリのアクセス権限を変更します。
cat ファイルの出力と連結を行います。
docker-container-ls Dockerコンテナ一覧を表示します。
zstdcat このコマンドは `zstd --decompress --stdout --force` のエイリアスです。
npx このコマンドは `npm exec` のエイリアスです。
impacket-getarch このコマンドは `getArch.py` のエイリアスです。
kubectl Kubernetes クラスタに対してコマンドを実行するためのコマンドラインインターフェイス。
tar アーカイブ(複数のファイルやフォルダを 1 つのファイルに纏める)の為のユーティリティー。
docker-diff このコマンドは `docker container diff` のエイリアスです。
impacket-ping このコマンドは `ping.py` のエイリアスです。
netcat このコマンドは `nc` のエイリアスです。
bunzip2 このコマンドは `bzip2 --decompress` のエイリアスです。
gh-cs このコマンドは `gh codespace` のエイリアスです。
pulumi-update このコマンドは `pulumi up` のエイリアスです。
platformio このコマンドは `pio` のエイリアスです。
find ディレクトリツリー下のファイルやディレクトリを再帰的に検索します。
impacket-rpcdump このコマンドは `rpcdump.py` のエイリアスです。
gnmic-sub このコマンドは `gnmic subscribe` のエイリアスです。
hx このコマンドは `helix` のエイリアスです。
pyenv 複数バージョンのPythonを容易に切り替えします。
zip ファイルを Zip アーカイブにパッケージして圧縮(アーカイブ)します。
pulumi-down このコマンドは `pulumi destroy` のエイリアスです。
npm-stop このコマンドは `npm run stop` のエイリアスです。
impacket-mssqlclient このコマンドは `mssqlclient.py` のエイリアスです。
mogrify このコマンドは `magick mogrify` のエイリアスです。
npm-test このコマンドは `npm run test` のエイリアスです。
impacket-psexec このコマンドは `psexec.py` のエイリアスです。
xzfgrep このコマンドは `xzgrep --fixed-strings` のエイリアスです。
tldr コマンドの簡単なマニュアル。
egrep このコマンドは `grep --extended-regexp` のエイリアスです。
rgrep このコマンドは `grep --recursive` のエイリアスです。
docker-pull このコマンドは `docker image pull` のエイリアスです。
podman-image-load このコマンドは `podman load` のエイリアスです。
todoman このコマンドは `todo` のエイリアスです。
r2 このコマンドは `radare2` のエイリアスです。
jira-issues このコマンドは `jira issue` のエイリアスです。
mvn Apache Maven：Java ベースのプロジェクトをビルドおよび管理します。
lzcat このコマンドは `xz --format lzma --decompress --stdout` のエイリアスです。
pwd 現在の作業ディレクトリを表示します。
llvm-nm このコマンドは `nm` のエイリアスです。
docker-container-start 1つまたは複数の停止中コンテナを起動します。
ic このコマンドは `ibmcloud` のエイリアスです。
lzfgrep このコマンドは `xzgrep --fixed-strings` のエイリアスです。
vim コマンドラインのテキストエディタである Vim（Vi IMproved）には、さまざまな種類のテキスト操作のためのモードが用意されています。
lzless このコマンドは `xzless` のエイリアスです。
perl-rename このコマンドは `rename` のエイリアスです。
bzegrep このコマンドは `bzgrep --extended-regexp` のエイリアスです。
ls ディレクトリの内容を一覧表示します。
impacket-sniffer このコマンドは `sniffer.py` のエイリアスです。
7zr 圧縮率の高いファイルアーカイバです。
minetest このコマンドは `luanti` のエイリアスです。
claude コードベースを理解し、自然言語コマンドを通じてより速くコーディングできるようサポートするエージェント型コーディングツールです。
jira-projects このコマンドは `jira project` のエイリアスです。
docker-rename このコマンドは `docker container rename` のエイリアスです。
npm-author このコマンドは `npm owner` のエイリアスです。
zegrep このコマンドは `zgrep --extended-regexp` のエイリアスです。
azure-cli このコマンドは `az` のエイリアスです。
identify このコマンドは `magick identify` のエイリアスです。
zeditor このコマンドは `zed` のエイリアスです。
comma このコマンドは `,` のエイリアスです。
docker-container-top このコマンドは `docker top` のエイリアスです。
terraform インフラストラクチャをコードとして作成し、クラウドプロバイダにデプロイします。
luantiserver このコマンドは `luanti --server` のエイリアスです。
kr このコマンドは `kiterunner` のエイリアスです。
zstdmt このコマンドは `zstd --threads 0` のエイリアスです。
npm JavaScript と Node.js のパッケージマネージャ。
import このコマンドは `magick import` のエイリアスです。
jfrog このコマンドは `jf` のエイリアスです。
grep 正規表現を使ってファイルのパターンを見つけます。
brew Homebrew - macOS と Linux 用のパッケージマネージャ。
llvm-ar このコマンドは `ar` のエイリアスです。
cola このコマンドは `git-cola` のエイリアスです。
j このコマンドは `autojump` のエイリアスです。
diff ファイルとディレクトリを比較する。
pnmtopnm このコマンドは `pamtopnm` のエイリアスです。
typeset このコマンドは `declare` のエイリアスです。
fossil-ci このコマンドは `fossil commit` のエイリアスです。
minetestserver このコマンドは `luanti --server` のエイリアスです。
traceroute ネットワークホストへの経路パケット追跡を表示します。
xzegrep このコマンドは `xzgrep --extended-regexp` のエイリアスです。
crane-cp このコマンドは `crane copy` のエイリアスです。
unzstd このコマンドは `zstd --decompress` のエイリアスです。
magick 画像フォーマットの作成、編集、合成、変換を行います。
docker-compose 複数コンテナを持つDockerアプリケーションの実行と管理をします。
curl データをサーバーから転送、もしくはサーバーへ転送します。
arp システムのARPキャッシュを表示し、操作します。
docker-container-rename このコマンドは `docker rename` のエイリアスです。
ab Apache HTTP server のベンチマーク用ツールです。
impacket-mqtt_check このコマンドは `mqtt_check.py` のエイリアスです。
aws-configure AWS CLI の設定を管理します。
docker-container-remove このコマンドは `docker container rm` のエイリアスです。
ffprobe マルチメディアストリームを解析します。
tmux 端末のマルチプレクサ。
df ファイルシステムのディスク使用量の概要を表示します。
gh-agent このコマンドは `gh agent-task` のエイリアスです。
bzfgrep このコマンドは `bzgrep --fixed-strings` のエイリアスです。
npm-run-script このコマンドは `npm run` のエイリアスです。
mpiexec このコマンドは `mpirun` のエイリアスです。
piodebuggdb このコマンドは `pio debug --interface gdb` のエイリアスです。
history コマンドラインの履歴です。
brew-rm このコマンドは `brew uninstall` のエイリアスです。
brew-abv このコマンドは `brew info` のエイリアスです。
docker-container-cp ホスト、コンテナのファイルシステム間でファイルやディレクトリをコピーします。
vdir このコマンドは `ls -l --escape` のエイリアスです。
gh-a11y このコマンドは `gh accessibility` のエイリアスです。
msbuild Microsoft の Visual Studio プロジェクトソリューション用ビルドツールです。
npm-start このコマンドは `npm run start` のエイリアスです。
ps 実行中のプロセスに関する情報。
mapfile このコマンドは `readarray` のエイリアスです。
fossil-new このコマンドは `fossil init` のエイリアスです。
awk ファイル操作のための汎用プログラミング言語。
python Python language インタプリタ。
arch このコマンドは `uname --machine` のエイリアスです。
cd 現在の作業ディレクトリを変更します。
docker-start このコマンドは `docker container start` のエイリアスです。
unlzma このコマンドは `xz --format lzma --decompress` のエイリアスです。
jco このコマンドは `autojump` のエイリアスです。
lzgrep このコマンドは `xzgrep` のエイリアスです。
lzcmp このコマンドは `xzcmp` のエイリアスです。
libreoffice このコマンドは `soffice` のエイリアスです。
mysql MySQL のコマンドラインツールです。
impacket-sniff このコマンドは `sniff.py` のエイリアスです。
ug このコマンドは `ugrep --config --pretty --sort` のエイリアスです。
impacket-getadusers このコマンドは `GetADUsers.py` のエイリアスです。
docker-run このコマンドは `docker container run` のエイリアスです。
echo 与えられた引数を表示します。
bun-c このコマンドは `bun create` のエイリアスです。
tee `stdin` から読み込んで `stdout` とファイル(またはコマンド)に書き込みます。
impacket-smbclient このコマンドは `smbclient.py` のエイリアスです。
podman-image-pull このコマンドは `podman pull` のエイリアスです。
ptpython3 このコマンドは `ptpython` のエイリアスです。
xzcat このコマンドは `xz --decompress --stdout` のエイリアスです。
impacket-rpcmap このコマンドは `rpcmap.py` のエイリアスです。
docker-stats このコマンドは `docker container stats` のエイリアスです。
less ファイルを開いて、スクロールや検索などのインタラクティブな読み方ができます。
jupyterlab このコマンドは `jupyter lab` のエイリアスです。
scrapy ウェブクローリングのフレームワークです。
kafkacat このコマンドは `kcat` のエイリアスです。
gcc C と C++ のソースファイルを前処理してコンパイルし、アセンブルしてリンクします。
compare このコマンドは `magick compare` のエイリアスです。
npm-restart このコマンドは `npm run restart` のエイリアスです。
docker-logs このコマンドは `docker container logs` のエイリアスです。
impacket-getuserspns このコマンドは `GetUserSPNs.py` のエイリアスです。
bzcat このコマンドは `bzip2 --decompress --stdout` のエイリアスです。
gunzip このコマンドは `gzip --decompress` のエイリアスです。
kite このコマンドは `kiterunner` のエイリアスです。
svn Subversion のコマンドラインクライアントツールです。
sr このコマンドは `surfraw` のエイリアスです。
docker-save このコマンドは `docker image save` のエイリアスです。
zcat このコマンドは `gzip --stdout --decompress` のエイリアスです。
unalias alias を削除します。
impacket-secretsdump このコマンドは `secretsdump.py` のエイリアスです。
kdash ターミナル上でKubernetesのダッシュボードを作成するためのコマンドラインインターフェイス。
impacket-addcomputer このコマンドは `addcomputer.py` のエイリアスです。
ssh Secure Shell は、リモートシステムに安全にログオンするために使用されるプロトコルです。
make Makefile に記述されたターゲットのタスクランナー。
tldrl このコマンドは `tldr-lint` のエイリアスです。
docker-update このコマンドは `docker container update` のエイリアスです。
lzegrep このコマンドは `xzgrep --extended-regexp` のエイリアスです。
lzmore このコマンドは `xzmore` のエイリアスです。
docker-commit このコマンドは `docker container commit` のエイリアスです。
copr このコマンドは `copr-cli` のエイリアスです。
git-commit リポジトリにファイルをコミットします。
rustup Rust ツールチェーンのインストール、管理、更新を行います。
psql PostgreSQL コマンドラインクライアントです。
docker Dockerコンテナ及びDockerイメージの管理を行います。
gdm-binary このコマンドは `gdm` のエイリアスです。
htop 実行中のプロセスに関する動的なリアルタイム情報を表示する。 `top` の拡張版。
c++ このコマンドは `g++` のエイリアスです。
vi このコマンドは `vim` のエイリアスです。
asdf さまざまなパッケージのバージョンを管理するためのコマンドラインインターフェイスです。
impacket-getnpusers このコマンドは `GetNPUsers.py` のエイリアスです。
python3 このコマンドは `python` のエイリアスです。
montage このコマンドは `magick montage` のエイリアスです。
jira-sprints このコマンドは `jira sprint` のエイリアスです。
tlmgr-arch このコマンドは `tlmgr platform` のエイリアスです。
whoami このコマンドは `id --user --name` のエイリアスです。
uname 現在のマシンとその上で動作しているオペレーティングシステムの詳細を表示します。
pnmtoplainpnm このコマンドは `pamtopnm -plain` のエイリアスです。
vc このコマンドは `vercel` のエイリアスです。
docker-cp このコマンドは `docker container cp` のエイリアスです。
jo このコマンドは `autojump` のエイリアスです。
impacket-ntfs-read このコマンドは `ntfs-read.py` のエイリアスです。
npm-list このコマンドは `npm ls` のエイリアスです。
docker-container-diff このコマンドは `docker diff` のエイリアスです。
trash-cli このコマンドは `trash` のエイリアスです。
[ 条件を評価します。
file-rename このコマンドは `rename` のエイリアスです。
fdfind このコマンドは `fd` のエイリアスです。
docker-build Dockerfileからイメージを構築します。
sudoedit このコマンドは `sudo --edit` のエイリアスです。
docker-tag このコマンドは `docker image tag` のエイリアスです。
clang-cpp このコマンドは `clang++` のエイリアスです。
bc 任意の精度で計算を行える言語です。
java Java アプリケーションランチャ。
gradle オープンソースのビルド自動化システムです。
7za 圧縮率の高いファイルアーカイバです。
jira-navigate このコマンドは `jira open` のエイリアスです。
nslookup ネームサーバに様々なドメインレコードを問い合わせます。
ntl このコマンドは `netlify` のエイリアスです。
node サーバサイド JavaScript プラットフォーム (Node.js)。
. このコマンドは `source` のエイリアスです。
clojure このコマンドは `clj` のエイリアスです。
bun-x このコマンドは `bunx` のエイリアスです。
pnmdepth このコマンドは `pamdepth` のエイリアスです。
docker-container-run 新しいDockerコンテナでコマンドを実行します。
ssh-keygen 認証やパスワード不要のログインなどに使われるSSHキーを生成します。
impacket-ping6 このコマンドは `ping6.py` のエイリアスです。
rustup-uninstall このコマンドは `rustup toolchain uninstall` のエイリアスです。
fgrep このコマンドは `grep --fixed-strings` のエイリアスです。
pio-init このコマンドは `pio project init` のエイリアスです。
prename このコマンドは `rename` のエイリアスです。
jira-browse このコマンドは `jira open` のエイリアスです。
docker-load このコマンドは `docker image load` のエイリアスです。
llvm-g++ このコマンドは `clang++` のエイリアスです。
fossil-forget このコマンドは `fossil rm` のエイリアスです。
nginx `nginx` ウェブサーバ。
rustup-install このコマンドは `rustup toolchain install` のエイリアスです。
podman ポッド、コンテナ、イメージのシンプルな管理ツールです。
du ディスク使用状況: ファイルとディレクトリの使用量の概算を表示します。
zfgrep このコマンドは `zgrep --fixed-strings` のエイリアスです。
docker-slim このコマンドは `slim` のエイリアスです。
alias alias （コマンド文字列を置き換える別名）を作成します。
time コマンドの実行にかかった時間を計測します。
gpg GNU Privacy Guard。
hd このコマンドは `hexdump` のエイリアスです。
unxz このコマンドは `xz --decompress` のエイリアスです。
xml-c14n このコマンドは `xml canonic` のエイリアスです。
mscore このコマンドは `musescore` のエイリアスです。
ag Silver Searcher と呼ばれます。`ack` コマンドに似ていますが、より高速化を目指したコマンドです。
sed スクリプトによるテキスト編集。
docker-images このコマンドは `docker image ls` のエイリアスです。
lzma このコマンドは `xz --format lzma` のエイリアスです。
docker-container-rm このコマンドは `docker rm` のエイリアスです。
ranger VI キーバインドのコンソールファイルマネージャー。
mpicxx このコマンドは `mpic++` のエイリアスです。
gpg2 このコマンドは `gpg` のエイリアスです。
pamnoraw このコマンドは `pamtopnm -plain` のエイリアスです。
test 条件を評価します。
dig DNS 情報を調べるユーティリティーです。
docker-top このコマンドは `docker container top` のエイリアスです。
wget Webからファイルをダウンロードします。
fossil-rm このコマンドは `fossil delete` のエイリアスです。
nm-classic このコマンドは `nm` のエイリアスです。
dotnet .NET Core 用のクロスプラットフォーム .NET コマンドラインツール。
case 複数の選択肢がある条件文を作成するための Bash 組み込み構文。
netexec このコマンドは `nxc` のエイリアスです。
npm-rb このコマンドは `npm-rebuild` のエイリアスです。
bun-i このコマンドは `bun install` のエイリアスです。
netstat 開いている接続、開いているソケットポートなどのネットワーク関連情報を表示します。
https このコマンドは `http` のエイリアスです。
colorls カラー化と Font Awesome アイコンの使用によりターミナルの ls コマンドを美しくした Ruby の gem です。
go Go のソースコードを管理します。
fg フォアグラウンドでジョブを実行する。
chown ファイルやディレクトリのユーザとグループの所有者を変更します。
git 分散型バージョン管理システム。