ProxyRack WHOIS工具是一个多线程,socks5代理支持的NodeJS应用程序,可用于刮取WHOIS记录数据或检查域可用性。
特征
- 具有或不具有用户凭证的SOCKS代理支持
- 多线程
- 的NodeJS
- Web UI和CLI
- 可选:用于存储结果的MongoDB
安装
ProxyRack WHOIS工具需要节点> = 8.93
快速节点安装(多个操作系统)https://github.com/creationix/nvm
安装依赖项和devDependencies并启动Web UI服务器。
$ git clone https://github.com/proxyrack/whois-proxy-scraping-tool.git $ cd whois-proxy-scraping-tool $ npm install $ node index.js --mode server --port 8080 --web-port 8000
对于CLI:
$ node index.js --mode file --input domains.txt --output result.txt --output-available available.txt --output-registered registered.txt
proxies.json
代理存储在名为的JSON文件中 proxies.json
{ "proxies": [ "yourusername:[email protected]:222 socks5" ] }
包含的示例代理来自www.proxyrack.com服务
config.js
您可以在此处修改MongoDB设置,代理文件路径,结果目录以及设置要运行的并发线程数
可以在此处完全忽略MongoDB行,即使您尚未设置并安装它,也只需指定localhost即可。
该软件仍将运行并将结果保存到磁盘。
'use strict'; const config = { db: { url: 'mongodb://localhost:27017', name: 'whois' }, proxies: { path: 'proxies.json' }, numThreads: 50, // number of threads per search outputDir: './results', outputUrl: '/results/' };