全球主机交流论坛

标题: Go-Proxy-Checker，一款基于Go编写的高性能代理服务器验证工具 [打印本页]

作者: Titan 时间: 2022-2-11 12:43
标题: Go-Proxy-Checker，一款基于Go编写的高性能代理服务器验证工具
本帖最后由 Titan 于 2022-2-11 12:45 编辑

用Golang写的工具，优化了一段时间开源了出来，欢迎各位MJJ体验，更欢迎动手点下star

Go-Proxy-Checker是一款基于Go编写的高性能HTTP/HTTPS代理服务器验证工具

能够快速的验证你提供的代理列表中有哪些代理可用（是否高匿、是否支持HTTPS）
仅需要简单的一条命令即可完成验证。
经过Benchmark性能测试，在理论条件下，可在约45秒内验证完10000条代理IP记录，内存占用不超过150M

Github开源地址：https://github.com/titanhw/go-proxy-checker
发布版本：https://github.com/titanhw/go-proxy-checker/releases

用法
go-proxy-checker 支持如下参数：

-h 读取有关此工具的说明文本
-c int 同时进行代理服务器验证的并发数目（默认为2000）
-http 使用HTTP请求替代HTTPS进行验证（只验证是否支持HTTP）
-i string 待验证的代理服务器文本列表 (default "input.txt")
-o string 输出验证后的代理服务验证列表 (default "output.txt")

复制代码

使用示例
输入和输出文件格式
你需要确认你要验证的代理服务器文件（默认为input.txt）的格式如下：
IP地址:端口号（每行一条记录）

127.0.0.1:8080
127.0.0.101:3128
127.0.0.102:7890
127.0.0.103:8888
...

复制代码

常见的使用示例

1. 直接运行程序，使用默认参数验证代理

./go-proxy-checker

复制代码

2. 只检测代理服务器是否支持HTTP，指定输入和输出文件路径

./go-proxy-checker -http -i fresh_list.txt -o success.txt

复制代码

3. 指定并发的数量（默认为2000）。

./go-proxy-checker -c 100

复制代码

作者: iiss 时间: 2022-2-11 12:48
技术贴要支持~

作者: 范思平 时间: 2022-2-11 12:50
虽然我用不到

作者: Titan 时间: 2022-2-11 12:50

范思平发表于 2022-2-11 12:50
虽然我用不到

做数据分析，爬虫什么的，可能会用到

作者: 88170351 时间: 2022-2-11 12:52
star

作者: 枝江小狼王 时间: 2022-2-11 13:04
帮顶

作者: 联通 时间: 2022-2-11 13:08
软件有了，列表去哪找呢

作者: swds 时间: 2022-2-11 13:19
顺便爬几个列表呗。否则不够实用啊

作者: Titan 时间: 2022-2-11 13:21

swds 发表于 2022-2-11 13:19
顺便爬几个列表呗。否则不够实用啊

如果你是用来检测网上开放的代理的话，可能需要你自己收集未验证的列表，不能确保第三方接口的稳定性。

作者: wise指南 时间: 2022-2-11 13:30
fork了。

作者: airplayx 时间: 2022-2-11 13:34
可以实用，请加入命令行直接指定ip 命令

作者: 一颗赛艇 时间: 2022-2-11 13:36
好东西，膜拜GO大佬

作者: kagurazakashira 时间: 2022-2-11 13:49
希望能加入socks4/socks5支持

作者: Tankie 时间: 2022-2-11 13:51
话不多说，直接FORK

作者: Titan 时间: 2022-2-11 13:55

kagurazakashira 发表于 2022-2-11 13:49
希望能加入socks4/socks5支持

感谢建议，正在考虑这个功能，或许会在下面的版本中加入

作者: ziyo 时间: 2022-2-11 14:03
不知道干嘛，反正是厉害了大佬

作者: breakmyheart 时间: 2022-2-11 14:07
好项目绑定

作者: dunce 时间: 2022-2-11 15:50
https://github.com/titanhw/go-proxy-checker/blob/b5f5a833f150c518ce80f181048ecfa6fadde891/core/checker.go#L11-L27

这里硬编码了scheme，只能处理http代理。其实直接传string就行了，gorequest会进行parse，自动支持https和basic auth(其实就是把proxyURL传给标准库的transport.Proxy)

另外建议不要滥用全局变量，尤其是WaitGroup，用函数传参更好一些

作者: MoeWang 时间: 2022-2-11 15:52
好东西，可以来测试公开代理，筛选出可用的

作者: lnx 时间: 2022-2-11 15:53
dd

作者: 艺术人 时间: 2022-2-11 16:05
收藏一波

作者: sdqu 时间: 2022-2-11 16:12
2000的默认并发太大了，容易被主机商当成攻击而封机

作者: 剁手mjj 时间: 2022-2-11 16:22
mark

作者: 省港澳白嫖王 时间: 2022-2-11 16:55

有公共代理(s5)的list分享吗？配上这个绝了

作者: 271308568 时间: 2022-2-11 17:07
收藏了

作者: Titan 时间: 2022-2-11 17:21

dunce 发表于 2022-2-11 15:50
https://github.com/titanhw/go-proxy-checker/blob/b5f5a833f150c518ce80f181048ecfa6fadde891/core/check ...

非常感谢建议

作者: 医者的路 时间: 2022-2-11 18:03
可以用socks吗

作者: emptysuns 时间: 2022-2-11 18:05

感谢开源

作者: Titan 时间: 2022-2-11 18:10
更新日志：

2022-2-11，V1.2.0
=========================
1. 一些小的改进，基于@dunce的建议
2. 新增更多的代理协议支持 (SOCKS4/5)
3. 新增代理服务器用户名密码验证支持
Release: https://github.com/titanhw/go-proxy-checker/releases/tag/v1.2.0

作者: Titan 时间: 2022-2-11 22:40

医者的路发表于 2022-2-11 18:03
可以用socks吗

目前已经支持了 v1.2.0

作者: konololi 时间: 2022-2-11 22:47
比现有工具好在哪里呢？

作者: 等1下™我老公呢 时间: 2022-2-11 22:51
厉害厉害

作者: 雾山 时间: 2022-2-11 22:56
配上我签名这个试试哈哈

作者: Titan 时间: 2022-2-11 23:02

konololi 发表于 2022-2-11 22:47
比现有工具好在哪里呢？

速度非常快（比目前开源的其他项目快很多），占用非常低，检测出来的都是高匿代理

作者: HOH 时间: 2022-2-11 23:03
第一个问题，用什么网址验证的？
第二个问题，用什么请求验证的？
第三个问题，用什么响应验证的？

这三个问题都不能自定义的话，我还是继续用我的curl还方便

作者: Titan 时间: 2022-2-11 23:09

HOH 发表于 2022-2-11 23:03
第一个问题，用什么网址验证的？
第二个问题，用什么请求验证的？
第三个问题，用什么响应验证的？

水王大佬里边请

第一个问题，在README里面有写，测试请求到https://httpbin.org/，一个广泛的验证HTTP请求的服务。
你也可以自己搭建类似的服务或者自己启动一个HTTPBIN的docker来部署，修改验证地址即可。

第二个问题和第三个问题没有听明白，用......用软件请求和响应的？

作者: HOH 时间: 2022-2-11 23:13

Titan 发表于 2022-2-11 23:09
水王大佬里边请
第一个问题，在README里面有写，测试请求到https://httpbin.org/，一个广泛的验 ...

第二个问题指的是，我可能需要POST/HEAD请求验证
第三个问题指的是，我需要验证是200或者30x响应，又或者是否有指定的字符串

作者: konololi 时间: 2022-2-12 01:51

Titan 发表于 2022-2-11 23:02
速度非常快（比目前开源的其他项目快很多），占用非常低，检测出来的都是高匿代理 ...

快很多吗？我印象中proxyknife很快的，占用也很低

作者: addtool 时间: 2022-2-12 01:59
靠谱的代理源有推荐嘛，付费的价格适中的

作者: phpsky 时间: 2022-2-12 02:18
关键是代理源，一般公布的那几个大部分都是失效的。

作者: yy10112001 时间: 2022-2-12 02:34
性能多强意义不大。。。关键是哪儿来这么多代理。。。。

欢迎光临全球主机交流论坛 (https://52.ht/)