Golang通过http.NewRequest实现模拟请求

1月以前  |  阅读数:13 次  |     收藏

模拟浏览器的行业,一般爬虫可以用这种方式隐藏自己。

func DownloadString(remoteUrl string,queryValues url.Values) (body []byte,err error){
    client := &http.Client{};
    body = nil;
    uri,err := url.Parse(remoteUrl);
    if(err != nil){
        return ;
    }
    if(queryValues != nil){
        values := uri.Query();
        if(values != nil){
            for k,v := range values {
                queryValues[k] = v;
            }
        }
        uri.RawQuery = queryValues.Encode();
    }
    reqest, err := http.NewRequest("GET",uri.String(),nil);
    reqest.Header.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
    reqest.Header.Add("Accept-Encoding", "gzip, deflate");
    reqest.Header.Add("Accept-Language", "zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3");
    reqest.Header.Add("Connection", "keep-alive");
    reqest.Header.Add("Host", uri.Host);
    reqest.Header.Add("Referer", uri.String());
    reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0");

    response, err := client.Do(reqest)
    defer response.Body.Close();
    if(err != nil){
        return ;
    }

    if response.StatusCode == 200 {
        switch response.Header.Get("Content-Encoding") {
        case "gzip":
            reader, _ := gzip.NewReader(response.Body)
            for {
                buf := make([]byte, 1024)
                n, err := reader.Read(buf)

                if err != nil && err != io.EOF {
                    panic(err)
                }

                if n == 0 {
                    break
                }
                body = append(body,buf...);
            }
        default:
            body, _ = ioutil.ReadAll(response.Body)

        }
    }
    return ;
}

相关文章:


SSH 登录失败:Host key verification failed

PHP分页显示制作详细讲解

PHP自定义函数获取搜索引擎来源关键字的方法

在Zeus Web Server中安装PHP语言支持

将二进制数据转为16进制以便显示

让你成为最历害的git提交人

再谈PHP中单双引号的区别详解

PHP实现简单爬虫的方法

php+ajax+json 详解及实例代码

Python 2与Python 3版本和编码的对比

php实现数组中索引关联数据转换成json对象的方法

桌面中心(一)创建数据库

PHP设计模式之工厂模式与单例模式

wget使用技巧

php封装的page分页类完整实例

php数组合并array_merge()函数使用注意事项

Yii2汉字转拼音类的实例代码

getAttribute和getAttributeNode

获取IMSI

Java生成UUID