解析URL

25天以前  |  阅读数:8 次  |     收藏

提取URL中的各部分信息,如schema, host等。

package common

import (
    "errors"
    "net/url"
    "strings"
)

//urlencode
func UrlEncode(url1 string) string {
    return url.QueryEscape(url1)
}

func UrlDecode(url1 string) (string, error) {
    return url.QueryUnescape(url1)
}

//FormatUrl is a function for spiders to format urls when the url comes like "/path/to/html" to "http://www.xxx.com/path/to/html"
func FormatUrl(url1, site string) (string, error) {

    if strings.HasPrefix(strings.TrimSpace(url1), "javascript:") {
        return "", errors.New("starts with 'javascript:'")
    }

    u, err := url.Parse(url1)
    if err != nil {
        return "", err
    }
    if u.Scheme == "" {
        u.Scheme = "http"

    }
    if u.Host == "" {
        u.Host = site
    }
    return u.String(), nil
}

//IsCurrentSite is a function to test the current url belongs to the current site.
func IsCurrentSite(url1 string, site string, protocol string) bool {
    u, err := url.Parse(url1)
    if err != nil {
        return false
    }
    if u.Scheme != protocol {
        return false
    }
    if u.Host == site || u.Host == "" {
        return true
    }
    return false
}

相关文章:


SSH 登录失败:Host key verification failed

PHP分页显示制作详细讲解

PHP自定义函数获取搜索引擎来源关键字的方法

在Zeus Web Server中安装PHP语言支持

再谈PHP中单双引号的区别详解

让你成为最历害的git提交人

将二进制数据转为16进制以便显示

php+ajax+json 详解及实例代码

PHP实现简单爬虫的方法

Python 2与Python 3版本和编码的对比

php实现数组中索引关联数据转换成json对象的方法

桌面中心(一)创建数据库

PHP设计模式之工厂模式与单例模式

php数组合并array_merge()函数使用注意事项

php封装的page分页类完整实例

wget使用技巧

getAttribute和getAttributeNode

获取IMSI

Yii2汉字转拼音类的实例代码

python中执行shell的两种方法总结