腾讯技术工程

腾讯技术官方号。腾讯技术创新、前沿领域发布解读平台。

TCP经典异常问题探讨与解决
TCP的经典异常问题无非就是丢包和连接中断,在这里我打算与各位聊一聊TCP的RST到底是什么?现网中的RST问题有哪些模样?我们如何去应对、解决?本文将从RST原理、排查手段、现网痛难点案例三个板块自上而下带给读者一套完整的分析。
腾讯文档AI助手技术实践
本文从技术应用架构以及AI大模型赋能角度介绍腾讯文档AI智能助手的探索和实践之路。作为一款集多功能为一体的AI产品,腾讯文档全品类与AI进行了深度融合,全面提升用户生活和办公中的效率。通过腾讯文档AI,你脑海中灵光一现的Idea可以快速转化为详细的内容,在各种类型的文档中同源流转。同时,面对纷繁复杂的信息,腾讯文档AI也可以加以分析处理,帮助你从海量的信息中提炼出有价值的内容,从而将他们转化为属于你的认知。
十年前的微信消息收发架构居然是这样子的
2023 年,微信及 WeChat 的 DAU(月活用户)达到 13.4 亿,微信已经是很多人工作、生活中不可或缺的一个环节。从 2011 年 1 月 21 日上线至今,微信已经走过了 13 个年头,其背后的技术基座与架构也发生了巨大的变化。
Docker使用笔记
Docker是一个开源平台,它允许用户快速构建、测试和部署应用程序。Docker通过将软件及其依赖项打包到轻量级、可移植的容器中来实现这一目标。这些容器是独立的、可执行的软件包,它们包含了运行应用程序所需的所有内容,包括代码、运行时、库、环境变量和系统工具。
每个程序员都应该了解的硬件知识
在追求高效代码的路上,我们不可避免地会遇到代码的性能瓶颈。为了了解、解释一段代码为什么低效,并尝试改进低效的代码,我们总是要了解硬件的工作原理。于是,我们可能会尝试搜索有关某个架构的介绍、一些优化指南或者阅读一些计算机科学的教科书(如:计算机组成原理)。但以上的内容可能都太过繁琐、细节太多,在阅读的过程中,我们可能会迷失在纷繁的细节中,没法很好地将知识运用到实践中。
轻松上手的LangChain学习说明书
本文为笔者学习LangChain时对官方文档以及一系列资料进行一些总结~覆盖对Langchain的核心六大模块的理解与核心使用方法,全文篇幅较长,共计50000+字,可先码住辅助用于学习Langchain。
Golang异步编程方式和技巧
Golang基于多线程、协程实现,与生俱来适合异步编程,当我们遇到那种需要批量处理且耗时的操作时,传统的线性执行就显得吃力,这时就会想到异步并行处理。下面介绍一些异步编程方式和技巧。
MongoDB索引使用总结
MongoDB 是目前最流行的文档型数据库。MongoDB 的采用类 json 的存储格式对开发者来说非常友好。本文梳理了 MongoDB 索引的底层结构以及使用经验,不足之处欢迎大家指正。
从裸机启动一个C++程序实战操作
对于一个C++程序员来说,可能更多是是每天都在跟各种上层语义、设计模式、软件方法等等在打交道。但对于「一个C++程序是如何运行在机器上的」这件事可能会比较陌生。有时,遇到一些问题,在宏观角度看起来可能比较难以解释,但其实从底层出发,就能发现这个问题其实根本不算问题。
腾讯云单元化架构体系介绍
在金融科技转型的关键时期,为增强腾讯云在金融核心系统的"转型"、"上云"、"单元化"等方面的解决方案,本文基于多个金融行业一线项目,经过总结、梳理、沉淀形成符合腾讯云产品特征与交付体系的单元化架构体系。对标友商单元化技术架构,提供售前方案与产品能力的支撑。希望在未来几年大规模金融核心系统转型的浪潮中,能帮助一线架构师更好地理解单元化架构,进一步巩固加强腾讯云在金融核心领域取得的成果,做好技术与专家储备。
一文带你了解OpenAI Sora
最近AI圈最火的无疑是OpenAI在2月15日发布的Sora。Sora可以根据文本生成一分钟的高清视频,生成的视频画质、连续性、光影等都令人叹为观止,Sora无疑将视觉生成推到新的高度。本文将重点回答三个问题:(1)Sora的原理是什么?(2)Sora到底是不是世界模型?(3)Sora会影响哪些行业?
​微信图片智能裁剪技术介绍
微信的公众号、视频号等产品每天有大量的图片内容,这些图片的长宽比各异,但是为了展示的美观性,在产品的某些场景需要固定图片长宽比,这就需要算法对图片自动剪裁。我们自研了一款轻量的图片智能裁剪框架,基于艺术美学分析与深度学习技术,自动判断图片主体区域,裁剪图片以适配不同尺寸要求。目前该算法已经在微信公众号的快讯、推荐流、图片落地页等多个场景中落地应用,取得了不错的业务收益。同时该方法也被 AAAI 2024 会议接收录用。
Linux内核解读
工作过程中遇到的调度、内存、文件、网络等可以参考。
微信安全下一代特征计算引擎的探索与实践
如果将与“坏人”进行安全对抗比作一场长期持久的战争,那么特征计算系统就是对抗“坏人”的重要武器系统。该系统的功能是消费日志流,进行分析计算,并输出特征信息。
​腾讯TGW网关团队最新研究成果入选NeurIPS 2023
近日,NeurIPS 2023(Neural Information Processing Systems)神经信息处理系统大会于公布论文录用结果,腾讯TGW网关团队、腾讯DDoS防护团队、清华大学联合发表的论文“Metis: Understanding and Enhancing In-Network Regular Expressions”成功入选,并获得学术界和工业界的高度评价。
设计一个海量的任务调度系统
今天跟大家分享鹅厂开发工程师如何搭建一套通用的分布式任务调度平台(统称为 tjobs 平台)以满足业务高可靠、低延迟的海量任务调度诉求。
彻底明白C++的So热更新
今天和大家分享鹅厂后台开发工程师,探索基于So动态链接库的C++进程热更新方案。
微信业务开发方法与实践
拔开迷雾,直达本质,万字长文带你搞透业务开发。业务是什么,如何挖掘价值?本文从几方面来探讨做好业务开发的思考,第一篇谈业务,抛砖引玉,欢迎探讨改进。
关于消息队列的知识总结
鹅厂技术同学站在时间维度的视角上,给大家分享下这三款主流MQ所诞生的背景以及解决了哪些问题。
深入剖析开源大模型+Langchain框架智能问答系统性能下降原因
大模型(LLM)相关理论研究与工程实践随着 GPT3 的发布,在学术界、工业界大爆发,备受各行各业关注,并涌现出一些赋能行业、促进生产力、生产关系变革的实践。GPT3 [1] 以及斯坦福计算机学院近 100+ 教授联名论文 [2] 将大模型列为第三轮 AI 浪潮,相对于传统的机器学习与深度学习,以 GPT3 为例的大模型涌现出处理各类任务的新范式:zero-shot、few-shot、in-context 等,同时也支持深度学习领域的 finetune,新范式让大模型能够低成本、快速处理各种任务,极大的缩短了数据准备与工程开发流程。
Protobuf编码原理及优化技巧探讨
常用的序列化算法有:json、xml、protobuf 等,将这些算法进行归纳不难发现这些算法主要是对三种基本类型(原子性、不可被拆分)和三种复合类型(由基本类型和其他符合类型构成)进行序列化和反序列化。
腾讯云原生场景下内存多级卸载落地实践
近期,第四届中国云计算基础架构开发者大会(China Cloud Computing Infrastructure Developer Conference – 简称 CID)在深圳举办。本届 CID 大会聚焦业界最前沿的云计算基础架构技术成果,围绕基础架构技术领域的技术交流,展示先进技术在行业中的典型实践。在主论坛上,作者以《云原生场景下内存多级卸载落地实践》为议题,分享内存多级卸载方案(内部称“Tencent OS悟净”)在公司业务落地过程中所遇到的实际问题、对应的解决方案,以及在容器平台上的落地数据。以下为分享重点。
OpenAI新开放了这些好用的API功能
OpenAI近期召开了开发者大会,同时也发布和开放了一些新的功能特性,比如新版本GPT-4 Turbo,支持128k上下文,知识截止更新到2023年4月,视觉能力、DALL·E3,文字转语音TTS等等全都对API开放,GPTs商店已经对Plus账户开放。本文将对OpenAI截止到目前的大部分开放API能力进行介绍,注意的是这里使用的账号必须是绑定了信用卡的正式账户,非正常渠道购买的账号不能调用大部分API。
干货收藏 | Git常用命令思维导图
如今 Git 已经成为绝大多数开发者的选择, Tom Preston-Werner、Chris Wanstrath 和 PJ Hyett 在 2007 年 10 月推出的 Github 已经成为了全球最大的开发者网站。
如何真正写好Golang代码?
本文从设计、规范、陷阱到相关实现以例证说明并结合自己思考,详细解释了该如何写golang好代码。发表前作者已经详细校对,如本文有遗漏的错误请指出,带来的不便请谅解。
一门号称比Python快68000倍的新型AI编程语言
Modular 公司在 9 月正式对外发布了 Mojo,这是一门面向 AI 领域的新型编程语言,号称比 python 快 68000 倍,而且会“着火”,真有那么猛吗?跟随着这篇文章咱来一探究竟。
热门通讯软件Discord万亿级消息存储架构
最近在 Discord 的技术 blog 看到 Discord 的底层数据存储的演进过程,从最开始的 2015 初用的单个副本集的 MongoDB,2015 年底迁移到 Cassandra,2022 年消息量达到了万亿的级别,他们将存储迁移到 ScyllaDB。本文会介绍 ScyllaDB 的基本架构和原理,分析下 ScyllaDB 能够支持万亿级存储的原因。
如何从0到1设计实现一门自己的脚本语言
如果说计算机工程王冠中有明珠的话,操作系统、数据库、编译器必定是其中最闪耀的那几颗。能够制造打磨出这种明珠的人,做到了其他人做不到的事情,也便成了人们口中的“神”。笔者在学习了“神”们撰写的编译器入门书籍之后,分享一些心得给感兴趣的读者,希望能激发出大家的学习兴趣。
一文讲透Redis分布式锁安全问题
基于 Redis 的分布锁到底是否安全?什么情况下会失效?一个小小的分布式锁,在分布式系统中都会遇到哪些问题?看了太多的分布式锁文章,依旧云里雾里,这篇彻底给你讲清楚。
大模型LangChain框架基础与使用示例
一图胜千言,`LangChain`已经成为当前 LLM 应用框架的事实标准,这篇文章就来对 LangChain 基本概念以及其具体使用场景做一个整理。