写在前面

本文首先简单介绍TCMalloc及其使用方法,然后解释TCMalloc替代系统的内存分配函数的原理,再从宏观上讨论其内存分配的策略,在此之后再深入讨论实现细节。

有几点需要说明:

  • 本文只讨论gperftools中TCMalloc部分的代码,对应版本gperftools-2.7
  • 本文是根据TCMalloc源码以及简短的官方介绍作出的个人理解,难免有纰漏之处,且难以覆盖TCMalloc的方方面面,不足之处还请各位看官留言指正。
  • 除非特别说明,以下讨论均以32位系统、TCMalloc默认page大小(8KB)为基础,不同架构或不同page大小,有些相关数值可能不一样,但基本原理是相似的。
  • 为了控制篇幅,我会尽量少贴大段代码,只给出关键代码的位置或函数名,各位看官可自行参阅TCMalloc相关代码。
继续阅读

什么是copy-on-write

Copy-on-write,写时复制,简称COW,是一种资源管理技术。引用维基百科的说明:

写入时复制(英语:Copy-on-write,简称COW)是一种计算机程序设计领域的优化策略。其核心思想是,如果有多个调用者(callers)同时请求相同资源(如内存或磁盘上的数据存储),他们会共同获取相同的指针指向相同的资源,直到某个调用者试图修改资源的内容时,系统才会真正复制一份专用副本(private copy)给该调用者,而其他调用者所见到的最初的资源仍然保持不变。这过程对其他的调用者都是透明的(transparently)。此作法主要的优点是如果调用者没有修改该资源,就不会有副本(private copy)被建立,因此多个调用者只是读取操作时可以共享同一份资源。

fork()的内存语义

Copy-on-write最贴切的例子就是fork()系统调用了,来看下fork()系统调用的内存语义:

从概念上讲,可以将fork()看作是创建父进程的文本段、数据段、以及堆和栈的拷贝。

实际上,在一些早期的UNIX实现中,这种拷贝确实是按字面意思来执行的:拷贝父进程的内存到swap,创建一个新的进程映像,使swap出来的映像成为子进程,而父进程则保留自己原先的内存。

继续阅读

谨以此系列文章献给过去四年半的自己,又要开始新的征程了。

先跟过去告个别:

接下来是一系列技术文章,工程浩大,先大致列个提纲,有时间就写。

首先剖析一份代码,我不知道该怎么称呼这份代码,我认识它的时候它是一个代号Inception的手游的服务器引擎,源于网易的一个飞行游戏,再往前据说是韩国人的作品,我不管,我叫它IncServer:

再来看IncServer中用到的比较重要的第三方组件:

最后是个人游戏开发沉思录:

IncServer最核心的部分,自然是网络库了。

本文旨在分析IncServer网络库(以下称IncNet)的实现,进以总结一个网络库应当具备的基本功能以及常见做法,为以后手撸一个全新的网络库打下基础。

IncNet的实现依赖:

  • Sockets API
  • I/O Multiplexing(select/poll)
  • epoll API
  • POSIX Threads API(Pthreads)
  • Reactor模式

阅读此文请先对以上知识有所了解。

在此推荐一本书,《The Linux Programming Interface——A Linux and UNIX System Programming Handbook》,简称TLPI,中文译名《Linux系统编程手册》,分上下两册,作者是目前Linux manpage的维护者Michael Kerrisk。
强烈建议阅读英文版,并结合官方勘误表。中译本上册翻译尚可,下册机翻痕迹明显,有多处意思完全相反。至少要中英结合看,感觉译文不对可以看下原文是怎么写的,还感觉不对就去看勘误表。

继续阅读