给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？
方案1：可以估量每个文件安的大小为5G×64=320G，远远大于内存限制的4G。所以不行能将其完全加载到内存中处理。考虑实行分而治之的方法。
s遍历文件a，对每个url求取 ，然后依据所取得的值将url分别存储到1000个小文
件〔记为
〕中。这样每个小文件的大约为300M。
s遍历文件b，实行和a一样的方式将url分别存储到1000各小文件〔记为
后，全部可能一样的url都在对应的小文件〔
可能有一样的url。然后我们只要求出1000对小文件中一样的url即可。
〕。这样处理
〕中，不对应的小文件不
s求每对小文件中一样的url时，可以把其中一个小文件的url存储到hash_set中。然后遍历另一个小文件的每个url，看其是否在刚刚构建的hash_set中，假设是，那么就是共同的url，存到文件里面就可以了。
方案2：假设允许有肯定的错误率，可以使用Bloomfilter，4G内存或许可以表示340亿bit。将其中一个文件中的url使用Bloomfilter映射为这340亿bit，然后挨个读取另外一个文件的url，检查是否与Bloomfilter，假设是，那么该url应当是共同的url〔留意会有肯定的错误率〕。
有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你依据query的频度排序。
方案1：
s挨次读取10个文件，依据hash(query)%10的结果将query写入到另外10个文件〔记为
〕中。这样生成的文件每个的大小大约也1G〔假设hash函数是随机的〕。
s找一台内存在2G左右的机器，依次对 用hash_map(query,query_count)来统计每个query消灭的次数。利用快速/堆/归并排序依据消灭次数进展排序。将排序好的query和对应的
query_cout输出到文件中。这样得到了10个排好序的文件〔记为 〕。
s对 这10个文件进展归并排序〔内排序与外排序相结合〕。方案2：
一般query的总量是有限的，只是重复的次数比较多而已，可能对于全部的query，一次性就可以参加到内存了。这样，我们就可以承受trie树/hash_map等直接来统计每个query消灭的次数，然后按消灭次数做快速/堆/归并排序就可以了。
方案3：
与方案1类似，但在做完hash，分成多个文件后，可以交给多个文件来处理，承受分布式的架构来处理
〔比方MapReduce〕，最终再进展合并。
有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。
方案1：挨次读文件中，对于每个词x，取 ，然后依据该值存到5000个小文件〔记为
〕中。这样每个文件或许是200k左右。假设其中的有的文件超过了1M大小，还可以依据类似的方法连续往下分，知道分解得到的小文件的大小都不超过1M。对每个小文件，统计每个文件中消灭的词以及相应的频率〔可以承受trie树/hash_map等〕，并取出消灭频率最大的100个词〔可以用含100个结点的最小堆〕，并把100词及相应的频率存入文件，这样又得到了5000个文件。下一步就
是把这5000个文件进展归并〔类似与归并排序〕的过程了。
海量日志数据，提取出某日访问百度次数最多的那个IP。
方案1：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。留意到IP是32位的，最多有个IP。同样可以承受映射的方法，比方模1000，把整个大文件映射为1000个小文
件，再找出每个小文中消灭频率最大的IP〔可以承受hash_map进展频率统计，然后再找出频率最大的几个〕及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。
在2.5亿个整数中找出不重复的整数，内存缺乏以容纳这2.5亿个整数。
方案1：承受2-Bitmap〔每个数安排2bit，00表示不存在，01表示消灭一次，10表示屡次，11无意
义〕进展，共需内存 内存，还可以承受。然后扫描这2.5亿个整数，查看Bitmap中相对应位，假设是00变01，01变10，10保持不变。所描完事后，查看bitmap，把对应位是