c语言如何对海量数据进行处理

1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？2.有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。3.有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。4.海量日志数据，提取出某日访问百度次数最多的那个IP。（利用hash分而治之，然后上归并，堆）5.在2.5亿个整数中找出不重复的整数，内存不足以容纳这2.5亿个整数。