沉沙
2018-06-27
来源 :
阅读 1755
评论 0
摘要:Node.js对所有外部资源调用提供异步机制,文件IO也不例外。在这种异步机制下,进程不会被阻塞,这极大提高了CPU的利用率,为单进程的模式奠定了基础。但同时,异步机制的引入也给程序逻辑的实现带来了一定复杂性,原来一些惯常的思维方式需要进行转换。希望阅读本篇文章以后大家有所收获,帮助大家对Node.js的理解更加深入。
node.js对所有外部资源调用提供异步机制,文件IO也不例外。在这种异步机制下,进程不会被阻塞,这极大提高了CPU的利用率,为单进程的模式奠定了基础。但同时,异步机制的引入也给程序逻辑的实现带来了一定复杂性,原来一些惯常的思维方式需要进行转换。
本文将以一个文件操作的实例来说明这一点。
假设我们需要新建一个文件,在其中循环写入0-9的数字,文件的总长度为1G bytes。在通常情况下,我们需要建立一个buffer,将内容放入其中,然后打开文件,在一个循环中多次向文件中写入,直至写满1G的长度。在node.js中我们同样可以使用同步文件写操作(例如 fs.writeSync)来实现这个逻辑,但这样做显然无法利用node.js提供的异步机制的优势。写操作会在fs.writeSync调用时阻塞,如果同时有其他运算任务需要处理,则会在进程中排队,造成 CPU资源浪费。
如果我们使用基于事件回调的异步文件写操作(例如 fs.write),如何来模拟同步模式下的循环逻辑呢?自然可以想到的一点是定义一个函数用来处理单次写入操作,然后依靠事件回调反复调用此函数,直至写满计划中的长度。但问题在于回调函数的参数形式是固定的,无法加入fd (file descriptor)和循环变量来标注当前运行的进度状况。解决这个问题,我们可以应用js语言中的“闭包”机制,因为闭包函数可以在栈中保存定义此函数的现场。
具体代码如下:
1. var file_size = 1024*1024*1024; //1G
2. var buf_size = 10240;
3.
4. var fs = require('fs');
5. var buf = new Buffer(buf_size);
6.
7. // init temp buffer
8. var temp = new Buffer(10);
9. for (var i=0; i<10; i++) {
10. temp[i] = (i).toString().charCodeAt(0);
11. }
12.
13. // init buf
14. for (var i=0; i<buf_size/10-1; i++) {
15. temp.copy(buf, 10*i);
16. }
17. temp.copy(buf, 10*i, 0, buf_size-parseInt(buf_size/10)*10);
18.
19. // write to file
20. fs.open('big.block', 'w', 0666, function(err, fd){
21. if (err) throw err;
22.
23. function write(err, written) {
24. if (err) throw err;
25. if (i>=file_size/buf_size) { //close the file
26. fs.close(fd);
27. } else { //continue to write
28. var length = buf_size;
29. if ((i+1)*buf_size>file_size) {
30. length = file_size-i*buf_size;
31. }
32. fs.write(fd, buf, 0, length, null, write);
33. i++;
34. }
35. }
36.
37. var i=0;
38. write(null, 0);
39. });需要注意缓冲区大小对写操作的性能影响很大。过小的缓冲区会造成从磁盘到文件系统,甚至用户程序,整个过程更大的资源消耗,从而影响程序的执行效率。通过time数据可明显观察到其差别:
1K缓冲:
real 0m39.340s
user 0m18.244s
sys 0m34.750s
10K缓冲:
real 0m7.985s
user 0m2.037s
sys 0m7.525s
100K缓冲:
real 0m4.223s
user 0m0.312s
sys 0m4.077s
本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注WEB前端Node.js频道!
喜欢 | 0
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了

请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号