文章详情页
java - hadoop数据查找
浏览：202日期：2024-02-06 11:45:32
问题描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的
问题解答
回答1：这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决
标签：
java
相关文章：
1. docker-compose中volumes的问题2. nignx - docker内nginx 80端口被占用3. docker - 如何修改运行中容器的配置4. node.js - antdesign怎么集合react-redux对input控件进行初始化赋值5. 为什么我ping不通我的docker容器呢？？？6. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？7. angular.js - Angularjs中点击事件传递参数 给class更换样式。8. angular.js - angular内容过长展开收起效果9. docker api 开发的端口怎么获取？10. datetime - Python如何获取当前时间
排行榜
网公网安备