文章详情页
java - hadoop数据查找
浏览：188日期：2024-02-06 11:45:32
问题描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的
问题解答
回答1：这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决
标签：
java
相关文章：
1. docker内创建jenkins访问另一个容器下的服务器问题2. dockerfile - 为什么docker容器启动不了？3. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？4. dockerfile - [docker build image失败- npm install]5. html - 爬虫时出现“DNS lookup failed”，打开网页却没问题，这是什么情况？6. docker绑定了nginx端口 外部访问不到7. macos - mac下docker如何设置代理8. css - ul ol前边的标记如何调整样式呢9. 在windows下安装docker Toolbox 启动Docker Quickstart Terminal 失败！10. docker api 开发的端口怎么获取？
排行榜
网公网安备