文章详情页

java - hadoop数据查找

浏览：231日期：2024-02-06 11:45:32

问题描述

使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的

# map.shawk -F '03' ’$3==xxx{print $0}’ -

结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的

问题解答

回答1：

这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决

java

上一条：为什么做Java游戏服务端不需要掌握ssm、ssh的下一条：java GC日志该怎么看？

相关文章：

1. mysql插入文本如果是个sql语句就报错了2. css - 如何讓圖片像雲一樣的行為？3. javascript - vue中input的blur影响了下拉的点击事件如何解决4. javascript - sublime快键键问题5. javascript - 微信小程序如何实现这种左滑动出现删除的办法？有相关api吗？6. node.js通过module.exprots返回的是promise对象而非data？7. docker gitlab 如何git clone？8. docker 17.03 怎么配置 registry mirror ?9. python打开.py文件的时候出现window无法打开该文件是怎么回事呢？10. javascript - swiper插件loop模式下的BUG？

排行榜

					
					javascript - 微信小程序 如何实现这种左滑动出现删除的办法？有相关api吗？
javascript - sublime快键键问题
关docker hub上有些镜像的tag被标记““This image has vulnerabilities””
dockerfile - 为什么docker容器启动不了？
javascript - vue中input的blur影响了下拉的点击事件如何解决
docker gitlab 如何git clone？
node.js通过module.exprots返回的是promise对象而非data？
python打开.py文件的时候出现window无法打开该文件是怎么回事呢？
css - 如何讓圖片像雲一樣的行為？
javascript - swiper插件loop模式下的BUG？
mysql插入文本如果是个sql语句就报错了
				

热门标签